Nous vous proposons aujourd’hui cette note, longue mais si importante, publiée le 5 avril 2024 sur le site Vie-publique (cliquer ici pour accéder au site Vie-publique)
https://www.vie-publique.fr/eclairage/19590-chronologie-des-droits-des-femmes.html
Intelligence Artificielle (IA) : potentiel et risques dans les services publics ?
Publié le 5 avril 2024
Par : Lucie Cluzel-Metayer - professeure de droit public, université Paris Nanterre
Mieux cibler les populations précaires, mieux déterminer l'éligibilité des chômeurs à l'allocation chômage ou mieux rédiger les réponses en ligne aux usagers… Le potentiel de l'IA pour améliorer les politiques publiques est important. Les risques sont également identifiés et un cadre juridique national et européen se construit.
SOMMAIRE
- Qu'est-ce qu'un système d'IA ?
- Les opportunités et les cas d'usage de l'IA dans les services publics
- Les risques de l'utilisation de l'IA dans les services publics
- L'adoption d'un cadre juridique
1 Qu'est-ce qu'un système d'IA ?
L'intelligence artificielle (IA) semble être le nouvel outil incontournable de l'action publique. Qu'il s'agisse d'attribuer des aides sociales, de mieux cibler les fraudeurs, de surveiller la population dans l'espace public ou de communiquer avec les usagers sur internet, les autorités publiques utilisent de plus en plus l'IA. En France, 908 millions d'euros du plan France Relance sont d'ailleurs dédiés à la transformation numérique des services publics, prenant notamment la forme d'un recours croissant à l'IA.
Définir un système d'IA (SIA) n'est pas chose simple. On considère en principe qu'il s'agit d'un système basé sur des algorithmes, fonctionnant avec une certaine autonomie, capable d'établir des prévisions, de formuler des recommandations, ou de prendre des décisions influant sur l'environnement, en d'autres termes, d'effectuer des tâches relevant habituellement de l'intelligence humaine. Certains SIA, comme les systèmes d'IA générative tels que ChatGPT, ou encore les systèmes de reconnaissance faciale, mobilisent des données en masse (Big data) et sont extrêmement performants. Ce sont des IA de machine learning, qui s'améliorent en fonction des données qui les alimentent et sont en grande partie autonomes des humains qui les développent. Les administrations qui utilisent depuis longtemps des algorithmes simples (dits aussi "déterministes" car entièrement programmés par l'être humain comme c'est le cas de Parcoursup, par exemple), mobilisent aussi de plus en plus ces IA de machine learning.
Les potentialités de l'usage de l'IA dans les services publics expliquent son important essor, mais les risques, en particulier pour les libertés fondamentales, ne sauraient être sous-estimés. Ce qui justifie, d'ailleurs, que des règles commencent à être adoptées, au niveau national comme au niveau européen.
2 Les opportunités et les cas d'usage de l'IA dans les services publics
Les opportunités que représente le recours à l'IA pour les services publics sont multiples. Du côté de l'administration, l'IA permet de soulager les agents de tâches fastidieuses et répétitives, comme le traitement de millions de vœux d'étudiants pour accéder à l'enseignement supérieur. En plus d'accélérer le temps de la décision, l'automatisation promet d'assurer une meilleure allocation des moyens matériels et humains, en les dédiant à des tâches que les algorithmes ne peuvent pas traiter.
Du côté des usagers, l'utilisation de l'IA peut s'avérer précieuse pour prendre des décisions plus adaptées à chaque situation, par l'exploitation massive des données. Grâce au profilage, l'IA peut par exemple permettre de mieux cibler les populations précaires afin de leur attribuer des aides automatiquement, comme c'est le cas du tarif social énergie mis en place en Belgique. D'une certaine manière, l'IA peut ainsi contribuer à rétablir l'égalité des droits.
L'IA permet, en somme, de mieux appréhender les réalités économiques et sociales. Elle est, en cela, un puissant levier d'amélioration des politiques publiques par les connaissances qu'elle produit.
En tant qu'outil d'aide à la décision et à l'action publique, l'IA offre des fonctionnalités variées. Elle peut servir à identifier et authentifier des personnes : par exemple, PARAFE, système de reconnaissance faciale, commence à être utilisé dans les aéroports français pour fluidifier le passage aux frontières.
L'IA peut aider à déterminer l'accès aux droits et aux services publics : France Travail utilise ainsi un système d'IA pour déterminer l'éligibilité des chômeurs à l'allocation-chômage d'aide au retour à l'emploi, ainsi que le montant de cette aide et sa durée. En matière de sécurité publique, la vidéosurveillance assistée par l'IA a été autorisée par le législateur dans le cadre de la loi sur les Jeux olympiques et paralympiques de 2024 pour faciliter la détection des évènements anormaux dans l'espace public. De même, en matière de lutte contre la fraude fiscale, l'IA est utilisée par l'administration pour mieux cibler les "anormalités".
Aujourd'hui, l'IA générative (capable de remplir des tâches générales de création de données nouvelles - images, vidéos, textes - de manière indépendante, à partir de données d'apprentissage) est expérimentée au sein des services publics pour aider les agents dans la rédaction des réponses en ligne aux usagers. Sans prétendre à l'exhaustivité, mentionnons également l'utilisation de l'IA pour accroître l'efficacité de la gestion des services et des territoires, comme en témoigne l'avènement des "Smart Cities", qui ambitionnent d'améliorer les infrastructures et les services urbains et ainsi, la qualité de vie des citoyens.
3 Les risques de l'utilisation de l'IA dans les services publics
Si les potentialités ne sont pas négligeables, les risques ne sauraient être, pour autant, sous-estimés. Il existe des risques, d'abord, que l'utilisation de l'IA porte atteinte à certaines libertés fondamentales.
L'efficacité de l'IA dépend de l'exploitation massive de données, qui sont souvent des données personnelles. Le risque d'atteinte à la vie privée est dès lors très important, surtout quand l'IA permet une identification directe de l'individu dans l'espace public, comme c'est le cas avec la reconnaissance faciale, ou encore lorsqu'elle exploite des données que les individus n'ont pas conscience de divulguer, comme c'est le cas de l'IA utilisée dans le cadre du contrôle fiscal, qui est autorisée à fouiller les réseaux sociaux.
Aussi, lorsque l'IA se déploie sur l'espace public, son usage présente des risques non seulement pour la vie privée, mais aussi pour d'autres libertés. Le cas de la vidéosurveillance augmentée (VSA) est, à ce titre, intéressant en ce que l'usage de l'IA, entraînée sur des millions d'heures de flux d'images de personnes et capable d'analyser en temps réel les images filmées par les quelque 90 000 caméras installées sur notre territoire, permet le développement d'une surveillance généralisée des personnes.
Son déploiement impacte dès lors, non seulement le droit au respect de la vie privée, mais aussi la liberté d'aller et venir, la liberté d'expression, de manifestation et de conscience, dès lors que pour que ces libertés puissent s'exercer librement sur l'espace public, la préservation de l'anonymat est essentielle. Le fait de se sentir surveillé peut avoir un effet dissuasif (ce que les Anglo-Saxons nomment le chilling effect) sur l'exercice de ces libertés. La VSA peut également conduire à une intériorisation de nouvelles normes sociales, correspondant à des "comportements anormaux" (comme marcher dans le sens contraire au sens commun, ou chuter à terre) dont les auteurs devront répondre devant les forces de l'ordre, alors même que ces comportements ne sont pas des infractions pénales et ne sont pas édictés par des autorités élues.
L'IA peut, en outre, présenter d'importants biais discriminatoires parce que les algorithmes reproduisent la subjectivité des données qui les alimentent, voire les accroissent en raison de leur échelle de déploiement. L'algorithme Compas utilisé dans le système judiciaire américain pour décider ou non de la libération des détenus en fonction du risque de récidive, par exemple, est nourri de données en apparence neutres et parfaitement légales. Elles véhiculent en réalité des discriminations raciales résultant de l'exploitation de décisions anciennes, empreintes de préjugés raciaux : l'algorithme reproduisant des biais préexistants, les détenus d'origine afro-américaine ont des scores plus élevés de risque de récidive que les détenus de type caucasien.
Aussi, l'utilisation des SIA peut conduire à stigmatiser certaines populations, plus surveillées que d'autres. Le Défenseur des droits a ainsi alerté sur le fait que l'IA de lutte contre la fraude aux prestations sociales, utilisé par la Caisse nationale des allocations familiales, cible plus fréquemment les bénéficiaires percevant les prestations sociales les plus précaires, parce qu'au titre des "facteurs de risque" susceptibles de générer un signalement, figuraient l'absence ou l'irrégularité d'emploi, et l'absence ou la faiblesse de ressources. Le département de la Seine-Saint-Denis a saisi à nouveau le Défenseur des droits de cette question en décembre 2023, ce qui montre que le sujet est loin d'être épuisé.
La discrimination peut donc être générée par le choix des données et par le paramétrage de l'algorithme. Elle peut également être le fait de l'IA elle-même. Il ne faut pas oublier que le fonctionnement d'une IA de machine learning n'est pas explicable, même par les développeurs qui l'ont programmée. Lors de la phase d'apprentissage, c'est l'IA qui propose des résultats à partir de corrélations statistiques issues des milliards de données qui l'ont entraînée. Par exemple si, pour détecter le maraudage, l'IA détermine que statistiquement, les personnes qui sont statiques dans l'espace public sont des personnes de couleur, l'IA va opérer une corrélation "maraudage-personne de couleur". Cela va conduire mécaniquement à surveiller davantage, en conditions réelles, ces personnes, ce qui pose naturellement des problèmes aigus de discriminations.
À ces risques pour les libertés fondamentales s'ajoutent ceux liés à l'environnement numérique. Avec la numérisation croissante des services publics, leur surface d'attaque numérique, que l'on peut définir comme l'ensemble des éléments physiques et numériques qui pourraient être compromis pour faciliter une cyberattaque, s'est naturellement étendue. Ainsi, en septembre 2022, après plus d'un mois d'attaque informatique contre un établissement hospitalier, un groupe de hackers a diffusé des données médico-administratives des patients et personnels, l'hôpital ayant refusé de payer la rançon demandée. À la faveur de la pandémie, les attaques d'établissements de santé ont d'ailleurs doublé entre 2020 et 2021.
Notons, pour finir, que le coût énergétique de l'exploitation de l'IA, en forte hausse avec la diffusion massive de ses applications, ne saurait être sous-estimé dans le contexte de réchauffement climatique que nous connaissons.
4 L'adoption d'un cadre juridique
Les risques de l'IA n'ont pas échappé aux législateurs qui commencent à adopter des réglementations pour tenter d'encadrer son utilisation, au niveau national et européen.
D'abord, le RGPD et la loi informatique et libertés encadrent l'IA en tant que traitement automatisé de données à caractère personnel. Ces textes posent des obligations assez contraignantes pour les responsables de traitements, ainsi que certaines interdictions. Par exemple, selon l'article 22 du RGPD, "la personne concernée a le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l'affectant de manière significative de façon similaire". Cela signifie qu'en principe, l'administration ne peut imposer à une personne de faire l'objet d'une décision administrative entièrement automatisée. Mais le principe est assorti d'importantes exceptions, offrant aux États membres une large marge de manœuvre. L'interdiction ne s'applique pas, notamment, lorsque la décision "est autorisée par le droit de l'Union ou le droit de l'État membre auquel le responsable du traitement est soumis et qui prévoit également des mesures appropriées pour la sauvegarde des droits et libertés et des intérêts légitimes de la personne concernée". Ainsi, dès lors que le système d'IA est autorisé par une loi, ou même un règlement et que des garanties pour le respect des libertés sont assurées (ce que le juge pourra contrôler), la décision administrative peut effectivement être exclusivement fondée sur l'algorithme.
Les textes restent très permissifs en ce qui concerne les applications administratives : la loi informatique et libertés révisée prévoit ainsi la possibilité de prendre des décisions administratives individuelles fondées sur des algorithmes, et même celle de prendre des décisions entièrement automatisées si des données sensibles ne sont pas en jeu et si l'administration est capable d'expliquer le fonctionnement de l'algorithme mobilisé.
Ensuite, la loi pour une République numérique de 2016 impose des exigences particulières de transparence concernant l'utilisation des algorithmes par les administrations. Elle pose en effet le principe que ces derniers doivent être considérés comme des documents administratifs (article L. 300-2 du code des relations entre le public et l'administration) ce qui implique que les règles définissant le traitement ainsi que les principales caractéristiques de sa mise en œuvre puissent être communiquées à toute personne en faisant la demande et publiées en ligne si l'algorithme utilisé fonde une décision individuelle.
L'approche par les risques, retenue par le règlement européen sur l'IA qui vient d'être adopté (accord, décembre 2023) et qui entrera en vigueur en 2026, s'inscrit dans la même logique de soumettre certains usages de l'IA à des exigences fortes en matière de transparence, en particulier. Le règlement distingue en effet les IA selon les risques qu'elles présentent pour la santé, la sécurité, la démocratie, les libertés fondamentales et l'État de droit.
Certains usages sont purement et simplement interdits : c'est le cas des systèmes de notation sociale, de certains systèmes de reconnaissance des émotions dans le domaine du travail et de l'éducation, des systèmes capables de manipuler les comportements humains ou d'exploiter certaines vulnérabilités ou encore des outils dits de "justice prédictive" visant à profiler les personnes pour évaluer le risque qu'elles commettent des infractions pénales. C'est également le cas des systèmes d'IA d'identification biométrique à distance en temps réel (VSA) dans les espaces publics à des fins répressives. L'interdiction est cependant assortie d'une exception notable, qui permet aux autorités d'utiliser ce type d'IA "dans la mesure où cette utilisation est strictement nécessaire". La recherche de victimes, la prévention d'une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique des personnes ou la prévention d'attaques terroristes, mais aussi la recherche d'auteurs d'infractions graves, pourront, par exemple, justifier le recours à la reconnaissance faciale.
Dans la majorité des cas, les systèmes d'IA utilisés par les pouvoirs publics seront autorisés, mais appartiendront à la catégorie des IA à haut risque justifiant l'application de règles spécifiques destinées à en prévenir les dangers. Des mesures d'ordre technique et procédural devront être adoptées pour assurer la traçabilité de l'utilisation de l'IA (système de gestion des risques, gouvernance des données, documentation technique, mesures d'enregistrement de l'activité de l'IA), la robustesse des dispositifs en matière de cybersécurité, la transparence vis-à-vis des utilisateurs et le contrôle humain. L'idée générale est d'ailleurs de "garder la main" pour éviter toute déshumanisation, c'est-à-dire d'être capable d'interpréter les résultats proposés par l'IA, de tester les SIA régulièrement, de les modifier au besoin, de prendre de la distance par rapport aux solutions proposées voire, de renoncer à leur utilisation. L'accès aux informations relatives à l'identité du fournisseur et aux caractéristiques et performances du système permettra également aux utilisateurs – en l'occurrence aux autorités administratives – d'imputer la responsabilité des dysfonctionnements.
Ainsi, les systèmes d'IA destinés à affecter les étudiants dans les établissements d'enseignement, à évaluer l'éligibilité et le montant des prestations sociales ou encore, à identifier les comportements anormaux dans l'espace public, seront soumis à ces règles de transparence et de contrôle renforcés. Ces systèmes devront, de surcroît, être enregistrés dans une base de données de l'Union européenne après une évaluation de leur conformité à ces exigences. Les citoyens pourront donc enfin avoir accès à un inventaire des systèmes d'IA utilisés par les autorités publiques.
La prise de conscience de l'importance d'encadrer l'utilisation de l'IA dépasse aujourd'hui le cadre de l'Union européenne. Les États-Unis ont adopté un Executive Order (E.O. 14110) à ce sujet, tandis qu'une convention cadre sur l'IA est en préparation au sein du Conseil de l'Europe, pour garantir que les usages de l'IA soient pleinement compatibles avec les droits de l'homme, la démocratie et l'État de droit. Dans ce cadre, la révision du manuel "L'Administration et vous" pour intégrer l'IA aux principes directeurs d'une "bonne administration", est le signe que la spécificité de l'utilisation de l'IA par les pouvoirs publics est enfin effectivement prise en considération.