Comprendre les enjeux liés à l'intelligence artificielle et aux données personnelles est devenu indispensable pour toute organisation qui déploie ou utilise des systèmes automatisés. Les obligations du RGPD, les risques pour la confidentialité, la surveillance algorithmique, les biais et les exigences de cybersécurité forment désormais un même problème.

Les enjeux de l'IA et des données personnelles

Tout traitement de données personnelles réalisé dans le cadre d'un projet d'intelligence artificielle relève du RGPD, qu'il s'agisse du développement, de l'entraînement, des tests, du déploiement ou de la maintenance.

Comprendre la donnée personnelle en IA

La relation entre l'IA et la confidentialité des données repose sur une définition large : toute information concernant une personne identifiée ou identifiable constitue une donnée personnelle au sens du RGPD. Un prénom, une adresse IP, un identifiant de session ou un historique de navigation peuvent suffire. Une information saisie dans le prompt d'une IA publique entre également dans ce périmètre, ce que beaucoup d'utilisateurs ignorent encore.

• Données sensibles : les informations relatives à la santé, à l'emploi, à l'éducation, aux finances, à la justice pénale et aux enfants exigent une protection renforcée et un usage strictement encadré, au-delà des obligations de base.
• Prompts et saisies : les données copiées dans une interface d'IA publique sortent du périmètre de sécurité de l'organisation et peuvent, selon les conditions d'utilisation, servir à entraîner des modèles tiers.
• Minimisation : ce principe impose de collecter uniquement les informations nécessaires à une finalité définie et documentée, sans conserver par défaut tout ce qui est techniquement accessible.
• Limitation de conservation : des durées précises doivent être fixées, puis les données devenues inutiles doivent être supprimées. Cette suppression est une obligation réglementaire.

Les principes de licéité, de loyauté, de transparence et de proportionnalité doivent encadrer chaque traitement associé à une IA. Un modèle entraîné à partir de données collectées sans base légale valide expose l'organisation à des sanctions importantes. La page officielle du gouvernement français sur la protection des données personnelles face à l'IA recense les cybermenaces actuelles et les recommandations de sécurité applicables.

Confidentialité, collecte et cybermenaces

L'intelligence artificielle collecte des données à grande échelle et crée des cibles particulièrement attractives pour les cybercriminels. Les grands ensembles nécessaires à l'entraînement des systèmes concentrent des informations parfois très sensibles. La cybersécurité est intégrée dès la conception des projets d'IA : elle fait partie de l'architecture, pas d'une surcouche finale.

• Phishing personnalisé : l'IA peut analyser des profils présents sur les réseaux sociaux et des activités en ligne afin de générer des e-mails de hameçonnage très ciblés, ce qui augmente le taux de réussite des attaques.
• Malwares adaptatifs : des logiciels malveillants pilotés par IA peuvent s'ajuster aux mesures de sécurité traditionnelles et les contourner en temps réel, rendant une défense exclusivement statique insuffisante.
• Deepfakes : l'IA générative peut produire des images, des sons et des vidéos réalistes, mais faux, utilisés pour le chantage ou la désinformation visant des individus identifiables.

Les attaques persistantes avancées, ou APT, pilotées par IA permettent une collecte silencieuse et prolongée de données sensibles. Elles peuvent rester inaperçues pendant des semaines. Cette même discipline réduit aussi la surface d'attaque exposée aux pirates.

Le RGPD encadre-t-il les données d'IA

Oui. Le RGPD s'applique à toutes les phases d'un projet d'IA dès lors que des données à caractère personnel sont traitées. Utiliser des données personnelles pour entraîner un modèle constitue un traitement au sens du règlement. Chaque acteur de la chaîne, du fournisseur au sous-traitant, engage sa responsabilité juridique selon son rôle réel.

La base légale et les principes du RGPD

Sans base légale valide, un traitement de données personnelles associé à un système d'intelligence artificielle n'est pas licite. Le consentement, l'exécution d'un contrat, une obligation légale ou l'intérêt légitime peuvent servir de fondement, à condition que le choix soit documenté et précisément justifié.

• Intérêt légitime : souvent retenu pour développer des systèmes d'IA, il impose une mise en balance documentée entre les bénéfices recherchés et les droits des personnes concernées. Les garanties doivent correspondre aux risques identifiés.
• Exactitude : les données doivent être correctes et tenues à jour. Les hallucinations d'une IA peuvent attribuer une information erronée à une personne réelle et contrevenir au principe d'exactitude prévu par l'article 5.1.d.
• Accountability : la provenance des données, les finalités, les paramètres du modèle, les seuils de décision et les mesures de protection doivent être consignés. Cette responsabilité peut être vérifiée lors d'un contrôle.
• Privacy by Design : la protection des données s'intègre dès la conception du système, au lieu d'être ajoutée après coup pour répondre à un audit.

La minimisation exige de définir les informations strictement nécessaires. Un modèle n'a pas besoin de toutes les données disponibles pour fonctionner correctement, même si des informations supplémentaires sont techniquement accessibles et peuvent améliorer légèrement ses résultats. L'enjeu porte donc sur le périmètre de collecte, pas seulement sur la capacité de stockage.

Les droits des personnes et la transparence

Dans l'éducation nationale comme dans tout service public, traiter des informations concernant des mineurs appelle une vigilance renforcée. La nécessité du traitement, l'information des familles et la sécurité des données doivent être établies clairement, car les données des enfants bénéficient d'une protection spécifique sous le RGPD.

Les droits d'accès, de rectification, d'effacement, de limitation et d'opposition restent applicables aux données traitées par une IA. Une personne peut demander quelles données sont utilisées à son sujet, contester une décision automatisée produisant un effet significatif et obtenir une explication de la logique suivie. La complexité technique ne suspend pas ces droits.

Les modèles en « boîte noire » rendent cette exigence plus difficile à satisfaire. Leur fonctionnement doit néanmoins rester intelligible lorsque la décision automatisée affecte significativement une personne identifiable. L'explicabilité relève alors à la fois de la conformité juridique et de la protection des données personnelles.

Le rôle de la CNIL pour l'IA

En 2023, la CNIL a lancé un plan d'action consacré à une intelligence artificielle et protection des données compatibles. Elle accompagne les entreprises dans l'application du RGPD aux systèmes d'IA et publie des fiches pratiques pour qualifier les acteurs : responsable de traitement, responsable conjoint ou sous-traitant. Cette qualification détermine les obligations de chacun dans la chaîne de développement et de déploiement.

La conformité n'est pas un état binaire. La CNIL insiste sur la documentation des arbitrages, l'évaluation des effets sur des groupes identifiés et l'intégration de la protection des données dans les équipes produit. Protéger les personnes concernées suppose un suivi continu, depuis la conception jusqu'à l'usage du système.

Un projet d'IA responsable repose donc sur une base légale documentée, une collecte limitée et une information compréhensible. Le droit d'accès, le consentement lorsqu'il est retenu et les mesures de sécurité doivent être pensés avec le traitement de données, jamais après lui.

Produits recommandés

-5%

LIBERTÉS SOUS SURVEILLANCE

19,00 € 20,00 €

Surveillance algorithmique et données d’IA

L’AI Act européen a été publié au Journal officiel de l’Union européenne le 12 juillet 2024 et son application a commencé progressivement le 1er août 2024. Il ne remplace pas le RGPD : il le complète en fixant des exigences propres aux systèmes à haut risque. Pour déterminer ce qui est autorisé, encadré ou interdit lorsqu’une intelligence artificielle traite une donnée à des fins de surveillance, il faut donc lire ces deux textes ensemble.

Ce que l’AI Act interdit

L’approche européenne repose sur le niveau de risque associé à chaque système. Les dispositifs à haut risque doivent notamment assurer une gouvernance des données, contrôler la qualité des jeux de données d’entraînement, de validation et de test, puis documenter leurs choix. La conformité engage la responsabilité des acteurs qui conçoivent, fournissent ou exploitent ces outils, au-delà du simple dépôt d’un dossier.

• Scraping facial non ciblé : l’extraction indifférenciée d’images faciales sur internet ou à partir de vidéos de surveillance, afin de constituer des bases de reconnaissance faciale, est expressément interdite par l’AI Act.
• Identification biométrique en temps réel : l’identification biométrique à distance dans les espaces publics est strictement encadrée. Les exceptions concernent seulement certains besoins judiciaires définis avec précision par le règlement.
• Notation sociale : les systèmes qui évaluent des individus à partir de leurs comportements ou de leurs caractéristiques personnelles sont interdits dans le cadre du règlement européen.
• Chaîne de conformité : la loi répartit les obligations entre fournisseurs, développeurs, importateurs, distributeurs, fabricants et sous-traitants, selon leur rôle réel dans le cycle de vie du système.

Un règlement ne suffit pourtant pas à effacer les préjugés présents dans une donnée ou dans un choix de conception. La surveillance exige aussi de documenter les arbitrages techniques, de tester les résultats sur des groupes identifiés et de corriger les biais dès leur apparition. Le guide consacré aux biais algorithmiques en IA, publié par les Éditions marco pietteur, approfondit précisément cette question.

Vidéosurveillance et libertés individuelles

En France comme en Europe, la vidéosurveillance algorithmique est soumise à des règles issues du RGPD et de l’AI Act. Un dispositif qui porte atteinte au droit à la vie privée ou aux libertés fondamentales peut engager la responsabilité de son exploitant, même lorsque la technologie paraît performante.

Les erreurs ne touchent pas tous les groupes de la même manière. Publiée en 2018, l’étude Gender Shades de Joy Buolamwini et Timnit Gebru a montré que certains systèmes commerciaux reconnaissaient nettement moins bien les femmes à peau foncée que les hommes à peau claire. Dans une vidéosurveillance publique, ce biais peut concentrer les contrôles et les signalements sur certaines populations et donner à une inégalité ancienne l’apparence d’un résultat objectif.

La collecte de données biométriques soulève aussi la question du consentement éclairé. Les personnes filmées dans un espace public n’ont généralement pas accepté explicitement que leurs données servent à une identification automatisée. Si leur hébergement se fait hors de l’Union européenne, les exigences de sécurité et les risques juridiques deviennent encore plus sensibles.

La surveillance algorithmique ne se juge pas uniquement à la précision affichée par un fournisseur. Toute organisation qui traite une donnée biométrique doit pouvoir expliquer son fondement juridique, ses garanties de sécurité et la manière dont elle protège les personnes concernées.

Biais de l'IA et contrôle social

Un biais algorithmique apparaît lorsqu'un modèle produit des résultats injustes parce que ses données d'entraînement, ses réglages ou sa conception intègrent des préjugés humains. Déployée à grande échelle, cette discrimination peut reproduire des écarts existants et les durcir sur des milliers de cas. L'apparence de neutralité technique rend alors la contestation difficile, même lorsque des individus subissent directement ses effets.

Pourquoi les données créent des biais

Les algorithmes de recommandation conçus pour maximiser l'engagement peuvent manipuler l'opinion publique par l'IA, avec une ampleur souvent sous-estimée. Ils alimentent des univers informationnels séparés : chaque utilisateur voit surtout des contenus qui confirment ses convictions.

Le biais n'est pas toujours un accident de conception. Il résulte souvent de données historiques qui reflètent des inégalités réelles, ensuite présentées par le modèle comme des régularités normales. Une donnée n'est jamais neutre simplement parce qu'elle est chiffrée.

Manipulation et opinion publique

Le lien entre l'intelligence artificielle et le contrôle de la société touche aux fondements du droit démocratique. Les modèles d'IA déployés à grande échelle orientent les comportements sans prendre la forme visible d'une contrainte : la liberté semble intacte, tandis que le cadre informationnel et décisionnel se resserre autour des individus. Leurs choix peuvent alors être façonnés sans consentement explicite.

• Bulles informationnelles : les flux recommandés limitent l'exposition des personnes à des sources contradictoires, ce qui réduit leur capacité à comparer des faits divergents.
• Discrimination au recrutement : un outil entraîné sur des historiques d'embauche déjà discriminants automatise les exclusions et les rend plus difficiles à identifier ou à contester devant une instance juridique.
• Accès inégal au crédit : des variables apparemment neutres, comme le code postal ou le niveau d'études, peuvent reconduire des inégalités sociales ou territoriales présentes dans les données d'entraînement historiques.
• Justice prédictive : des systèmes fondés sur des historiques d'arrestation risquent de renforcer des ciblages policiers déjà concentrés dans certains quartiers, créant une boucle de surveillance accrue et auto-validante.

L'ouvrage documente la manière dont la concentration du pouvoir algorithmique entre les mains de quelques géants façonne les pensées, les choix et les libertés individuelles, bien au-delà de ce que la plupart des utilisateurs imaginent. Cet essai critique sur les dangers de l'intelligence artificielle d'Emmanuelle Darles analyse ces mécanismes en détail.

Auditer l'IA et garder un contrôle humain

Réduire les biais d'un système d'intelligence artificielle exige plusieurs niveaux d'action, et non une simple case à cocher dans un processus de conformité. Un audit réalisé au seul moment du déploiement ne suffit pas : un modèle peut évoluer avec le temps et produire des résultats injustes dans des contextes absents des données initiales.

Une supervision humaine doit accompagner les décisions qui affectent des individus. Elle ne supprime pas tous les risques, mais elle permet de questionner une décision automatisée, d'en rechercher les causes et d'organiser un recours lorsque le résultat paraît incohérent ou discriminatoire.

• Enrichissement des données : intégrer des exemples issus de groupes réellement variés réduit les distorsions dès l'amont, sans garantir à lui seul l'équité des résultats.
• Audit régulier après le déploiement : tester les algorithmes sur de nouvelles populations et dans des contextes différents permet de repérer les dérives avant qu'elles ne deviennent systémiques.
• Diversité des équipes : des profils différents identifient plus rapidement les angles morts liés aux préjugés implicites, notamment ceux qu'une équipe homogène ne perçoit pas.
• Droit de recours : offrir aux personnes concernées un mécanisme de contestation des décisions automatisées constitue une obligation juridique et une garantie démocratique, pas une option réservée aux systèmes les plus sensibles.

La transparence et l'explicabilité des modèles d'IA conditionnent l'efficacité de ces mesures. Corriger un biais suppose de pouvoir retracer le raisonnement du modèle, puis de documenter chaque correction apportée.

Renforcer la protection des données dans les systèmes d'IA ne revient pas à bloquer l'innovation. C'est une condition pour que celle-ci reste compatible avec les droits fondamentaux, le consentement et la liberté des individus. Un système équitable, auditable et contestable demande davantage de travail qu'un système opaque, mais cette exigence est précisément ce que la loi et le cadre européen de conformité cherchent à rendre durable.

Face à cet enjeu, la protection des données doit être pensée dès la conception, avec des règles compréhensibles et un contrôle humain effectif. La performance d'un système d'intelligence artificielle ne suffit pas à établir sa légitimité : sa valeur dépend aussi de la manière dont il traite la vie privée et le droit de chaque personne à comprendre une décision qui la concerne.