En 2018, l'algorithme COMPAS, utilisé dans des tribunaux américains, attribuait plus souvent aux prévenus noirs un risque de récidive élevé qu'à des prévenus blancs à profil comparable, un écart rendu public par l'enquête de ProPublica. Ce cas est devenu un repère, parce qu'il montre qu'un calcul automatisé peut produire des effets inéquitables tout en conservant une apparence de neutralité.

Qu'est-ce que le biais algorithmique en IA

Les algorithmes n'apprennent jamais dans le vide. Leur entraînement repose sur des données produites dans des sociétés traversées par des inégalités, des stéréotypes et des préjugés. Le biais algorithmique apparaît quand ces traces deviennent des règles de calcul et orientent des décisions sous couvert d'objectivité.

Définition et nature du biais algorithmique

Un biais algorithmique existe lorsqu'un modèle produit des résultats injustes ou inéquitables parce que ses données, ses réglages ou ses choix de conception incorporent déjà des préjugés humains. Le glossaire de l'IA dans l'État français parle explicitement d'un traitement inéquitable ou d'une discrimination algorithmique introduite par un système d'intelligence artificielle.

Le problème peut naître à plusieurs endroits à la fois : pendant la collecte des données, pendant l'entraînement, dans l'architecture du modèle ou au moment où une probabilité est transformée en décision concrète. C'est ce qui rend l'analyse difficile, y compris pour des équipes expérimentées.

• Biais dans les données d'entraînement : certains groupes sont absents, mal représentés ou réduits à des catégories qui prolongent des inégalités anciennes.
• Biais dans la conception des algorithmes : un choix de variable, de seuil ou d'objectif peut déplacer le problème, même avec des données abondantes.
• Biais dans les prédictions : le modèle peut générer des résultats qui désavantagent toujours les mêmes profils.
• Biais des concepteurs : l'étiquetage, les arbitrages techniques et les hypothèses de départ peuvent encoder des préjugés, parfois sans que leurs auteurs le voient clairement.

L'ouvrage d'Emmanuelle Darles, disponible aux Éditions marco pietteur, suit précisément cette mécanique et montre comment elle pèse sur des choix individuels et collectifs.

Discrimination algorithmique, de quoi parle-t-on vraiment

La discrimination algorithmique est réelle : inscrite dans des systèmes déployés à grande échelle, elle peut reproduire des écarts existants et les durcir sur des milliers, parfois des millions de cas. Là où un tri humain touche un nombre limité de personnes, des algorithmes déployés à grande échelle amplifient la portée des décisions.

Le plus troublant tient à l'apparence de neutralité. Une décision issue d'un calcul semble technique, donc légitime. Pourtant, elle peut reposer sur un biais, sur des catégories bancales ou sur des corrélations qui reconduisent des stéréotypes sociaux sans les nommer. Les recours existent, mais ils restent souvent opaques pour les personnes qui subissent cette discrimination.

L'équité se mesure aux effets produits plutôt qu'aux intentions déclarées. Ce déplacement est net : des décisions autrefois discutables mais visibles deviennent des procédures automatisées, plus rapides, plus massives et souvent plus difficiles à contester.

Le mythe de la neutralité des algorithmes

Le mathwashing aide à comprendre pourquoi ces systèmes inspirent si facilement confiance. Une formule, un score ou un classement donnent une impression de rigueur qui masque les choix humains à l'origine du modèle. L'apparence mathématique protège mal contre le biais algorithmique, et elle ne garantit ni équité ni justice dans les décisions.

Tous les écarts observés ne relèvent pas automatiquement d'un biais algorithmique, et toute correction n'efface pas d'un coup les inégalités de départ. La littérature sur ce point reste parfois contradictoire, surtout quand plusieurs causes se superposent. Mais présenter l'intelligence artificielle comme neutre par nature revient à effacer le rôle des données, des objectifs d'entraînement, des catégories retenues et des seuils choisis.

Une intelligence artificielle peut consolider des stéréotypes, produire des résultats biaisés, alimenter la discrimination algorithmique et rendre certains publics plus vulnérables à des décisions qu'ils ne comprennent pas. Pour prolonger cette réflexion, les ressources des Éditions marco pietteur consacrées aux dangers de l'intelligence artificielle ouvrent une suite logique sur les rapports entre pouvoir technique, préjugés, équité et résultats injustes.

Exemples concrets de biais dans les algorithmes

Les données ne mentent pas toutes seules. En 2018, Reuters révélait qu'Amazon avait abandonné un outil de recrutement entraîné sur dix années de CV majoritairement masculins : le modèle avait appris à pénaliser les candidatures féminines. Voilà un exemple de biais algorithmique révélateur, loin de l'accident isolé ou du simple détail technique.

Les biais algorithmiques produisent des effets mesurables dans la vie courante : entretien refusé, crédit bloqué, diagnostic moins fiable, surveillance accrue. Il apparaît quand l'entraînement repose sur des données incomplètes, des préjugés historiques ou un objectif mal défini.

Biais dans la reconnaissance faciale et le recrutement

La reconnaissance faciale reste l'un des cas les plus parlants. Plusieurs travaux, dont ceux de Joy Buolamwini et Timnit Gebru en 2018, ont montré que certains systèmes commerciaux identifiaient nettement moins bien les femmes à peau foncée que les hommes à peau claire. Le biais algorithmique vient d'un système entraîné sur des jeux de données déséquilibrés, puis déployé comme s'il était neutre, non d'une machine qui « déteste » un groupe.

La chaîne complète détermine pourtant le résultat. Si les données de départ sous-représentent certaines populations, le modèle apprend une vision tronquée du réel. Ensuite, les algorithmes appliquent cette vision à grande échelle, avec une apparence de rigueur qui masque le biais.

Le recrutement suit souvent la même logique. Nourri par des historiques d'embauche déjà marqués par des préjugés, un outil reconduit ces préjugés à l'identique : il les automatise. Cette automatisation donne aux exclusions anciennes une forme plus propre, donc parfois plus difficile à contester.

Santé, finance et justice prédictive, des biais aux conséquences graves

En santé, la question n'est pas théorique. Un système entraîné surtout sur des profils caucasiens peut produire des résultats moins précis pour d'autres patients, avec à la clé des sous-diagnostics ou des prises en charge moins adaptées. Dans les faits, l'erreur technique devient vite un problème d'équité.

La finance montre un autre mécanisme. Des outils d'évaluation du crédit utilisent des variables qui paraissent neutres, mais qui reconduisent parfois des inégalités sociales ou ethniques déjà présentes dans les données. Le biais algorithmique se cache souvent dans le choix des critères, plus que dans une exposition en pleine lumière : le code postal ou le niveau d'études paraissent neutres, mais corrèlent avec des appartenances sociales ou ethniques que le modèle n'est pas conçu pour pondérer.

La justice prédictive pousse cette logique plus loin encore. Quand des systèmes s'appuient sur des historiques d'arrestations, ils risquent de renforcer des ciblages policiers déjà concentrés sur certains quartiers ou certaines communautés. On obtient alors une boucle bien connue : plus un territoire est surveillé, plus il produit de données, plus il semble justifier la surveillance.

Le biais peut émerger à chaque étape, bien plus qu'un simple bug isolé : dans les données retenues, dans les variables choisies, dans le seuil de décision, puis dans l'usage institutionnel qui transforme une probabilité en sanction, en refus ou en contrôle accru.

Causes et origines des biais algorithmiques

Ils apparaissent bien plus tôt, dans les données, dans le modèle, dans les choix d'entraînement et dans les critères retenus pour automatiser certaines décisions à grande échelle.

Les données d'entraînement, première source de biais de sélection

Tout commence dans les données d'entraînement. Un modèle entraîné sur un jeu incomplet ou déséquilibré n'apprend pas le réel, il apprend sa version tronquée. C'est la forme la plus classique du biais de sélection, et aussi l'une des plus lourdes de conséquences quand les algorithmes servent à orienter des décisions de santé, d'emploi, de crédit ou de justice.

Le biais de sélection survient quand certains groupes sont absents ou sous-représentés, rendant le modèle moins fiable pour eux. Les biais historiques prolongent des inégalités anciennes en les présentant comme des régularités normales. Le biais d'exclusion efface des informations importantes lors du nettoyage ou du prétraitement, parfois sans traçabilité suffisante. Le biais d'échantillonnage, lui, introduit une distorsion avant même le début de l'entraînement, dans la méthode de collecte elle-même.

Le biais de confirmation suit une logique différente, mais tout aussi préoccupante. Lorsqu'une équipe ajuste un système pour valider ses hypothèses initiales, les signaux contraires perdent du poids. Le modèle cesse alors d'éclairer le réel. Il confirme les attentes de ses concepteurs.

C'est ici que le biais de machine learning devient structurel. Plus les algorithmes sont complexes, plus il devient difficile de voir comment certaines causes produisent des écarts répétés entre groupes. Ce manque de lisibilité retarde la correction des écarts entre groupes, parfois jusqu'après le déploiement à grande échelle.

Préjugés humains, biais cognitifs et choix de conception

Les choix de variables, les règles d'annotation, les objectifs de performance et les arbitrages techniques traduisent des préférences, parfois des préjugés, souvent des angles morts. Un système de machine learning peut donc paraître neutre tout en reproduisant des hiérarchies déjà présentes dans son environnement.

Le biais d'automatisation renforce encore ce phénomène. Quand une recommandation calculée semble précise, beaucoup d'utilisateurs lui accordent plus de crédit qu'à leur propre jugement, même en présence d'indices contraires. Ce réflexe touche aussi les équipes qui conçoivent l'outil : plus un modèle paraît sophistiqué, plus il devient tentant de lui déléguer des décisions sans examen suffisant.

Les contraintes économiques pèsent lourd. Délais courts, budgets serrés, vérifications repoussées : ce cadre favorise des raccourcis dans la sélection des données et dans l'évaluation des biais. Le biais algorithmique résulte donc aussi d'un contexte de production.

Algorithmes, dépendance et éthique des décisions automatisées

À force de s'appuyer sur des outils automatisés, certains professionnels perdent une part de leur autonomie de jugement. Ce déplacement est documenté dans des secteurs où les décisions ont un effet direct sur des vies : santé, finance, ressources humaines. Quand l'outil se trompe, l'erreur peut être suivie au lieu d'être discutée.

Cette dépendance donne un poids considérable à ceux qui conçoivent ou possèdent les algorithmes. Ils influencent les critères de tri, les seuils de risque et l'organisation concrète des décisions, souvent avec une transparence limitée. La question devient alors politique autant que technique : quelles causes accepte-t-on de rendre invisibles, quels biais juge-t-on tolérables, et au prix de quelles inégalités ? Cette question de fond rejoint plus largement les enjeux de l'éthique et de la responsabilité de l'intelligence artificielle, où se posent les mêmes exigences de transparence et de contrôle humain.

Elle commence par l'examen des données, du modèle, des conditions d'entraînement et des biais historiques incorporés dans les systèmes.

Impacts des biais sur nos sociétés et nos libertés

Les biais dans les algorithmes orientent des décisions concrètes, déplacent le risque vers les plus exposés et aggravent des inégalités déjà présentes, bien au-delà du simple défaut technique, surtout quand les personnes concernées n'ont ni les moyens ni les recours pour contester ce qui a été décidé.

Les inégalités sociales se creusent quand les données héritent du passé

En France, le débat a pris un tour très concret avec la vidéosurveillance algorithmique testée à l'occasion des Jeux olympiques de Paris 2024. Cette expérimentation a remis au premier plan un point précis : les libertés publiques se trouvent directement menacées lorsque des algorithmes s'appuient sur des données imparfaites pour trier, signaler ou exclure.

Le problème commence souvent bien avant l'usage final. Il se loge dans l'entraînement, dans le choix des catégories, dans les variables retenues, dans le biais historique que l'on recopie sans toujours le nommer. Un biais algorithmique peut alors paraître neutre sur le papier, tout en pénalisant toujours les mêmes profils.

• Accès à l'emploi : des algorithmes de recrutement écartent plus facilement les parcours atypiques ou les candidats issus de groupes sous-représentés, parce que les données de référence favorisent les profils déjà valorisés par le passé.
• Accès au crédit : certains modèles intègrent des indices sociaux ou territoriaux qui augmentent le risque de refus pour des populations précaires, sans explication intelligible sur les décisions prises.
• Accès aux soins : quand un outil diagnostique est moins fiable pour certains groupes, l'inégalité n'est plus théorique. Elle se traduit par des retards, des erreurs et une qualité de prise en charge moins bonne.
• Participation civique : à force d'être confrontées à des systèmes opaques, certaines populations se détachent des institutions qui les évaluent, les classent ou les surveillent.

Ce type de mécanisme ne produit pas une série d'accidents isolés. Il fabrique de l'inégalité durable. L'équité ne se mesure donc pas seulement à la performance affichée d'un système, mais à sa capacité à ne pas reconduire, sous couvert d'objectivité, des hiérarchies déjà inscrites dans les données.

La vidéosurveillance algorithmique déplace le contrôle dans l'espace public

La vidéosurveillance algorithmique et la reconnaissance faciale étendent la capacité de surveiller sans contact direct, à grande échelle et souvent sans visibilité réelle pour les personnes observées. Quand ces systèmes comportent un biais, ce ne sont pas seulement des scores qui dévient, ce sont des contrôles, des signalements et parfois des interventions qui se concentrent sur certains groupes sociaux ou ethniques.

Le cas de la reconnaissance faciale est particulièrement documenté. En 2018, l'étude Gender Shades de Joy Buolamwini et Timnit Gebru a montré des écarts d'erreur nettement plus élevés pour les femmes à peau foncée que pour les hommes à peau claire dans des systèmes de classification du genre commercialisés, avec des conséquences concrètes : identification erronée, soupçon injustifié, restriction d'accès ou interpellation sans motif solide.

La juriste Antoinette Rouvroy décrit ici une forme de gouvernementalité algorithmique discrète : les systèmes orientent les comportements sans se présenter comme des instruments de contrainte. La liberté paraît intacte. Le cadre, lui, se resserre. Cette logique prépare aussi le terrain de la question juridique suivante.

Une autre difficulté reste moins visible, mais tout aussi décisive : ces dispositifs dépendent d'une collecte massive de données personnelles, parfois sans consentement réellement éclairé, et d'infrastructures juridiques encore mal adaptées lorsque l'hébergement ou le traitement quittent l'Union européenne. Ces mécanismes de contrôle rejoignent des risques plus larges, déjà documentés dans notre analyse des dangers de l'intelligence artificielle pour la société et le contrôle qu'elle exerce sur les libertés individuelles.

Les algorithmes de recommandation fragilisent le socle commun du débat

Les contenus synthétiques diffusés à grande vitesse, y compris les deepfakes, brouillent la frontière entre document, imitation et manipulation. Lorsqu'ils sont relayés par des algorithmes de recommandation conçus pour maximiser l'engagement, ils alimentent des univers informationnels séparés où chacun voit surtout ce qui confirme déjà ses convictions.

Dans les faits, la fracture démocratique ne vient pas seulement du désaccord. Elle apparaît quand il n'existe plus de base commune pour discuter des faits. Sur ce point, les données disponibles appellent encore de la prudence : les effets précis varient selon les plateformes, les publics et les contextes d'usage. Mais le signal est suffisamment net pour écarter l'idée d'un simple inconfort numérique.

Entre biais, opacité et concentration du pouvoir de tri, les algorithmes modifient déjà la manière dont nos sociétés distribuent la confiance, le doute et le droit d'être traité équitablement.

Solutions et cadres pour réduire les biais algorithmiques

La prévention des biais demande un travail continu, depuis la définition des objectifs jusqu'au déploiement, puis au suivi réel des systèmes : qualité des données, choix du modèle, conditions d'entraînement, audit, gouvernance. Les approches techniques comptent, mais elles ne suffisent pas si l'organisation ne cherche pas, dès le départ, à éviter les biais.

Diversifier les données et auditer les algorithmes

Le biais algorithmique s'installe souvent très tôt. Quand une IA générative est entraînée sur des corpus massifs tirés d'internet, elle apprend aussi les préjugés culturels, sociaux ou de genre contenus dans ces sources.

La première réponse consiste à travailler la base. Des données plus représentatives réduisent les déséquilibres liés à la sous-représentation, mais cela ne garantit pas, à lui seul, l'équité des résultats. Un jeu de données plus large peut encore transporter des biais historiques ou des catégories mal construites.

• Enrichissement des jeux de données : intégrer des exemples issus de groupes réellement variés pour réduire les distorsions dès l'amont.
• Audit régulier : tester les algorithmes après le déploiement, car un système peut dériver avec le temps et produire des résultats injustes dans des contextes nouveaux.
• Diversité des équipes : des profils différents repèrent plus vite les angles morts, notamment ceux liés aux préjugés implicites.
• Transparence et explicabilité : rendre le raisonnement du modèle plus lisible aide à corriger les biais au lieu de simplement constater leurs effets.

Le principe de l'humain dans la boucle ajoute un contrôle avant l'application d'une décision automatisée. Il ne supprime pas les biais, mais il peut réduire les plus graves lorsque les conséquences pour une personne sont importantes.

L'IA générative impose un changement d'échelle

L'IA générative complique la situation, parce qu'elle réutilise des masses de données hétérogènes, parfois personnelles, souvent collectées sans consentement explicite. Quand ces corpus sont hébergés hors de l'Union européenne, le problème touche aussi la responsabilité juridique, la transparence et l'éthique, bien au-delà de la seule technique.

Corriger les biais dans ces systèmes suppose donc plus qu'un filtre en sortie. Il faut revoir les corpus d'entraînement, les objectifs d'optimisation, les méthodes de validation et les seuils d'acceptation du risque. La littérature avance vite sur ce terrain, mais certains résultats restent fragiles ou difficiles à reproduire à grande échelle. Cette incertitude mérite d'être dite.

Réglementation européenne et gouvernance de l'IA

L'AI Act européen, publié en juillet 2024, pose un cadre clair pour la prévention des biais dans les systèmes à haut risque. Il introduit des obligations de transparence, d'audit et de contrôle, et prévoit des restrictions explicites sur la reconnaissance faciale dans l'espace public ainsi que sur la notation sociale.

Mais un règlement ne corrige pas, à lui seul, les préjugés inscrits dans les données, les choix de conception ou les routines industrielles. La gouvernance réelle fait la différence : documenter les arbitrages, tester les effets sur des groupes identifiés, corriger les biais dès leur apparition, et construire une culture d'équité qui dépasse la conformité minimale.

L'AI Act fixe les obligations ; c'est la gouvernance interne, documentée et testée sur des groupes réels, qui détermine si ces obligations produisent une équité mesurable ou restent du papier.