Incidents associés
Ouvrez l'application photo sur votre téléphone et recherchez "chien", et toutes les photos que vous avez de chiens apparaîtront. Ce n'était pas une mince affaire. Votre téléphone sait à quoi ressemble un chien.
Cette merveille des temps modernes est le résultat de l'apprentissage automatique, une forme d'intelligence artificielle. Des programmes comme celui-ci passent au peigne fin des millions de données et font des corrélations et des prédictions sur le monde. Leur attrait est immense : les machines peuvent utiliser des données froides et dures pour prendre des décisions qui sont parfois plus précises que celles d'un humain.
Mais l'apprentissage automatique a un côté sombre. S'il n'est pas utilisé correctement, il peut prendre des décisions qui perpétuent les préjugés raciaux qui existent dans la société. Ce n'est pas parce que les ordinateurs sont racistes. C'est parce qu'ils apprennent en regardant le monde tel qu'il est et non tel qu'il devrait être.
Récemment, la représentante nouvellement élue Alexandria Ocasio-Cortez (D-NY) a fait valoir ce point lors d'une discussion lors d'un événement de la Journée Martin Luther King Jr. à New York.
"Les algorithmes sont toujours créés par des êtres humains, et ces algorithmes sont toujours liés à des hypothèses humaines de base", a-t-elle déclaré à l'écrivain Ta-Nehisi Coates lors de l'événement annuel MLK Now. «Ce ne sont que des hypothèses automatisées. Et si vous ne corrigez pas le biais, vous ne faites qu'automatiser le biais.
Le lendemain, le site Web conservateur Daily Wire a tourné en dérision les commentaires.
Mais Ocasio-Cortez a raison, et cela vaut la peine de réfléchir à la raison.
Si nous ne faisons pas attention, l'IA perpétuera les préjugés dans notre monde. Les ordinateurs apprennent à être racistes, sexistes et à avoir des préjugés de la même manière qu'un enfant, comme me l'a dit l'informaticienne Aylin Caliskan, maintenant à l'Université George Washington, dans une interview en 2017. Les ordinateurs apprennent de leurs créateurs — nous.
"Beaucoup de gens pensent que les machines ne sont pas biaisées", a déclaré Caliskan, qui était à Princeton à l'époque. « Mais les machines sont formées sur des données humaines. Et les humains sont biaisés.
Nous pensons que l'intelligence artificielle est impartiale. Souvent, ce n'est pas le cas.
Presque toutes les nouvelles technologies grand public utilisent l'apprentissage automatique d'une manière ou d'une autre. Prenez Google Traduction : Personne n'a demandé au logiciel d'apprendre à traduire le grec en français puis en anglais. Il a passé au peigne fin d'innombrables rames de texte et a appris par lui-même. Dans d'autres cas, les programmes d'apprentissage automatique prédisent quels CV sont susceptibles de donner des candidats à un emploi ou comment un patient réagira à un médicament particulier.
L'apprentissage automatique est un programme qui passe au crible des milliards de points de données pour résoudre des problèmes (comme "pouvez-vous identifier l'animal sur la photo"), mais il ne précise pas toujours comment il a résolu le problème. Et il est de plus en plus clair que ces programmes peuvent développer des préjugés et des stéréotypes sans que nous nous en rendions compte.
En 2016, ProPublica a publié une enquête sur un programme d'apprentissage automatique que les tribunaux utilisent pour prédire qui est susceptible de commettre un autre crime après avoir été condamné. Les journalistes ont découvert que le logiciel évaluait les Noirs à un risque plus élevé que les Blancs.
"Des scores comme celui-ci - connus sous le nom d'évaluations des risques - sont de plus en plus courants dans les salles d'audience à travers le pays", a expliqué ProPublica. "Ils sont utilisés pour éclairer les décisions sur qui peut être libéré à chaque étape du système de justice pénale, de l'attribution de montants de caution… à des décisions encore plus fondamentales concernant la liberté des accusés."
Le programme a appris qui est le plus susceptible de se retrouver en prison à partir de données d'incarcération réelles. Et historiquement, le système de justice pénale du monde réel a été injuste envers les Noirs américains.
Cette histoire révèle une ironie profonde sur l'apprentissage automatique. L'attrait de ces systèmes est qu'ils peuvent prendre des décisions impartiales, sans parti pris humain. "Si les ordinateurs pouvaient prédire avec précision quels accusés étaient susceptibles de commettre de nouveaux crimes, le système de justice pénale pourrait être plus juste et plus sélectif quant aux personnes incarcérées et pour combien de temps", a écrit ProPublica.
Mais ce qui s'est passé, c'est que les programmes d'apprentissage automatique ont perpétué nos préjugés à grande échelle. Ainsi, au lieu d'un juge ayant des préjugés contre les Afro-Américains, c'était un robot.
D'autres cas sont plus ambigus. En Chine, des chercheurs ont associé la technologie de reconnaissance faciale à l'apprentissage automatique pour regarder les photos des permis de conduire et prédire qui est un criminel. Il était censé avoir une précision de 89,5 %.
De nombreux experts étaient extrêmement sceptiques quant aux résultats. Sur quelles caractéristiques faciales ce programme a-t-il été détecté pour l'analyse ? Est-ce que les caractéristiques physiques de certains groupes ethniques sont discriminées dans le système judiciaire ? Est-ce qu'il détecte les signes d'une éducation socio-économique défavorisée qui peut laisser des impressions durables sur nos visages ?
Cela peut être difficile à savoir. (Plus effrayant : il y a une startup appelée Faception qui prétend qu'elle peut détecter les terroristes ou les pédophiles simplement en regardant les visages.)
"Vous avez les algorithmes qui sont super puissants, mais tout aussi important est le type de données que vous alimentez les algorithmes pour leur apprendre à discriminer", m'a dit le psychologue de Princeton et expert en perception faciale Alexander Todorov dans une interview en 2017, tout en discutant d'un article controversé. sur l'utilisation de l'apprentissage automatique pour prédire l'orientation sexuelle à partir des visages. "Si