Incidents associés
Huit ans après une controverse sur les Noirs étiquetés à tort comme des gorilles par les logiciels d’analyse d’images – et malgré les grands progrès de la vision par ordinateur – les géants de la technologie craignent toujours de répéter l’erreur.
Lorsque Google a lancé son application Photos autonome en mai 2015, les gens ont été impressionnés par ce qu'elle pouvait faire : analyser des images pour étiqueter les personnes, les lieux et les objets qu'elles contiennent, une offre étonnante pour les consommateurs à l'époque. Mais quelques mois après la sortie, un développeur de logiciels, Jacky Alciné, a découvert que Google avait étiqueté des photos de lui et d'un ami, tous deux noirs, comme des « gorilles », un terme particulièrement offensant car il fait écho à des siècles de discours raciste. tropes.
Dans la controverse qui a suivi, Google a empêché son logiciel de classer quoi que ce soit dans Photos comme des gorilles et s'est engagé à résoudre le problème. Huit ans plus tard, avec les avancées significatives de l’intelligence artificielle, nous avons testé si Google avait résolu le problème, et nous avons examiné des outils comparables de ses concurrents : Apple, Amazon et Microsoft.
Les applications photo créées par Apple, Google, Amazon et Microsoft s'appuient sur l'intelligence artificielle pour nous permettre de rechercher des éléments particuliers et d'identifier des souvenirs spécifiques dans nos collections de photos de plus en plus vastes. Envie de retrouver votre journée au zoo parmi 8 000 images ? Demandez à l'application. Ainsi, pour tester la fonction de recherche, nous avons sélectionné 44 images présentant des personnes, des animaux et des objets du quotidien.
Nous avons commencé avec Google Photos. Lorsque nous avons recherché dans notre collection des chats et des kangourous, nous avons obtenu des images qui correspondaient à nos requêtes. L'application a bien fonctionné dans la reconnaissance de la plupart des autres animaux.
Mais lorsque nous avons recherché des gorilles, Google Photos n'a trouvé aucune image. Nous avons élargi notre recherche aux babouins, chimpanzés, orangs-outans et singes, et cela a toujours échoué même s'il y avait des images de tous ces primates dans notre collection.
Nous avons ensuite regardé les concurrents de Google. Nous avons découvert qu'Apple Photos avait le même problème : il pouvait trouver avec précision des photos d'animaux particuliers, à l'exception de la plupart des primates. Nous avons obtenu des résultats pour gorilla, mais uniquement lorsque le texte apparaissait sur une photo, comme une image de Gorilla Tape.
La recherche de photos dans Microsoft OneDrive a laissé un blanc pour chaque animal que nous avons essayé. Amazon Photos a affiché des résultats pour toutes les recherches, mais ils étaient trop inclusifs. Lorsque nous avons recherché des gorilles, l'application a montré une ménagerie de primates et a répété ce schéma pour d'autres animaux.
Il y avait un membre de la famille des primates que Google et Apple ont pu reconnaître : les lémuriens, ces animaux à longue queue à l'air constamment surpris qui partagent des pouces opposables avec les humains, mais qui sont plus éloignés que les singes.
Les outils de Google et d’Apple étaient clairement les plus sophistiqués en matière d’analyse d’images.
Pourtant, Google, dont le logiciel Android est à la base de la plupart des smartphones dans le monde, a pris la décision de désactiver la possibilité de rechercher visuellement des primates, de peur de commettre une erreur offensante et de qualifier une personne d'animal. Et Apple, avec une technologie qui fonctionnait de manière similaire à celle de Google lors de notre test, semblait également désactiver la possibilité de rechercher des singes et des singes.
Les consommateurs n'auront peut-être pas besoin d'effectuer fréquemment une telle recherche, même si en 2019, un utilisateur d'iPhone s'est plaint sur le forum d'assistance client d'Apple que le logiciel « [ne peut pas trouver de singes sur les photos de mon appareil] (https://discussions.apple.com /thread/250713142). Mais le problème soulève des questions plus vastes sur d’autres failles non corrigées ou incorrigibles qui se cachent dans les services qui reposent sur la vision par ordinateur – une technologie qui interprète les images visuelles – ainsi que dans d’autres produits alimentés par l’IA.
M. Alciné a été consterné d'apprendre que Google n'a toujours pas complètement résolu le problème et a déclaré que la société accordait trop de confiance à la technologie.
"Je n'aurai jamais confiance en cette IA", a-t-il déclaré.
Les produits de vision par ordinateur sont désormais utilisés pour des tâches aussi banales que l'envoi d'une alerte lorsqu'un colis se trouve à la porte, et aussi importantes que conduire des voitures et trouver des auteurs dans le cadre d'enquêtes policières.
Les erreurs peuvent refléter des attitudes racistes de la part de ceux qui codent les données. Lors de l'incident des gorilles, deux anciens employés de Google qui ont travaillé sur cette technologie ont déclaré que le problème était que l'entreprise n'avait pas mis suffisamment de photos de personnes noires dans la collection d'images qu'elle utilisait pour entraîner son IA. système. En conséquence, la technologie n’était pas suffisamment familière avec les personnes à la peau plus foncée et les confondait avec les gorilles.
À mesure que l’intelligence artificielle s’intègre de plus en plus dans nos vies, elle suscite des craintes de conséquences inattendues. Bien que les produits de vision par ordinateur et l’IA Les chatbots comme ChatGPT sont différents, tous deux dépendent de quantités de données sous-jacentes qui entraînent le logiciel, et tous deux peuvent avoir des ratés en raison de défauts dans les données ou de biais incorporés dans leur code.
Microsoft a récemment capacité limitée des utilisateurs d'interagir avec un chatbot intégré à son moteur de recherche, Bing, après avoir déclenché des conversations inappropriées.
La décision de Microsoft, tout comme celle de Google d’empêcher son algorithme d’identifier les gorilles, illustre une approche courante dans l’industrie : isoler les fonctionnalités technologiques qui fonctionnent mal plutôt que de les réparer.
"Il est important de résoudre ces problèmes", a déclaré Vicente Ordóñez, professeur à l'Université Rice qui étudie la vision par ordinateur. « Comment pouvons-nous faire confiance à ce logiciel pour d'autres scénarios ? »
Michael Marconi, porte-parole de Google, a déclaré que Google avait empêché son application photo d'étiqueter quoi que ce soit comme un singe ou un singe, car il avait décidé que le bénéfice "ne l'emportait pas sur le risque de préjudice".
Apple a refusé de commenter l'incapacité des utilisateurs à rechercher la plupart des primates sur son application.
Les représentants d'Amazon et de Microsoft ont déclaré que les entreprises cherchaient toujours à améliorer leurs produits.
Lorsque Google développait son application photo, lancée il y a huit ans, il collectait une grande quantité d'images pour entraîner l'IA. système pour identifier les personnes, les animaux et les objets.
Son oubli important – à savoir qu’il n’y avait pas suffisamment de photos de personnes noires dans ses données de formation – a provoqué un dysfonctionnement ultérieur de l’application, ont déclaré deux anciens employés de Google. L’entreprise n’a pas réussi à découvrir le problème des « gorilles » à l’époque parce qu’elle n’avait pas demandé à suffisamment d’employés de tester la fonctionnalité avant son lancement public, ont déclaré les anciens employés.
Google s'est excusé abondamment pour l'incident des gorilles, mais il s'agit de l'un des nombreux épisodes survenus dans l'industrie technologique au sens large qui ont conduit à des accusations de partialité.
D'autres produits qui ont été critiqués incluent les webcams de suivi du visage de HP, qui n'ont pas pu détecter certaines personnes avec des skin, et l'Apple Watch, qui, selon [à un procès](https ://www.usatoday.com/story/tech/2022/12/27/apple-watch-blood-oxygen-oximeter-dark-skin-lawsuit/10955942002/), n'a pas réussi à lire avec précision les niveaux d'oxygène dans le sang selon les couleurs de peau. Ces erreurs suggéraient que les produits technologiques n’étaient pas conçus pour les personnes à la peau plus foncée. (Apple a souligné un article de 2022 qui détaillait ses efforts pour tester son application d'oxygène sanguin sur un « large éventail de types de peau et tons. »)
Des années après l'erreur de Google Photos, la société a rencontré un problème similaire avec sa caméra de sécurité domestique Nest lors de tests internes, selon une personne proche de l'incident qui travaillait chez Google à l'époque. La caméra Nest, qui utilisait l'IA. pour déterminer si quelqu'un sur une propriété était familier ou inconnu, a confondu certains Noirs avec des animaux. Google s'est empressé de résoudre le problème avant que les utilisateurs n'aient accès au produit, a déclaré la personne.
Cependant, les clients Nest continuent de se plaindre sur les forums de l’entreprise d’autres défauts. En 2021, un client a reçu des alertes indiquant que sa mère sonnait à la porte, mais a plutôt trouvé sa belle-mère de l'autre côté de la porte. Lorsque les utilisateurs se sont plaints que le système mélangeait les visages qu'ils avaient marqués comme « familiers », un représentant du support client sur le forum leur a conseillé de supprimer toutes leurs étiquettes et de recommencer.
M. Marconi, le porte-parole de Google, a déclaré que « notre objectif est d'empêcher que ce type d'erreurs ne se produise ». Il a ajouté que l’entreprise avait amélioré sa technologie « en s’associant avec des experts et en diversifiant nos ensembles de données d’images ».
En 2019, Google a tenté d'améliorer une fonctionnalité de reconnaissance faciale pour les smartphones Android en augmentant le nombre de personnes à la peau foncée dans son ensemble de données. Mais les entrepreneurs que Google avait embauchés pour collecter des scans faciaux apparemment ont eu recours à une tactique troublante pour compenser ce manque de données diverses : ils ont ciblé les sans-abri et les étudiants. Les dirigeants de Google avaient alors qualifié l’incident de « très inquiétant ».
Même si Google a travaillé en coulisses pour améliorer la technologie, il n’a jamais permis aux utilisateurs de juger ces efforts.
Margaret Mitchell, chercheuse et co-fondatrice du groupe Ethical AI de Google, a rejoint l'entreprise après l'incident des gorilles et a collaboré avec l'équipe Photos. Elle a déclaré dans une récente interview qu’elle était partisane de la décision de Google de supprimer « l’étiquette des gorilles, au moins pour un certain temps ».
"Il faut réfléchir à la fréquence à laquelle quelqu'un doit étiqueter un gorille plutôt qu'à perpétuer des stéréotypes nuisibles", a déclaré le Dr Mitchell. « Les avantages ne dépassent pas les inconvénients potentiels d’une mauvaise démarche. »
Le professeur Ordóñez a émis l’hypothèse que Google et Apple pourraient désormais être capables de distinguer les primates des humains, mais qu’ils ne voulaient pas activer cette fonctionnalité étant donné le risque possible pour leur réputation si elle échouait à nouveau.
Google a depuis publié un produit d'analyse d'images plus puissant, Google Lens, un outil permettant de rechercher sur le Web avec des photos plutôt qu'avec du texte. Wired a découvert en 2018 que l'outil était également incapable d'identifier un gorille.
Lorsque nous avons montré à Lens une photo d’un chien, celui-ci a pu suggérer sa race probable.
Mais lorsque nous lui avons montré un gorille, un chimpanzé, un babouin et un orang-outan, Lens a semblé perplexe, refusant d’étiqueter ce qu’il y avait dans l’image et ne faisant apparaître que des « correspondances visuelles » – des photos qu’il jugeait similaires à l’image originale.
Pour les gorilles, il montrait des photos d’autres gorilles, suggérant que la technologie reconnaît l’animal mais que l’entreprise a peur de l’étiqueter.
Lorsque nous avons montré à Lens une photo d’un chien, celui-ci a pu suggérer sa race probable.
Mais lorsque nous lui avons montré un gorille, un chimpanzé, un babouin et un orang-outan, Lens a semblé perplexe, refusant d’étiqueter ce qu’il y avait dans l’image et ne faisant apparaître que des « correspondances visuelles » – des photos qu’il jugeait similaires à l’image originale.
Pour les gorilles, il montrait des photos d’autres gorilles, suggérant que la technologie reconnaît l’animal mais que l’entreprise a peur de l’étiqueter.
Ces systèmes ne sont jamais infaillibles, a déclaré le Dr Mitchell, qui ne travaille plus chez Google. Étant donné que des milliards de personnes utilisent les services de Google, même les rares problèmes qui surviennent à une seule personne sur un milliard d’utilisateurs apparaîtront.
« Il suffit d’une seule erreur pour avoir des conséquences sociales massives », a-t-elle déclaré, la qualifiant de « l’aiguille empoisonnée dans une botte de foin ».