Incidents associés
En 2015, un développeur de logiciels noir a embarrassé Google en tweetant que le service Photos de l'entreprise avait qualifié les photos de lui avec un ami noir de "gorilles". Google s'est déclaré "consterné et sincèrement désolé". Un ingénieur qui est devenu le visage public de l'opération de nettoyage a déclaré que l'étiquette de gorille ne serait plus appliquée aux groupes d'images et que Google "travaillait sur des correctifs à plus long terme".
Plus de deux ans plus tard, l'un de ces correctifs efface les gorilles et quelques autres primates du lexique du service. La solution de contournement maladroite illustre les difficultés rencontrées par Google et d'autres entreprises technologiques pour faire progresser la technologie de reconnaissance d'image, que les entreprises espèrent utiliser dans les voitures autonomes, les assistants personnels et d'autres produits.
WIRED a testé Google Photos à l'aide d'une collection de 40 000 images bien remplies d'animaux. Il a réussi à trouver de nombreuses créatures, y compris des pandas et des caniches. Mais le service n'a signalé "aucun résultat" pour les termes de recherche "gorille", "chimpanzé", "chimpanzé" et "singe".
Google a censuré les recherches de "gorille", "chimpanzé" et "singe" dans son service d'organisation de photos personnelles Google Photos. Capture d'écran : Filaire
Google Photos, proposé sous forme d'application mobile et de site Web, offre à 500 millions d'utilisateurs un endroit pour gérer et sauvegarder leurs clichés personnels. Il utilise la technologie d'apprentissage automatique pour regrouper automatiquement les photos avec un contenu similaire, par exemple des lacs ou des lattes. La même technologie permet aux utilisateurs de rechercher leurs collections personnelles.
Dans les tests de WIRED, Google Photos a identifié certains primates. Les recherches de « babouin », « gibbon », « ouistiti » et « orang-outan » ont bien fonctionné. Les singes capucins et colobes pouvaient être trouvés tant qu'une recherche utilisait ces termes sans ajouter le mot M.
Dans un autre test, WIRED a téléchargé 20 photos de chimpanzés et de gorilles provenant des organisations à but non lucratif Chimp Haven et du Dian Fossey Institute. Certains des singes ont pu être trouvés en utilisant les termes de recherche "forêt", "jungle" ou "zoo", mais le reste s'est avéré difficile à faire surface.
Le résultat : dans Google Photos, un babouin est un babouin, mais un singe n'est pas un singe. Les gorilles et les chimpanzés sont invisibles.
Google Lens, qui tente d'interpréter les photos sur un smartphone, semble également incapable de voir les gorilles. Capture d'écran : Filaire
Dans un troisième test visant à évaluer la vision des personnes par Google Photos, WIRED a également téléchargé une collection de plus de 10 000 images utilisées dans la recherche sur la reconnaissance faciale. Le terme de recherche "Afro-américain" n'a donné qu'une image d'antilope en train de brouter. En tapant "homme noir", "femme noire" ou "personne noire", le système de Google renvoyait des images en noir et blanc de personnes, correctement triées par sexe, mais non filtrées par race. Les seuls termes de recherche dont les résultats semblaient sélectionner les personnes à la peau plus foncée étaient « afro » et « Africain », bien que les résultats aient été mitigés.
Un porte-parole de Google a confirmé que "gorille" a été censuré des recherches et des balises d'image après l'incident de 2015, et que "chimpanzé", "chimpanzé" et "singe" sont également bloqués aujourd'hui. "La technologie d'étiquetage d'images est encore précoce et malheureusement, elle est loin d'être parfaite", a écrit le porte-parole dans un e-mail, soulignant une fonctionnalité de Google Photos qui permet aux utilisateurs de signaler des erreurs.
La prudence de Google concernant les images de gorilles illustre une lacune de la technologie d'apprentissage automatique existante. Avec suffisamment de données et de puissance de calcul, les logiciels peuvent être formés pour catégoriser les images ou transcrire la parole avec un haut niveau de précision. Mais cela ne peut pas facilement aller au-delà de l'expérience de cette formation. Et même les meilleurs algorithmes n'ont pas la capacité d'utiliser le bon sens, ou des concepts abstraits, pour affiner leur interprétation du monde comme le font les humains.
Par conséquent, les ingénieurs en apprentissage automatique qui déploient leurs créations dans le monde réel doivent s'inquiéter des « cas particuliers » qui ne se trouvent pas dans leurs données de formation. "Il est très difficile de modéliser tout ce que votre système va voir une fois qu'il sera en ligne", déclare Vicente Ordóñez Román, professeur à l'Université de Virginie. Il a contribué à des recherches l'année dernière qui ont montré que les algorithmes d'apprentissage automatique appliqués aux images pouvaient capter et amplifier les opinions biaisées sur les rôles de genre.
Les utilisateurs de Google Photos téléchargent des photos prises dans toutes sortes de conditions imparfaites. Compte tenu du nombre d'images dans l'énorme base de données, une infime chance de confondre un type de grand singe avec un autre peut devenir une quasi-certitude.
Alphabet, parent de Google, et l'industrie technologique au sens large sont confrontés à des versions de ce problème avec des enjeux encore plus importants, comme avec les voitures autonomes. Avec son collègue Baishakhi Ray, expert en fiabilité logicielle, Román étudie les moyens de limiter les comportements possibles des systèmes de vision utilisés dans des scénarios tels que les voitures autonomes. Ray dit qu'il y a eu des progrès, mais on ne sait toujours pas dans quelle mesure les limites de ces systèmes peuvent être gérées. "Nous ne savons toujours pas de manière très concrète ce que ces modèles d'apprentissage automatique apprennent", dit-elle.
Certains des systèmes d'apprentissage automatique de Google sont autorisés à détecter les gorilles en public. Le cloud computing de l'entreprise d