Incidents associés
Le premier concours international de beauté décidé par un algorithme a suscité la controverse après que les résultats ont révélé un facteur flagrant liant les gagnants
Le premier concours international de beauté jugé par des « machines » était censé utiliser des facteurs objectifs tels que la symétrie faciale et les rides pour identifier les candidats les plus attirants. Après le lancement de Beauty.AI cette année, environ 6 000 personnes de plus de 100 pays ont soumis des photos dans l'espoir que l'intelligence artificielle, soutenue par des algorithmes complexes, déterminerait que leurs visages ressemblaient le plus à la "beauté humaine".
Mais lorsque les résultats sont tombés, les créateurs ont été consternés de voir qu'il y avait un facteur flagrant liant les gagnants : les robots n'aimaient pas les personnes à la peau foncée.
Sur 44 gagnants, presque tous étaient blancs, une poignée étaient asiatiques et un seul avait la peau foncée. Et ce malgré le fait que, bien que la majorité des candidats soient blancs, de nombreuses personnes de couleur ont soumis des photos, y compris de grands groupes d'Inde et d'Afrique.
La controverse qui a suivi a suscité de nouveaux débats sur la manière dont les algorithmes peuvent perpétuer les biais, produisant des résultats involontaires et souvent offensants.
Lorsque Microsoft a lancé le chatbot "millennial" nommé Tay en mars, il a rapidement commencé à utiliser un langage raciste et à promouvoir des vues néo-nazies sur Twitter. Et après que Facebook ait éliminé les éditeurs humains qui avaient organisé des actualités "tendances" le mois dernier, l'algorithme a immédiatement promu des histoires fausses et vulgaires sur les flux d'actualités, y compris un article sur un homme se masturbant avec un sandwich au poulet.
Facebook licencie l'équipe de tendance et l'algorithme sans humains devient fou En savoir plus
Alors que le concours de beauté apparemment raciste a suscité des blagues et des moqueries, les experts en informatique et les défenseurs de la justice sociale affirment que dans d'autres industries et domaines, l'utilisation croissante de systèmes d'IA préjudiciables n'est pas une question de rire. Dans certains cas, cela peut avoir des conséquences dévastatrices pour les personnes de couleur.
Beauty.AI – qui a été créé par un groupe « d'apprentissage en profondeur » appelé Youth Laboratories et soutenu par Microsoft – s'est appuyé sur de grands ensembles de données de photos pour créer un algorithme qui évaluait la beauté. Bien qu'il existe un certain nombre de raisons pour lesquelles l'algorithme a favorisé les Blancs, le principal problème était que les données utilisées par le projet pour établir des normes d'attractivité n'incluaient pas suffisamment de minorités, a déclaré Alex Zhavoronkov, directeur scientifique de Beauty.AI.
Bien que le groupe n'ait pas construit l'algorithme pour traiter la peau claire comme un signe de beauté, les données d'entrée ont effectivement conduit les juges du robot à parvenir à cette conclusion.
Facebook Twitter Pinterest Gagnantes du concours Beauty.AI dans la catégorie des femmes de 18 à 29 ans. Photographie : http://winners2.beauty.ai/#win
"Si vous n'avez pas autant de personnes de couleur dans l'ensemble de données, vous pourriez en fait avoir des résultats biaisés", a déclaré Zhavoronkov, qui s'est dit surpris par les gagnants. "Lorsque vous formez un algorithme pour reconnaître certains modèles... vous n'avez peut-être pas assez de données, ou les données peuvent être biaisées."
L'explication la plus simple des algorithmes biaisés est que les humains qui les créent ont leurs propres biais profondément enracinés. Cela signifie que malgré la perception que les algorithmes sont en quelque sorte neutres et uniquement objectifs, ils peuvent souvent reproduire et amplifier les préjugés existants.
Les résultats de Beauty.AI offrent "l'illustration parfaite du problème", a déclaré Bernard Harcourt, professeur de droit et de sciences politiques à l'Université de Columbia qui a étudié la "police prédictive", qui s'appuie de plus en plus sur les machines. "L'idée que vous puissiez proposer une conception culturellement neutre et racialement neutre de la beauté est tout simplement ahurissante."
L'affaire rappelle que "les humains réfléchissent vraiment, même lorsqu'ils sont présentés sous forme d'algorithmes et que nous pensons que c'est neutre et scientifique", a-t-il déclaré.
Des groupes de liberté civile ont récemment fait part de leurs inquiétudes quant au fait que les outils informatiques de prévision des forces de l'ordre - qui utilisent des données pour prédire où les crimes futurs se produiront - s'appuient sur des statistiques erronées et peuvent exacerber les pratiques policières préjudiciables à la race et préjudiciables.
"Ce sont des données polluées qui produisent des résultats pollués", a déclaré Malkia Cyril, directrice exécutive du Center for Media Justice.
Une enquête de ProPublica plus tôt cette année a révélé que les logiciels utilisés pour prédire les futurs criminels sont biaisés contre les Noirs, ce qui peut entraîner des peines plus sévères.
"C'est vraiment une question de vie de quelqu'un qui est en jeu", a déclaré Sorelle Friedler, professeur d'informatique au Haverford College.
Un problème majeur, a déclaré Friedler, est que les groupes minoritaires, par nature, sont souvent sous-représentés dans les ensembles de données, ce qui signifie que les algorithmes peuvent tirer des conclusions inexactes pour ces populations et que les créateurs ne le détecteront pas. Par exemple, a-t-elle dit, un algorithme biaisé contre les Amérindiens pourrait être considéré comme un succès étant donné qu'ils ne représentent que 2% de la population.
"Vous pourriez avoir un taux de précision de 98 %. On pourrait penser que vous avez fait un excellent travail sur l'algorithme.
Friedler a déclaré qu'il existe des moyens proactifs d'ajuster les algorithmes