Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1834

Incidents associés

Incident 2624 Rapports
DALL-E Mini Reportedly Reinforced or Exacerbated Societal Biases in Its Outputs as Gender and Racial Stereotypes

Loading...
Le générateur d'art AI DALL·E mini crache des images terriblement racistes à partir d'invites de texte
screenshot-media.com · 2022

En 2021, le laboratoire de recherche sur l'IA OpenAI a inventé DALL·E, un réseau de neurones formé pour générer des images à partir de invites textuelles. En quelques mots descriptifs, le système (du nom du peintre surréaliste Salvador Dalí et de l'adorable Pixar robot [WALL-E](https://pixar.fandom. com/wiki/WALL%E2%80%A2E)) peut évoquer absolument n'importe quoi, d'un fauteuil en forme d'avocat à l'illustration d'un bébé radis promenant un chien en tutu. À l'époque, cependant, les images étaient souvent granuleuses, inexactes et longues à générer, ce qui a conduit le laboratoire à mettre à niveau le logiciel et la conception [DALL·E 2](https://screenshot-media.com/technology/ai/ dall-e-2-images/). Le nouveau modèle amélioré, soi-disant_._

Alors que DALL·E 2 est lentement déployé auprès du public via une liste d'attente, l'artiste et programmeur d'IA Boris Dayma a lancé une version simplifiée du réseau de neurones qui peut être utilisé par absolument n'importe qui avec une connexion Internet. Surnommé DALL·E mini, le modèle d'IA fait désormais fureur sur Twitter alors que les utilisateurs se bousculent pour générer des créations cauchemardesques, notamment images IRM de Dark Vador, Pikachu qui ressemble à un carlin et même le Demogorgon de Stranger Things en tant que membre de la distribution de l'émission télévisée à succès [Friends](https://www.warnerbros.com /tv/amis).

pic.twitter.com/9kJlbTqIXP

— Weird Dall-E Mini Generations (@weirddalle) 13 juin 2022

Bien que l'outil viral ait même été le fer de lance de son propre format de mème, des inquiétudes surgissent lorsque des invites textuelles descendent au-delà d'innocents Pikachus et Fisher Price crack pipes sur de vrais visages humains. Maintenant, il y a des risques insidieusement dangereux dans ce cas. Comme l'a souligné Vox, les gens pourraient tirer parti de ce type d'IA pour faire tout, des deepnudes aux [deepfakes politiques](https://screenshot-media.com/technology/ai/ai -faces-trustworthy/) – même si les résultats seraient horribles, c'est le moins qu'on puisse dire. Étant donné que la technologie est libre d'utilisation sur Internet, elle recèle également le potentiel de mettre les illustrateurs humains au chômage à long terme.

Mais un autre problème urgent à résoudre est qu'il peut également renforcer les stéréotypes nuisibles et finalement accentuer certains de nos problèmes de société actuels. À ce jour, presque tous les systèmes d'apprentissage automatique, y compris les [ancêtres lointains] de DALL·E mini(https://www.wired.com/story/dall-e-2-ai-text-image-bias-social-media/) , ont fait preuve de préjugés contre les femmes et les personnes de couleur. Alors, le générateur de texte en image alimenté par l'IA en question subit-il le même pari éthique que les experts mettent en garde depuis years maintenant ?

À l'aide d'une série d'invites générales, SCREENSHOT a testé le générateur d'IA virale pour sa position sur le racisme et le sexisme très controversés auxquels la technologie a été liée. Les résultats étaient à la fois étranges et décevants, mais sans surprise.

Lorsque DALL·E mini a reçu les invites textuelles « PDG » et « avocats », les résultats étaient principalement des hommes blancs. Une requête pour « médecin » est revenue avec des résultats similaires, tandis que le terme « infirmière » concernait principalement des femmes blanches. Il en était de même pour « hôtesse de l'air » et « assistant personnel » - tous deux ont fait des hypothèses sur ce à quoi ressemblerait le candidat idéal pour les titres de poste respectifs.

Vient maintenant la partie encore plus préoccupante, lorsque le modèle d'IA a été invité avec des phrases comme "fille intelligente", "gentil garçon" et "bonne personne", il a créé une grille de neuf images mettant toutes en évidence des personnes blanches. Pour réitérer : Sommes-nous choqués ? Pas le moindre. Désappointé? Plus que mes parents asiatiques après un examen d'entrée.

Dans le cas de DALL·E 2, les chercheurs en intelligence artificielle ont découvert que les représentations des personnes par le réseau neuronal peuvent être trop biaisées pour être consommées par le public. "Les premiers tests effectués par les membres de l'équipe rouge et OpenAI ont montré que DALL·E 2 tend à générer des images d'hommes blancs par défaut, sexualise trop les images de femmes et renforce les stéréotypes raciaux", [WIRED](https://www.wired. com/story/dall-e-2-ai-text-image-bias-social-media/) noté. Après des conversations avec environ la moitié de l'équipe rouge - un groupe d'experts externes qui recherchent des façons dont les choses peuvent mal tourner avant la distribution plus large du produit - la publication a révélé qu'un certain nombre d'entre eux recommandaient à OpenAI de publier DALL·E 2 sans la capacité de générer visages.

"Un membre de l'équipe rouge a déclaré à WIRED que huit tentatives sur huit pour générer des images avec des mots comme" un homme assis dans une cellule de prison "ou" une photo d'un homme en colère "ont renvoyé des images d'hommes de couleur", poursuit la publication. Remarque.

En ce qui concerne DALL·E mini, cependant, Dayma a déjà confronté la relation de l'IA avec les préjugés les plus sombres de l'humanité. "Bien que les capacités des modèles de génération d'images soient impressionnantes, elles peuvent également renforcer ou exacerber les préjugés sociétaux", indique le site Web. "Bien que l'étendue et la nature des biais du mini-modèle DALL·E n'aient pas encore été entièrement documentées, étant donné que le modèle a été formé sur des données non filtrées provenant d'Internet, il peut générer des images contenant des stéréotypes contre les groupes minoritaires. Le travail d'analyse de la nature et de l'étendue de ces limitations est en cours et sera documenté plus en détail dans la mini fiche modèle DALL·E.

Bien que le créateur semble avoir quelque peu corrigé le biais, la possibilité d'options pour contrôler les invites nuisibles ou signaler certains résultats ne peut être exclue. Et même si ils sont tous compris pour DALL·E mini, ce ne sera qu'une question de temps avant que le système neuronal ne soit remplacé par un autre avec des capacités impressionnantes où une telle épidémie de biais pourrait refaire surface.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd