Incidents associés
Fable, une application de médias sociaux populaire qui se décrit comme un refuge pour les « rats de bibliothèque et les bingewatchers », a créé une fonction de résumé de fin d’année alimentée par l’IA récapitulant les livres lus par les utilisateurs en 2024. Elle était censée être ludique et amusante, mais certains des résumés ont pris un ton étrangement combatif. Le résumé de l’écrivain Danny Groves, par exemple, lui a demandé s’il était « parfois d’humeur à entendre le point de vue d’un homme blanc hétéro et cisgenre » après l’avoir qualifié de « passionné de diversité ».
Le résumé de Tiana Trammell, influenceuse littéraire, s’est quant à lui terminé par le conseil suivant : « N’oubliez pas de faire surface pour l’auteur blanc occasionnel, d’accord ? »
Trammell était abasourdie, et elle s’est vite rendu compte qu’elle n’était pas la seule après avoir partagé son expérience avec les résumés de Fable sur Threads. « J’ai reçu de nombreux messages », dit-elle, de personnes dont les résumés contenaient des commentaires inappropriés sur « le handicap et l’orientation sexuelle ».
Depuis le lancement de Spotify Wrapped, les fonctions de récapitulatif annuel sont devenues omniprésentes sur Internet, fournissant aux utilisateurs un aperçu du nombre de livres et d’articles de presse qu’ils ont lus, des chansons qu’ils ont écoutées et des séances d’entraînement qu’ils ont effectuées. Certaines entreprises utilisent désormais l’IA pour produire entièrement ou améliorer la présentation de ces mesures. Spotify, par exemple, propose désormais un podcast généré par l’IA dans lequel des robots analysent votre historique d’écoute et font des suppositions sur votre vie en fonction de vos goûts. Fable a profité de la tendance en utilisant l’API d’OpenAI pour générer des résumés des habitudes de lecture de ses utilisateurs au cours des 12 derniers mois, mais elle ne s’attendait pas à ce que le modèle d’IA produise des commentaires qui prennent l’air d’un expert anti-woke.
Fable s’est ensuite excusé sur plusieurs réseaux sociaux, notamment Threads et Instagram, où elle a publié une vidéo](https://www.threads.net/@fable/post/DEV9C9kSvj9/media) d’un dirigeant émettant le mea culpa. « Nous sommes profondément désolés pour le préjudice causé par certains de nos résumés de lecteurs cette semaine », a écrit l’entreprise dans la légende. « Nous ferons mieux. »
Kimberly Marsh Allee, responsable de la communauté de Fable, a déclaré à WIRED avant la publication que l’entreprise travaillait sur une série de changements pour améliorer ses résumés d’IA, notamment une option de désinscription pour les personnes qui ne les souhaitent pas et des informations plus claires indiquant qu’ils sont générés par l’IA. « Pour le moment, nous avons supprimé la partie du modèle qui taquine le lecteur, et à la place, le modèle résume simplement les goûts de l’utilisateur en matière de livres », a-t-elle déclaré.
Après la publication, Marsh Allee a déclaré que Fable avait plutôt pris la décision de supprimer immédiatement les résumés de lecture de 2024 générés par l’IA, ainsi que deux autres fonctionnalités qui utilisaient l’IA.
Pour certains utilisateurs, ajuster l’IA ne semble pas être une réponse adéquate. L’écrivaine de fantasy et de romance A.R. Kaufer a été consternée lorsqu’elle a vu des captures d’écran de certains des résumés sur les réseaux sociaux. « Ils doivent dire qu’ils suppriment complètement l’IA. Et ils doivent publier une déclaration, non seulement sur l’IA, mais aussi avec des excuses aux personnes concernées », déclare Kaufer. « Ces « excuses » sur Threads semblent insincères, mentionnant que l’application est « ludique » comme si elle excusait en quelque sorte les citations racistes/sexistes/validistes. » En réponse à l’incident, Kaufer a décidé de supprimer son compte Fable.
Trammell aussi. « La marche à suivre appropriée serait de désactiver la fonctionnalité et de procéder à des tests internes rigoureux, en intégrant les nouvelles mesures de protection mises en œuvre pour garantir, au mieux de leurs capacités, qu'aucun autre utilisateur de la plateforme ne soit exposé à des préjudices », dit-elle.
Groves est du même avis. « Si les résumés de lecteurs individualisés ne sont pas viables parce que l'équipe est petite, je préfère m'en passer plutôt que d'être confronté à des résultats d'IA non contrôlés qui pourraient offenser par un langage irritable ou des insultes », dit-il. « C'est mon avis... en supposant que Fable soit d'humeur à adopter le point de vue d'un homme noir gay et cisgenre. »
Les outils d'IA générative ont déjà un long historique de ratés liés à la race. En 2022, des chercheurs ont découvert que le générateur d'images Dall-E d'OpenAI avait la mauvaise habitude de montrer des personnes non blanches lorsqu'on lui demandait de représenter des « prisonniers » et toutes les personnes blanches lorsqu'il montrait des « PDG ». L’automne dernier, WIRED a rapporté que plusieurs moteurs de recherche IA ont fait surface ont démystifié et racisté les théories selon lesquelles les personnes blanches seraient génétiquement supérieures aux autres races.
La surcorrection est également devenue un problème : l’année dernière, Gemini de Google a été sérieusement critiquée lorsqu’il a décrit à plusieurs reprises les nazis de l’époque de la Seconde Guerre mondiale comme des personnes de couleur dans une tentative malavisée d’inclusion. « Lorsque j’ai eu la confirmation que c’était l’IA générative qui faisait ces résumés, je n’ai pas été surpris », déclare Groves. « Ces algorithmes sont conçus par des programmeurs qui vivent dans une société biaisée, donc bien sûr, l’apprentissage automatique portera également des biais, qu’ils soient conscients ou inconscients. »
Mis à jour le 03/01/25 à 17h44 HE : Cette histoire a été mise à jour pour noter que Fable a décidé de désactiver immédiatement plusieurs fonctionnalités alimentées par l'IA.