Incidents associés
Fable, une application populaire pour parler et suivre des livres, modifie sa façon de créer des résumés personnalisés pour ses utilisateurs après des plaintes selon lesquelles un modèle d'intelligence artificielle utilisait un langage offensant.
Un résumé suggérait qu'un lecteur de récits noirs devrait également lire des auteurs blancs.
Dans un post Instagram cette semaine, Chris Gallello, le chef de produit chez Fable, a abordé le problème des résumés générés par l'IA sur l'application, affirmant que Fable a commencé à recevoir des plaintes concernant « un langage raciste très intolérant, et cela nous a choqués ».
Il n'a donné aucun exemple, mais il faisait apparemment référence au résumé d'au moins un lecteur de Fable publié sous forme de capture d'écran sur Threads, qui résumait les choix de livres que la lectrice, Tiana Trammell, avait faits, en disant : « Votre voyage plonge au cœur des récits noirs et des contes transformateurs, laissant les histoires grand public à bout de souffle. N'oubliez pas de faire surface pour l'auteur blanc occasionnel, d'accord ? »
Fable a répondu dans un commentaire sous la publication, en disant qu'une équipe travaillerait à résoudre le problème. Dans sa déclaration plus longue sur Instagram, M. Gallello a déclaré que l'entreprise introduirait des mesures de protection. Celles-ci comprenaient la divulgation que les résumés étaient générés par l'intelligence artificielle, la possibilité de les refuser et un bouton de pouce vers le bas qui alerterait l'application d'un problème potentiel.
Mme Trammell, qui vit à Detroit, a téléchargé Fable en octobre pour suivre ses lectures. Vers Noël, elle avait lu des livres qui suscitaient des résumés liés à la fête. Mais juste avant la nouvelle année, elle a terminé trois livres d'auteurs noirs.
Le 29 décembre, lorsque Mme Trammell a vu son résumé de Fable, elle a été stupéfaite. « Je me suis dit : 'Ce n'est pas ce que je vois. Il est clair que quelque chose me manque ici' », a-t-elle déclaré dans une interview vendredi. Elle a partagé le résumé avec d'autres membres du club de lecture et sur Fable, où d'autres ont partagé des résumés offensants qu'ils avaient eux aussi reçus ou vus.
Une personne qui a lu des livres sur les personnes handicapées s'est fait dire que ses choix « pourraient faire lever les yeux au ciel d'un paresseux ». Une autre a déclaré que les livres d'un lecteur « me faisaient me demander si vous êtes parfois d'humeur à entendre le point de vue d'un homme blanc hétérosexuel et cis ».
M. Gallello a déclaré que le modèle d'IA était destiné à créer une « ou deux phrases amusantes » tirées des descriptions de livres, mais que certains des résultats étaient « dérangeants » dans ce qui était censé être un « espace sûr » pour les lecteurs. Les filtres pour le langage et les sujets offensants n'ont pas réussi à arrêter le contenu offensant, a-t-il ajouté.
Kim Marsh Allee, responsable de la communauté de Fable, a déclaré dans un e-mail vendredi que deux utilisateurs avaient reçu des résumés « qui sont totalement inacceptables pour nous en tant qu'entreprise et ne reflètent pas nos valeurs ».
Elle a déclaré que toutes les fonctionnalités utilisant l'IA étaient supprimées, y compris les résumés et les résumés de lecture de fin d'année, et qu'une nouvelle version de l'application était en cours de soumission à l'App Store.
L'utilisation de l'IA est devenue une voix indépendante et rapide, mais potentiellement problématique dans de nombreuses communautés, y compris les congrégations religieuses et les organismes de presse. Avec l'entrée de l'IA dans le monde du livre, l'action de Fable met en évidence la capacité, ou l'échec, de la technologie à naviguer dans les interprétations subtiles des événements et du langage qui sont nécessaires à un comportement éthique.
Elle demande également dans quelle mesure les employés devraient vérifier le travail des modèles d'IA avant de diffuser le contenu. Certaines bibliothèques publiques utilisent des applications pour créer des clubs de lecture en ligne. En Californie, les bibliothèques publiques du comté de San Mateo ont offert un accès premium à l'application Fable via leurs cartes de bibliothèque.
Les applications, notamment Fable, Goodreads et The StoryGraph, sont devenues des forums populaires pour les clubs de lecture en ligne et pour partager des recommandations, des listes de lecture et des préférences de genre.
Certains lecteurs ont répondu en ligne à Fable, en disant qu'ils passaient à d'autres applications de suivi de livres ou en critiquant l'utilisation de toute intelligence artificielle dans un forum destiné à célébrer et à amplifier la créativité humaine à travers l'écrit.
« Il suffit d'embaucher de vrais rédacteurs professionnels pour rédiger un nombre limité de résumés de personnalité de lecteurs, puis de les approuver avant leur mise en ligne. 2 millions d'utilisateurs n'ont pas besoin de résumés sarcastiques « personnalisés » », a déclaré un lecteur en réponse à la déclaration de Fable.
Un autre lecteur qui a appris la controverse sur les réseaux sociaux a souligné que le modèle d'IA « savait mettre en majuscules Noir et non Blanc » mais générait quand même du contenu raciste.
Elle a ajouté que cela montrait que certains créateurs de technologie d'IA « manquaient de compréhension plus profonde de la façon d'appliquer ces concepts pour briser les systèmes d'oppression et les perspectives discriminatoires ».
M. Gallello a déclaré que Fable était profondément désolé. « Ce n'est pas ce que nous voulons, et cela montre que nous n'avons pas fait assez », a-t-il déclaré, ajoutant que Fable espérait regagner la confiance.
Après avoir reçu le résumé, Mme Trammell a supprimé l'application.
« On présumait que je ne lisais pas en dehors de ma propre race », a-t-elle déclaré. « Et l’implication que je devrais lire en dehors de ma propre race si ce n’était pas ma prérogative. »