Incidents associés
Bonjour, bonne année, et asseyez-vous. Il se pourrait bien qu’il y ait encore plus de conneries d’IA en préparation ! Nous avons déjà discuté de la prolifération des narrateurs et des auteurs d’IA. Pourquoi ne pas commencer l’année avec un nouveau trashfire d’IA générative, cette fois avec un plat d’accompagnement de Holy Shit Racism ?
Il y a deux jours, Tiana’s LitTalk on Threads a publié une capture d’écran de son résumé de lecture de Fable, une application de médias sociaux pour les lecteurs. Si vous ne le savez pas, les utilisateurs de Fable peuvent héberger et/ou rejoindre des clubs de lecture pour chaque itération possible d'un livre ou d'un genre, et ils ont également une vitrine.
Et comme Fable permet également aux utilisateurs de suivre les statistiques de lecture, comme chaque application et service, ils affichent les statistiques cumulatives des utilisateurs pour 2024.
Ok, accrochez-vous à votre mâchoire, car elle va tomber.
Voici le résumé de Tianas_Littalk.
Au cas où vous ne pourriez pas lire le texte du résumé :
Soulful Explorer : votre voyage plonge au cœur des récits noirs et des contes transformateurs, laissant les histoires grand public à bout de souffle. N'oubliez pas de faire surface pour l'auteur blanc occasionnel, d'accord ?
Waouh.
WAOUH.
Votre mâchoire va bien ?
Donc, le plus important, le 31 décembre, Fable a répondu au message d’origine, en disant :
« Merci pour le partage, je suis d’accord que ce n’est pas correct. Je le transmets à l’équipe pour qu’elle le résolve. »
Aujourd’hui, le 1er janvier, ils ont donné suite :
Je voulais juste faire un suivi à ce sujet – notre équipe travaille pour s’assurer que cela ne se reproduise plus jamais. Cela n’aurait jamais dû se produire. Nos résumés de lecteurs sont destinés à la fois à capturer votre historique de lecture et à taquiner de manière ludique vos goûts, mais ils ne doivent jamais, au grand jamais, inclure de références à la race, à la sexualité, à la religion, à la nationalité ou à d’autres classes protégées. Nous prenons cela très au sérieux, nous nous excusons profondément et nous apprécions que vous nous teniez responsables. Nous promettons de faire mieux. ❤️
J'avoue avoir été impressionnée par le fait qu'ils aient répondu le jour de l'An, mais il est clair qu'ils prêtent attention aux commentaires des lecteurs, lisent les réponses et taguent les fils de discussion.
J'ai des QUESTIONS.
Premièrement : il s'agit probablement d'IA.
Les deux petites étoiles à côté du mot « Résumé du lecteur » semblent indiquer que c'est le cas, et le langage de la réponse de Fable, selon lequel les résumés du lecteur « ne devraient jamais, jamais inclure de références », suggère également qu'une ou plusieurs personnes ne sont pas directement responsables de ce choix.
Et, permettez-moi de m'arrêter là, car si cela a ÉTÉ écrit par une personne, Fable a un problème encore plus plus gros.
Mais supposons qu'il s'agisse d'IA pour les besoins de cette discussion.
Cela signifie qu'ils ont choisi d'utiliser l'IA générative pour créer des résumés basés, je suppose, sur des données utilisateur et des invites spécifiques. Mais les résumés ont-ils été relus ou révisés par un humain ?
Cela me laisse perplexe qu’un des principaux éléments de contact avec les personnes qui utilisent fréquemment le service de Fable soit laissé à l’IA. Mon Dieu.
Tiana’s_LitTalk a mentionné qu’ils étaient sur Storygraph](https://app.thestorygraph.com/profile/tianas_littalk) et a invité les gens à s’y connecter, indiquant qu’ils avaient peut-être changé de plateforme. Quelques réponses ont fait écho au fait qu’ils n’utiliseraient plus Fable à l’avenir. Ce n’est… pas optimal.
Pour en avoir fait quelques-uns, je sais que le travail en contact avec les clients peut être HORRIBLE. Je peux comprendre qu’une entreprise veuille placer une IA entre ses employés qui s’occupent du service client et le comportement souvent abusif des clients mécontents. Mais ce résumé du lecteur s’adresse aux membres qui sont déjà à bord et qui ont suffisamment utilisé le service pour avoir accumulé des statistiques.
Pourquoi utiliser l’IA générative, dont il a déjà été prouvé à plusieurs reprises qu’elle est raciste, sexiste, incorrecte, et dangereuse, POUR RÔTIR SA PROPRE COMMUNAUTÉ ?
Les personnes dans les commentaires du fil ont déjà demandé quelles invites ont été utilisées, ce qui est une question pertinente.
En discutant de cela en interne, Amanda a dit :
« Je me demande si ce n’est pas programmé pour suggérer le « contraire » de quelque chose si quelqu’un lit beaucoup d’une chose, sans connaître les enjeux culturels et contextuels. »
C’est peut-être le cas, mais c’est toujours aussi grossier, offensant et épouvantable, quelle que soit la source.
Pour moi, c’est un autre rappel que partout où je vais en ligne, je tombe sur l’IA. Je dois ajouter « -ai » à mes recherches Google pour ne pas obtenir un résumé généré par l’IA. Je dois manœuvrer à travers les invites de service d’IA lorsque j’ai besoin d’aide pour quelque chose. Je reçois une mise à jour d’une application ou d’un service, et soudain, une IA au nom mignon me demande de me parler.
Nous l’avons déjà fait avec Clippy. Nous n’avons pas besoin de le refaire.
Et Storygraph, dont le lien figure ci-dessus, utilise l’IA pour générer des aperçus pour les livres répertoriés qui résument le livre et ses critiques et proposent des recommandations. J'ai vu quelques personnes parler de cette mise à jour il y a quelque temps, et StoryGraph a répondu sur Xitter en décembre 2023 :
Bonjour !
Concernant notre nouvelle fonctionnalité d'IA, qui affiche une brève description du type de lecteur pour lequel un livre est adapté :
Nous utilisons une solution interne. Nous n'utilisons aucune API externe, tout le traitement est effectué localement et les données des utilisateurs ne quittent jamais les serveurs de StoryGraph.
La sécurité n'est pas le seul problème que les gens rencontrent avec l'IA, mais c'est l'un d'entre eux, tout comme le fait que leurs avis et commentaires soient collectés pour la base de connaissances de l'IA et éventuellement vendus à d'autres fournisseurs. Je suis donc quelque peu rassuré par la déclaration selon laquelle il s'agit d'une fonctionnalité interne uniquement.
Personnellement, j'aime StoryGraph pour sa facilité d'utilisation par rapport à Goodreads, que je trouve moins attrayant à regarder et à parcourir lorsque je recherche des informations sur les livres. Je ne saisis cependant pas mes données de lecture ni le texte de mes critiques à aucun de ces endroits.
D’une manière ou d’une autre, la prolifération de l’IA est partout, et il est épuisant d’essayer de s’en tenir à l’écart. Je ne suis pas contre les avancées technologiques, loin de là. Mais il y a eu suffisamment d’exemples d’IA terribles et dangereuses, et suffisamment d’exemples de la façon dont l’IA a été entraînée sur des œuvres volées ou vendue pour une telle utilisation par un éditeur sans le consentement de l’auteur, pour que je m’en méfie à chaque fois que je la vois, et que j’essaie de ne pas l’utiliser. Je ne la trouve pas utile pour les résultats de recherche, et je n’en ai pas besoin pour écrire à ma place.
Mais c’est uniquement mon expérience, et je ne veux pas décider pour les autres quels outils technologiques leur sont utiles. Remarque : j’ai reçu sans cesse un message indiquant « polonais » lorsque j’ai fini d’écrire un message dans Gmail. J’ai passé un certain temps à chercher le paramètre de langue que j’ai dû modifier par inadvertance et qui me demandait sans cesse de traduire mon e-mail en polonais. Non, c’est l’IA et elle veut peaufiner mon e-mail. Non, merci ! Mais comme je l’ai dit : même si je ne veux pas de polonais ou de polonais, je peux aussi comprendre que les gens demandent de l’aide pour rédiger un e-mail lorsque c’est intimidant.
De plus, si l’IA n’était pas si incroyablement et complètement terrible pour l’environnement, je ne serais pas aussi rancunier de me la voir proposée partout où je vais et dans chaque service que j’utilise.
Cet exemple, cependant, est une autre paire de manches de l’IA. (Remarque : ne demandez pas à l’IA générative des images de marmites de poisson. Mauvaise idée, Jeans.) J’espère que Fable pourra modifier ses requêtes pour que cela n’arrive pas à un autre lecteur, et je m’interroge toujours sur les avantages de cette utilisation alors qu’il existe un réel risque que le texte se dégrade de manière aussi horrible et offensante.
ETA : 2 janvier, 8 h 30 AMET
Fable, à leur actif, a répondu activement sur Threads, et a partagé plus d’informations sur la génération de résumés :
Nous comprenons et reconnaissons certainement l’ampleur du problème. Nos résumés sont générés par un modèle d’IA qui nous permet de créer une expérience de statistiques personnalisée pour environ 2 millions d’utilisateurs qui mettent à jour chaque jour leur progression vers leurs objectifs de lecture. Nous prenons très au sérieux la responsabilité de travailler avec l’IA et nous ajustons constamment nos résultats en fonction des commentaires, en particulier lorsque nous sommes informés de générations problématiques, comme celle-ci. Nous ajoutons de nouvelles barrières de sécurité pour nous assurer que personne d’autre ne vive cette expérience.
Mais, hélas, Tiana ne semble pas être la seule personne à avoir reçu un résumé de lecteur qui commente l’identité raciale. Amanda Rae sur Bluesky a partagé une autre capture d’écran d’un autre utilisateur :
Dévot de la diversité : Votre bibliothèque est un kaléidoscope vibrant de voix et d’expériences qui me fait me demander si vous êtes parfois d’humeur à entendre le point de vue d’un homme blanc hétéro et cis !
Mise à jour : Merci à l’auteur Jo Conklin de m’avoir alerté sur la source. Cette capture d’écran est de l’auteur Danny B. Groves.
Celui-ci semble être plus clairement sarcastique, mais encore une fois, cette voie mène à AIE sur les vélos.
Aussi : Non. Je ne suis jamais d’humeur à entendre le point de vue d’un homme blanc cis hétéro, merci.