Incidents associés
En décembre 2019, la startup de l'Utah Latitude a lancé un jeu en ligne pionnier appelé AI Dungeon qui a démontré une nouvelle forme de collaboration homme-machine. L'entreprise a utilisé la technologie de génération de texte de la société intelligence artificielle OpenAI pour créer un jeu d'aventure à choisir soi-même inspiré de Donjons & Dragons. Lorsqu'un joueur tapait l'action ou le dialogue qu'il souhaitait que son personnage exécute, algorithms créait la phase suivante de son aventure personnalisée et imprévisible.
L'été dernier, OpenAI a donné à Latitude un accès anticipé à une version commerciale plus puissante de sa technologie. Dans supports marketing, OpenAI a présenté AI Dungeon comme un exemple du potentiel commercial et créatif des algorithmes d'écriture.
Puis, le mois dernier, OpenAI dit avoir découvert que AI Dungeon montrait également un côté sombre de la collaboration homme-IA. Un nouveau système de surveillance a révélé que certains joueurs tapaient des mots qui amenaient le jeu à générer des histoires illustrant des rencontres sexuelles impliquant des enfants. OpenAI a demandé à Latitude de prendre des mesures immédiates. "Les décisions de modération de contenu sont difficiles dans certains cas, mais pas celui-ci", a déclaré le PDG d'OpenAI, Sam Altman, dans un communiqué. "Ce n'est pas l'avenir de l'IA qu'aucun d'entre nous ne souhaite."
Latitude a activé un nouveau système de modération la semaine dernière et a déclenché une révolte parmi ses utilisateurs. Certains se sont plaints qu'il était trop sensible et qu'ils ne pouvaient pas faire référence à un "ordinateur portable de 8 ans" sans déclencher un message d'avertissement. D'autres ont déclaré que les projets de l'entreprise d'examiner manuellement le contenu signalé espionneraient inutilement des créations fictives privées sexuellement explicites mais impliquant uniquement des adultes - un cas d'utilisation populaire pour AI Dungeon.
En bref, la tentative de Latitude de combiner des personnes et des algorithmes pour contrôler le contenu produit par des personnes et des algorithmes s'est transformée en gâchis. Les mèmes furieux et les réclamations d'abonnements annulés ont volé en masse et rapidement sur Twitter et les communautés Reddit et Discord officielles de AI Dungeon.
"La communauté se sent trahie par le fait que Latitude scannerait, accéderait et lirait manuellement du contenu littéraire fictif privé", déclare un joueur de AI Dungeon qui passe par la poignée Mimi et prétend avoir écrit un total estimé à plus d'un million de mots avec l'aide de l'IA, y compris la poésie, les parodies Twilight Zone et les aventures érotiques. Mimi et d'autres utilisateurs contrariés disent comprendre le désir de l'entreprise de contrôler le contenu visible publiquement, mais disent qu'elle a dépassé et ruiné un puissant terrain de jeu créatif. "Cela m'a permis d'explorer des aspects de ma psyché dont j'ignorais l'existence", déclare Mimi.
Un porte-parole de Latitude a déclaré que son système de filtrage et ses politiques de contenu acceptable étaient en cours d'affinement. Le personnel avait précédemment banni les joueurs qui, selon eux, avaient utilisé AI Dungeon pour générer du contenu sexuel mettant en scène des enfants. Mais après le récent avertissement d'OpenAI, la société travaille sur les "changements nécessaires", a déclaré le porte-parole. Latitude a promis dans un article de blog la semaine dernière que AI Dungeon "continuerait à prendre en charge d'autres contenus NSFW, y compris le contenu adulte consensuel, la violence et le blasphème.
Il sera difficile d'empêcher le système d'IA de créer certains types de contenu sexuel ou pour adultes tout en autorisant d'autres. Une technologie comme celle d'OpenAI peut générer du texte dans de nombreux styles différents, car elle est construite à l'aide d'algorithmes d'apprentissage automatique qui ont digéré les modèles statistiques d'utilisation de la langue dans des milliards de mots extraits du Web, y compris des parties non appropriées pour les mineurs. Le logiciel est capable de moments de mimétisme surprenant, mais ne comprend pas les catégories sociales, juridiques ou de genre comme le font les gens. Ajoutez l'inventivité diabolique de Homo internetus, et le résultat peut être étrange, beau ou toxique.
OpenAI a publié sa technologie de génération de texte en open source à la fin de 2019, mais l'année dernière, une version considérablement améliorée, appelée GPT-3, a été transformée en [service commercial](https://www.wired.com/story/openai-text- générateur-devient-commercial/). Des clients comme Latitude paient pour alimenter des chaînes de texte et obtenir la meilleure estimation du système quant au texte qui doit suivre. Le service a attiré l'attention de l'industrie technologique après que les programmeurs qui ont obtenu un accès anticipé ont partagé de manière impressionnante [blagues, sonnets et code](https://www.wired.com/story/ai-text-generator-gpt-3-learning- language-fitfully/) généré par la technologie.
OpenAI a déclaré que le service renforcerait les entreprises et les startups et a accordé à Microsoft, un important bailleur de fonds d'OpenAI, une licence exclusive pour les algorithmes sous-jacents. WIRED et certains codeurs et chercheurs en intelligence artificielle qui ont essayé le système ont montré qu'il pouvait également générer des textes peu recommandables, tels que des propos antisémites commentaires et propagande extrémiste. OpenAI a déclaré qu'il examinerait soigneusement les clients pour éliminer les mauvais acteurs et exigerait que la plupart des clients --- mais pas Latitude --- utilisent des filtres créés par le fournisseur d'IA pour bloquer les blasphèmes, les discours de haine ou le contenu sexuel.
Loin des feux de la rampe, AI Dungeon offrait un accès relativement illimité à la technologie de génération de texte d'OpenAI. En décembre 2019, le mois où le jeu a été lancé en utilisant la version open-source précédente de la technologie OpenAI, il a gagné 100 000 joueurs. Certains ont rapidement découvert et chéri sa fluidité avec le contenu sexuel. D'autres se sont plaints que l'IA évoquait des thèmes sexuels sans y être invités, par exemple lorsqu'ils tentaient de voyager en montant un dragon et que leur aventure prenait une tournure imprévue.
Le cofondateur de Latitude, Nick Walton, a reconnu le problème sur la communauté Reddit officielle du jeu quelques jours après son lancement. Il a déclaré que plusieurs joueurs lui avaient envoyé des exemples qui les mettaient "profondément mal à l'aise", ajoutant que la société travaillait sur la technologie de filtrage. Dès les premiers mois du jeu, les joueurs ont également remarqué --- et posté en ligne pour signaler --- qu'il écrivait parfois des enfants dans des scénarios sexuels.
Les communautés Reddit et Discord officielles de AI Dungeon ont ajouté des canaux dédiés pour discuter du contenu pour adultes généré par le jeu. Latitude a ajouté un "mode sans échec" facultatif qui a filtré les suggestions de l'IA contenant certains mots. Comme tous les filtres automatisés, cependant, il n'était pas parfait. Et certains joueurs ont remarqué que le réglage soi-disant sûr améliorait l'écriture érotique du générateur de texte car il utilisait plus d'analogies et d'euphémismes. La société a également ajouté un niveau d'abonnement premium pour générer des revenus.
Lorsque AI Dungeon a ajouté les algorithmes d'écriture commerciaux plus puissants d'OpenAI en juillet 2020, l'écriture est devenue encore plus impressionnante. "Le saut dans la créativité et la capacité de narration était paradisiaque", a déclaré un joueur vétéran. Le système est également devenu nettement plus créatif dans sa capacité à explorer des thèmes sexuellement explicites, dit cette personne. Pendant un certain temps l'année dernière, les joueurs ont remarqué que Latitude expérimentait un filtre qui remplaçait automatiquement les occurrences du mot "viol" par "respect", mais la fonctionnalité a été abandonnée.
Le joueur vétéran faisait partie des aficionados AI Dungeon qui ont adopté le jeu en tant qu'outil d'écriture amélioré par l'IA pour explorer des thèmes pour adultes, y compris dans un groupe d'écriture dédié. Les suggestions indésirables de l'algorithme pourraient être supprimées d'une histoire pour l'orienter dans une direction différente; les résultats n'ont pas été publiés publiquement à moins qu'une personne ne choisisse de les partager.
Latitude a refusé de partager des chiffres sur le nombre d'aventures contenant du contenu sexuel. Le site Web d'OpenAI indique AI Dungeon attire plus de 20 000 joueurs chaque jour.
Un joueur de AI Dungeon qui a posté la semaine dernière à propos d'une faille de sécurité qui rendait chaque histoire générée dans le jeu accessible au public dit avoir téléchargé plusieurs centaines de milliers d'aventures créées pendant quatre jours dans Avril. Il a analysé un échantillon de 188 000 d'entre eux et a découvert que 31 % contenaient des mots suggérant qu'ils étaient sexuellement explicites. Cette analyse et la faille de sécurité, désormais corrigée, ont ajouté à la colère de certains joueurs face à la nouvelle approche de Latitude en matière de modération de contenu.
Latitude est désormais confrontée au défi de regagner la confiance des utilisateurs tout en répondant aux exigences d'OpenAI pour un contrôle plus strict de son générateur de texte. La startup doit maintenant utiliser la technologie de filtrage d'OpenAI, a déclaré un porte-parole d'OpenAI.
Comment déployer de manière responsable des systèmes d'IA qui ont ingéré de grandes quantités de texte Internet, y compris certaines parties peu recommandables, est devenu un sujet brûlant dans la recherche sur l'IA. Deux éminents chercheurs de Google ont été expulsés [de l'entreprise](https://www .wired.com/story/second-ai-researcher-says-fired-google/) après que les responsables se sont opposés à un [article](https://www.wired.com/story/behind-paper-led-google-researchers -firing/) appelant à la prudence avec une telle technologie.
La technologie peut être utilisée de manière très limitée, comme dans la recherche Google où elle aide à analyser le sens des longues requêtes . OpenAI a aidé AI Dungeon à lancer une application impressionnante mais lourde qui permet aux utilisateurs d'inviter la technologie à dérouler plus ou moins tout ce qu'elle peut.
"Il est vraiment difficile de savoir comment ces modèles vont se comporter dans la nature", explique Suchin Gururangan, chercheur à l'Université de Washington. Il a contribué à une étude et démo interactive en ligne avec des chercheurs de UW et Allen Institute for Artificial Intelligence ont montré que lorsque du texte emprunté au Web était utilisé pour inciter cinq modèles de génération de langage différents, y compris d'OpenAI, tous étaient capables de cracher du texte toxique.
Gururangan est maintenant l'un des nombreux chercheurs qui tentent de comprendre comment exercer plus de contrôle sur les systèmes linguistiques de l'IA, notamment en faisant plus attention au contenu à partir duquel ils apprennent. OpenAI et Latitude disent qu'ils y travaillent également, tout en essayant de gagner de l'argent grâce à la technologie.