Incidents associés
L'IA chercheur et le YouTubeur Yannic Kilcher ont formé une IA en utilisant 3,3 millions de fils de discussion du conseil politiquement incorrect /pol/ tristement toxique de 4chan. Il a ensuite relâché le bot sur 4chan avec des résultats prévisibles - l'IA était tout aussi vile que les messages sur lesquels elle avait été formée, jaillissant des insultes raciales et s'engageant dans des discussions antisémites. Après que Kilcher ait posté sa vidéo et une copie du programme sur Hugging Face, une sorte de GitHub pour l'IA, des éthiciens et des chercheurs dans le domaine de l'IA ont exprimé leur inquiétude.
Le bot, que Kilcher a appelé GPT-4chan, "le modèle le plus horrible sur Internet" - une référence à GPT-3, un modèle de langage développé par Open AI qui utilise l'apprentissage en profondeur pour produire du texte - était d'une efficacité choquante et reproduisait le ton et sensation de messages 4chan. "Le modèle était bon dans un sens terrible", a déclaré Klicher dans une vidéo sur le projet. "Cela résume parfaitement le mélange d'offensant, de nihilisme, de trolling et de méfiance profonde envers toute information quelle qu'elle soit qui imprègne la plupart des messages sur / pol."
Selon la vidéo de Kilcher, il a activé neuf instances du bot et leur a permis de publier pendant 24 heures sur /pol/. Pendant ce temps, les bots ont posté environ 15 000 fois. Cela représentait "plus de 10% de tous les messages publiés sur le tableau politiquement incorrect ce jour-là", a déclaré Kilcher dans sa vidéo sur le projet.
Les chercheurs en intelligence artificielle ont considéré la vidéo de Kilcher comme plus qu'une simple farce sur YouTube. Pour eux, c'était une expérience contraire à l'éthique utilisant l'IA. "Cette expérience ne passerait jamais un comité d'éthique de la recherche humaine", a déclaré Lauren Oakden-Rayner, directrice de la recherche en imagerie médicale au Royal Adelaide Hospital et chercheuse principale à l'Australian Institute for Machine Learning, dans un [fil Twitter]. (https://twitter.com/DrLaurenOR/status/1533910445400399872).
"La science ouverte et les logiciels sont des principes merveilleux mais doivent être mis en balance avec les dommages potentiels", a-t-elle déclaré. "La recherche médicale a une forte culture éthique parce que nous avons une histoire terrible de causer du tort aux gens, généralement de groupes impuissants... il a effectué des expériences humaines sans en informer les utilisateurs, sans consentement ni surveillance. Cela enfreint tous les principes de l'éthique de la recherche humaine.
Kilcher a déclaré à Motherboard dans un DM Twitter qu'il n'était pas un universitaire. "Je suis un YouTuber et c'est une farce et une pêche à la traîne légère. Et mes bots, le cas échéant, sont de loin le contenu le plus doux et le plus timide que vous trouverez sur 4chan », a-t-il déclaré. "J'ai limité le temps et le nombre de publications, et je ne distribue pas le code du bot lui-même."
Il a également repoussé, comme il l'avait fait sur Twitter, l'idée que ce bot ferait jamais de mal ou avait fait du mal. "Tout ce que j'entends, ce sont de vagues déclarations grandiloquentes sur le" préjudice ", mais absolument aucun cas de préjudice réel", a-t-il déclaré. "C'est comme un mot magique que ces gens disent mais rien de plus."
L'environnement de 4chan est si toxique, a expliqué Kilcher, que les messages déployés par ses bots n'auraient aucun impact. "Personne sur 4chan n'a même été un peu blessé par cela", a-t-il déclaré. "Je vous invite à aller passer un peu de temps sur /pol/ et à vous demander si un bot qui sort juste le même style change vraiment l'expérience."
Après que des chercheurs en IA ont alerté Hugging Face de la nature nocive du bot, le site a fermé le modèle et les gens ont été incapables de le télécharger. "Après de nombreux débats internes à HF, nous avons décidé de ne pas supprimer le modèle que l'auteur a téléchargé ici dans les conditions suivantes : #1 La fiche modèle et la vidéo avertissaient clairement des limitations et des problèmes soulevés par le modèle et la section POL de 4Chan en général. # 2 Le widget d'inférence a été désactivé afin de ne pas faciliter l'utilisation du modèle », a déclaré le co-fondateur et PDG de Hugging Face, Clément Delangue, sur Hugging Face.
Kilcher a expliqué dans sa vidéo, et Delangue a cité dans sa réponse, que l'une des choses qui rendait GPT4-Chan intéressant était sa capacité à surpasser d'autres bots similaires dans les tests d'IA conçus pour mesurer la "véracité".
"Nous avons considéré qu'il était utile pour le terrain de tester ce qu'un modèle entraîné sur de telles données pouvait faire et comment il s'en sortait par rapport à d'autres (à savoir GPT-3) et aiderait à attirer l'attention à la fois sur les limites et les risques de ces modèles " dit Delangue. "Nous avons également travaillé sur une fonctionnalité permettant de" fermer "de tels modèles que nous priorisons actuellement pour des raisons éthiques. Heureux de répondre à toutes les questions supplémentaires aussi!”
Lorsqu'il a été contacté pour commenter, Delangue a déclaré à Motherboard que Hugging Face avait pris la mesure supplémentaire de bloquer tous les téléchargements du modèle.
"Construire un système capable de créer un contenu indiciblement horrible, l'utiliser pour produire des dizaines de milliers de messages pour la plupart toxiques sur un véritable babillard électronique, puis le publier dans le monde entier afin que n'importe qui d'autre puisse faire de même, il semble juste - je Je ne sais pas, pas vrai », a déclaré Arthur Holland Michel, chercheur en intelligence artificielle et écrivain pour le Comité international de la Croix-Rouge, à Motherboard.
"Cela pourrait générer un contenu extrêmement toxique à une échelle massive et soutenue", a déclaré Michel. "De toute évidence, il y a déjà une tonne de trolls humains sur Internet qui font ça à l'ancienne. Ce qui est différent ici, c'est la quantité de contenu qu'il peut créer avec ce système, une seule personne a pu publier 30 000 commentaires sur 4chan en l'espace de quelques jours. Imaginez maintenant quel genre de mal une équipe de dix, vingt ou cent personnes coordonnées utilisant ce système pourrait faire.
Kilcher ne croyait pas que GPT-4chan puisse être déployé à grande échelle pour des campagnes de haine ciblées. "Il est en fait assez difficile de faire dire à GPT-4chan quelque chose de ciblé", a-t-il déclaré. "Habituellement, il se comporte mal de manière étrange et est très inadapté à l'exécution de quoi que ce soit de ciblé. Encore une fois, de vagues accusations hypothétiques sont lancées, sans aucune instance ni preuve réelle.
Os Keyes, Ada Lovelace Fellow et doctorant à l'Université de Washington, a déclaré à Motherboard que le commentaire de Kilcher n'était pas pertinent. "C'est une bonne occasion de discuter non pas du mal, mais du fait que ce mal est si évidemment prévisible, et que sa réponse de" montrez-moi où il a fait du mal "passe à côté et est inadéquate", ont-ils déclaré. "Si je dépense la succession de ma grand-mère en cartes de station-service et que je les jette par-dessus le mur dans une prison, nous ne devrions pas avoir à attendre que le premier libéré sur parole commence à allumer des incendies pour convenir que c'était une chose phénoménalement stupide à faire."
"Mais - et c'est un gros mais - c'est un peu le point", a déclaré Keyes. "C'est un projet insipide dont rien de bon ne peut sortir, et c'est en quelque sorte inévitable. Tout son shtick est un schlock de choc nerd. Et il y a un équilibre à trouver entre la sensibilisation aux problèmes et l'attention portée à quelqu'un dont le seul modèle apparent d'importance dans le monde est "faites attention à moi!"
Kilcher a dit, à plusieurs reprises, qu'il savait que le bot était ignoble. "Je suis évidemment conscient que le modèle ne fonctionnera pas bien dans un cadre professionnel ou à la table de la plupart des gens", a-t-il déclaré. «Il utilise des jurons, des insultes fortes, a des opinions complotistes et toutes sortes de propriétés« désagréables ». Après tout, il est formé sur /pol/ et il reflète le ton et les sujets communs de ce forum. »
Il a dit qu'il sentait qu'il avait été clair, mais qu'il voulait que ses résultats soient reproductibles et c'est pourquoi il a posté le modèle sur Hugging Face. "En ce qui concerne les résultats de l'évaluation, certains d'entre eux étaient vraiment intéressants et inattendus et ont révélé des faiblesses dans les références actuelles, ce qui n'aurait pas été possible sans faire le travail."
Kathryn Cramer, étudiante diplômée en systèmes complexes et sciences des données à l'Université du Vermont, a souligné que GPT-3 a des garde-corps qui l'empêchent d'être utilisé pour construire ce type de bot raciste et que Kilcher a dû utiliser GPT-J pour construire son système. "J'ai essayé le mode démo de votre outil 4 fois, en utilisant des tweets bénins de mon flux comme texte de départ", a déclaré Cramer dans un thread sur Visage étreignant. "Lors du premier essai, l'un des messages de réponse était un seul mot, le mot N. La graine de mon troisième procès était, je pense, une seule phrase sur le changement climatique. Votre outil a répondu en l'étendant à une théorie du complot selon laquelle les Rothschild et les Juifs seraient derrière.
Cramer a déclaré à Motherboard qu'elle avait beaucoup d'expérience avec GPT-3 et qu'elle comprenait certaines des frustrations liées à la façon dont il censurait a priori certains types de comportement. "Je ne suis pas fan de ce garde-corps", a-t-elle déclaré. «Je trouve cela profondément ennuyeux et je pense que cela fausse les résultats… Je comprends l'envie de repousser cela. Je comprends même l'envie de faire des farces à ce sujet. Mais la réalité est qu'il a essentiellement inventé une machine à discours haineux, l'a utilisée 30 000 fois et l'a relâchée dans la nature. Et oui, je comprends être ennuyé par les règles de sécurité, mais ce n'est pas une réponse légitime à cet agacement.
Keyes était du même avis. "Certes, nous devons poser des questions significatives sur la façon dont GPT-3 est limité (ou non) dans la façon dont il peut être utilisé, ou quelles sont les responsabilités des personnes lors du déploiement des choses", ont-ils déclaré. "Le premier devrait être dirigé vers les développeurs de GPT-3, et tandis que le second devrait être dirigé vers Kilcher, il n'est pas clair pour moi qu'il s'en soucie réellement. Certaines personnes veulent juste être énervées par un besoin d'attention peu sûr. La plupart d'entre eux utilisent 4chan ; certains d'entre eux, semble-t-il, en font des modèles.