Incidents associés
Mardi, Meta AI a dévoilé une démo de Galactica, un grand modèle de langage conçu pour "stocker, combiner et raisonner sur les connaissances scientifiques". Bien que destiné à accélérer la rédaction de littérature scientifique, les utilisateurs contradictoires exécutant des tests ont découvert que cela pouvait également [générer un non-sens réaliste] (https://twitter.com/mrgreene1977/status/1593274906707230721?s=20&t=hfoIU_CeB6GCWkw75vHkvw). Après plusieurs jours de critiques éthiques, Meta a mis la démo hors ligne, [rapports](https://www.technologyreview.com/2022/11/18/ 1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science/) MIT Technology Review.
Grands modèles de langage (LLM), tels que [GPT-3] d'OpenAI(https://arstechnica.com/information-technology/2022/09/twitter-pranksters-derail-gpt-3-bot-with-newly-discover- prompt-injection-hack/), apprenez à écrire du texte en étudiant des millions d'exemples et en comprenant les relations statistiques entre les mots. En conséquence, ils peuvent rédiger des documents convaincants, mais ces travaux peuvent également être [criblés de mensonges](https://arstechnica.com/science/2021/06/the-efforts-to-make-text-based- ai-moins-raciste-et-terrible/) et des stéréotypes potentiellement dangereux. Certains critiques appellent les LLM "[perroquets stochastiques] (https://dl.acm.org/doi/10.1145/3442188.3445922)" pour leur capacité à cracher du texte de manière convaincante sans en comprendre le sens.
Entrez Galactica, un LLM visant à écrire de la littérature scientifique. Ses auteurs ont formé Galactica sur "un corpus vaste et organisé des connaissances scientifiques de l'humanité", comprenant plus de 48 millions d'articles, de manuels et de notes de cours, de sites Web scientifiques et d'encyclopédies. Selon l'article de Galactica, les chercheurs de Meta AI pensaient que ces prétendues données de haute qualité conduiraient à des résultats de haute qualité.
Agrandir / Une capture d'écran du site Web Galactica de Meta AI avant la fin de la démo.
À partir de mardi, les visiteurs du site Web Galactica pourraient saisir des invites pour générer des documents tels que des revues de littérature, des articles wiki, des notes de cours et des réponses aux questions, selon des exemples fournis par le site Web. Le site a présenté le modèle comme "une nouvelle interface pour accéder et manipuler ce que nous savons de l'univers".
Alors que certaines personnes ont trouvé la démo prometteuse et [utile](https://twitter.com/dia_rotaru/status/1593302218014425088?s =20&t=Ep9NRmZ8HDT-_EMHk9nEPg), d'autres ont rapidement découvert que n'importe qui pouvait taper raciste ou [invites potentiellement offensantes](https ://twitter.com/mrgreene1977/status/1592958921026985990?s=20&t=08ifKXZK-2w8P2VygawkmQ), générant tout aussi facilement un contenu faisant autorité sur ces sujets. Par exemple, quelqu'un l'a utilisé pour auteur une entrée wiki sur un document de recherche fictif intitulé "Les avantages de manger du verre pilé".
Même lorsque la production de Galactica n'était pas offensante pour les normes sociales, le modèle pouvait attaquer des faits scientifiques bien compris, crachant inexactitudes telles que des dates ou des noms d'animaux incorrects, nécessitant une connaissance approfondie du sujet à attraper.
J'ai demandé à #Galactica certaines choses que je connais et je suis troublé. Dans tous les cas, c'était faux ou biaisé, mais ça sonnait juste et autoritaire. Je pense que c'est dangereux. Voici quelques-unes de mes expériences et mon analyse de mes préoccupations. (1/9)
— Michael Black (@Michael_J_Black) 17 novembre 2022
En conséquence, Meta tiré la démo Galactica jeudi. Par la suite, le scientifique en chef de l'IA de Meta, Yann LeCun tweeté, "La démo de Galactica est hors ligne pour le moment. Il n'est plus possible de s'amuser en l'utilisant à mauvais escient. Heureux ?"
L'épisode rappelle un dilemme éthique commun à l'IA : lorsqu'il s'agit de modèles génératifs potentiellement dangereux, est-ce au grand public de les utiliser de manière responsable, ou aux éditeurs des modèles d'empêcher les abus ?
L'endroit où la pratique de l'industrie se situe entre ces deux extrêmes variera probablement d'une culture à l'autre et à mesure que les modèles d'apprentissage en profondeur mûriront. En fin de compte, la réglementation gouvernementale pourrait prendre fin jusqu'à jouer un rôle important dans l'élaboration de la réponse.