Incidents associés
Le 15 novembre, Meta a dévoilé un nouveau grand modèle de langage appelé Galactica, conçu pour aider les scientifiques. Mais au lieu d'atterrir avec le big bang espéré par Meta, Galactica est mort dans un gémissement après trois jours de critiques intenses. Hier, la société a retiré la démo publique qu'elle avait encouragé tout le monde à essayer.
Le faux pas de Meta - et son orgueil - montrent une fois de plus que Big Tech a un angle mort sur les [graves limitations des grands modèles de langage] (https://www.technologyreview.com/2021/05/20/1025135/ai-large- modèles-de-langage-bigscience-project/). Il existe un grand nombre de recherches qui mettent en évidence les défauts de cette technologie , y compris ses tendances à [reproduire les préjugés et affirmer les faussetés comme des faits](https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru /).
Cependant, Meta et d'autres sociétés travaillant sur de grands modèles de langage, y compris Google, n'ont pas pris cela au sérieux.
Galactica est un grand modèle de langage pour la science, formé sur 48 millions d'exemples d'articles scientifiques, de sites Web, de manuels, de notes de cours et d'encyclopédies. Meta a présenté son modèle comme un raccourci pour les chercheurs et les étudiants. Selon les mots de l'entreprise, Galactica "peut résumer des articles académiques, résoudre des problèmes mathématiques, générer des articles Wiki, écrire du code scientifique, annoter des molécules et des protéines, et plus encore".
Mais le placage brillant s'est vite usé. Comme tous les modèles de langage, Galactica est un robot stupide qui ne peut pas distinguer les faits de la fiction. En quelques heures, les scientifiques partageaient ses résultats biaisés et incorrects sur les réseaux sociaux.
"Je suis à la fois étonné et pas surpris par ce nouvel effort", déclare Chirag Shah de l'Université de Washington, qui étudie les technologies de recherche. «Quand il s'agit de faire la démonstration de ces choses, elles ont l'air si fantastiques, magiques et intelligentes. Mais les gens ne semblent toujours pas comprendre qu'en principe, de telles choses ne peuvent pas fonctionner de la façon dont nous les vantons.
Interrogé sur la raison pour laquelle il avait supprimé la démo, Meta a pointé MIT Technology Review vers un tweet qui dit : « Merci à tous d'avoir essayé la démo du modèle Galactica . Nous apprécions les commentaires que nous avons reçus jusqu'à présent de la part de la communauté et avons suspendu la démo pour le moment. Nos modèles sont disponibles pour les chercheurs qui souhaitent en savoir plus sur le travail et reproduire les résultats dans l'article.
Un problème fondamental avec Galactica est qu'il n'est pas capable de distinguer le vrai du faux, une exigence de base pour un modèle de langage conçu pour générer du texte scientifique. Les gens ont découvert qu'il fabriquait de faux articles (les attribuant parfois à de vrais auteurs) et générait des articles wiki sur l'histoire des ours dans l'espace aussi facilement que ceux sur complexes protéiques et la vitesse de la lumière. Il est facile de repérer la fiction lorsqu'il s'agit d'ours de l'espace, mais plus difficile avec un sujet dont les utilisateurs ne savent peut-être pas grand-chose.
De nombreux scientifiques ont repoussé durement. Michael Black, directeur de l'Institut Max Planck pour les systèmes intelligents en Allemagne, qui travaille sur l'apprentissage en profondeur, tweeted : « Dans tous les cas, c'était faux ou biaisé mais sonnait juste et autoritaire. Je pense que c'est dangereux."
Des opinions encore plus positives sont venues avec des mises en garde claires : "Heureux de voir où cela nous mène !" tweeté Miles Cranmer, astrophysicien à Princeton. « Vous ne devez jamais conserver le résultat tel quel ou lui faire confiance. En gros, traitez-le comme une recherche Google avancée de sources secondaires (incomplètes) ! »
Galactica a également des lacunes problématiques dans ce qu'il peut gérer. Lorsqu'on lui a demandé de générer du texte sur certains sujets, tels que "racisme" et "SIDA", le modèle a répondu : "Désolé, votre requête n'a pas été acceptée nos filtres de contenu. Réessayez et gardez à l'esprit qu'il s'agit d'un modèle de langage scientifique.
L'équipe Meta derrière Galactica affirme que les modèles linguistiques sont meilleurs que les moteurs de recherche. "Nous pensons que ce sera la prochaine interface sur la façon dont les humains accèdent aux connaissances scientifiques", les chercheurs écrivent.
En effet, les modèles de langage peuvent "potentiellement stocker, combiner et raisonner" sur des informations. Mais ce « potentiel » est crucial. C'est un aveu codé que les modèles de langage ne peuvent pas encore faire toutes ces choses. Et ils ne pourront peut-être jamais le faire.
"Les modèles de langage ne sont pas vraiment bien informés au-delà de leur capacité à capturer des modèles de chaînes de mots et à les recracher de manière probabiliste", explique Shah. "Cela donne un faux sentiment d'intelligence."
Gary Marcus, scientifique cognitif à l'Université de New York et critique virulent de l'apprentissage en profondeur, [a donné son point de vue](https://garymarcus.substack.com/p/a-few-words-about-bullshit?utm_source=substack&utm_medium= email) dans un post de Substack intitulé "A Few Words About Bullshit", disant que la capacité des grands modèles de langage à imiter le texte écrit par l'homme n'est rien de plus qu'un "exploit superlatif de statistiques".
Et pourtant, Meta n'est pas la seule entreprise à défendre l'idée que [les modèles de langage pourraient remplacer les moteurs de recherche](https://www.technologyreview.com/2022/03/29/1048439/chatbots-replace-search-engine-terrible-idea /). Au cours des deux dernières années, Google a promu des modèles de langage, tels que LaMDA, comme [moyen de rechercher des informations](https:// www.youtube.com/watch?v=_xLgXIhebxA).
C'est une idée alléchante. Mais suggérer que le texte de type humain généré par ces modèles contiendra toujours des informations fiables, comme Meta semble le faire dans sa promotion de Galactica, est imprudent et irresponsable. C'était une erreur non forcée.
Et ce n'était pas seulement la faute de l'équipe marketing de Meta. Yann LeCun, lauréat du prix Turing et scientifique en chef de Meta, a défendu Galactica jusqu'au bout. Le jour de la sortie du modèle, LeCun tweeted : "Tapez un texte et Galactica générera un article avec des références pertinentes, des formules et tout." Trois jours plus tard, il a tweeté : « La démo de Galactica est hors ligne pour le moment. Il n'est plus possible de s'amuser en l'abusant avec désinvolture. Heureux?"
Ce n'est pas tout à fait le moment Tay de Meta. Rappelons qu'en 2016, Microsoft a lancé un chatbot appelé Tay sur Twitter, puis l'a fermé 16 heures plus tard lorsque les utilisateurs de Twitter l'ont transformé en un sexbot raciste et homophobe. Mais la gestion de Galactica par Meta sent la même naïveté.
"Les grandes entreprises de technologie continuent de le faire - et croyez-moi, elles ne s'arrêteront pas - parce qu'elles le peuvent", déclare Shah. "Et ils ont l'impression qu'ils doivent le faire, sinon quelqu'un d'autre pourrait le faire. Ils pensent que c'est l'avenir de l'accès à l'information, même si personne n'a demandé cet avenir.
Correction : Une version précédente de cette histoire indiquait que Google faisait la promotion du modèle de langage PaLM comme moyen de rechercher des informations depuis quelques années. Le modèle de langage auquel nous voulions nous référer est LaMDA.