Incidentes Asociados
El 15 de noviembre, Meta presentó un nuevo modelo de lenguaje grande llamado Galactica, diseñado para ayudar a los científicos. Pero en lugar de aterrizar con el big bang que Meta esperaba, Galactica ha muerto con un gemido después de tres días de intensas críticas. Ayer, la empresa eliminó la demostración pública que había animado a todos a probar.
El paso en falso de Meta, y su arrogancia, muestran una vez más que Big Tech tiene un punto ciego sobre las [graves limitaciones de los modelos de lenguaje grande] (https://www.technologyreview.com/2021/05/20/1025135/ai-large- lenguaje-modelos-bigscience-project/). Existe una gran cantidad de investigaciones que destacan los defectos de esta tecnología , incluidas sus tendencias a [reproducir prejuicios y afirmar falsedades como hechos](https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru /).
Sin embargo, Meta y otras empresas que trabajan en grandes modelos lingüísticos, incluido Google, no se lo han tomado en serio.
Galactica es un gran modelo de lenguaje para la ciencia, formado en 48 millones de ejemplos de artículos científicos, sitios web, libros de texto, apuntes de conferencias y enciclopedias. Meta promocionó su modelo como un atajo para investigadores y estudiantes. En palabras de la compañía, Galactica “puede resumir artículos académicos, resolver problemas matemáticos, generar artículos Wiki, escribir código científico, anotar moléculas y proteínas, y más”.
Pero el barniz brillante se desgastó rápidamente. Como todos los modelos de lenguaje, Galactica es un bot sin sentido que no puede distinguir los hechos de la ficción. En cuestión de horas, los científicos estaban compartiendo sus resultados sesgados e incorrectos en las redes sociales.
“Estoy asombrado y no sorprendido por este nuevo esfuerzo”, dice Chirag Shah de la Universidad de Washington, que estudia tecnologías de búsqueda. “Cuando se trata de hacer demostraciones de estas cosas, se ven fantásticas, mágicas e inteligentes. Pero la gente todavía no parece darse cuenta de que, en principio, esas cosas no pueden funcionar de la forma en que las promocionamos”.
Cuando se le pidió una declaración sobre por qué había eliminado la demostración, Meta señaló a MIT Technology Review un tweet que dice: “Gracias a todos por probar la demostración del modelo Galactica . Agradecemos los comentarios que hemos recibido hasta ahora de la comunidad y hemos detenido la demostración por ahora. Nuestros modelos están disponibles para los investigadores que desean aprender más sobre el trabajo y reproducir los resultados en el artículo”.
Un problema fundamental de Galactica es que no es capaz de distinguir la verdad de la falsedad, un requisito básico para un modelo de lenguaje diseñado para generar texto científico. La gente descubrió que inventaba documentos falsos (a veces atribuyéndolos a autores reales) y generó artículos wiki sobre la [historia de los osos en el espacio] (https://twitter.com/meaningness/status/1592634519269822464) tan fácilmente como sobre complejos proteicos y la velocidad de la luz. Es fácil detectar ficción cuando se trata de osos espaciales, pero es más difícil con un tema del que los usuarios pueden no saber mucho.
Muchos científicos retrocedieron con fuerza. Michael Black, director del Instituto Max Planck para Sistemas Inteligentes en Alemania, que trabaja en aprendizaje profundo, twitteó: “En todos los casos, fue incorrecto o sesgado. pero sonaba correcto y autoritario. Creo que es peligroso.
Incluso las opiniones más positivas llegaron con advertencias claras: "¡Estoy emocionado de ver a dónde se dirige esto!" twitteado Miles Cranmer, astrofísico de Princeton. “Nunca debe mantener la salida palabra por palabra o confiar en ella. ¡Básicamente, trátelo como una búsqueda avanzada en Google de fuentes secundarias (incompletas)!
Galactica también tiene brechas problemáticas en lo que puede manejar. Cuando se le pidió que generara texto sobre ciertos temas, como "racismo" y "SIDA", la modelo respondió con: "Lo siento, su consulta no pasó nuestros filtros de contenido. Inténtalo de nuevo y ten en cuenta que este es un modelo de lenguaje científico”.
El equipo de Meta detrás de Galactica argumenta que los modelos de lenguaje son mejores que los motores de búsqueda. “Creemos que esta será la próxima interfaz sobre cómo los humanos acceden al conocimiento científico”, escriben los investigadores (https://galactica.org/static/paper.pdf).
Esto se debe a que los modelos de lenguaje pueden "potencialmente almacenar, combinar y razonar sobre" información. Pero ese “potencialmente” es crucial. Es una admisión codificada de que los modelos de lenguaje aún no pueden hacer todas estas cosas. Y es posible que nunca puedan hacerlo.
“Los modelos lingüísticos no tienen realmente conocimientos más allá de su capacidad para capturar patrones de cadenas de palabras y escupirlas de manera probabilística”, dice Shah. “Da una falsa sensación de inteligencia”.
Gary Marcus, científico cognitivo de la Universidad de Nueva York y crítico vocal del aprendizaje profundo, [dio su punto de vista](https://garymarcus.substack.com/p/a-few-words-about-bullshit?utm_source=substack&utm_medium= correo electrónico) en una publicación de Substack titulada "Algunas palabras sobre tonterías", que dice que la capacidad de los grandes modelos de lenguaje para imitar el texto escrito por humanos no es más que "una hazaña superlativa de las estadísticas".
Y, sin embargo, Meta no es la única empresa que defiende la idea de que [los modelos de lenguaje podrían reemplazar los motores de búsqueda](https://www.technologyreview.com/2022/03/29/1048439/chatbots-replace-search-engine-terrible-idea /). Durante los últimos años, Google ha estado promocionando modelos de lenguaje, como LaMDA, como [una forma de buscar información](https:// www.youtube.com/watch?v=_xLgXIhebxA).
Es una idea tentadora. Pero sugerir que el texto similar al humano que generan tales modelos siempre contendrá información confiable, como parece que Meta hizo en su promoción de Galáctica, es imprudente e irresponsable. Fue un error no forzado.
Y no fue solo culpa del equipo de marketing de Meta. Yann LeCun, ganador del Premio Turing y científico jefe de Meta, defendió a Galáctica hasta el final. El día que se lanzó el modelo, LeCun twitteó: “Escriba un texto y Galactica generará un documento con referencias relevantes, fórmulas y todo”. Tres días después, twitteó: “La demostración de Galactica está fuera de línea por ahora. Ya no es posible divertirse haciendo un mal uso casual. ¿Contento?"
No es exactamente el momento Tay de Meta. Recuerde que en 2016, Microsoft lanzó un chatbot llamado Tay en Twitter, luego lo cerró 16 horas después cuando los usuarios de Twitter lo convirtieron en un sexbot racista y homofóbico. Pero el manejo de Meta de Galáctica huele a la misma ingenuidad.
“Las grandes empresas de tecnología siguen haciendo esto, y recuerden mis palabras, no se detendrán, porque pueden”, dice Shah. “Y sienten que deben hacerlo; de lo contrario, alguien más podría hacerlo. Piensan que ese es el futuro del acceso a la información, aunque nadie haya pedido ese futuro”.
Corrección: una versión anterior de esta historia decía que Google ha estado promocionando el modelo de lenguaje PaLM como una forma de buscar información durante un par de años. El modelo de lenguaje al que queríamos referirnos es LaMDA.