Incidentes Asociados
El martes, Meta AI presentó una demostración de Galactica, un gran modelo de lenguaje diseñado para "almacenar, combinar y razonar sobre el conocimiento científico". Si bien tenía la intención de acelerar la escritura de literatura científica, los usuarios adversarios que realizaron pruebas descubrieron que también podría [generar tonterías realistas] (https://twitter.com/mrgreene1977/status/1593274906707230721?s=20&t=hfoIU_CeB6GCWkw75vHkvw). Después de varios días de crítica ética, Meta desconectó la demostración, [informa](https://www.technologyreview.com/2022/11/18/ 1063487/meta-large-language-model-ai-only-survived-tres-days-gpt-3-science/) MIT Technology Review.
Modelos de lenguaje extenso (LLM), como OpenAI [GPT-3](https://arstechnica.com/information-technology/2022/09/twitter-pranksters-derail-gpt-3-bot-with-newly-discovered- prompt-injection-hack/), aprende a escribir texto estudiando millones de ejemplos y comprendiendo las relaciones estadísticas entre palabras. Como resultado, pueden crear documentos que suenan convincentes, pero esos trabajos también pueden estar [plagados de falsedades](https://arstechnica.com/science/2021/06/the-efforts-to-make-text-based- ai-menos-racista-y-terrible/) y estereotipos potencialmente dañinos. Algunos críticos llaman a los LLM "[loros estocásticos] (https://dl.acm.org/doi/10.1145/3442188.3445922)" por su capacidad para escupir texto de manera convincente sin comprender su significado.
Ingrese a Galactica, un LLM destinado a escribir literatura científica. Sus autores entrenaron a Galactica en "un corpus grande y curado del conocimiento científico de la humanidad", que incluye más de 48 millones de artículos, libros de texto y notas de conferencias, sitios web científicos y enciclopedias. Según el artículo de Galactica, los investigadores de Meta AI creían que estos supuestos datos de alta calidad conducirían a resultados de alta calidad.
Agrandar / Una captura de pantalla del sitio web Galactica de Meta AI antes de que finalice la demostración.
A partir del martes, los visitantes del [sitio web de Galactica] (https://www.galactica.org) podrían escribir indicaciones para generar documentos como reseñas de literatura, artículos de wiki, notas de conferencias y respuestas a preguntas, de acuerdo con los ejemplos proporcionados por el sitio web. El sitio presentó el modelo como "una nueva interfaz para acceder y manipular lo que sabemos sobre el universo".
Mientras que algunas personas encontraron la demostración prometedora y [útil](https://twitter.com/dia_rotaru/status/1593302218014425088?s =20&t=Ep9NRmZ8HDT-_EMHk9nEPg), otros pronto descubrieron que cualquiera podía escribir racista o [mensajes potencialmente ofensivos](https ://twitter.com/mrgreene1977/status/1592958921026985990?s=20&t=08ifKXZK-2w8P2VygawkmQ), generando contenido de autoridad sobre esos temas con la misma facilidad. Por ejemplo, alguien lo usó para autor una entrada de wiki sobre un trabajo de investigación ficticio titulado "Los beneficios de comer vidrio triturado".
Incluso cuando la producción de Galactica no ofendía las normas sociales, el modelo podía atacar hechos científicos bien entendidos, escupiendo [inexactitudes] como fechas incorrectas o nombres de animales, lo que requiere un conocimiento profundo del tema a capturar.
Le pregunté a #Galactica sobre algunas cosas que sé y estoy preocupado. En todos los casos, estaba mal o sesgado, pero sonaba correcto y autoritario. Creo que es peligroso. Aquí están algunos de mis experimentos y mi análisis de mis preocupaciones. (1/9)
— Michael Black (@Michael_J_Black) 17 de noviembre de 2022
Como resultado, Meta sacó la demostración de Galactica el jueves. Posteriormente, el científico jefe de IA de Meta, Yann LeCun, twitteó: "La demostración de Galactica está fuera de línea por ahora. Ya no es posible divertirse un poco haciendo un mal uso casual. Feliz ?"
El episodio recuerda un dilema ético común con la IA: cuando se trata de modelos generativos potencialmente dañinos, ¿depende del público en general usarlos de manera responsable o de los editores de los modelos para evitar el uso indebido?
El lugar donde la práctica de la industria se encuentre entre esos dos extremos probablemente variará entre culturas y a medida que maduren los modelos de aprendizaje profundo. En última instancia, la regulación gubernamental puede terminar jugando un papel importante en la configuración de la respuesta.