Incidentes Asociados
A principios de este año, científicos descubrieron un término peculiar que aparece en artículos publicados: "microscopía electrónica vegetativa".
Esta frase, que suena técnica pero en realidad no tiene sentido, se ha convertido en un "fósil digital": un error preservado y reforzado en los sistemas de inteligencia artificial (IA) que es casi imposible de eliminar de nuestros repositorios de conocimiento.
Como fósiles biológicos atrapados en la roca, estos artefactos digitales podrían convertirse en elementos permanentes de nuestro ecosistema de información.
El caso de la microscopía electrónica vegetativa ofrece una visión inquietante de cómo los sistemas de IA pueden perpetuar y amplificar errores en nuestro conocimiento colectivo.
Un escaneo erróneo y un error de traducción
La microscopía electrónica vegetativa parece haberse originado a partir de una notable coincidencia de errores no relacionados.
Primero, se escanearon y digitalizaron dos artículos de la década de 1950, publicados en la revista Bacteriological Reviews.
Sin embargo, el proceso de digitalización combinó erróneamente "vegetativo" de una columna de texto con "electrón" de otra. Como resultado, se creó el término fantasma.
Décadas más tarde, la "microscopía electrónica vegetativa" apareció en algunos artículos científicos iraníes. En [2017](https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=Producción de carbón activado mesoporoso a partir de cono de pino iraní (Pinus eldarica) mediante activación química para la adsorción de dodecilbenceno sulfonato de sodio a partir de una solución acuosa&btnG=) y [2019](https://web.p.ebscohost.com/abstract?site=eh ost&scope=site&jrnl=20085729&AN=141678734&h=e9Z0lqUsvh1WBhQvCayQkWtMqGcULLWTPrWyrZbI%2bQdCrwycHUHwP0UFo7hX3eLpPU1VEhqXgz4QHsTCrtBAFw%3d%3d&crl=c&resultLocal=ErrCrlNoResults&resultNs=Ehost&crlhashurl=login.aspx%3fdirect%3dtrue%26profile%3dehost%26scope%3dsite%26authtype%3dcrawler%26jrnl%3d20085729%26AN%3d141678734), dos artículos utilizaron el término en los títulos y resúmenes en inglés. Esto parece deberse a un error de traducción. En farsi, las palabras para "vegetativo" y "escaneo" difieren solo por un punto.
Un error en aumento
¿El resultado? A día de hoy, "microscopía electrónica vegetativa" aparece en 22 artículos, según Google Académico. Uno de ellos fue objeto de una controvertida retractación de la revista Springer Nature (https://link.springer.com/article/10.1007/s11356-022-23253-9), y Elsevier emitió una corrección (https://www.mdpi.com/1996-1944/17/12/2841) para otro.
El término también aparece en artículos periodísticos que abordan investigaciones de integridad posteriores (https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years.html).
La microscopía electrónica vegetativa comenzó a aparecer con mayor frecuencia en la década de 2020. Para descubrir por qué, tuvimos que analizar el interior de los modelos de IA modernos y realizar una excavación arqueológica en las vastas capas de datos con las que fueron entrenados.
Evidencia empírica de contaminación de IA
Los grandes modelos de lenguaje que sustentan los chatbots de IA modernos, como ChatGPT, se "entrenan" con grandes cantidades de texto para predecir la probable siguiente palabra en una secuencia. El contenido exacto de los datos de entrenamiento de un modelo suele ser un secreto muy bien guardado.
Para comprobar si un modelo "conocía" la microscopía electrónica vegetativa, introdujimos fragmentos de los artículos originales para determinar si los completaría con el término sin sentido o con alternativas más sensatas.
Los resultados fueron reveladores. El GPT-3 de OpenAI completó las frases consistentemente con "microscopía electrónica vegetativa". Modelos anteriores como GPT-2 y BERT no lo hicieron. Este patrón nos ayudó a identificar cuándo y dónde se produjo la contaminación.
También descubrimos que el error persiste en modelos posteriores, como GPT-4o y Claude 3.5 de Anthropic. Esto sugiere que el término sin sentido podría estar ahora permanentemente integrado en las bases de conocimiento de IA.
Al comparar lo que sabemos sobre los conjuntos de datos de entrenamiento de diferentes modelos, identificamos el conjunto de datos CommonCrawl de páginas de internet extraídas como el vector más probable donde los modelos de IA aprendieron este término por primera vez.
El problema de la escala
Encontrar errores de este tipo no es fácil. Solucionarlos puede ser casi imposible.
Una razón es la escala. El conjunto de datos CommonCrawl, por ejemplo, tiene un tamaño de millones de gigabytes. Para la mayoría de los investigadores fuera de las grandes empresas tecnológicas, los recursos informáticos necesarios para trabajar a esta escala son inaccesibles.
Otra razón es la falta de transparencia en los modelos comerciales de IA. OpenAI y muchos otros desarrolladores se niegan a proporcionar detalles precisos sobre los datos de entrenamiento de sus modelos. Los esfuerzos de investigación para aplicar ingeniería inversa a algunos de estos conjuntos de datos también se han visto obstaculizados por la eliminación de derechos de autor.
Cuando se encuentran errores, no hay una solución fácil. Un simple filtrado de palabras clave podría abordar términos específicos como la microscopía electrónica vegetativa. Sin embargo, también eliminaría referencias legítimas (como este artículo).
Más fundamentalmente, el caso plantea una pregunta inquietante: ¿cuántos otros términos sin sentido existen en los sistemas de IA, esperando ser descubiertos?
Implicaciones para la ciencia y el sector editorial
Este "fósil digital" también plantea importantes preguntas sobre la integridad del conocimiento a medida que la investigación y la escritura asistidas por IA se vuelven más comunes.
Las editoriales han respondido de forma inconsistente cuando se les notifica sobre artículos que incluyen la microscopía electrónica vegetativa. Algunos han retractado artículos afectados, mientras que otros los han defendido. Cabe destacar que Elsevier intentó justificar la validez del término antes de emitir finalmente una corrección.
Aún no sabemos si existen otras peculiaridades similares en los modelos lingüísticos de gran tamaño, pero es muy probable. En cualquier caso, el uso de sistemas de IA ya ha generado problemas en el proceso de revisión por pares.
Por ejemplo, se ha observado el auge de las "frases forzadas" (https://arxiv.org/pdf/2107.06751) utilizadas para evadir el software de integridad automatizado, como "conciencia falsa" en lugar de "inteligencia artificial". Además, se han encontrado frases como "Soy un modelo de lenguaje de IA" en otros artículos retractados.
Algunas herramientas de cribado automático, como el Cribador de Artículos Problemáticos, ahora identifican la microscopía electrónica vegetativa como una señal de alerta de posible contenido generado por IA. Sin embargo, estos enfoques solo pueden abordar errores conocidos, no los no descubiertos.
Viviendo con fósiles digitales
El auge de la IA crea oportunidades para que los errores se integren permanentemente en nuestros sistemas de conocimiento, a través de procesos que ningún actor controla por sí solo. Esto presenta desafíos tanto para las empresas tecnológicas como para los investigadores y las editoriales.
Las empresas tecnológicas deben ser más transparentes con respecto a los datos y métodos de entrenamiento. Los investigadores deben encontrar nuevas formas de evaluar la información frente a las absurdas y convincentes ideas generadas por la IA. Las editoriales científicas deben mejorar sus procesos de revisión por pares para detectar errores tanto humanos como generados por la IA.
Los fósiles digitales revelan no solo el desafío técnico de monitorizar conjuntos de datos masivos, sino también el desafío fundamental de mantener un conocimiento fiable en sistemas donde los errores pueden autoperpetuarse.