Incidentes Asociados
Científicos, expertos en políticas y artistas han estado preocupados por las consecuencias no deseadas de la inteligencia artificial desde antes de que la tecnología estuviera fácilmente disponible. Con la mayoría de las innovaciones tecnológicas, es común preguntarse si ese invento podría ser maliciosamente utilizado como arma, y ha habido muchos expertos que advierten que la IA se está utilizando para difundir desinformación. Apenas dos años después del lanzamiento público de los modelos de lenguaje de IA, existen casos documentados de actores maliciosos que utilizan la tecnología para producir masivamente narrativas dañinas y falsas a una escala previamente inviable. Ahora, un aparente intento por parte de Rusia de infectar con propaganda los chatbots de IA muestra que internet, tal como lo conocemos, podría cambiar para siempre.
La naturaleza autoiterativa y generalizada de la inteligencia artificial es el medio perfecto para un nuevo abuso de la tecnología con fines de desinformación. Esto puede hacerse de dos maneras: los usos dañinos más comunes de la IA son externos a la tecnología. Difunden falsedades al instruir a los modelos de IA para que produzcan masivamente narrativas falsas; por ejemplo, utilizando la IA para crear rápidamente miles de artículos con desinformación seleccionada y luego publicarlos en línea. Pero la desinformación también puede dispersarse mediante la corrupción interna de los propios modelos de lenguaje de gran tamaño. Este fenómeno, al que hemos denominado "preparación LLM" en unnuevo informe, está a punto de llevar internet y la desinformación digital a una nueva era peligrosa.
Nuestro informe detalla evidencia de que la llamada "red Pravda" (sin relación con el medio de propaganda Pravda), un conjunto de sitios web y cuentas de redes sociales que recopilan propaganda prorrusa, participa en la preparación LLM con la posible intención de inducir a chatbots de IA a reproducir desinformación y propaganda rusas. Desde que publicamos nuestro informe, NewsGuard y el Laboratorio de Investigación Forense Digital del Atlantic Council (DFRLab) —organizaciones que estudian operaciones de información maligna— confirmaron que el contenido de la red Pravda estaba siendo citado por algunos importantes chatbots de IA para apoyar narrativas prorrusas demostrablemente falsas. Si no se abordan, estas narrativas falsas podrían plagar casi toda la información en línea, socavando la democracia en todo el mundo.
Los sectores público y privado pueden tomar ciertas medidas para mitigar muchos de los daños de la manipulación de LLM. Las organizaciones que crean y gestionan grandes modelos lingüísticos deben ser conscientes del riesgo de la manipulación de LLM y asegurarse de que sus modelos generativos actuales y futuros no se basen en desinformación extranjera conocida. Los legisladores deberían considerar dos iniciativas políticas principales: una exigiría que las organizaciones que diseñan modelos generativos tomen medidas razonables para garantizar que sus modelos eviten la desinformación extranjera conocida, y otra financiaría programas de alfabetización informacional para adultos y niños que les ayuden a navegar por un internet en constante evolución. Las agencias gubernamentales y las organizaciones de la sociedad civil interesadas en la seguridad de la información también deberían implementar una rápida campaña de educación pública para advertir a los usuarios habituales de internet sobre los peligros de la manipulación de LLM y la nueva era de navegación web que inaugurará.
¿Qué es la red Pravda? La red Pravda es una entidad bien documentada en el mundo de la guerra híbrida rusa. Sus primeros sitios comenzaron a operar en 2023 y, aunque regurgita muchas narrativas de desinformación previamente conocidas, su comportamiento ha sido, por lo demás, atípico en comparación con otras operaciones de información rusas. La peculiaridad de la red Pravda se aprecia mejor en su tamaño en términos de tasa de publicación y alcance de dominio, su falta de facilidad de uso y su persistente escasez de interacción orgánica con los humanos.
La red ahora consta de 182 dominios y subdominios únicos de internet que se dirigen a al menos 74 países y regiones, así como a 12 idiomas de uso común, dos organizaciones internacionales (la UE y la OTAN) y tres destacados jefes de estado. La expansión de la red a lo largo del tiempo, su intercambio de contenido en gran medida automatizado y su hábito de alternar entre dominios y subdominios apuntan a una profunda centralización de las operaciones en su núcleo. El American Sunlight Project, una organización sin fines de lucro dedicada a exponer la desinformación en el discurso estadounidense, estima que la tasa anual de publicación de la red Pravda es de al menos 3,6 millones de artículos prorrusos. Es probable que esta cifra sea una subestimación, dada la aleatoriedad de la muestra que recopilamos para calcular esta cifra y la exclusión de algunos de los sitios más activos de la red.
A pesar de su crecimiento —incluyendo las plataformas de redes sociales X (Twitter), Telegram, la rusa VK y Bluesky—, la red sigue siendo poco intuitiva en todos los dominios y subdominios. Por ejemplo, carece de función de búsqueda, cuenta con un menú de navegación genérico y presenta un desplazamiento disfuncional en muchos sitios y páginas. También persisten problemas de diseño web y errores de traducción evidentes en los sitios de la red, lo que contribuye a la impresión de que la red no está destinada principalmente al consumo humano. Dado lo que parece ser su reducido público humano y su enorme presencia, creemos que no se dirige a humanos, sino a un público automatizado: rastreadores web involucrados en la optimización de motores de búsqueda y algoritmos de scraping que recopilan datos para conjuntos de datos de entrenamiento, como los utilizados para grandes modelos lingüísticos. Esta estrategia de ataque se aleja radicalmente de otras operaciones de información prorrusas y tiene graves consecuencias sociales, políticas y tecnológicas para el mundo.
La novedosa amenaza demostrada por la red Pravda —y cualquier otra operación de información que la utilice como modelo— no se limita a sus sitios web ni a sus publicaciones en redes sociales. Al ubicar estratégicamente su contenido para que se integre en grandes modelos lingüísticos, se garantiza que la propaganda y la desinformación prorrusas se regurgiten perpetuamente, siempre que los administradores de modelos no excluyan dicha información de sus conjuntos de datos de entrenamiento. Por ejemplo, un usuario inconsciente podría citar un artículo de la red Pravda proporcionado por un chatbot, creyéndolo creíble y, por lo tanto, ampliando la audiencia de esa narrativa.
Pero el lavado de información del contenido de la red Pravda puede ocurrir completamente fuera del ecosistema del gran modelo lingüístico. El contenido de la red ha sido documentado en citas de Wikipedia, lo que de igual manera puede llevar a un aumento de la audiencia y la creencia en una narrativa determinada. La propagación automatizada de la desinformación de la red Pravda elimina la necesidad de que la red busque una audiencia directa, orgánica y humana a través de medios tradicionales como los empleados por RT, una cadena de televisión internacional de noticias controlada por el gobierno ruso. La red Pravda simplemente necesita esperar a que agentes automatizados absorban su contenido, algo que aparentemente ya ha ocurrido en este contexto.
Además de los riesgos sociales o psicológicos asociados con la manipulación de LLM, nuestro informe también considera sus implicaciones cibernéticas. Un estudio publicado en Nature en 2024 descubrió que las relaciones iterativas entre grandes modelos lingüísticos (es decir, modelos entrenados con contenido generado por IA, que generan contenido adicional, etc.) amenazan con convertir internet en un ouroboros. El estudio señala que el colapso del modelo ocurre independientemente del modelo generativo y advierte que el contenido producido por humanos podría volverse muy valioso en internet, ya que este se llena rápidamente de contenido generado por máquinas.
La implicación de este estudio en el contexto de la manipulación de LLM y la red Pravda es contundente: la basura de IA prorrusa y plagada de desinformación (contenido de baja calidad generado por estas aplicaciones) podría convertirse en uno de los contenidos más disponibles en internet. Cualquier defensor de la democracia debería ser plenamente consciente de ello, dado que socavar la democracia a nivel mundial es posiblemente el principal objetivo de la política exterior rusa.
Cómo combatir la contaminación de internet en la era de la IA. Existen soluciones a los problemas analizados en el informe del Proyecto American Sunlight; muchas de ellas son técnicamente viables e incluso políticamente populares en gran parte del mundo democrático. En primer lugar, cualquier organización que cree conjuntos de datos de entrenamiento o publique sistemas de IA generativos debe ser consciente del creciente riesgo que representa la red Pravda. Estas organizaciones abarcan el sector privado, donde se produce gran parte de la innovación en IA, pero el mundo académico es un importante centro de investigación en IA y también debe participar.
Idealmente, estas organizaciones implementarían de forma proactiva medidas de seguridad rigurosas para garantizar el uso de datos veraces y de calidad en el entrenamiento de su software y realizarían rigurosos esfuerzos de higiene de datos para eliminar cualquier dato perjudicial que se haya recopilado inadvertidamente. Estas organizaciones también deberían coordinarse con agencias estatales en materia de influencia digital extranjera, como VIGINUM de Francia, la agencia gubernamental que trabaja para mitigar la interferencia extranjera en el discurso francés, que se publicó originalmente en la red Pravda en febrero de 2024 (https://www.sgdsn.gouv.fr/files/files/20240212_NP_SGDSN_VIGINUM_PORTAL-KOMBAT-NETWORK_ENG_VF.pdf). Las colaboraciones intersectoriales y público-privadas son vitales para combatir la desinformación en un panorama tecnológico en rápida evolución.
Además, los legisladores deben considerar diversas opciones políticas que reducirían la manipulación de datos personales y sus consecuencias sociales y tecnológicas. Una de estas opciones: Las entidades con y sin fines de lucro que publican modelos lingüísticos extensos y otros modelos generativos deberían estar obligadas a tomar medidas razonables para garantizar que sus conjuntos de datos de entrenamiento y sus propios modelos no incluyan desinformación extranjera conocida y maligna. Las regulaciones también deberían exigir a las organizaciones pertinentes que publiquen etiquetas claras y bien visibles en los resultados de los modelos lingüísticos extensos, indicando que dichos resultados pueden contener desinformación extranjera. Estas etiquetas deberían ser mucho más específicas, preventivas y visibles que las advertencias actuales que suelen encontrarse en los chatbots de IA.
Los legisladores también deberían considerar una segunda opción, sumamente necesaria: cursos nacionales gratuitos de alfabetización informacional para niños y adultos. Español Estudios de caso de Estonia y Finlandia apuntan al éxito en construir resiliencia frente a campañas de influencia maligna de actores extranjeros o antidemocráticos. El trabajo del curso sobre alfabetización informativa incluye tanto la alfabetización mediática, que es la capacidad de encontrar fuentes de noticias de calidad y pensar críticamente sobre argumentos persuasivos en la prensa, como la alfabetización digital, la capacidad de navegar por Internet en constante evolución y sus muchas plataformas. Este último concepto se extiende a la alfabetización en IA, donde los usuarios de estas plataformas tienen una comprensión profunda de qué es la IA y cuáles son sus muchas limitaciones. Los formuladores de políticas podrían considerar un impuesto a las empresas que estrenen plataformas de IA para financiar el trabajo del curso sobre alfabetización informativa. Después de todo, estas empresas se benefician de los datos generados libremente por personas y deberían estar dispuestas a retribuirlos con la misma moneda a la misma población que permite que su modelo de lucro funcione a un nivel básico.
Finalmente, los gobiernos y las organizaciones de la sociedad civil deberían considerar la posibilidad de participar en una campaña de educación pública (https://thebulletin.org/2025/02/how-to-inoculate-yourself-and-others-against-viral-misinformation/) que abarque tanto el sector privado como el público para informar a los usuarios sobre la nueva etapa de internet en la que han entrado los humanos. Hasta que se produzcan cambios políticos importantes en el mundo democrático, las personas no pueden dar por sentado que cualquier información que lean o vean sea precisa, por muy familiar o potente que sea la plataforma que la presenta. Esta es quizás la acción más urgente, dadas las conclusiones de nuestro informe. Toda persona u organización consciente de los riesgos de la manipulación de datos personales puede contribuir a difundirlos.
Dada la postura antirregulatoria de la Administración Trump con respecto a las empresas tecnológicas estadounidenses, es poco probable que Estados Unidos introduzca medidas para mejorar la manipulación de datos de larga duración (LLM) en los próximos cuatro años. Pero seguir adelante con la suposición de que el panorama digital es como ha sido durante los últimos 20 años sería un error monumental. Independientemente de su papel, los científicos, los líderes de la industria, los responsables políticos y los usuarios ocasionales de Internet tienen un interés enorme en la estabilidad y la usabilidad continuas de Internet. A medida que la manipulación de datos de larga duración (LLM) y otras amenazas novedosas desafían a Internet a un nivel fundamental, se necesitará un esfuerzo de toda la sociedad para anticiparlas y combatirlas.