Incidentes Asociados
OpenAI detectó e interrumpió dos usos de sus herramientas de IA como parte de campañas más amplias de influencia china, incluida una diseñada para difundir desinformación antiamericana en español, dijo la compañía.
Por qué es importante: el potencial de la IA para potenciar la desinformación y acelerar el trabajo de los ciberataques respaldados por estados nacionales está pasando de ser una teoría aterradora a una realidad compleja.
Impulso de las noticias: OpenAI publicó su último informe de amenazas el viernes, identificando varios ejemplos de esfuerzos para hacer un mal uso de ChatGPT y sus otras herramientas.
- Una campaña, que OpenAI etiquetó como "descontento patrocinado", utilizó cuentas de ChatGPT para generar comentarios en inglés que atacaban al disidente chino Cai Xia y artículos de noticias en español que criticaban a los EE. UU.
- Algunos de los comentarios breves se publicaron en X, mientras que los artículos encontraron su camino hacia una variedad de sitios de noticias latinoamericanos, en algunos casos como contenido patrocinado.
Lo que dicen: "Hasta donde sabemos, esta es la primera vez que se descubre una operación de influencia china que traduce artículos extensos al español y los publica en América Latina", dijo Ben Nimmo, investigador principal del equipo de inteligencia e investigaciones de OpenAI, en una reunión informativa con periodistas.
- "Sin nuestra visión de su uso de la IA, no habríamos podido hacer la conexión entre los tuits y los artículos web".
Otra campaña, que OpenAI denominó "revisión por pares", consistió en cuentas que usaban ChatGPT para generar materiales de marketing para una herramienta de escucha de redes sociales que, según sus creadores, se había utilizado para enviar informes de protestas a los servicios de seguridad chinos.
- OpenAI prohibió las cuentas relacionadas, diciendo que violaban las políticas de la empresa que "prohíben el uso de la IA para la vigilancia de las comunicaciones o el monitoreo no autorizado de personas".
- Otras campañas señaladas en el último informe incluyen varias estafas, así como campañas de influencia vinculadas a Corea del Norte e Irán y un esfuerzo por influir en una elección en Ghana.
Entre líneas: OpenAI, que comenzó a publicar informes de amenazas el año pasado, dice que lo hace "para informar los esfuerzos por comprender y prepararse para la forma en que la República Popular China u otros regímenes autoritarios pueden intentar aprovechar la IA contra los Estados Unidos y los países aliados, así como contra su propia gente".
-
Como muestra el nuevo informe, las herramientas de IA se pueden utilizar en varios puntos de una campaña de desinformación, a veces revelando otros aspectos de las técnicas, los objetivos y las debilidades de un grupo.
-
"Los actores de amenazas a veces nos dan una idea de lo que están haciendo en otras partes de Internet debido a la forma en que utilizan nuestros modelos", dijo Nimmo.
Sí, pero: a medida que las herramientas de código abierto se vuelven más poderosas (y pueden ejecutarse localmente), los actores de amenazas pueden usarlas para más tareas, lo que dificulta la detección de tales esfuerzos.
- En el caso de la "revisión por pares", por ejemplo, OpenAI notó que, si bien ChatGPT se usó para editar y depurar algo de código, también hubo referencias al uso de modelos de código abierto, incluidos DeepSeek y una versión de Llama 3.1 de Meta.
"Este fue un caso realmente interesante en el que parece que un actor de amenazas al menos menciona el uso de un montón de modelos diferentes", dijo Nimmo, señalando que no está claro qué motivó el uso de tantas herramientas.
- "Tal vez querían dividir su señal", dijo. "Hay un montón de razones diferentes por las que algo de esto podría estar sucediendo".
En resumen: a medida que la IA continúa aumentando las capacidades de los atacantes, los proveedores de IA tienen que esforzarse más en rastrearlos y frustrarlos, a menudo con la ayuda de sus propias herramientas.