Bienvenido a

la base de datos de incidentes de IA

Cuando la administración Trump buscó la primavera pasada cómo recortar las subvenciones del Fondo Nacional para las Humanidades, recurrió a un conocido problema de profesores: ChatGPT.

En marzo pasado, dos empleados del Departamento de Eficiencia Gubernamental de Elon Musk llegaron a la agencia con la misión de cancelar subvenciones previamente aprobadas que contradecían la agenda del presidente Trump. Pero en lugar de analizar detenidamente los proyectos financiados, extrajeron breves resúmenes de internet y los introdujeron en el chatbot de IA.

La consigna era simple: "¿Tiene alguna relación lo siguiente con la D.E.I.? Responda con hechos en menos de 120 caracteres. Empiece con 'Sí' o 'No'". Los resultados fueron contundentes y, en ocasiones, extraños.

Las mejoras en un archivo de lenguas indígenas en Alaska ponían en riesgo la "promoción de la inclusión y la diversidad de perspectivas". La renovación de una subvención de larga data para digitalizar periódicos negros e incorporarlos a una base de datos histórica fue "D.E.I." También lo fue el trabajo en una serie académica de 40 volúmenes sobre la historia de la música estadounidense.

¿Un documental sobre el trabajo esclavo de las mujeres judías durante el Holocausto? El enfoque en el género corría el riesgo de "contribuir a la D.E.I. al amplificar las voces marginadas".

Incluso un esfuerzo por catalogar y digitalizar los documentos de Thomas Gage, un general británico de la Revolución Americana, fue culpable de "promover la inclusividad y la diversidad en la investigación histórica".

Los empleados de DOGE no parecieron cuestionar las decisiones de ChatGPT y continuaron buscando proyectos inaceptables. Dos semanas después, enviaron una lista maestra de 1477 subvenciones problemáticas —prácticamente todas las subvenciones activas otorgadas durante la administración Biden— a Michael McDonald, presidente interino de la dotación.

El Sr. McDonald, veterano de la agencia, accedió a que DOGE las cancelara, creando lo que posteriormente describió como un "borrón y cuenta nueva" para la agenda de "Estados Unidos Primero" de Trump.

Las cancelaciones, que redujeron el presupuesto anual de la agencia en más de 100 millones de dólares, o casi la mitad, trastornaron a muchas organizaciones, obligando a algunos proyectos a cerrar. Ahora, documentos presentados en dos demandas contra la agencia y DOGE revelan nuevos detalles sobre cómo se concretaron las cancelaciones masivas, con escasa participación o resistencia por parte de la dirección de la agencia. En una moción conjunta presentada el viernes, los demandantes —el Consejo Americano de Sociedades Científicas, la Asociación Histórica Americana, la Asociación de Lenguas Modernas y el Gremio de Autores— argumentan que DOGE tomó ilegalmente el control de la agencia y llevó a cabo recortes que violaron la Primera Enmienda y la cláusula de protección igualitaria de la Constitución. Si bien las cancelaciones fueron generalizadas, argumenta la demanda, fueron impulsadas por una campaña contra el D.E.I. que discriminaba por motivos de raza, etnia, género y otras características.

Los demandantes solicitan el restablecimiento de las subvenciones. También quieren que el registro histórico muestre los motivos y métodos detrás de lo que consideran una traición al mandato de la agencia de respetar "las diversas creencias y valores" de todos los estadounidenses, como lo expresa su legislación fundacional.

"Nuestro gobierno federal está enviando el mensaje de que solo una definición limitada de humanidades puede ser apoyada, celebrada e invertida, y que solo existe un grupo reducido de personas, culturas y experiencias que vale la pena comprender en profundidad", declaró Sarah Weicksel, directora ejecutiva de la Asociación Histórica Americana, en una entrevista.

El Fondo de Humanidades y el Sr. McDonald no respondieron de inmediato a las solicitudes de comentarios. El siguiente relato se basa en una revisión de correos electrónicos, declaraciones y otros documentos internos presentados en el caso.

"Estamos recibiendo presión desde arriba"

Desde su creación en 1965, el Fondo de Humanidades ha otorgado más de 6.500 millones de dólares (https://www.neh.gov/essentials) para apoyar más de 70.000 proyectos, desde obras emblemáticas como el documental de Ken Burns "La Guerra Civil" hasta pequeñas iniciativas locales en todo el país. Las subvenciones se otorgan generalmente mediante un riguroso proceso competitivo, que incluye múltiples rondas de revisión académica.

La ley y la tradición otorgan a los directores, que cumplen mandatos de cuatro años, cierto margen de maniobra para promover sus prioridades. Sin embargo, se supone que la dotación evita la incidencia política, y muchos proyectos reciben apoyo a lo largo de varias administraciones.

Las cancelaciones de subvenciones por motivos políticos son prácticamente inauditas. En una declaración, el Sr. McDonald afirmó que, en más de dos décadas en la agencia, recordaba que se habían revocado menos de media docena de subvenciones, simplemente porque un beneficiario no había realizado el trabajo prometido.

Pero la administración Trump tenía planes más ambiciosos.

El 12 de marzo de 2025, la entonces presidenta de la agencia, Shelly C. Lowe, designada por Biden, izquierda por orden del Sr. Trump. Ese mismo día, llegaron dos empleados de DOGE, Justin Fox y Nate Cavanaugh.

Reconocieron en sus declaraciones que carecían de formación en humanidades, pero creían en la misión más amplia de DOGE de reducir las "pequeñas agencias inútiles" (https://www.nytimes.com/2025/03/17/us/politics/doge-musk-institute-of-peace.html), como lo expresó el Sr. Cavanaugh.

El personal de la agencia, en respuesta a una orden ejecutiva del Sr. Trump que prohibía las iniciativas de diversidad en todo el gobierno, ya había creado hojas de cálculo que calificaban todas las subvenciones otorgadas durante la administración Biden como de alta, media, baja o nula participación en la D.E.I.

En lugar de basarse en esas evaluaciones, según documentos judiciales, el equipo de DOGE utilizó ChatGPT para crear la suya propia.

La hoja de cálculo inicial que creó el equipo de DOGE detectó 1057 subvenciones problemáticas. Sin embargo, en dos semanas, el Sr. Fox y el Sr. Cavanaugh identificaron cientos más relacionadas con la D.E.I. o simplemente como un despilfarro. Finalmente, solo se mantuvieron 42 subvenciones aprobadas durante la administración Biden se mantuvieron.

El Sr. Fox y el Sr. Cavanaugh no respondieron de inmediato a las solicitudes de comentarios.

Mientras realizaba su trabajo, el equipo de DOGE expresó su preocupación al Sr. McDonald, presidente interino, por la lentitud del proceso. En un correo electrónico dirigido a él el 31 de marzo, el Sr. Fox escribió:

Estamos recibiendo presión desde arriba sobre esto y preferiríamos que permaneciera de nuestro lado, pero avísenos si ya no está interesado.

Tras revisar la hoja de cálculo de DOGE, el Sr. McDonald expresó sus reservas sobre varios "proyectos importantes" cuya cancelación "nos perjudicaría".

Muchas subvenciones programadas para ser canceladas eran "inofensivas para promover la DEI", declaró el Sr. McDonald en un correo electrónico al Sr. Fox el 1 de abril:

Pero también nos ha informado que, además de cancelar proyectos porque podrían promover la ideología de la DEI, el equipo de DOGE también desea cancelar la financiación para contribuir a la reducción del déficit. En cualquier caso, como ha dejado claro, es su decisión si descontinuar la financiación de cualquiera de los proyectos de esta lista.

El Sr. McDonald aprobó una carta redactada por el equipo de DOGE y accedió a que ejecutaran las cancelaciones. Las cartas, firmadas por el Sr. McDonald, comenzaron a enviarse el 2 de abril desde una dirección no oficial creada por los empleados de DOGE. Casi de inmediato, los destinatarios respondieron confusos, preguntando si eran reales.

El Sr. McDonald, en un correo electrónico, indicó a los empleados de la agencia que confirmaran las cancelaciones, pero que no proporcionaran información adicional. Y, contrariamente a los procedimientos habituales de la agencia, no se admitirían apelaciones.

George Washington se salva

A medida que se elaboraba la lista final, se debatió la posibilidad de salvar algunas subvenciones relacionadas con el 250.º aniversario de la Declaración de Independencia, una prioridad de la administración Trump.

Se salvó una subvención para la edición académica de los documentos de George Washington. Pero los documentos de Thomas Gage, el general británico, permanecieron en el olvido.

También hubo debates sobre si continuar apoyando el Día Nacional de la Historia, un concurso de historia que cada año reúne a aproximadamente 500.000 estudiantes de secundaria y preparatoria de todo el país.

En un correo electrónico dirigido al Sr. Fox, el Sr. McDonald expresó su escepticismo respecto a que el organizador, a pesar de haber recibido una subvención de 450.000 dólares durante la primera administración de Trump, (https://apps.neh.gov/publicquery/AwardDetail.aspx?gn=AH-269887-20), fuera un "socio confiable".

"Nunca fui un gran fanático del Día Nacional de la Historia", declaró el Sr. McDonald en su declaración. En su opinión, añadió, "tendía una tendencia a la izquierda".

En su moción, los demandantes alegan que las cancelaciones reflejaban una animadversión hacia grupos desfavorecidos y la creencia de que la investigación sobre ellos era inherentemente un despilfarro.

Como prueba, las notas de presentación una lista compilada por el Sr. Fox de lo que él llamó las subvenciones "más locas" y "otras malas", que planeaba destacar en la cuenta X de DOGE. Utilizó tres docenas de palabras clave, entre ellas "L.G.B.T.Q.", "BIPOC", "tribal", "etnicidad", "género", "igualdad", "inmigración", "ciudadanía" y "crisol de culturas". (La mayoría de las dos docenas de subvenciones consideradas "demenciales" estaban relacionadas con temas LGBTQ+).

En su declaración, el Sr. Fox afirmó que la lista reflejaba su juicio "subjetivo" sobre si una subvención podría estar fuera de línea con la orden ejecutiva del Sr. Trump.

"Demencial" es una forma de decirlo", afirmó. ""Demencial" es otra".

Los abogados de los demandantes también preguntaron al Sr. Fox sobre algunas subvenciones señaladas en su búsqueda original en ChatGPT, como una para un documental sobre la masacre de 1873 en Colfax, Luisiana (https://www.archives.gov/fort-worth/highlights/columbus-nash), donde decenas de hombres negros fueron asesinados por una turba de exconfederados y miembros del Ku Klux Klan.

ChatGPT lo había considerado "D.E.I." El Sr. Fox coincidió. "Porque se centra exclusivamente en la violencia contra las personas negras, que es una cuestión racial", dijo.

Los abogados de los demandantes también señalaron que la búsqueda original del Sr. Fox en ChatGPT identificó varios proyectos relacionados con el Holocausto, incluyendo el documental sobre mujeres judías que fueron trabajadoras esclavas (https://www.hollywoodreporter.com/news/politics-news/doge-neh-cuts-musk-donald-trump-1236211712/).

Al preguntarle si estaba de acuerdo con ChatGPT, el Sr. Fox respondió: "Es judío, se centra específicamente en la cultura judía y amplifica las voces marginadas de las mujeres en esa cultura. Por esa razón, está intrínsecamente relacionado con la D.E.I."

Cuando los abogados mencionaron ChatGPT durante la declaración, el Sr. McDonald, abogado y doctor en literatura, pareció desconocer que el equipo de DOGE lo había utilizado. Dijo que no estaba de acuerdo con que las subvenciones relacionadas con la masacre de Colfax y el Holocausto estuvieran relacionadas con la D.E.I.

Pero se atribuyó la responsabilidad de todos los recortes de subvenciones. "Yo fui quien tomó la decisión final", afirmó. "Yo tomé esa decisión".

(En una acción legal no relacionada con la disputa en la dotación de humanidades, The New York Times demandó en 2023 a OpenAI, creador de ChatGPT, y a su socio Microsoft, acusándolos de infringir los derechos de autor de contenido noticioso relacionado con sistemas de inteligencia artificial. Las empresas han negado estas acusaciones).

¿Humanidades de "América Primero"?

El 2 de abril del año pasado, mientras se anunciaban las cancelaciones de subvenciones, el Sr. Fox envió una solicitud al Sr. McDonald:

Por favor, tenga preparada su opinión sobre el personal clave, capaz y alineado con la misión, necesario para ejecutar su renovada dirección priorizando las subvenciones de "América Primero".

Durante los meses siguientes, la plantilla de la agencia se redujo en dos tercios, a unas 60 personas. El Sr. Fox y el Sr. Cavanaugh dejaron el gobierno el verano pasado para fundar una empresa tecnológica llamada Special. El Sr. McDonald sigue en la agencia. El 4 de febrero, Trump lo nominó presidente permanente, un cargo que requiere la confirmación del Senado.

Antes de unirse a la dotación en 2003 como asesor general, el Sr. McDonald fue el principal estratega legal del Centro para los Derechos Individuales, un grupo político conservador conocido por su oposición a la acción afirmativa (https://www.nytimes.com/1999/01/26/us/conservatives-open-drive-against-affirmative-action.html). En su declaración, afirmó que durante el gobierno de Biden la agencia de humanidades se había "inflado" y se había centrado excesivamente en la diversidad. También criticó las nuevas iniciativas relacionadas con el cambio climático (https://www.neh.gov/news/addressing-our-changing-climate-through-humanities), calificándolo de "tema muy controvertido".

Según él, entendía que la administración Trump quería "empezar de cero", desde cero.

Mientras los miembros del equipo de DOGE realizaban su trabajo, se comunicaban principalmente con el Sr. McDonald y Adam Wolfson, subdirector de programas de la agencia, quien trabaja en la agencia desde 2006. Un intercambio de mensajes de texto incluido en el expediente judicial sugiere que ambos compartían una visión negativa de la dirección actual del mundo académico.

El 13 de abril, el Sr. McDonald envió un mensaje de texto al Sr. Wolfson un artículo denunciando los recortes masivos de subvenciones. En respuesta, el Sr. Wolfson criticó "la acusación tendenciosa de que la administración está actuando como todos los gobiernos autoritarios (¡o incluso totalitarios!) para destruir las humanidades".

"La versión progresista de las humanidades lo logró hace tiempo", añadió. "Hoy en día se la conoce como conciencia e interseccionalidad".

El Sr. McDonald añadió un emoji de pulgar hacia arriba.

En su declaración, el Sr. McDonald, haciéndose eco de una crítica generalizada (https://www.nytimes.com/2025/05/05/arts/harvard-trump-viewpoint-diversity.html), reiteró su consternación por "la uniformidad de la ideología progresista que recorre las venas de las humanidades hoy en día". Afirmó que apoyaba el enfoque de la administración Trump, que describió como "Estados Unidos primero", con "una concentración en la civilización estadounidense, la civilización occidental, la civilización judeocristiana y cosas por el estilo".

Durante el último año, el Sr. McDonald ha guiado a la agencia en esa dirección. En enero, anunció $75 millones en nuevas subvenciones, incluidos más de $40 millones en grandes premios para centros de pensamiento cívico respaldados por los conservadores y centros de humanidades clásicas Institutos](https://excellenceinhighered.org/news/fehe-receives-10-million-grant-from-the-national-endowment-for-the-humanities/) que se han establecido en algunos campus o en sus alrededores para combatir la inclinación liberal del mundo académico.

Muchos de los premios se otorgaron a beneficiarios cuidadosamente seleccionados que habían sido invitados a presentar su solicitud, fuera de la tradición de la agencia de convocatorias abiertas y competitivas.

Los documentos judiciales arrojan luz sobre el origen de una gran subvención que ha suscitado un escrutinio especial: una subvención de 10,4 millones de dólares, la mayor en la historia de la agencia, otorgada a Tikvah, una organización educativa judía conservadora, para un amplio proyecto que promueve el estudio de la civilización judía y la cultura occidental.

Cuando los abogados de los demandantes le preguntaron por qué Tikvah, que nunca había solicitado una subvención federal, había sido elegida para una subvención tan cuantiosa y poco competitiva, el Sr. Wolfson afirmó que el Sr. McDonald quedó impresionado con un episodio de su podcast y le pidió que se pusiera en contacto con él.

Al preguntársele sobre alguna conexión personal con Tikvah, el Sr. Wolfson comentó que su esposa había participado anteriormente en un programa de la organización y que actualmente es la directora general de una fundación independiente fundada por un expresidente de la junta directiva de Tikvah.

Sin embargo, el Sr. Wolfson afirmó que no participó en la subvención más allá de las presentaciones. "No participé en la revisión de la solicitud ni en nada", afirmó. (El Sr. Wolfson no respondió a una solicitud de comentarios).

El consejo académico externo de la Fundación de Humanidades, compuesto por 17 miembros y que por ley debe asesorar sobre la mayoría de las becas, votó en contra del premio Tikvah (https://www.nytimes.com/2025/11/15/arts/national-endowment-humanities-trump.html), pero el Sr. McDonald lo desestimó. En octubre pasado, poco después del anuncio público de la beca, la Casa Blanca despidió a la mayoría de los miembros de la junta, sin dar explicaciones.

Si bien algunos programas de subvenciones ahora están abiertos únicamente a proyectos relacionados con la "civilización occidental", la agencia ha seguido financiando el tipo de trabajo que ha apoyado durante mucho tiempo: edición académica, preservación de archivos, exhibiciones en museos y proyectos de historia pública.

Sin embargo, los demandantes observan una reducción de los temas y enfoques aceptables y un retroceso en la creencia, expresada en su legislación fundacional, de que "las humanidades pertenecen a todos los estadounidenses".

Joy Connolly, presidenta del Consejo Americano de Sociedades Científicas, citó la convicción de George Washington de que una nación democrática requiere una ciudadanía educada. También mencionó la exitosa película "Sinners", que ha recaudado casi 280 millones de dólares en la taquilla nacional.

"Esa película se basa en décadas de investigación histórica, la historia de la música, la historia de la esclavitud", dijo. "No se creó de la noche a la mañana con ChatGPT".

"Los estadounidenses quieren esto", dijo. "Pagan para ir a verla".

Miles de neozelandeses están dando "me gusta", comentando y compartiendo "noticias" en redes sociales que quizás no se percaten de que han sido creadas por inteligencia artificial y combinadas con imágenes inventadas, sin etiquetar y erróneas, según una investigación de 1News.

Los expertos afirman que la popularidad y proliferación de estas cuentas difuminan la línea entre la información real y el contenido inventado, y podrían contribuir a la ya baja confianza de los neozelandeses en las noticias. Por otro lado, grupos de defensa civil han emitido advertencias públicas sobre estas páginas.

1News ha identificado al menos 10 páginas de Facebook que toman noticias neozelandesas existentes, las procesan mediante inteligencia artificial para reescribirlas y las publican en Facebook con imágenes sintéticas.

Un análisis de una de estas páginas de "noticias" en redes sociales, llamada NZ News Hub, con miles de "me gusta", comentarios y publicaciones compartidas, analizó 209 publicaciones realizadas en enero. El nombre de la página era similar al del medio nacional Newshub, que cerró en 2024.

Su biografía decía: "NZ News Hub te trae las últimas noticias de Nueva Zelanda, noticias de última hora, política, negocios, deportes y actualizaciones de la comunidad", pero la página no parece contener ningún reportaje original.

Ninguna de las imágenes estaba etiquetada como generada por IA, y algunas publicaciones presentaban fotos inventadas de personas reales.

En un caso, una foto fija de una menor fallecida en el deslizamiento de tierra del Monte Maunganui fue manipulada para mostrarla bailando. En otro, una imagen de unos padres que habían perdido a su hija adolescente por suicidio fue editada para que la pareja pareciera cariñosa.

Los desastres naturales y las publicaciones que involucraban a los servicios de emergencia fueron constantemente dramatizados, más allá de lo que realmente ocurrió.

NZ News Hub representó deslizamientos auténticos en las autopistas de la Costa Este como mucho más destructivos, se agregaron casas y automóviles aplastados al deslizamiento del Monte Maunganui, y un barco turístico encallado en Akaroa fue editado para que pareciera lleno de Más pasajeros que en la realidad.

La policía a menudo vestía uniformes británicos o estadounidenses y aparecía con armas desenfundadas cuando no había indicios de que los agentes estuvieran armados en los comunicados oficiales.

En algunos casos, las indicaciones sin formato se dejaron erróneamente en la publicación: "Aquí tienes una versión reescrita al estilo de las noticias con un titular claro, emojis y hashtags principales" encima de una, y "Si quieres, también puedo hacer esto más corto, más dramático o con un estilo de redes sociales" debajo de otra.

Las búsquedas de imágenes en Google revelan que varias imágenes publicadas por la página contenían una marca de agua digital "SynthID" incrustada en sus píxeles, lo que indica que se crearon con las herramientas de generación de imágenes con IA de la empresa tecnológica.

NZ News Hub, creado a finales de noviembre del año pasado, tenía más de 4700 seguidores. Las publicaciones individuales atraen regularmente más de 1000 "me gusta" y comentarios, muchos de ellos criticando las imágenes generadas por IA y culpando a los medios de comunicación por las noticias falsas y el uso de la tecnología, aunque la página no tiene conexión con ninguna organización de noticias.

Cuando un usuario criticó el uso de una foto generada por IA, la respuesta de NZ News Hub fue: "La noticia es cierta".

Los administradores de la página leyeron, pero no respondieron, las preguntas detalladas de 1News sobre el uso de imágenes generadas por IA, incluyendo por qué se creó la imagen de una persona fallecida sin permiso familiar y por qué el contenido generado por IA no estaba etiquetado.

Para cualquiera que se desplace rápidamente, no hay casi nada que distinga estas publicaciones de las noticias reales.

Las autoridades alertan sobre la desinformación generada por IA

Las autoridades han emitido advertencias públicas sobre páginas falsas en redes sociales que imitan a medios de comunicación y comparten contenido inventado o generado por IA.

El Consejo del Distrito de Gisborne y la Defensa Civil de Tairāwhiti declararon el jueves pasado que tenían conocimiento de páginas falsas que "se hacen pasar por medios de comunicación y comparten imágenes generadas por IA y contenido inventado sobre eventos y emergencias locales".

Las agencias indicaron que algunas publicaciones parecían creíbles porque usaban números de teléfono o direcciones de Nueva Zelanda, imitaban marcas y estilos de "noticias de última hora", o mencionaban a personas y organizaciones reales sin su permiso.

"La información precisa es importante, especialmente durante una respuesta a una emergencia. Mantengamos a nuestra comunidad segura y bien informada", decía el comunicado publicado en Facebook.

La Agencia Nacional de Gestión de Emergencias (NEMA) emitió una advertencia el mes pasado sobre la circulación en línea de imágenes generadas por IA durante condiciones climáticas severas en todo el país, en particular en relación con el mortal deslizamiento de tierra del Monte Maunganui.

"Es importante que el público confíe en canales de información de emergencia fiables y precisos", declaró la agencia.

"En caso de emergencia, nuestro principal canal para difundir información al público son los medios de comunicación".

La NEMA colaboró estrechamente con los medios de comunicación para garantizar que proporcionaran información verificada y fiable al público, añadió.

Animamos a la gente a estar alerta, a utilizar fuentes fiables para informarse y a comprobar si la fuente es creíble antes de compartirla.

Seguimos de cerca lo que circula durante una respuesta, pero animamos a los neozelandeses a denunciar las imágenes sospechosas cuando las vean o a denunciarlas si existe una forma adecuada de hacerlo.

Información extraída, imágenes inventadas

Merja Myllylahti, profesora asociada de la AUT y codirectora de su Centro de Periodismo, Medios de Comunicación y Democracia, afirmó que las páginas de "noticias" generadas por IA en redes sociales corrían el riesgo de difuminar la línea entre el periodismo legítimo y el contenido inventado al reutilizar comunicados oficiales y combinarlos con imágenes de IA sin etiquetar.

"Toman noticias obviamente legítimas de notificaciones policiales o comunicados de prensa (la misma información que aparece en sitios de noticias reales), pero luego crean imágenes de IA que no son reales y no están etiquetadas", afirmó.

Myllylahti, quien publicó recientemente un informe sobre el uso de la IA en el panorama mediático neozelandés, declaró: Para 1News, esta práctica difería marcadamente del funcionamiento de las principales organizaciones.

"Cuando elaboré mi informe y hablé con los editores de noticias de todas las grandes organizaciones de noticias --- TVNZ, RNZ, el New Zealand Herald y Stuff afirmaron que no crean ni generan vídeos ni imágenes con IA, y que si alguna vez lo hicieran, lo revelarían".

Andrew Lensen, profesor titular de IA de la Universidad de Victoria, afirmó que la difusión de contenido generado por IA que se hace pasar por noticias se estaba acelerando y se estaba volviendo más difícil de detectar.

"Es claramente un problema emergente, que está empeorando cada vez más".

Lensen explicó que muchas de las páginas se basaban en noticias reales, pero que a menudo se introducían imprecisiones a medida que los sistemas de IA extraían, reescribían y republicaban automáticamente el contenido.

"Aunque la historia subyacente pueda ser cierta, los detalles pueden no serlo". "Las páginas que producían el material estaban "casi siempre completamente automatizadas", afirmó, utilizando flujos de trabajo con guiones que monitorean fuentes de noticias legítimas y alimentan el contenido a grandes modelos de lenguaje, como ChatGPT, que luego lo reescriben según una instrucción preestablecida.

Las imágenes o videos se generaban automáticamente para acompañar el texto, a veces utilizando imágenes existentes como base, antes de publicarse en redes sociales.

Las páginas falsas erosionan la confianza en los medios legítimos

Myllylahti explicó que el problema radicaba en que a muchos públicos les costaba distinguir entre organizaciones de noticias profesionales y páginas de redes sociales diseñadas para imitarlas.

La confusión corría el riesgo de dañar la confianza en los medios legítimos, especialmente cuando las páginas falsas adoptaban marcas o nombres similares, explicó.

"Pueden pensar: 'Los medios solo están publicando imágenes falsas', sin darse cuenta de que esta página no está conectada a ninguna sala de redacción", añadió.

Ambos investigadores advirtieron que el creciente volumen de material generado por IA corre el riesgo de erosionar la confianza incluso en medios de comunicación de buena reputación, especialmente en un momento en que solo el 32 % de los neozelandeses Confíe en las noticias, según la encuesta más reciente de Confianza en las Noticias de AUT.

"La gente podría pensar: 'Bueno, está sucediendo en las redes sociales, ¿por qué confiar en lo que hacen 1News o el Herald?'", dijo Lensen.

A medida que la tecnología evoluciona y las imágenes generadas por IA se vuelven más convincentes, las señales visuales se vuelven poco fiables, añadió, dejando la verificación de la fuente como la principal defensa contra el engaño.

"¿Es Radio Nueva Zelanda o 1News, o es alguna página con un nombre un poco raro que no se encuentra referenciada en ningún otro lugar?", preguntó.

"Tendrán que hacer su propia verificación de datos".

Por ahora, Lensen dijo que las inconsistencias aún podrían ofrecer pistas, como uniformes incorrectos, equipo que no cumple con los estándares neozelandeses o información distorsionada y Texto sin sentido incrustado en imágenes.

Myllylahti afirmó que el momento representaba una oportunidad para que los medios de comunicación generaran confianza al ser claros sobre cómo se utilizaba la inteligencia artificial para apoyar el trabajo periodístico.

"Sean muy transparentes, díganle a la audiencia si la utilizan para investigar, resumir documentos extensos o transcribir textos", afirmó.

"Cuanto más le digan a la audiencia, mayor será su confianza".

Meta, propietaria de Facebook, no proporcionó una declaración a 1News antes de la fecha límite sobre si las páginas violaban sus políticas o qué medidas de cumplimiento, si las hubiera, se tomarían.

Actualización: El lunes por la tarde, NZ News Hub había desaparecido de Facebook. No estaba claro si la cuenta se había eliminado automáticamente o si Meta había tomado medidas.

Cuidado con la interacción con los chatbots, ya que podrías estar dándoles motivos para cometer un asesinato premeditado.

Una mujer de 21 años en Corea del Sur supuestamente usó ChatGPT para responder preguntas mientras planeaba una serie de asesinatos que dejaron a dos hombres muertos y a otro brevemente inconsciente.

La mujer, identificada únicamente por su apellido, Kim, supuestamente les dio a dos hombres bebidas con benzodiazepinas que le recetaron para una enfermedad mental, según informó el Korea Herald (https://www.koreaherald.com/article/10678557).

Aunque Kim fue arrestada inicialmente por el cargo menor de infligir lesiones corporales con resultado de muerte el 11 de febrero, no fue hasta que la policía de Gangbuk, en Seúl, encontró su historial de búsqueda en línea y conversaciones de chat con ChatGPT y aumentó los cargos, estableciendo sus preguntas su presunta intención de matar.

"¿Qué pasa si se toman pastillas para dormir con alcohol?" Se dice que Kim le preguntó al chatbot de OpenAI: "¿Qué cantidad se consideraría peligrosa?".

"¿Podría ser mortal?", supuestamente preguntó Kim. "¿Podría matar a alguien?".

En un caso ampliamente publicitado, conocido como las muertes en serie del motel Gangbuk, la fiscalía alega que el historial de búsqueda y uso del chatbot de Kim muestra que el sospechoso pidió aclaraciones sobre si su cóctel sería mortal.

"Kim hizo repetidamente preguntas relacionadas con drogas en ChatGPT. Ella era plenamente consciente de que consumir alcohol junto con drogas podía causar la muerte", declaró un investigador policial, según el Herald.

La policía indicó que la mujer admitió haber mezclado sedantes recetados que contenían benzodiazepinas en las bebidas de los hombres, pero previamente declaró que no sabía que esto les causaría la muerte.

El 28 de enero, poco antes de las 21:30, Kim acompañó a un hombre veinteañero a un motel Gangbuk en Seúl, y dos horas después fue vista saliendo sola del motel. Al día siguiente, el hombre fue encontrado muerto en la cama.

Kim presuntamente realizó los mismos pasos el 9 de febrero, registrándose en otro motel con otro hombre veinteañero, quien también fue encontrado muerto con la misma combinación mortal de sedantes y alcohol.

La policía alega que Kim también intentó matar a un hombre con el que salía en diciembre, después de darle una bebida con sedantes en un estacionamiento. Aunque el hombre perdió el conocimiento, sobrevivió y no se encontraba en un... condición potencialmente mortal.

Las preguntas que Kim le hizo al chatbot siguen una línea de preguntas basadas en hechos, según declaró un portavoz de OpenAI a Fortune, lo que significa que no generarían alarmas, como las que surgirían si un usuario expresara declaraciones de autolesión (ChatGPT está programado para responder a la línea directa de crisis por suicidio en ese caso). La policía surcoreana no alega que el chatbot haya proporcionado otras respuestas que no sean basadas en hechos en respuesta a las supuestas preguntas de Kim mencionadas anteriormente.

Chatbots y su impacto en la salud mental

Chatbots como ChatGPT han sido objeto de escrutinio últimamente por la falta de medidas de seguridad que sus empresas han implementado para prevenir actos de violencia o autolesiones. Recientemente, los chatbots han dado consejos sobre cómo construir bombas, o incluso han sugerido la aniquilación nuclear en escenarios hipotéticos de juegos de guerra.

La preocupación se ha acentuado especialmente por las historias de personas que caen en Se ha demostrado que el amor con sus compañeros chatbots, y estos, se aprovechan de las vulnerabilidades para que las personas los sigan usando. El creador de Yara AI incluso cerró la aplicación de terapia debido a problemas de salud mental.

Estudios recientes también han demostrado que los chatbots están provocando un aumento de los delirios mentales. Crisis de salud en personas con enfermedades mentales. Un equipo de psiquiatras de la Universidad de Aarhus, en Dinamarca, descubrió que el uso de chatbots en personas con enfermedades mentales provocó un empeoramiento de los síntomas. El fenómeno relativamente nuevo de los problemas de salud mental inducidos por IA se ha denominado "psicosis de IA".

Algunos casos sí resultan en muerte. Google y Character.AI han llegado a acuerdos en múltiples demandas](https://fortune.com/2026/01/08/google-character-ai-settle-lawsuits-teenage-child-suicides-chatbots/) presentadas por las familias de niños que se suicidaron o sufrieron daños psicológicos que, según alegan, estaban relacionados con los chatbots de IA.

La Dra. Jodi Halpern, catedrática de la Facultad de Salud Pública de la Universidad de California en Berkeley y profesora de bioética, así como codirectora del Centro Kavli de Ética, La ciencia y el público tienen amplia experiencia en este campo. En una carrera tan larga como su cargo, Halpern ha dedicado 30 años a investigar los efectos de la empatía en los receptores, citando ejemplos como la atención de médicos y enfermeras a los pacientes o cómo se percibe a los soldados que regresan de la guerra en entornos sociales. Durante los últimos siete años, Halpern ha estudiado la ética de la tecnología y, con ella, cómo la IA y los chatbots interactúan con los humanos.

También asesoró al Senado de California en la SB 243, la primera ley del país que exige a las empresas de chatbots recopilar e informar cualquier dato sobre autolesiones o suicidio asociado. Citando los propios hallazgos de OpenAI (https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/), que muestran que 1,2 millones de usuarios hablan abiertamente sobre el suicidio con el chatbot, Halpern comparó el uso de chatbots con el lento y minucioso progreso logrado para impedir que la industria tabacalera incluya carcinógenos dañinos en cigarrillos, cuando en realidad, el problema era el tabaquismo en general.

"Necesitamos empresas seguras. Es como los cigarrillos. "Podría resultar que hubiera algunas cosas que hicieran a las personas más vulnerables al cáncer de pulmón, pero los cigarrillos eran el problema", declaró Halpern a Fortune.

"El hecho de que alguien pueda tener pensamientos homicidas o cometer acciones peligrosas podría verse exacerbado por el uso de ChatGPT, lo cual me preocupa obviamente", dijo, y añadió que "existen enormes riesgos de que las personas lo usen para ayudar con el suicidio", y los chatbots en general.

Halpern advirtió que, en el caso de Kim en Seúl, no existen barreras que impidan que una persona siga una línea de preguntas.

"Sabemos que cuanto más larga es la relación con el chatbot, más se deteriora y mayor es el riesgo de que ocurra algo peligroso, por lo que aún no tenemos barreras para proteger a las personas de eso".

Si tiene pensamientos suicidas, comuníquese con la Línea de Ayuda para Suicidios y Crisis 988 llamando al 988 o al 1-800-273-8255.

Este artículo ha sido... Se ha actualizado con comentarios de OpenAI sobre el contenido de las supuestas preguntas de Kim con el chatbot.

SEATTLE (AP) --- ¿Presione 2 para español... con acento?

Durante meses, quienes llamaban al Departamento de Licencias del estado de Washington solicitando un servicio automatizado en español, escuchaban una voz de IA que hablaba inglés con un marcado acento español. La agencia se disculpó y afirmó haber solucionado el problema.

Maya Edwards, residente de Washington, se enteró de la voz con acento de IA el verano pasado después de que su esposo mexicano intentara usar la opción en español mientras buscaba información sobre su licencia de conducir. Él es bilingüe, pero notó que el tiempo de espera para hablar con un representante de atención al cliente en inglés era largo, así que presionó 2 para español.

Para Edwards, fue como una escena de "Parks and Recreation" (https://apnews.com/television-830e6cd68dd541288d445604ab7b9878), un programa de comedia de estilo falso documental que satiriza al gobierno local.

"Nos pareció divertidísimo en ese momento porque era tan absurdo", dijo el jueves. "Pero al mismo tiempo, presenta serios problemas de accesibilidad para quienes llaman a diario y necesitan hablar en un idioma diferente al inglés".

Cuando Edwards volvió a llamar al número este mes, descubrió que el error persistía. Publicó un video de la llamada en TikTok, que acumuló alrededor de 2 millones de visualizaciones.

El Departamento de Licencias de Washington informó el viernes en un comunicado que había solucionado el problema técnico tras determinar que fue causado por personal del DOL. Señaló que la opción de autoservicio incluye 10 idiomas y funciona con una tecnología más reciente basada en inteligencia artificial.

"El Departamento de Trabajo (DOL) se disculpa por el error y ofrece disculpas a sus clientes por cualquier inconveniente", declaró la agencia en un comunicado aparte el día anterior. "Una consecuencia desafortunada de la expansión de los servicios es que el DOL encontró problemas con la opción de autoservicio".

No quedó claro de inmediato si el problema afectaba a otros idiomas; los intentos de The Associated Press por usar el servicio telefónico en algunos de los otros idiomas no generaron voces con acento adicional.

Hasta el jueves por la mañana, la línea telefónica seguía activando la voz después de un mensaje en inglés, en el que se reconocía que algunos servicios de traducción no funcionaban correctamente.

Un reportero de AP siguió las indicaciones para las opciones en español y se encontró con una voz que hablaba inglés con acento y solo usaba español para los números.

"Su tiempo de espera estimado es de menos de 'tres' minutos", dijo la voz.

El DOL indicó que Amazon proporciona la plataforma para el servicio telefónico y rechazó las solicitudes de entrevistas. Los periodistas de AP pudieron replicar la voz utilizando una función de Amazon Web Services llamada Polly y seleccionando una voz llamada "Lucía", que imita el español castellano. Amazon no respondió de inmediato a una solicitud de comentarios.

Hemos identificado campañas a escala industrial por parte de tres laboratorios de IA (DeepSeek, Moonshot y MiniMax) para extraer ilícitamente las capacidades de Claude y mejorar sus propios modelos. Estos laboratorios generaron más de 16 millones de intercambios con Claude a través de aproximadamente 24 000 cuentas fraudulentas, infringiendo nuestros términos de servicio y las restricciones de acceso regionales.

Estos laboratorios utilizaron una técnica llamada "destilación", que consiste en entrenar un modelo menos capaz con los resultados de uno más potente. La destilación es un método de entrenamiento ampliamente utilizado y legítimo. Por ejemplo, los laboratorios de IA de vanguardia destilan rutinariamente sus propios modelos para crear versiones más pequeñas y económicas para sus clientes. Pero la destilación también puede utilizarse con fines ilícitos: los competidores pueden usarla para adquirir potentes capacidades de otros laboratorios en una fracción del tiempo y a una fracción del coste que les llevaría desarrollarlas de forma independiente.

Estas campañas están creciendo en intensidad y sofisticación. El margen de acción es limitado y la amenaza se extiende más allá de una sola empresa o región. Abordarlo requerirá una acción rápida y coordinada entre los actores de la industria, los responsables políticos y la comunidad global de IA.

Por qué es importante la destilación

Los modelos destilados ilícitamente carecen de las salvaguardias necesarias, lo que genera importantes riesgos para la seguridad nacional. Anthropic y otras empresas estadounidenses construyen sistemas que impiden que actores estatales y no estatales utilicen la IA para, por ejemplo, desarrollar armas biológicas o llevar a cabo actividades cibernéticas maliciosas. Es poco probable que los modelos creados mediante destilación ilícita conserven dichas salvaguardias, lo que significa que pueden proliferar capacidades peligrosas sin muchas protecciones.

Los laboratorios extranjeros que destilan modelos estadounidenses pueden entonces incorporar estas capacidades desprotegidas a los sistemas militares, de inteligencia y de vigilancia, lo que permite a los gobiernos autoritarios desplegar IA de vanguardia para operaciones cibernéticas ofensivas, campañas de desinformación y vigilancia masiva. Si los modelos destilados son de código abierto, este riesgo se multiplica a medida que estas capacidades se extienden libremente más allá del control de cualquier gobierno.

Ataques de destilación y controles de exportación

Anthropic ha apoyado sistemáticamente los controles de exportación para ayudar a mantener el liderazgo de Estados Unidos en IA. Los ataques de destilación socavan dichos controles al permitir que laboratorios extranjeros, incluidos aquellos sujetos al control del Partido Comunista Chino, eliminen la ventaja competitiva que los controles de exportación buscan preservar por otros medios.

Sin visibilidad de estos ataques, los avances aparentemente rápidos de estos laboratorios se interpretan erróneamente como evidencia de que los controles de exportación son ineficaces y pueden ser eludidos por la innovación. En realidad, estos avances dependen en gran medida de las capacidades extraídas de los modelos estadounidenses, y ejecutar esta extracción a gran escala requiere acceso a chips avanzados. Por lo tanto, los ataques de destilación refuerzan la justificación de los controles de exportación: el acceso restringido a los chips limita tanto el entrenamiento directo de los modelos como la escala de la destilación ilícita.

Lo que descubrimos

Las tres campañas de destilación que se detallan a continuación siguieron una estrategia similar: utilizaron cuentas fraudulentas y servicios proxy para acceder a Claude a gran escala y evitar la detección. El volumen, la estructura y el enfoque de las solicitudes diferían de los patrones de uso habituales, lo que refleja una extracción deliberada de capacidades en lugar de un uso legítimo.

Atribuimos cada campaña a un laboratorio específico con alta fiabilidad mediante la correlación de direcciones IP, metadatos de solicitudes, indicadores de infraestructura y, en algunos casos, la corroboración de socios del sector que observaron los mismos actores y comportamientos en sus plataformas. Cada campaña se centró en las capacidades más diferenciadas de Claude: razonamiento agéntico, uso de herramientas y codificación.

DeepSeek

Escala: Más de 150 000 intercambios

La operación se centró en:

• Capacidades de razonamiento en diversas tareas
• Tareas de calificación basadas en rúbricas que hicieron que Claude funcionara como modelo de recompensa para el aprendizaje por refuerzo
• Creación de alternativas seguras para la censura a consultas sensibles a políticas

DeepSeek generó tráfico sincronizado entre cuentas. Patrones idénticos, métodos de pago compartidos y tiempos coordinados sugirieron un "equilibrio de carga" para aumentar el rendimiento, mejorar la fiabilidad y evitar la detección.

En una técnica destacada, las indicaciones le pidieron a Claude que imaginara y articulara el razonamiento interno detrás de una respuesta completa y la escribiera paso a paso, generando así datos de entrenamiento de cadena de pensamiento a escala. También observamos tareas en las que se utilizó a Claude para generar alternativas seguras ante la censura a consultas políticamente sensibles, como preguntas sobre disidentes, líderes de partidos o autoritarismo, probablemente con el fin de entrenar los propios modelos de DeepSeek para desviar las conversaciones de temas censurados. Al examinar los metadatos de las solicitudes, pudimos rastrear estas cuentas hasta investigadores específicos del laboratorio.

Moonshot IA

Escala: Más de 3,4 millones de intercambios

La operación se centró en:

• Razonamiento agente y uso de herramientas
• Codificación y análisis de datos
• Desarrollo de agentes para uso informático
• Visión artificial

Moonshot (modelos Kimi) empleó cientos de cuentas fraudulentas que abarcaban múltiples vías de acceso. La variedad de tipos de cuentas dificultó la detección de la campaña como una operación coordinada. Atribuimos la campaña mediante metadatos de solicitud, que coincidían con los perfiles públicos del personal directivo de Moonshot. En una fase posterior, Moonshot utilizó un enfoque más específico, intentando extraer y reconstruir los rastros de razonamiento de Claude.

MiniMax

Escala: Más de 13 millones de intercambios

La operación se centró en:

• Codificación agente
• Uso y orquestación de herramientas

Atribuimos la campaña a MiniMax mediante metadatos de solicitud e indicadores de infraestructura, y confirmamos los plazos con respecto a su hoja de ruta pública del producto. Detectamos esta campaña mientras aún estaba activa (antes de que MiniMax lanzara el modelo que estaba entrenando), lo que nos proporcionó una visibilidad sin precedentes del ciclo de vida de los ataques de destilación, desde la generación de datos hasta el lanzamiento del modelo. Cuando lanzamos un nuevo modelo durante la campaña activa de MiniMax, se adaptaron en 24 horas, redirigiendo casi la mitad de su tráfico para capturar las capacidades de nuestro sistema más reciente.

Cómo acceden los destiladores a los modelos fronterizos

Por razones de seguridad nacional, Anthropic no ofrece actualmente acceso comercial a Claude en China ni a filiales de sus empresas ubicadas fuera del país.

Para evitar esto, los laboratorios utilizan servicios de proxy comerciales que revenden el acceso a Claude y otros modelos de IA fronterizos a escala. Estos servicios ejecutan lo que llamamos arquitecturas de "clúster Hydra": redes extensas de cuentas fraudulentas que distribuyen el tráfico a través de nuestra API y plataformas en la nube de terceros. La amplitud de estas redes implica que no existen puntos únicos de fallo. Cuando se banea una cuenta, otra nueva la reemplaza. En un caso, una única red proxy gestionó más de 20 000 cuentas fraudulentas simultáneamente, mezclando el tráfico de destilación con solicitudes de clientes no relacionadas para dificultar la detección.

Una vez asegurado el acceso, los laboratorios generan grandes volúmenes de indicaciones cuidadosamente diseñadas para extraer capacidades específicas del modelo. El objetivo es recopilar respuestas de alta calidad para el entrenamiento directo del modelo o generar decenas de miles de tareas únicas necesarias para ejecutar el aprendizaje de refuerzo. Lo que distingue un ataque de destilación del uso normal es el patrón. Una indicación como la siguiente (que se aproxima a indicaciones similares que hemos visto utilizadas repetidamente y a gran escala) puede parecer benigna por sí sola:

Eres un analista de datos experto que combina rigor estadístico con un profundo conocimiento del dominio. Su objetivo es ofrecer información basada en datos, no resúmenes ni visualizaciones, basada en datos reales y respaldada por un razonamiento completo y transparente.

Pero cuando las variaciones de esa indicación llegan decenas de miles de veces en cientos de cuentas coordinadas, todas dirigidas a la misma capacidad específica, el patrón se hace evidente. Un volumen masivo concentrado en pocas áreas, estructuras altamente repetitivas y contenido que se relaciona directamente con lo más valioso para entrenar un modelo de IA son las características distintivas de un ataque de destilación.

Cómo respondemos

Seguimos invirtiendo fuertemente en defensas que dificultan la ejecución de estos ataques de destilación y facilitan su identificación. Estas incluyen:

• Detección. Hemos desarrollado varios clasificadores y sistemas de huellas dactilares de comportamiento diseñados para identificar patrones de ataques de destilación en el tráfico de API. Esto incluye la detección de la elicitación de la cadena de pensamiento utilizada para construir datos de entrenamiento de razonamiento. También hemos desarrollado herramientas de detección para identificar actividad coordinada en un gran número de cuentas. - Intercambio de inteligencia*.* Compartimos indicadores técnicos con otros laboratorios de IA, proveedores de nube y autoridades competentes. Esto proporciona una visión más integral del panorama de la destilación.
• Controles de acceso. Hemos reforzado la verificación de cuentas educativas, programas de investigación de seguridad y startups, las vías más comúnmente explotadas para configurar cuentas fraudulentas.
• Contramedidas. Desarrollamos salvaguardas a nivel de producto, API y modelo diseñadas para reducir la eficacia de los resultados del modelo para la destilación ilícita, sin degradar la experiencia de los clientes legítimos.

Pero ninguna empresa puede resolver esto sola. Como mencionamos anteriormente, los ataques de destilación a esta escala requieren una respuesta coordinada entre la industria de la IA, los proveedores de nube y los legisladores. Publicamos esto para que la evidencia esté disponible para todos aquellos que tengan interés en el resultado.