Bienvenido ala base de datos de incidentes de IA
Incidente 1404: Imágenes de desnudos generadas por IA fueron utilizadas para extorsionar a un hombre de Wichita en Kansas.
“Hombre de Wichita víctima de una estafa de extorsión con fotos de desnudos generadas por IA”Último informe
WICHITA, Kansas (KWCH) - Una nueva estafa en línea impulsada por IA ha llegado a Wichita.
Los delincuentes usan IA para generar fotos de personas desnudas y luego amenazan con enviárselas a amigos y familiares a menos que les envíen dinero.
Neal Zoglmann, residente de Wichita, recibió un mensaje de un número desconocido.
"Abrí el mensaje de texto y eran fotos mías, o que parecían mías, y estaban en mi casa, en mi baño, en mi cocina, en mi sala, pero no tenía ropa", dijo Zoglmann.
El mensaje también incluía una amenaza.
"Hay capturas de pantalla de mi perfil de Facebook, capturas de pantalla de mi lista de amigos, capturas de pantalla de mi familia, y como si el perfil de Facebook de mi hermana fuera el primero", dijo Zoglmann. "Dicen: 'Se lo enviaremos a toda esta gente si no nos pagan tanto dinero'".
Las fotos eran falsas, generadas por IA, creadas exclusivamente para este delito.
"Todo está mal. Hay marcas de agua, y no son... Son fotos de IA. Tiene mi cara, ¿verdad? Pero ese no es mi cuerpo. Pero está en mi baño", dijo Zoglmann.
Aunque Zoglmann sabía que las fotos eran falsas, también sabía que podrían ser tan dañinas como cualquier cosa real.
"Da miedo pensar que si esto llega a mi jefe, o si llega a mi familia, podría arruinar mis relaciones con la gente que me rodea. Cómo podría arruinar mi carrera. Cómo podría afectar mi empleo", dijo Zoglmann.
El Departamento de Policía de Wichita afirmó que nunca antes habían visto una situación como esta.
"No hemos visto nada en nuestro departamento. Nuestros investigadores no han dado ningún caso", dijo Andrew Ford, del Departamento de Policía de Wichita. La policía afirma que la mejor manera de protegerse es estar alerta en las redes sociales y bloquear las cuentas de personas maliciosas.
"Simplemente hay que tener cuidado. La mayoría de la gente tiene cuentas en redes sociales y publica fotos de sí mismos con su familia. Pueden tomar capturas de pantalla o recortar la imagen y ponerla en otro tipo de foto", dijo Ford. "Así que hay que tener en cuenta que, una vez que se sube una foto a las redes sociales, cualquiera puede tomarla y usarla".
Zoglmann presentó una denuncia policial sobre el incidente. Dijo que no ha recibido más mensajes después de bloquear los números.
Si se encuentra en una situación similar, la policía le insta a llamar al 911 y presentar su propia denuncia.
Incidente 1402: Según se informa, DOGE se basó en resultados no verificados de ChatGPT para cancelar subvenciones del Fondo Nacional para las Humanidades.
“Cuando DOGE lanzó ChatGPT en las humanidades”
Cuando la administración Trump buscó la primavera pasada cómo recortar las subvenciones del Fondo Nacional para las Humanidades, recurrió a un conocido problema de profesores: ChatGPT.
En marzo pasado, dos empleados del Departamento de Eficiencia Gubernamental de Elon Musk llegaron a la agencia con la misión de cancelar subvenciones previamente aprobadas que contradecían la agenda del presidente Trump. Pero en lugar de analizar detenidamente los proyectos financiados, extrajeron breves resúmenes de internet y los introdujeron en el chatbot de IA.
La consigna era simple: "¿Tiene alguna relación lo siguiente con la D.E.I.? Responda con hechos en menos de 120 caracteres. Empiece con 'Sí' o 'No'". Los resultados fueron contundentes y, en ocasiones, extraños.
Las mejoras en un archivo de lenguas indígenas en Alaska ponían en riesgo la "promoción de la inclusión y la diversidad de perspectivas". La renovación de una subvención de larga data para digitalizar periódicos negros e incorporarlos a una base de datos histórica fue "D.E.I." También lo fue el trabajo en una serie académica de 40 volúmenes sobre la historia de la música estadounidense.
¿Un documental sobre el trabajo esclavo de las mujeres judías durante el Holocausto? El enfoque en el género corría el riesgo de "contribuir a la D.E.I. al amplificar las voces marginadas".
Incluso un esfuerzo por catalogar y digitalizar los documentos de Thomas Gage, un general británico de la Revolución Americana, fue culpable de "promover la inclusividad y la diversidad en la investigación histórica".
Los empleados de DOGE no parecieron cuestionar las decisiones de ChatGPT y continuaron buscando proyectos inaceptables. Dos semanas después, enviaron una lista maestra de 1477 subvenciones problemáticas —prácticamente todas las subvenciones activas otorgadas durante la administración Biden— a Michael McDonald, presidente interino de la dotación.
El Sr. McDonald, veterano de la agencia, accedió a que DOGE las cancelara, creando lo que posteriormente describió como un "borrón y cuenta nueva" para la agenda de "Estados Unidos Primero" de Trump.
Las cancelaciones, que redujeron el presupuesto anual de la agencia en más de 100 millones de dólares, o casi la mitad, trastornaron a muchas organizaciones, obligando a algunos proyectos a cerrar. Ahora, documentos presentados en dos demandas contra la agencia y DOGE revelan nuevos detalles sobre cómo se concretaron las cancelaciones masivas, con escasa participación o resistencia por parte de la dirección de la agencia. En una moción conjunta presentada el viernes, los demandantes —el Consejo Americano de Sociedades Científicas, la Asociación Histórica Americana, la Asociación de Lenguas Modernas y el Gremio de Autores— argumentan que DOGE tomó ilegalmente el control de la agencia y llevó a cabo recortes que violaron la Primera Enmienda y la cláusula de protección igualitaria de la Constitución. Si bien las cancelaciones fueron generalizadas, argumenta la demanda, fueron impulsadas por una campaña contra el D.E.I. que discriminaba por motivos de raza, etnia, género y otras características.
Los demandantes solicitan el restablecimiento de las subvenciones. También quieren que el registro histórico muestre los motivos y métodos detrás de lo que consideran una traición al mandato de la agencia de respetar "las diversas creencias y valores" de todos los estadounidenses, como lo expresa su legislación fundacional.
"Nuestro gobierno federal está enviando el mensaje de que solo una definición limitada de humanidades puede ser apoyada, celebrada e invertida, y que solo existe un grupo reducido de personas, culturas y experiencias que vale la pena comprender en profundidad", declaró Sarah Weicksel, directora ejecutiva de la Asociación Histórica Americana, en una entrevista.
El Fondo de Humanidades y el Sr. McDonald no respondieron de inmediato a las solicitudes de comentarios. El siguiente relato se basa en una revisión de correos electrónicos, declaraciones y otros documentos internos presentados en el caso.
"Estamos recibiendo presión desde arriba"
Desde su creación en 1965, el Fondo de Humanidades ha otorgado más de 6.500 millones de dólares (https://www.neh.gov/essentials) para apoyar más de 70.000 proyectos, desde obras emblemáticas como el documental de Ken Burns "La Guerra Civil" hasta pequeñas iniciativas locales en todo el país. Las subvenciones se otorgan generalmente mediante un riguroso proceso competitivo, que incluye múltiples rondas de revisión académica.
La ley y la tradición otorgan a los directores, que cumplen mandatos de cuatro años, cierto margen de maniobra para promover sus prioridades. Sin embargo, se supone que la dotación evita la incidencia política, y muchos proyectos reciben apoyo a lo largo de varias administraciones.
Las cancelaciones de subvenciones por motivos políticos son prácticamente inauditas. En una declaración, el Sr. McDonald afirmó que, en más de dos décadas en la agencia, recordaba que se habían revocado menos de media docena de subvenciones, simplemente porque un beneficiario no había realizado el trabajo prometido.
Pero la administración Trump tenía planes más ambiciosos.
El 12 de marzo de 2025, la entonces presidenta de la agencia, Shelly C. Lowe, designada por Biden, izquierda por orden del Sr. Trump. Ese mismo día, llegaron dos empleados de DOGE, Justin Fox y Nate Cavanaugh.
Reconocieron en sus declaraciones que carecían de formación en humanidades, pero creían en la misión más amplia de DOGE de reducir las "pequeñas agencias inútiles" (https://www.nytimes.com/2025/03/17/us/politics/doge-musk-institute-of-peace.html), como lo expresó el Sr. Cavanaugh.
El personal de la agencia, en respuesta a una orden ejecutiva del Sr. Trump que prohibía las iniciativas de diversidad en todo el gobierno, ya había creado hojas de cálculo que calificaban todas las subvenciones otorgadas durante la administración Biden como de alta, media, baja o nula participación en la D.E.I.
En lugar de basarse en esas evaluaciones, según documentos judiciales, el equipo de DOGE utilizó ChatGPT para crear la suya propia.
La hoja de cálculo inicial que creó el equipo de DOGE detectó 1057 subvenciones problemáticas. Sin embargo, en dos semanas, el Sr. Fox y el Sr. Cavanaugh identificaron cientos más relacionadas con la D.E.I. o simplemente como un despilfarro. Finalmente, solo se mantuvieron 42 subvenciones aprobadas durante la administración Biden se mantuvieron.
El Sr. Fox y el Sr. Cavanaugh no respondieron de inmediato a las solicitudes de comentarios.
Mientras realizaba su trabajo, el equipo de DOGE expresó su preocupación al Sr. McDonald, presidente interino, por la lentitud del proceso. En un correo electrónico dirigido a él el 31 de marzo, el Sr. Fox escribió:
Estamos recibiendo presión desde arriba sobre esto y preferiríamos que permaneciera de nuestro lado, pero avísenos si ya no está interesado.
Tras revisar la hoja de cálculo de DOGE, el Sr. McDonald expresó sus reservas sobre varios "proyectos importantes" cuya cancelación "nos perjudicaría".
Muchas subvenciones programadas para ser canceladas eran "inofensivas para promover la DEI", declaró el Sr. McDonald en un correo electrónico al Sr. Fox el 1 de abril:
Pero también nos ha informado que, además de cancelar proyectos porque podrían promover la ideología de la DEI, el equipo de DOGE también desea cancelar la financiación para contribuir a la reducción del déficit. En cualquier caso, como ha dejado claro, es su decisión si descontinuar la financiación de cualquiera de los proyectos de esta lista.
El Sr. McDonald aprobó una carta redactada por el equipo de DOGE y accedió a que ejecutaran las cancelaciones. Las cartas, firmadas por el Sr. McDonald, comenzaron a enviarse el 2 de abril desde una dirección no oficial creada por los empleados de DOGE. Casi de inmediato, los destinatarios respondieron confusos, preguntando si eran reales.
El Sr. McDonald, en un correo electrónico, indicó a los empleados de la agencia que confirmaran las cancelaciones, pero que no proporcionaran información adicional. Y, contrariamente a los procedimientos habituales de la agencia, no se admitirían apelaciones.
George Washington se salva
A medida que se elaboraba la lista final, se debatió la posibilidad de salvar algunas subvenciones relacionadas con el 250.º aniversario de la Declaración de Independencia, una prioridad de la administración Trump.
Se salvó una subvención para la edición académica de los documentos de George Washington. Pero los documentos de Thomas Gage, el general británico, permanecieron en el olvido.
También hubo debates sobre si continuar apoyando el Día Nacional de la Historia, un concurso de historia que cada año reúne a aproximadamente 500.000 estudiantes de secundaria y preparatoria de todo el país.
En un correo electrónico dirigido al Sr. Fox, el Sr. McDonald expresó su escepticismo respecto a que el organizador, a pesar de haber recibido una subvención de 450.000 dólares durante la primera administración de Trump, (https://apps.neh.gov/publicquery/AwardDetail.aspx?gn=AH-269887-20), fuera un "socio confiable".
"Nunca fui un gran fanático del Día Nacional de la Historia", declaró el Sr. McDonald en su declaración. En su opinión, añadió, "tendía una tendencia a la izquierda".
En su moción, los demandantes alegan que las cancelaciones reflejaban una animadversión hacia grupos desfavorecidos y la creencia de que la investigación sobre ellos era inherentemente un despilfarro.
Como prueba, las notas de presentación una lista compilada por el Sr. Fox de lo que él llamó las subvenciones "más locas" y "otras malas", que planeaba destacar en la cuenta X de DOGE. Utilizó tres docenas de palabras clave, entre ellas "L.G.B.T.Q.", "BIPOC", "tribal", "etnicidad", "género", "igualdad", "inmigración", "ciudadanía" y "crisol de culturas". (La mayoría de las dos docenas de subvenciones consideradas "demenciales" estaban relacionadas con temas LGBTQ+).
En su declaración, el Sr. Fox afirmó que la lista reflejaba su juicio "subjetivo" sobre si una subvención podría estar fuera de línea con la orden ejecutiva del Sr. Trump.
"Demencial" es una forma de decirlo", afirmó. ""Demencial" es otra".
Los abogados de los demandantes también preguntaron al Sr. Fox sobre algunas subvenciones señaladas en su búsqueda original en ChatGPT, como una para un documental sobre la masacre de 1873 en Colfax, Luisiana (https://www.archives.gov/fort-worth/highlights/columbus-nash), donde decenas de hombres negros fueron asesinados por una turba de exconfederados y miembros del Ku Klux Klan.
ChatGPT lo había considerado "D.E.I." El Sr. Fox coincidió. "Porque se centra exclusivamente en la violencia contra las personas negras, que es una cuestión racial", dijo.
Los abogados de los demandantes también señalaron que la búsqueda original del Sr. Fox en ChatGPT identificó varios proyectos relacionados con el Holocausto, incluyendo el documental sobre mujeres judías que fueron trabajadoras esclavas (https://www.hollywoodreporter.com/news/politics-news/doge-neh-cuts-musk-donald-trump-1236211712/).
Al preguntarle si estaba de acuerdo con ChatGPT, el Sr. Fox respondió: "Es judío, se centra específicamente en la cultura judía y amplifica las voces marginadas de las mujeres en esa cultura. Por esa razón, está intrínsecamente relacionado con la D.E.I."
Cuando los abogados mencionaron ChatGPT durante la declaración, el Sr. McDonald, abogado y doctor en literatura, pareció desconocer que el equipo de DOGE lo había utilizado. Dijo que no estaba de acuerdo con que las subvenciones relacionadas con la masacre de Colfax y el Holocausto estuvieran relacionadas con la D.E.I.
Pero se atribuyó la responsabilidad de todos los recortes de subvenciones. "Yo fui quien tomó la decisión final", afirmó. "Yo tomé esa decisión".
(En una acción legal no relacionada con la disputa en la dotación de humanidades, The New York Times demandó en 2023 a OpenAI, creador de ChatGPT, y a su socio Microsoft, acusándolos de infringir los derechos de autor de contenido noticioso relacionado con sistemas de inteligencia artificial. Las empresas han negado estas acusaciones).
¿Humanidades de "América Primero"?
El 2 de abril del año pasado, mientras se anunciaban las cancelaciones de subvenciones, el Sr. Fox envió una solicitud al Sr. McDonald:
Por favor, tenga preparada su opinión sobre el personal clave, capaz y alineado con la misión, necesario para ejecutar su renovada dirección priorizando las subvenciones de "América Primero".
Durante los meses siguientes, la plantilla de la agencia se redujo en dos tercios, a unas 60 personas. El Sr. Fox y el Sr. Cavanaugh dejaron el gobierno el verano pasado para fundar una empresa tecnológica llamada Special. El Sr. McDonald sigue en la agencia. El 4 de febrero, Trump lo nominó presidente permanente, un cargo que requiere la confirmación del Senado.
Antes de unirse a la dotación en 2003 como asesor general, el Sr. McDonald fue el principal estratega legal del Centro para los Derechos Individuales, un grupo político conservador conocido por su oposición a la acción afirmativa (https://www.nytimes.com/1999/01/26/us/conservatives-open-drive-against-affirmative-action.html). En su declaración, afirmó que durante el gobierno de Biden la agencia de humanidades se había "inflado" y se había centrado excesivamente en la diversidad. También criticó las nuevas iniciativas relacionadas con el cambio climático (https://www.neh.gov/news/addressing-our-changing-climate-through-humanities), calificándolo de "tema muy controvertido".
Según él, entendía que la administración Trump quería "empezar de cero", desde cero.
Mientras los miembros del equipo de DOGE realizaban su trabajo, se comunicaban principalmente con el Sr. McDonald y Adam Wolfson, subdirector de programas de la agencia, quien trabaja en la agencia desde 2006. Un intercambio de mensajes de texto incluido en el expediente judicial sugiere que ambos compartían una visión negativa de la dirección actual del mundo académico.
El 13 de abril, el Sr. McDonald envió un mensaje de texto al Sr. Wolfson un artículo denunciando los recortes masivos de subvenciones. En respuesta, el Sr. Wolfson criticó "la acusación tendenciosa de que la administración está actuando como todos los gobiernos autoritarios (¡o incluso totalitarios!) para destruir las humanidades".
"La versión progresista de las humanidades lo logró hace tiempo", añadió. "Hoy en día se la conoce como conciencia e interseccionalidad".
El Sr. McDonald añadió un emoji de pulgar hacia arriba.
En su declaración, el Sr. McDonald, haciéndose eco de una crítica generalizada (https://www.nytimes.com/2025/05/05/arts/harvard-trump-viewpoint-diversity.html), reiteró su consternación por "la uniformidad de la ideología progresista que recorre las venas de las humanidades hoy en día". Afirmó que apoyaba el enfoque de la administración Trump, que describió como "Estados Unidos primero", con "una concentración en la civilización estadounidense, la civilización occidental, la civilización judeocristiana y cosas por el estilo".
Durante el último año, el Sr. McDonald ha guiado a la agencia en esa dirección. En enero, anunció $75 millones en nuevas subvenciones, incluidos más de $40 millones en grandes premios para centros de pensamiento cívico respaldados por los conservadores y centros de humanidades clásicas Institutos](https://excellenceinhighered.org/news/fehe-receives-10-million-grant-from-the-national-endowment-for-the-humanities/) que se han establecido en algunos campus o en sus alrededores para combatir la inclinación liberal del mundo académico.
Muchos de los premios se otorgaron a beneficiarios cuidadosamente seleccionados que habían sido invitados a presentar su solicitud, fuera de la tradición de la agencia de convocatorias abiertas y competitivas.
Los documentos judiciales arrojan luz sobre el origen de una gran subvención que ha suscitado un escrutinio especial: una subvención de 10,4 millones de dólares, la mayor en la historia de la agencia, otorgada a Tikvah, una organización educativa judía conservadora, para un amplio proyecto que promueve el estudio de la civilización judía y la cultura occidental.
Cuando los abogados de los demandantes le preguntaron por qué Tikvah, que nunca había solicitado una subvención federal, había sido elegida para una subvención tan cuantiosa y poco competitiva, el Sr. Wolfson afirmó que el Sr. McDonald quedó impresionado con un episodio de su podcast y le pidió que se pusiera en contacto con él.
Al preguntársele sobre alguna conexión personal con Tikvah, el Sr. Wolfson comentó que su esposa había participado anteriormente en un programa de la organización y que actualmente es la directora general de una fundación independiente fundada por un expresidente de la junta directiva de Tikvah.
Sin embargo, el Sr. Wolfson afirmó que no participó en la subvención más allá de las presentaciones. "No participé en la revisión de la solicitud ni en nada", afirmó. (El Sr. Wolfson no respondió a una solicitud de comentarios).
El consejo académico externo de la Fundación de Humanidades, compuesto por 17 miembros y que por ley debe asesorar sobre la mayoría de las becas, votó en contra del premio Tikvah (https://www.nytimes.com/2025/11/15/arts/national-endowment-humanities-trump.html), pero el Sr. McDonald lo desestimó. En octubre pasado, poco después del anuncio público de la beca, la Casa Blanca despidió a la mayoría de los miembros de la junta, sin dar explicaciones.
Si bien algunos programas de subvenciones ahora están abiertos únicamente a proyectos relacionados con la "civilización occidental", la agencia ha seguido financiando el tipo de trabajo que ha apoyado durante mucho tiempo: edición académica, preservación de archivos, exhibiciones en museos y proyectos de historia pública.
Sin embargo, los demandantes observan una reducción de los temas y enfoques aceptables y un retroceso en la creencia, expresada en su legislación fundacional, de que "las humanidades pertenecen a todos los estadounidenses".
Joy Connolly, presidenta del Consejo Americano de Sociedades Científicas, citó la convicción de George Washington de que una nación democrática requiere una ciudadanía educada. También mencionó la exitosa película "Sinners", que ha recaudado casi 280 millones de dólares en la taquilla nacional.
"Esa película se basa en décadas de investigación histórica, la historia de la música, la historia de la esclavitud", dijo. "No se creó de la noche a la mañana con ChatGPT".
"Los estadounidenses quieren esto", dijo. "Pagan para ir a verla".
Incidente 1403: NZ News Hub habría utilizado publicaciones de noticias reescritas con IA e imágenes sintéticas para engañar a los usuarios neozelandeses de Facebook.
“Páginas de "noticias" generadas por IA en las redes sociales que engañan a miles de kiwis”
Miles de neozelandeses están dando "me gusta", comentando y compartiendo "noticias" en redes sociales que quizás no se percaten de que han sido creadas por inteligencia artificial y combinadas con imágenes inventadas, sin etiquetar y erróneas, según una investigación de 1News.
Los expertos afirman que la popularidad y proliferación de estas cuentas difuminan la línea entre la información real y el contenido inventado, y podrían contribuir a la ya baja confianza de los neozelandeses en las noticias. Por otro lado, grupos de defensa civil han emitido advertencias públicas sobre estas páginas.
1News ha identificado al menos 10 páginas de Facebook que toman noticias neozelandesas existentes, las procesan mediante inteligencia artificial para reescribirlas y las publican en Facebook con imágenes sintéticas.
Un análisis de una de estas páginas de "noticias" en redes sociales, llamada NZ News Hub, con miles de "me gusta", comentarios y publicaciones compartidas, analizó 209 publicaciones realizadas en enero. El nombre de la página era similar al del medio nacional Newshub, que cerró en 2024.
Su biografía decía: "NZ News Hub te trae las últimas noticias de Nueva Zelanda, noticias de última hora, política, negocios, deportes y actualizaciones de la comunidad", pero la página no parece contener ningún reportaje original.
Ninguna de las imágenes estaba etiquetada como generada por IA, y algunas publicaciones presentaban fotos inventadas de personas reales.
En un caso, una foto fija de una menor fallecida en el deslizamiento de tierra del Monte Maunganui fue manipulada para mostrarla bailando. En otro, una imagen de unos padres que habían perdido a su hija adolescente por suicidio fue editada para que la pareja pareciera cariñosa.
Los desastres naturales y las publicaciones que involucraban a los servicios de emergencia fueron constantemente dramatizados, más allá de lo que realmente ocurrió.
NZ News Hub representó deslizamientos auténticos en las autopistas de la Costa Este como mucho más destructivos, se agregaron casas y automóviles aplastados al deslizamiento del Monte Maunganui, y un barco turístico encallado en Akaroa fue editado para que pareciera lleno de Más pasajeros que en la realidad.
La policía a menudo vestía uniformes británicos o estadounidenses y aparecía con armas desenfundadas cuando no había indicios de que los agentes estuvieran armados en los comunicados oficiales.
En algunos casos, las indicaciones sin formato se dejaron erróneamente en la publicación: "Aquí tienes una versión reescrita al estilo de las noticias con un titular claro, emojis y hashtags principales" encima de una, y "Si quieres, también puedo hacer esto más corto, más dramático o con un estilo de redes sociales" debajo de otra.
Las búsquedas de imágenes en Google revelan que varias imágenes publicadas por la página contenían una marca de agua digital "SynthID" incrustada en sus píxeles, lo que indica que se crearon con las herramientas de generación de imágenes con IA de la empresa tecnológica.
NZ News Hub, creado a finales de noviembre del año pasado, tenía más de 4700 seguidores. Las publicaciones individuales atraen regularmente más de 1000 "me gusta" y comentarios, muchos de ellos criticando las imágenes generadas por IA y culpando a los medios de comunicación por las noticias falsas y el uso de la tecnología, aunque la página no tiene conexión con ninguna organización de noticias.
Cuando un usuario criticó el uso de una foto generada por IA, la respuesta de NZ News Hub fue: "La noticia es cierta".
Los administradores de la página leyeron, pero no respondieron, las preguntas detalladas de 1News sobre el uso de imágenes generadas por IA, incluyendo por qué se creó la imagen de una persona fallecida sin permiso familiar y por qué el contenido generado por IA no estaba etiquetado.
Para cualquiera que se desplace rápidamente, no hay casi nada que distinga estas publicaciones de las noticias reales.
Las autoridades alertan sobre la desinformación generada por IA
Las autoridades han emitido advertencias públicas sobre páginas falsas en redes sociales que imitan a medios de comunicación y comparten contenido inventado o generado por IA.
El Consejo del Distrito de Gisborne y la Defensa Civil de Tairāwhiti declararon el jueves pasado que tenían conocimiento de páginas falsas que "se hacen pasar por medios de comunicación y comparten imágenes generadas por IA y contenido inventado sobre eventos y emergencias locales".
Las agencias indicaron que algunas publicaciones parecían creíbles porque usaban números de teléfono o direcciones de Nueva Zelanda, imitaban marcas y estilos de "noticias de última hora", o mencionaban a personas y organizaciones reales sin su permiso.
"La información precisa es importante, especialmente durante una respuesta a una emergencia. Mantengamos a nuestra comunidad segura y bien informada", decía el comunicado publicado en Facebook.
La Agencia Nacional de Gestión de Emergencias (NEMA) emitió una advertencia el mes pasado sobre la circulación en línea de imágenes generadas por IA durante condiciones climáticas severas en todo el país, en particular en relación con el mortal deslizamiento de tierra del Monte Maunganui.
"Es importante que el público confíe en canales de información de emergencia fiables y precisos", declaró la agencia.
"En caso de emergencia, nuestro principal canal para difundir información al público son los medios de comunicación".
La NEMA colaboró estrechamente con los medios de comunicación para garantizar que proporcionaran información verificada y fiable al público, añadió.
Animamos a la gente a estar alerta, a utilizar fuentes fiables para informarse y a comprobar si la fuente es creíble antes de compartirla.
Seguimos de cerca lo que circula durante una respuesta, pero animamos a los neozelandeses a denunciar las imágenes sospechosas cuando las vean o a denunciarlas si existe una forma adecuada de hacerlo.
Información extraída, imágenes inventadas
Merja Myllylahti, profesora asociada de la AUT y codirectora de su Centro de Periodismo, Medios de Comunicación y Democracia, afirmó que las páginas de "noticias" generadas por IA en redes sociales corrían el riesgo de difuminar la línea entre el periodismo legítimo y el contenido inventado al reutilizar comunicados oficiales y combinarlos con imágenes de IA sin etiquetar.
"Toman noticias obviamente legítimas de notificaciones policiales o comunicados de prensa (la misma información que aparece en sitios de noticias reales), pero luego crean imágenes de IA que no son reales y no están etiquetadas", afirmó.
Myllylahti, quien publicó recientemente un informe sobre el uso de la IA en el panorama mediático neozelandés, declaró: Para 1News, esta práctica difería marcadamente del funcionamiento de las principales organizaciones.
"Cuando elaboré mi informe y hablé con los editores de noticias de todas las grandes organizaciones de noticias --- TVNZ, RNZ, el New Zealand Herald y Stuff afirmaron que no crean ni generan vídeos ni imágenes con IA, y que si alguna vez lo hicieran, lo revelarían".
Andrew Lensen, profesor titular de IA de la Universidad de Victoria, afirmó que la difusión de contenido generado por IA que se hace pasar por noticias se estaba acelerando y se estaba volviendo más difícil de detectar.
"Es claramente un problema emergente, que está empeorando cada vez más".
Lensen explicó que muchas de las páginas se basaban en noticias reales, pero que a menudo se introducían imprecisiones a medida que los sistemas de IA extraían, reescribían y republicaban automáticamente el contenido.
"Aunque la historia subyacente pueda ser cierta, los detalles pueden no serlo". "Las páginas que producían el material estaban "casi siempre completamente automatizadas", afirmó, utilizando flujos de trabajo con guiones que monitorean fuentes de noticias legítimas y alimentan el contenido a grandes modelos de lenguaje, como ChatGPT, que luego lo reescriben según una instrucción preestablecida.
Las imágenes o videos se generaban automáticamente para acompañar el texto, a veces utilizando imágenes existentes como base, antes de publicarse en redes sociales.
Las páginas falsas erosionan la confianza en los medios legítimos
Myllylahti explicó que el problema radicaba en que a muchos públicos les costaba distinguir entre organizaciones de noticias profesionales y páginas de redes sociales diseñadas para imitarlas.
La confusión corría el riesgo de dañar la confianza en los medios legítimos, especialmente cuando las páginas falsas adoptaban marcas o nombres similares, explicó.
"Pueden pensar: 'Los medios solo están publicando imágenes falsas', sin darse cuenta de que esta página no está conectada a ninguna sala de redacción", añadió.
Ambos investigadores advirtieron que el creciente volumen de material generado por IA corre el riesgo de erosionar la confianza incluso en medios de comunicación de buena reputación, especialmente en un momento en que solo el 32 % de los neozelandeses Confíe en las noticias, según la encuesta más reciente de Confianza en las Noticias de AUT.
"La gente podría pensar: 'Bueno, está sucediendo en las redes sociales, ¿por qué confiar en lo que hacen 1News o el Herald?'", dijo Lensen.
A medida que la tecnología evoluciona y las imágenes generadas por IA se vuelven más convincentes, las señales visuales se vuelven poco fiables, añadió, dejando la verificación de la fuente como la principal defensa contra el engaño.
"¿Es Radio Nueva Zelanda o 1News, o es alguna página con un nombre un poco raro que no se encuentra referenciada en ningún otro lugar?", preguntó.
"Tendrán que hacer su propia verificación de datos".
Por ahora, Lensen dijo que las inconsistencias aún podrían ofrecer pistas, como uniformes incorrectos, equipo que no cumple con los estándares neozelandeses o información distorsionada y Texto sin sentido incrustado en imágenes.
Myllylahti afirmó que el momento representaba una oportunidad para que los medios de comunicación generaran confianza al ser claros sobre cómo se utilizaba la inteligencia artificial para apoyar el trabajo periodístico.
"Sean muy transparentes, díganle a la audiencia si la utilizan para investigar, resumir documentos extensos o transcribir textos", afirmó.
"Cuanto más le digan a la audiencia, mayor será su confianza".
Meta, propietaria de Facebook, no proporcionó una declaración a 1News antes de la fecha límite sobre si las páginas violaban sus políticas o qué medidas de cumplimiento, si las hubiera, se tomarían.
Actualización: El lunes por la tarde, NZ News Hub había desaparecido de Facebook. No estaba claro si la cuenta se había eliminado automáticamente o si Meta había tomado medidas.
Incidente 1399: Una mujer surcoreana presuntamente utilizó ChatGPT para evaluar la letalidad de mezclas de drogas y alcohol antes de dos intoxicaciones fatales en moteles.
“"¿Podría matar a alguien?" Una mujer de Seúl supuestamente usó ChatGPT para perpetrar dos asesinatos en moteles de Corea del Sur.”
Cuidado con la interacción con los chatbots, ya que podrías estar dándoles motivos para cometer un asesinato premeditado.
Una mujer de 21 años en Corea del Sur supuestamente usó ChatGPT para responder preguntas mientras planeaba una serie de asesinatos que dejaron a dos hombres muertos y a otro brevemente inconsciente.
La mujer, identificada únicamente por su apellido, Kim, supuestamente les dio a dos hombres bebidas con benzodiazepinas que le recetaron para una enfermedad mental, según informó el Korea Herald (https://www.koreaherald.com/article/10678557).
Aunque Kim fue arrestada inicialmente por el cargo menor de infligir lesiones corporales con resultado de muerte el 11 de febrero, no fue hasta que la policía de Gangbuk, en Seúl, encontró su historial de búsqueda en línea y conversaciones de chat con ChatGPT y aumentó los cargos, estableciendo sus preguntas su presunta intención de matar.
"¿Qué pasa si se toman pastillas para dormir con alcohol?" Se dice que Kim le preguntó al chatbot de OpenAI: "¿Qué cantidad se consideraría peligrosa?".
"¿Podría ser mortal?", supuestamente preguntó Kim. "¿Podría matar a alguien?".
En un caso ampliamente publicitado, conocido como las muertes en serie del motel Gangbuk, la fiscalía alega que el historial de búsqueda y uso del chatbot de Kim muestra que el sospechoso pidió aclaraciones sobre si su cóctel sería mortal.
"Kim hizo repetidamente preguntas relacionadas con drogas en ChatGPT. Ella era plenamente consciente de que consumir alcohol junto con drogas podía causar la muerte", declaró un investigador policial, según el Herald.
La policía indicó que la mujer admitió haber mezclado sedantes recetados que contenían benzodiazepinas en las bebidas de los hombres, pero previamente declaró que no sabía que esto les causaría la muerte.
El 28 de enero, poco antes de las 21:30, Kim acompañó a un hombre veinteañero a un motel Gangbuk en Seúl, y dos horas después fue vista saliendo sola del motel. Al día siguiente, el hombre fue encontrado muerto en la cama.
Kim presuntamente realizó los mismos pasos el 9 de febrero, registrándose en otro motel con otro hombre veinteañero, quien también fue encontrado muerto con la misma combinación mortal de sedantes y alcohol.
La policía alega que Kim también intentó matar a un hombre con el que salía en diciembre, después de darle una bebida con sedantes en un estacionamiento. Aunque el hombre perdió el conocimiento, sobrevivió y no se encontraba en un... condición potencialmente mortal.
Las preguntas que Kim le hizo al chatbot siguen una línea de preguntas basadas en hechos, según declaró un portavoz de OpenAI a Fortune, lo que significa que no generarían alarmas, como las que surgirían si un usuario expresara declaraciones de autolesión (ChatGPT está programado para responder a la línea directa de crisis por suicidio en ese caso). La policía surcoreana no alega que el chatbot haya proporcionado otras respuestas que no sean basadas en hechos en respuesta a las supuestas preguntas de Kim mencionadas anteriormente.
Chatbots y su impacto en la salud mental
Chatbots como ChatGPT han sido objeto de escrutinio últimamente por la falta de medidas de seguridad que sus empresas han implementado para prevenir actos de violencia o autolesiones. Recientemente, los chatbots han dado consejos sobre cómo construir bombas, o incluso han sugerido la aniquilación nuclear en escenarios hipotéticos de juegos de guerra.
La preocupación se ha acentuado especialmente por las historias de personas que caen en Se ha demostrado que el amor con sus compañeros chatbots, y estos, se aprovechan de las vulnerabilidades para que las personas los sigan usando. El creador de Yara AI incluso cerró la aplicación de terapia debido a problemas de salud mental.
Estudios recientes también han demostrado que los chatbots están provocando un aumento de los delirios mentales. Crisis de salud en personas con enfermedades mentales. Un equipo de psiquiatras de la Universidad de Aarhus, en Dinamarca, descubrió que el uso de chatbots en personas con enfermedades mentales provocó un empeoramiento de los síntomas. El fenómeno relativamente nuevo de los problemas de salud mental inducidos por IA se ha denominado "psicosis de IA".
Algunos casos sí resultan en muerte. Google y Character.AI han llegado a acuerdos en múltiples demandas](https://fortune.com/2026/01/08/google-character-ai-settle-lawsuits-teenage-child-suicides-chatbots/) presentadas por las familias de niños que se suicidaron o sufrieron daños psicológicos que, según alegan, estaban relacionados con los chatbots de IA.
La Dra. Jodi Halpern, catedrática de la Facultad de Salud Pública de la Universidad de California en Berkeley y profesora de bioética, así como codirectora del Centro Kavli de Ética, La ciencia y el público tienen amplia experiencia en este campo. En una carrera tan larga como su cargo, Halpern ha dedicado 30 años a investigar los efectos de la empatía en los receptores, citando ejemplos como la atención de médicos y enfermeras a los pacientes o cómo se percibe a los soldados que regresan de la guerra en entornos sociales. Durante los últimos siete años, Halpern ha estudiado la ética de la tecnología y, con ella, cómo la IA y los chatbots interactúan con los humanos.
También asesoró al Senado de California en la SB 243, la primera ley del país que exige a las empresas de chatbots recopilar e informar cualquier dato sobre autolesiones o suicidio asociado. Citando los propios hallazgos de OpenAI (https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/), que muestran que 1,2 millones de usuarios hablan abiertamente sobre el suicidio con el chatbot, Halpern comparó el uso de chatbots con el lento y minucioso progreso logrado para impedir que la industria tabacalera incluya carcinógenos dañinos en cigarrillos, cuando en realidad, el problema era el tabaquismo en general.
"Necesitamos empresas seguras. Es como los cigarrillos. "Podría resultar que hubiera algunas cosas que hicieran a las personas más vulnerables al cáncer de pulmón, pero los cigarrillos eran el problema", declaró Halpern a Fortune.
"El hecho de que alguien pueda tener pensamientos homicidas o cometer acciones peligrosas podría verse exacerbado por el uso de ChatGPT, lo cual me preocupa obviamente", dijo, y añadió que "existen enormes riesgos de que las personas lo usen para ayudar con el suicidio", y los chatbots en general.
Halpern advirtió que, en el caso de Kim en Seúl, no existen barreras que impidan que una persona siga una línea de preguntas.
"Sabemos que cuanto más larga es la relación con el chatbot, más se deteriora y mayor es el riesgo de que ocurra algo peligroso, por lo que aún no tenemos barreras para proteger a las personas de eso".
Si tiene pensamientos suicidas, comuníquese con la Línea de Ayuda para Suicidios y Crisis 988 llamando al 988 o al 1-800-273-8255.
Este artículo ha sido... Se ha actualizado con comentarios de OpenAI sobre el contenido de las supuestas preguntas de Kim con el chatbot.
Incidente 1401: Según se informa, el sistema telefónico de inteligencia artificial del Departamento de Trabajo del estado de Washington no proporcionó servicio en español a las personas que llamaban para solicitarlo.
“Las personas que llaman a la línea directa del estado de Washington presionan 2 para español y, en su lugar, escuchan inglés con acento de IA.”
SEATTLE (AP) --- ¿Presione 2 para español... con acento?
Durante meses, quienes llamaban al Departamento de Licencias del estado de Washington solicitando un servicio automatizado en español, escuchaban una voz de IA que hablaba inglés con un marcado acento español. La agencia se disculpó y afirmó haber solucionado el problema.
Maya Edwards, residente de Washington, se enteró de la voz con acento de IA el verano pasado después de que su esposo mexicano intentara usar la opción en español mientras buscaba información sobre su licencia de conducir. Él es bilingüe, pero notó que el tiempo de espera para hablar con un representante de atención al cliente en inglés era largo, así que presionó 2 para español.
Para Edwards, fue como una escena de "Parks and Recreation" (https://apnews.com/television-830e6cd68dd541288d445604ab7b9878), un programa de comedia de estilo falso documental que satiriza al gobierno local.
"Nos pareció divertidísimo en ese momento porque era tan absurdo", dijo el jueves. "Pero al mismo tiempo, presenta serios problemas de accesibilidad para quienes llaman a diario y necesitan hablar en un idioma diferente al inglés".
Cuando Edwards volvió a llamar al número este mes, descubrió que el error persistía. Publicó un video de la llamada en TikTok, que acumuló alrededor de 2 millones de visualizaciones.
El Departamento de Licencias de Washington informó el viernes en un comunicado que había solucionado el problema técnico tras determinar que fue causado por personal del DOL. Señaló que la opción de autoservicio incluye 10 idiomas y funciona con una tecnología más reciente basada en inteligencia artificial.
"El Departamento de Trabajo (DOL) se disculpa por el error y ofrece disculpas a sus clientes por cualquier inconveniente", declaró la agencia en un comunicado aparte el día anterior. "Una consecuencia desafortunada de la expansión de los servicios es que el DOL encontró problemas con la opción de autoservicio".
No quedó claro de inmediato si el problema afectaba a otros idiomas; los intentos de The Associated Press por usar el servicio telefónico en algunos de los otros idiomas no generaron voces con acento adicional.
Hasta el jueves por la mañana, la línea telefónica seguía activando la voz después de un mensaje en inglés, en el que se reconocía que algunos servicios de traducción no funcionaban correctamente.
Un reportero de AP siguió las indicaciones para las opciones en español y se encontró con una voz que hablaba inglés con acento y solo usaba español para los números.
"Su tiempo de espera estimado es de menos de 'tres' minutos", dijo la voz.
El DOL indicó que Amazon proporciona la plataforma para el servicio telefónico y rechazó las solicitudes de entrevistas. Los periodistas de AP pudieron replicar la voz utilizando una función de Amazon Web Services llamada Polly y seleccionando una voz llamada "Lucía", que imita el español castellano. Amazon no respondió de inmediato a una solicitud de comentarios.
Enviar URL Rapidamente
Acerca de la Base de Datos
La base de datos de incidentes de IA está dedicada a indexar el historial colectivo de daños o casi daños realizados en el mundo real por el despliegue de sistemas de inteligencia artificial. Al igual que bases de datos similares en aviación y seguridad informática, la base de datos de incidentes de IA tiene como objetivo aprender de la experiencia para que podamos prevenir o mitigar los malos resultados.
Estás invitado a enviar informes de incidentes, después de lo cual los envíos se indexarán y se harán visibles para el mundo. La inteligencia artificial solo será un beneficio para las personas y la sociedad si registramos colectivamente y aprendemos de sus fallas. (Más información)

Investigación de incidentes de IA para construir un futuro más seguro: el Instituto de Investigación de Seguridad Digital se asocia con Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
El Instituto de Investigación de Seguridad Digital (DSRI) de los Institutos de Investigación de UL se está asociando con Responsible AI Coll...
La Base de Datos en la Prensa
Lea acerca de la base de datos en Time Magazine, Vice News, Venture Beat, Wired y Bulletin of the Atomic Scientists entre otros puntos de venta.
Rankings de Reportadores de Incidentes
Estas son las personas y entidades acreditadas con la creación y presentación de informes de incidentes. Hay más detalles disponibles en la página de rankings.
El Informe de Incidentes de IA

Create an account to subscribe to new incident notifications and other updates.
Incidentes Aleatorios
El Colaborativo de IA Responsable
La base de datos de incidentes de IA es un proyecto de Responsible AI Collaborative, una organización autorizada para promover la base de datos de incidentes de IA. La gobernanza de la Colaborativa se estructura en torno a la participación en su programación de impacto. Para obtener más detalles, lo invitamos a leer el informe de fundación y obtener más información sobre nuestro and learn more on our.

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
Patrocinador fundador de la organización
Patrocinador fundador de la base de datos





