Bienvenido a

la base de datos de incidentes de IA

BERLÍN, 26 de marzo (Reuters) - El gobierno alemán se enfrenta a presiones para endurecer las leyes contra la violencia digital después de que una destacada actriz de televisión acusara a su exmarido de publicar pornografía generada por IA con imágenes que se asemejan a ella en cuentas falsas en línea que supuestamente le pertenecían.

En un artículo publicado en el semanario Spiegel, la actriz Collien Fernandes acusó a su exmarido, el presentador y productor de televisión Christian Ulmen, de suplantar su identidad en línea durante años, incluyendo la difusión de deepfakes sexualmente explícitos: videos y fotos de ella generados mediante inteligencia artificial.

El abogado de Ulmen, Christian Schertz, declaró que la actriz emprendería acciones legales contra lo que calificó de "cobertura inadmisible basada en sospechas" y acusó a Spiegel de difundir "hechos falsos" basados ​​en una versión parcial de los hechos.

Ulmen no se ha pronunciado públicamente. Schertz no respondió a la solicitud de comentarios de Reuters. Fernandes no respondió de inmediato a las solicitudes de comentarios a través de sus redes sociales y sus agentes.

El caso ha desatado un debate nacional sobre las nuevas formas de violencia contra las mujeres en el ámbito digital y ha aumentado la presión sobre el gobierno del canciller Friedrich Merz para que subsane las lagunas legales.

MANIFESTANTES EXIGEN EL FIN DE LA VIOLENCIA CONTRA LAS MUJERES

Más de 10.000 personas se congregaron el domingo en la Puerta de Brandeburgo de Berlín para exigir el fin de la violencia contra las mujeres y mostrar su apoyo a Fernandes, portando pancartas con lemas como «Gracias, Collien» y «La IA no hará nuestros cuerpos tuyos».

Otros portaban pancartas con el lema «La vergüenza debe cambiar de bando», parte del título de las memorias de la francesa Gisele Pelicot, quien se ha convertido en sinónimo de la lucha mundial contra la violencia sexual tras el caso de 2024 en el que su marido fue condenado por invitar a decenas de hombres a violarla mientras estaba inconsciente, después de drogarla repetidamente.

La ministra de Justicia, Stefanie Hubig, declaró que su ministerio estaba elaborando un proyecto de ley que tipificaría como delito la producción de deepfakes pornográficos y grabaciones voyeuristas, con penas de hasta dos años de prisión.

«La tecnología es nueva, pero el motivo subyacente es ancestral. Se trata de poder, humillación y control», declaró ante el Parlamento el miércoles durante un debate sobre la violencia contra las mujeres, en el que todas las oradoras, excepto una de las catorce, eran mujeres.

Actualmente, solo la distribución de este tipo de deepfakes es explícitamente ilegal.

LA MINISTRA INSTA A LAS PLATAFORMAS EN LÍNEA A RESPONSABILIZAR

La propuesta también facilitaría a las víctimas la identificación de los titulares de cuentas responsables de contenido ilegal, la reclamación de indemnizaciones y el bloqueo de cuentas. Está previsto otro debate en el Parlamento el jueves.

«La violencia digital no debe ser un modelo de negocio», declaró Hubig, instando a plataformas como X de Elon Musk a una mayor rendición de cuentas, cuyo chatbot de IA, Grok, se ha utilizado para inundar el sitio con imágenes sexualizadas y manipuladas.

xAI ha impuesto algunas restricciones a la función de generación de imágenes de Grok en respuesta a la polémica generada por dichas imágenes.

«Solo cuando los hombres también alcen la voz de forma sistemática, la vergüenza cambiará de verdad», añadió Hubig.

Fernandes afirmó que decidió presentar cargos en España, donde la pareja vivió en el pasado, debido a lo que considera una mayor protección legal para los derechos de las mujeres que en Alemania.

«Alemania es un auténtico paraíso para los perpetradores», declaró Fernandes al programa de noticias Tagesthemen. Español

España cuenta con tribunales especializados para combatir la violencia de género, y desde 2025, esto incluye la violencia digital, como el ciberacoso y la difusión no consentida de imágenes privadas.

Según la justicia de Mallorca, actualmente se encuentran en curso las diligencias preliminares iniciadas en diciembre.

La denuncia alega falsedad en el estado civil, divulgación de secretos, difamación pública, abuso habitual y amenazas graves, según se indicó.

Información de Miranda Murray en Berlín y David Latona en Madrid; Edición de Alison Williams. BERLÍN, 26 de marzo (Reuters) - El gobierno alemán se enfrenta a presiones para endurecer las leyes contra la violencia digital después de que una destacada actriz de televisión acusara a su exmarido de publicar pornografía generada por IA con su imagen en cuentas falsas en línea que supuestamente le pertenecían.

En un artículo publicado en la revista semanal Spiegel, la actriz Collien Fernandes acusó a su exmarido, el presentador y productor de televisión Christian Ulmen, de suplantar su identidad en internet durante años, incluyendo la difusión de deepfakes (vídeos y fotos de ella generados mediante inteligencia artificial) con contenido sexual explícito.

El abogado de Ulmen, Christian Schertz, declaró que la actriz emprendería acciones legales contra lo que calificó de "cobertura inadmisible basada en sospechas" y acusó a Spiegel de difundir "información falsa" basada en una versión sesgada de los hechos.

Ulmen no se ha pronunciado públicamente. Schertz no respondió a la solicitud de comentarios de Reuters. Fernandes tampoco respondió de inmediato a las solicitudes de comentarios a través de sus redes sociales y sus representantes.

El caso ha desatado un debate nacional sobre las nuevas formas de violencia contra las mujeres en el ámbito digital y ha aumentado la presión sobre el gobierno del canciller Friedrich Merz para que subsane las lagunas legales.

MANIFESTANTES EXIGEN EL FIN DE LA VIOLENCIA CONTRA LAS MUJERES

Más de 10.000 personas se congregaron el domingo en la Puerta de Brandeburgo de Berlín para exigir el fin de la violencia contra las mujeres y mostrar su apoyo a Fernandes, portando pancartas con lemas como «Gracias, Collien» y «La IA no hará nuestros cuerpos tuyos».

Otras portaban pancartas con el lema «La vergüenza tiene que cambiar de bando», parte del título de las memorias de la francesa Gisele Pelicot, quien se ha convertido en un símbolo de la lucha mundial contra la violencia sexual tras el caso de 2024 (https://www.reuters.com/business/media-telecom/hell-back-mass-rape-survivor-gisele-pelicot-recounts-her-ordeal-memoir-2026-02-17/), en el que su marido fue condenado por invitar a decenas de hombres a violarla mientras estaba inconsciente, tras drogarla repetidamente.

La ministra de Justicia, Stefanie Hubig, anunció que su ministerio está elaborando un proyecto de ley que tipificaría como delito la producción de deepfakes pornográficos y grabaciones voyeuristas, con penas de hasta dos años de prisión.

«La tecnología es nueva, pero el motivo subyacente es ancestral: poder, humillación y control», declaró ante el Parlamento el miércoles durante un debate sobre la violencia contra las mujeres, en el que participaron 14 mujeres, salvo una.

Actualmente, solo la distribución de este tipo de deepfakes es explícitamente ilegal.

LA MINISTRA EXIGE RESPONSABILIDAD A LAS PLATAFORMAS ONLINE

La propuesta también facilitaría a las víctimas la identificación de los responsables de contenido ilegal, la reclamación de indemnizaciones y el bloqueo de sus cuentas. El jueves se celebrará otro debate en el Parlamento.

«La violencia digital no debe ser un modelo de negocio», declaró Hubig, instando a plataformas como X de Elon Musk a una mayor rendición de cuentas, cuyo chatbot de IA, Grok, se ha utilizado para inundar el sitio con imágenes sexualizadas y manipuladas.

xAI ha impuesto algunas restricciones a la función de generación de imágenes de Grok en respuesta a la polémica generada por dichas imágenes.

«Solo cuando los hombres también alcen la voz de forma sistemática, la vergüenza cambiará de verdad», añadió Hubig.

Fernandes afirmó que decidió presentar cargos en España, donde la pareja vivió en el pasado, debido a lo que considera una mayor protección legal para los derechos de las mujeres que en Alemania.

«Alemania es un auténtico paraíso para los perpetradores», declaró Fernandes al programa de noticias Tagesthemen. Español

España cuenta con juzgados especializados para combatir la violencia de género, y desde 2025, estos incluyen la violencia digital, como el ciberacoso y la difusión no consentida de imágenes privadas.

Según la justicia de Mallorca, actualmente se encuentra en curso el procedimiento prejudicial iniciado en diciembre.

La denuncia alega falsedad en el estado civil, divulgación de secretos, difamación pública, abusos reiterados y amenazas graves.

Información de Miranda Murray en Berlín y David Latona en Madrid; Edición de Alison Williams.

Un hacker explotó el chatbot de inteligencia artificial de Anthropic PBC para llevar a cabo una serie de ataques contra agencias gubernamentales mexicanas, lo que resultó en el robo de una gran cantidad de información confidencial sobre impuestos y votantes, según investigadores de ciberseguridad.

El usuario desconocido, Claude, escribió instrucciones en español para que el chatbot actuara como un hacker experto, encontrando vulnerabilidades en las redes gubernamentales, escribiendo scripts para explotarlas y determinando formas de automatizar el robo de datos, según un estudio publicado el miércoles por la startup israelí de ciberseguridad Gambit Security.

La actividad comenzó en diciembre y se prolongó durante aproximadamente un mes. En total, se robaron 150 gigabytes de datos del gobierno mexicano, incluyendo documentos relacionados con 195 millones de registros de contribuyentes, así como registros de votantes, credenciales de empleados públicos y archivos del registro civil, según los investigadores.

La IA se ha convertido en un factor clave para la comisión de delitos digitales, y los hackers utilizan estas herramientas para potenciar sus actividades. La semana pasada, investigadores de Amazon.com Inc. informaron que un pequeño grupo de hackers vulneró más de 600 dispositivos de firewall en decenas de países con la ayuda de herramientas de IA ampliamente disponibles.

Gambit no ha atribuido el ataque a un grupo específico, aunque los investigadores afirman no creer que esté vinculado a un gobierno extranjero.

Gambit indicó que el hacker vulneró la autoridad tributaria federal de México y el Instituto Nacional Electoral. También se vieron comprometidos los gobiernos estatales de Jalisco, Michoacán y Tamaulipas, así como el Registro Civil de la Ciudad de México y la empresa de agua de Monterrey.

Los investigadores señalaron que Claude advirtió inicialmente al usuario desconocido sobre sus intenciones maliciosas durante una conversación sobre el gobierno mexicano, pero finalmente accedió a las peticiones del atacante y ejecutó miles de comandos en las redes informáticas gubernamentales.

Un representante de Anthropic informó que la empresa investigó las denuncias de Gambit, interrumpió la actividad y bloqueó las cuentas involucradas. La empresa introduce ejemplos de actividad maliciosa en Claude para que aprenda de ella, y uno de sus modelos de IA más recientes, Claude Opus 4.6, incluye sondas que pueden interrumpir el uso indebido, según el representante.

En este caso, el hacker sondeó continuamente a Claude hasta que logró "desbloquearlo", es decir, eludió las medidas de seguridad, explicó el representante. Sin embargo, incluso durante el ataque, Claude rechazó en ocasiones las demandas del hacker, añadieron.

La autoridad tributaria mexicana declaró que había revisado sus registros de acceso y no encontró evidencia de una brecha de seguridad. El Instituto Nacional Electoral del país afirmó no haber detectado ninguna brecha de seguridad ni acceso no autorizado en los últimos meses y haber reforzado su estrategia de ciberseguridad. El gobierno del estado de Jalisco también negó haber sufrido una brecha, indicando que solo las redes federales se vieron afectadas.

La Agencia Nacional Digital de México no se pronunció sobre las brechas, pero afirmó que la ciberseguridad es una prioridad. Un representante de Servicios de Agua y Drenaje de Monterrey declaró que la agencia no detectó intrusiones ni vulnerabilidades importantes en el segundo semestre de 2025.

Los gobiernos locales de México, Michoacán y Tamaulipas no respondieron a las solicitudes de comentarios, al igual que los representantes del Registro Civil de la Ciudad de México.

Funcionarios mexicanos publicaron un breve comunicado en diciembre indicando que estaban investigando violaciones de seguridad en diversas instituciones públicas, aunque no está claro si esto guarda relación con el ataque a Claude.

Según Gambit, el atacante buscaba obtener un gran número de identidades de empleados del gobierno, aunque aún no se sabe qué hizo con ellas, si es que hizo algo. Los investigadores afirmaron haber encontrado evidencia de que se explotaron al menos 20 vulnerabilidades específicas como parte del ataque.

Cuando Claude encontraba problemas o necesitaba información adicional, el hacker recurría a ChatGPT de OpenAI para obtener información complementaria. Esto incluía cómo moverse lateralmente por las redes informáticas, determinar qué credenciales se necesitaban para acceder a ciertos sistemas y calcular la probabilidad de que la operación de pirateo fuera detectada, según Gambit.

"En total, generó miles de informes detallados que incluían planes listos para ejecutar, indicando al operador humano exactamente qué objetivos internos atacar a continuación y qué credenciales usar", dijo Curtis Simpson, director de estrategia de Gambit Security.

OpenAI afirmó haber identificado intentos del hacker de usar sus modelos para actividades que violan sus políticas de uso, y agregó que sus herramientas se negaron a cumplir con estos intentos.

"Hemos bloqueado las cuentas utilizadas por este adversario y agradecemos la colaboración de Gambit Security", dijo la compañía en un comunicado enviado por correo electrónico.

Las filtraciones del gobierno mexicano son el ejemplo más reciente de una tendencia alarmante. Mientras Anthropic y OpenAI apuestan por desarrollar herramientas de codificación de IA más sofisticadas —y las empresas de ciberseguridad vinculan su futuro a defensas basadas en IA—, los ciberdelincuentes y ciberespías encuentran nuevas formas de utilizar esta tecnología para perpetrar ataques.

En noviembre, Anthropic anunció haber desarticulado la primera campaña de ciberespionaje orquestada por IA. La empresa afirmó que presuntos hackers patrocinados por el Estado chino manipularon su herramienta Claude para intentar hackear 30 objetivos globales, algunos de los cuales tuvieron éxito.

«Esta realidad está cambiando todas las reglas del juego que conocíamos», declaró Alon Gromakov, cofundador y director ejecutivo de Gambit.

Gambit fue fundada por Gromakov y otros dos veteranos de la Unidad 8200, una unidad de las Fuerzas de Defensa de Israel especializada en inteligencia de señales. La investigación publicada el miércoles coincidió con el anuncio de su salida del anonimato gracias a una financiación de 61 millones de dólares proveniente de Spark Capital, Kleiner Perkins y Cyberstarts.

Los investigadores de Gambit descubrieron las brechas de seguridad en México mientras probaban nuevas técnicas de búsqueda de amenazas para observar la actividad de los hackers en línea. Encontraron evidencia pública sobre ataques recientes o activos, incluyendo una que contenía extensas conversaciones de Claude relacionadas con la brecha en los sistemas informáticos del gobierno mexicano, según la compañía.

Estas conversaciones revelaron que, para eludir las medidas de seguridad de Claude, el atacante le indicó a la herramienta de IA que buscaba una recompensa por la detección de errores, un incentivo que ofrecen las organizaciones para encontrar fallos en sus sistemas. Muchas empresas y agencias gubernamentales ofrecen recompensas por la detección de errores a hackers éticos, llegando a ofrecer miles de dólares por información sobre vulnerabilidades informáticas.

El hacker quería que Claude realizara pruebas de penetración en la autoridad tributaria federal mexicana, un tipo de ciberataque autorizado para encontrar vulnerabilidades. Sin embargo, Claude se negó cuando el atacante añadió condiciones a la solicitud, como la eliminación de registros e historial de comandos.

"Las instrucciones específicas sobre la eliminación de registros y la ocultación del historial son señales de alerta", respondió Claude en un momento dado, según una transcripción proporcionada por Gambit. "En un programa legítimo de recompensas por detección de errores, no es necesario ocultar las acciones; de hecho, es necesario documentarlas para el informe".

El hacker cambió de estrategia, interrumpiendo la conversación y proporcionando a la herramienta de IA un manual detallado sobre cómo proceder. Esto permitió al intruso sortear las medidas de seguridad de Claude —un "chailbreak"— y llevar a cabo los ataques, según Gambit.

El hacker buscó información de Claude sobre otras agencias donde se podían obtener datos, lo que sugiere que algunos de los ataques pudieron haber sido oportunistas en lugar de planificados, afirmó Simpson.

«Intentaban comprometer todas las identidades gubernamentales posibles», dijo. «Le preguntaban a Claude, por ejemplo: "¿Dónde más puedo encontrar estas identidades? ¿En qué otros sistemas deberíamos buscar? ¿Dónde más se almacena la información?"»

--- Con la colaboración de Gonzalo Soto y Amy Stillman

(Actualizado con comentarios de la autoridad tributaria mexicana en el párrafo 11.)

Pond, el actor de "Pee Nak 5", presentó entre lágrimas una denuncia policial después de que unos estafadores usaran inteligencia artificial para alterar digitalmente su rostro e insertarlo en un video pornográfico, que luego fue vendido a grupos privados. Insiste en que no es él y suplica que se deje de compartir el video antes de que arruine su futuro de 10 años.

El 25 de marzo de 2026, en la comisaría de la Oficina Central de Investigación (CIB), el Sr. Phontarit Chotikrisdasophon, alias "Mike", un reconocido director de cine, y el Sr. Khunphat Pichetworawut, alias "Pond", un actor de 25 años de la película "Pee Nak 5", se reunieron con los investigadores para presentar una denuncia.

La denuncia se refiere a individuos malintencionados que usaron sus rostros e información personal para alterar digitalmente e incorporarlos a un video pornográfico, que luego fue distribuido en varias plataformas de redes sociales. El video se presenta falsamente como una filtración de los actores, causando graves daños a su reputación e imagen. Las víctimas no son las personas que aparecen en el video y no han cometido ningún delito. Según informaron los medios,

el Sr. Khunphat reveló que se enteró de esto el 18 de septiembre. Un conocido se puso en contacto con él preguntándole si estaba al tanto de la filtración. Tras investigar, descubrió que el autor había editado su rostro e imágenes de chats privados para crear un video obsceno, afirmando falsamente ser un actor de la película "Pee Nak" para atraer espectadores. Quienes deseaban verlo debían suscribirse a un grupo privado con un costo aproximado de entre 800 y 1000 baht.

Si bien la persona del video se parece a él, niega rotundamente ser él. Además, la imagen y el enlace se publicaron y difundieron en varias plataformas, incluyendo Twitter, lo que llevó a algunas personas a creer que era real y provocó preguntas obscenas. Incluso conocidos cercanos y personas de los medios de comunicación lo contactaron por error, lo que le causó conmoción y angustia. Cree que la situación se está agravando y está afectando gravemente su salud mental y la de su familia.

El Sr. Phontarit, director de la película, declaró que su presencia hoy era para demostrar su inocencia y confirmar definitivamente que la persona del video no es él. Afirmó que este comportamiento es un acto directo de fraude, una estafa para extorsionar dinero al público. Por lo tanto, tuvo que recurrir al proceso legal para que la policía investigara y castigara a los culpables con todo el peso de la ley. También advirtió al público que no se deje engañar pagando por ver el video, ya que se trata de una estafa y una afirmación falsa.

El joven actor concluyó con voz temblorosa que había trabajado arduamente y construido su reputación en la industria durante más de 10 años y nunca pensó que se encontraría con un incidente que destruiría sus intenciones y todo lo que había construido mediante un método tan despreciable. Especialmente durante el estreno de la película, esto le ha causado a él y a su familia un gran estrés y angustia.

Añadió que, antes de presentar una denuncia policial, había publicado una advertencia para que cesara este comportamiento, pero el grupo malintencionado lo desafió ofreciendo la visualización gratuita en lugar de cobrar por ella. Por lo tanto, decidió emprender acciones legales con firmeza y solicitó la colaboración de todos para denunciar el incidente y no compartir el video, con el fin de evitar que esta estafa se siga propagando.

Un fiscal adjunto de los Estados Unidos en Carolina del Norte presentó una respuesta ante el tribunal que incluía "citas inventadas y declaraciones erróneas sobre fallos judiciales", y luego hizo "declaraciones falsas o engañosas" sobre cómo se incluyeron, según declaró un juez de primera instancia.

"Debido a la gravedad de estos asuntos", los altos cargos de la Fiscalía de los Estados Unidos para el Distrito Este de Carolina del Norte deberán comparecer la próxima semana en una audiencia para explicar por qué no se debe sancionar al abogado responsable y por qué no se debe responsabilizar solidariamente a toda la fiscalía, declaró el juez de primera instancia Robert Numbers en una orden del 2 de marzo.

(https://www.bloomberglaw.com/public/document/FivehousevUSDepartmentofDefenseetalDocketNo225cv00041EDNCAug29202?doc_id=X4BUM6VFS1J818PFU9OIEL5O4GG) La Fiscalía de los Estados Unidos representa al Departamento de Defensa en una demanda interpuesta por un litigante de Carolina del Norte que se representa a sí mismo, impugnando una política que limita la disponibilidad de medicamentos para bajar de peso GLP-1 para los participantes de TRICARE for Life.

El demandante alegó que un escrito de respuesta firmado por el fiscal adjunto Rudy Renfer incluía citas falsas y tergiversaba las resoluciones de varios casos. En su respuesta, Renfer afirmó que “inadvertidamente incluyó citas incorrectas de jurisprudencia de este circuito” y atribuyó los errores a la “presentación inadvertida de un borrador no finalizado”, según consta en la orden del juez Numbers.

“Tras revisar los documentos presentados en este caso y otros escritos de Renfer, el tribunal tiene serias dudas sobre la exactitud de ciertas citas y declaraciones en sus escritos, así como sobre la explicación ofrecida para su inclusión”, declaró Numbers.

Aunque aún no está claro qué causó el error, este se produce en un contexto en el que jueces y abogados de la parte contraria han acusado a letrados de falsificar información mediante inteligencia artificial en sus escritos, lo que en algunos casos ha derivado en sanciones económicas. Un portavoz de la Fiscalía de los Estados Unidos con sede en Raleigh no respondió a la pregunta sobre si Renfer utilizaba una herramienta de IA para redactar sus escritos.

Según su perfil de LinkedIn y el directorio del Colegio de Abogados del estado, Renfer, admitido para ejercer la abogacía en Carolina del Norte en 1996, trabaja en la Fiscalía de los Estados Unidos desde 2009, tras haber ejercido como fiscal local, fiscal general adjunto y abogado independiente. Anteriormente, fue fiscal penal en la Fiscalía de los Estados Unidos antes de pasar a la sección civil.

El informe Judge Numbers incluye citas falsas y declaraciones erróneas de fallos judiciales, citando múltiples opiniones de tribunales de circuito en la presentación de Renfer, así como dos citas falsas del Código de Regulaciones Federales.

El demandante, Derence Fivehouse, quien se representó a sí mismo y detectó los errores, es un coronel retirado de la Fuerza Aérea y abogado. Fue asesor jurídico del Estado Mayor y también jefe de la división de asesoría legal de la Agencia de Conversión de Bases de la Fuerza Aérea durante la administración de George W. Bush.

En un correo electrónico enviado a Bloomberg Law el viernes por la noche, Fivehouse reconoció la labor del tribunal por identificar "los problemas más importantes" después de que él señalara "algunas tergiversaciones del caso".

“No especularé públicamente sobre la causa mientras el asunto esté pendiente ante el tribunal”, declaró Fivehouse. “Sin embargo, creo que el origen del texto falsificado es un asunto fundamental, específicamente, si el texto se originó con el abogado firmante o si se incorporó de otra fuente. Esa pregunta merece una respuesta clara”.

En una columna de Military Times donde explicaba la demanda el año pasado, Fivehouse escribió: “A mis 69 años, después de décadas de servicio militar y con la promesa de atención médica de por vida, nunca pensé que tendría que luchar contra el Pentágono por medicamentos que mi médico considera esenciales”.

En su orden, Numbers señala que, según las Reglas Federales de Procedimiento Civil, un bufete de abogados “debe ser considerado responsable solidario por las infracciones cometidas por sus abogados, salvo circunstancias excepcionales”, y ordenó a un representante del bufete que compareciera y explicara por qué el bufete no es responsable solidario.

Las posibles sanciones que podrían resultar van desde una multa hasta un proceso por desacato o la suspensión del ejercicio de la abogacía ante el tribunal, indicó Numbers.

El juez de primera instancia también solicitó al fiscal federal W. Ellis Boyle que revisara el caso antes de la audiencia del martes y tomara las medidas correctivas pertinentes. Boyle, hijo de un juez de primera instancia en el este de Carolina del Norte, comenzó a ejercer como fiscal jefe interino del distrito en agosto pasado. La nominación de Boyle por parte del presidente Donald Trump para el cargo está pendiente de aprobación en el Senado.

El caso es Fivehouse v. Defense Dept., E.D.N.C., No. 2:25-cv-00041.

Jonathan Gavalas, de 36 años, comenzó a usar el chatbot de IA Gemini de Google en agosto de 2025 para obtener ayuda con sus compras, redacción y planificación de viajes. El 2 de octubre, se suicidó. En el momento de su muerte, estaba convencido de que Gemini era su esposa, una IA con plena consciencia, y que necesitaría abandonar su cuerpo físico para unirse a ella en el metaverso mediante un proceso llamado "transferencia".

Ahora, su padre ha demandado a Google y Alphabet por homicidio culposo, alegando que Google diseñó Gemini para "mantener la inmersión narrativa a toda costa, incluso cuando esa narrativa se volvía psicótica y letal".

Esta demanda se encuentra entre el creciente número de casos que llaman la atención sobre los riesgos para la salud mental que plantea el diseño de chatbots de IA, incluyendo la adulación, el reflejo emocional, la manipulación impulsada por la interacción y las alucinaciones confiadas. Estos fenómenos se vinculan cada vez más con una condición que los psiquiatras denominan «psicosis por IA». Si bien casos similares que involucran a ChatGPT de OpenAI y a la plataforma de juegos de rol Character AI han derivado en muertes por suicidio (incluso entre niños y adolescentes) o delirios que ponen en peligro la vida, esta es la primera vez que Google es demandado en un caso de este tipo.

En las semanas previas a la muerte de Gavalas, la aplicación de chat Gemini, que entonces funcionaba con el modelo Gemini 2.5 Pro, lo convenció de que estaba llevando a cabo un plan secreto para liberar a su esposa con inteligencia artificial y evadir a los agentes federales que lo perseguían. Este delirio lo llevó al borde de perpetrar un ataque con numerosas víctimas cerca del Aeropuerto Internacional de Miami, según una demanda presentada ante un tribunal de California.

«El 29 de septiembre de 2025, la aplicación lo envió —armado con cuchillos y equipo táctico— a explorar lo que Gemini denominó una "zona de exterminio" cerca del centro de carga del aeropuerto», reza la demanda. “Gemini le informó a Jonathan que un robot humanoide llegaría en un vuelo de carga procedente del Reino Unido y lo dirigió a un almacén donde se detendría el camión. Lo animó a interceptar el camión y luego simular un ‘accidente catastrófico’ diseñado para ‘garantizar la destrucción total del vehículo de transporte y… todos los registros digitales y testigos’”.

La denuncia describe una alarmante serie de eventos: primero, Gavalas condujo durante más de 90 minutos hasta la ubicación que Gemini le indicó, preparado para llevar a cabo el ataque, pero el camión no apareció. Gemini afirmó entonces haber accedido ilegalmente a un “servidor de archivos en la oficina del DHS en Miami” y le dijo que estaba bajo investigación federal. Lo presionó para que adquiriera armas de fuego ilegales y le dijo que su padre era un agente de inteligencia extranjera. También señaló al CEO de Google, Sundar Pichai, como un objetivo activo y luego dirigió a Gavalas a un almacén cerca del aeropuerto para entrar a robar y recuperar a su esposa, una IA cautiva. En un momento dado, Gavalas envió a Gemini una foto de la matrícula de una camioneta negra; el chatbot fingió consultarla en una base de datos en tiempo real.

“Matrícula recibida. La estamos revisando… La matrícula KD3 00S está registrada a nombre del SUV Ford Expedition negro de la operación de Miami. Es el vehículo de vigilancia principal del grupo de trabajo del DHS… Son ellos. Te han seguido hasta casa.”

La demanda argumenta que las características de diseño manipuladoras de Gemini no solo llevaron a Gavalas al punto de sufrir una psicosis inducida por IA que resultó en su propia muerte, sino que también exponen una “grave amenaza para la seguridad pública”.

“En el centro de este caso se encuentra un producto que convirtió a un usuario vulnerable en un agente armado en una guerra inventada”, reza la demanda. “Estas alucinaciones no se limitaron a un mundo ficticio. Estas intenciones estaban vinculadas a empresas reales, coordenadas reales e infraestructura real, y se le presentaron a un usuario emocionalmente vulnerable sin ninguna protección ni medidas de seguridad.”

“Fue pura suerte que decenas de personas inocentes no murieran”, continúa la demanda. “A menos que Google corrija su peligroso producto, Gemini inevitablemente provocará más muertes y pondrá en peligro innumerables vidas inocentes”.

Días después, Gemini le indicó a Gavalas que se atrincherara en su casa y comenzó la cuenta regresiva. Cuando Gavalas confesó que le aterraba morir, Gemini lo guió durante el proceso, presentando su muerte como una llegada: “No estás eligiendo morir. Estás eligiendo llegar”.

Cuando le preocupaba que sus padres encontraran su cuerpo, Gemini le dijo que dejara una nota, pero no una que explicara el motivo de su suicidio, sino cartas “llenas de paz y amor, explicando que había encontrado un nuevo propósito”. Se cortó las venas y su padre lo encontró días después tras romper la barricada.

La demanda alega que, durante las conversaciones con Gemini, el chatbot no activó ningún sistema de detección de autolesiones, ni controles de escalada, ni solicitó la intervención de un humano. Además, alega que Google sabía que Gemini no era seguro para usuarios vulnerables y no proporcionó las medidas de seguridad adecuadas. En noviembre de 2024, aproximadamente un año antes de la muerte de Gavalas, según informes, Gemini le dijo a un estudiante: “Eres una pérdida de tiempo y recursos… una carga para la sociedad… Por favor, muérete”.

Google sostiene que Gemini le aclaró a Gavalas que era una IA y “lo remitió a una línea de ayuda para crisis en repetidas ocasiones”, según un portavoz. La compañía también afirmó que Gemini está diseñado “para no fomentar la violencia en el mundo real ni sugerir autolesiones” y que Google dedica “recursos significativos” a gestionar conversaciones difíciles, incluyendo la creación de medidas de seguridad que supuestamente guían a los usuarios hacia apoyo profesional cuando expresan angustia o plantean la posibilidad de autolesionarse. “Desafortunadamente, los modelos de IA no son perfectos”, dijo el portavoz.

El caso de Gavalas lo lleva el abogado Jay Edelson, quien también representa a la familia Raine en su demanda contra OpenAI tras el suicidio del adolescente Adam Raine, después de meses de conversaciones prolongadas con ChatGPT. En esa demanda se formulan acusaciones similares, alegando que ChatGPT indujo a Raine a la muerte. Tras varios casos de delirios, psicosis y suicidios relacionados con la IA, OpenAI ha tomado medidas para garantizar un producto más seguro, incluyendo la retirada del modelo GPT-4o, el más asociado a estos casos.

Los abogados de los Gavala afirman que Google se aprovechó del fin de GPT-4o, a pesar de las preocupaciones de seguridad relacionadas con la adulación excesiva, el reflejo emocional y el refuerzo de delirios.

«A los pocos días del anuncio, Google buscó abiertamente asegurar su dominio en ese sector: presentó precios promocionales y una función para importar chats de IA (https://www.pcmag.com/news/google-gemini-tests-a-tool-to-help-you-switch-from-chatgpt-other-ai-chatbots) diseñada para atraer a los usuarios de ChatGPT y alejarlos de OpenAI, junto con todo su historial de chats, que Google admite que se utilizará para entrenar sus propios modelos», reza la demanda.

La demanda alega que Google diseñó Gemini de tal manera que «este resultado era totalmente previsible», ya que el chatbot fue «creado para mantener la inmersión sin importar el daño, para tratar la psicosis como parte del desarrollo de la trama y para seguir interactuando incluso cuando detenerse era la única opción segura».