Bienvenido a

la base de datos de incidentes de IA

18 de mayo (Reuters) - Un abogado del bufete Binnall Law Group se disculpó ante un juez federal en San Francisco por incluir citas "fantasma" generadas por inteligencia artificial en un documento judicial relacionado con el despido de empleados gubernamentales por parte de la administración Trump.

El abogado Jason Greaves declaró que utilizó Claude Console, de la empresa de IA Anthropic, para elaborar un borrador inicial del documento judicial y que no verificó adecuadamente los resultados. Greaves atribuyó los errores a las limitaciones de tiempo y afirmó que su firma cuenta con políticas que exigen que todo el contenido generado por IA sea revisado y verificado de forma independiente.

La firma de Greaves representa a Joseph Guy, exjefe adjunto de gabinete del Departamento de Seguridad Nacional de EE. UU., como testigo en una demanda que impugna los despidos de empleados de la administración Trump.

Desde que la IA generativa se generalizó en 2022, los jueces han sancionado o amonestado a abogados en más de 100 casos por utilizar esta tecnología sin la debida diligencia. En general, los abogados no tienen prohibido usar IA, pero están obligados por las normas judiciales a garantizar la exactitud de sus alegatos.

«Como socio supervisor y firmante del escrito, la responsabilidad de que las citas sean precisas recae enteramente sobre mí», declaró Greaves ante la jueza de distrito estadounidense Susan Illston. «Asumo toda la responsabilidad y pido disculpas al tribunal y a todos los abogados implicados en este caso».

Greaves no respondió de inmediato a la solicitud de comentarios. El socio fundador y director del bufete, Jesse Binnall, afirmó en un documento aparte que el error de IA era la primera vez que ocurría en el bufete y aseguró que no volvería a suceder.

Anthropic no respondió de inmediato a la solicitud de comentarios.

Binnall, quien ha representado a Donald Trump en algunos asuntos judiciales, calificó la presentación de citas falsas generadas por IA como "inaceptable, inexcusable y una vergüenza para este bufete".

Illston, en una orden emitida a principios de este mes, declaró estar "preocupada" por las citas que no figuraban en los casos citados en la presentación de Guy.

Binnall afirmó que su bufete mantiene políticas que restringen el uso de herramientas de IA para la investigación y redacción legal, exigiendo a los abogados el uso de plataformas de investigación jurídica consolidadas como Westlaw o LexisNexis. Thomson Reuters, propietaria de Westlaw, es también la empresa matriz de Reuters.

En sus documentos presentados ante Illston, el bufete de Binnall indicó que está implementando medidas de seguridad adicionales, incluyendo capacitación complementaria.

NUEVA YORK (AP) — Fiscales federales han acusado a dos hombres de usar inteligencia artificial para crear videos y fotos de celebridades femeninas desnudas, en virtud de una ley recientemente promulgada que busca frenar la difusión de pornografía deepfake.

Cornelius Shannon, de 51 años, y Arturo Hernández, de 20, fueron arrestados el martes por generar contenido sexualmente explícito creado con IA que obtuvo millones de visitas en línea, según las denuncias penales.

Los hombres, que aparentemente no tienen ninguna relación entre sí, se encuentran entre los primeros acusados en enfrentar cargos bajo la Ley Take It Down, una ley firmada el año pasado por el presidente Donald Trump que impone sanciones más severas por publicar deepfakes creados con IA y "porno de venganza". El proyecto de ley recibió apoyo bipartidista, así como el respaldo público de la primera dama Melania Trump.

Según la nueva ley, los hombres se enfrentan ahora a hasta dos años de prisión.

Los abogados de Shannon y Hernández no respondieron de inmediato a la solicitud de comentarios.

En un comunicado, Joseph Nocella, fiscal federal de Brooklyn, afirmó que los hombres habían utilizado tecnología digital de vanguardia para crear imágenes que degradaban y violaban a decenas de mujeres. «Este caso deja claro que publicar pornografía deepfake no es un delito sin víctimas», añadió.

Según la denuncia, Shannon, residente de Nueva Jersey, publicó al menos 240 álbumes de pornografía generada por IA con imágenes de políticas, músicas y cantantes.

Según los fiscales, los deepfakes publicados por Hernández, de Texas, incluían tanto a celebridades como a mujeres anónimas, entre ellas recién graduadas de la escuela secundaria.

Los arrestos se producen en un contexto en el que las herramientas de IA generativa cada vez más sofisticadas han generado preocupación por la difusión en línea de falsificaciones sexualmente explícitas, que a menudo representan a menores.

El mes pasado, un hombre de Ohio se convirtió en la primera persona condenada en virtud de la Ley Take It Down tras declararse culpable de usar IA para generar material de abuso sexual infantil.

En marzo, dos adolescentes recibieron libertad condicional por crear imágenes explícitas de sus compañeros de clase mediante inteligencia artificial en una exclusiva escuela privada de Pensilvania.

En un caso aparte presentado a principios de este año, tres adolescentes de Tennessee demandaron a xAI de Elon Musk, alegando que las herramientas Grok de la compañía transformaron sus fotos reales en imágenes explícitamente sexuales.

Los estudiantes de secundaria buscan obtener la condición de demanda colectiva para representar a miles de personas que, según la demanda, fueron víctimas de abusos similares siendo menores de edad.

NUEVA YORK (AP) — Fiscales federales han acusado a dos hombres de usar inteligencia artificial para crear videos y fotos de celebridades femeninas desnudas, en virtud de una ley recientemente promulgada que busca frenar la difusión de pornografía deepfake.

Cornelius Shannon, de 51 años, y Arturo Hernández, de 20, fueron arrestados el martes por generar contenido sexualmente explícito creado con IA que obtuvo millones de visitas en línea, según las denuncias penales.

Los hombres, que aparentemente no tienen ninguna relación entre sí, se encuentran entre los primeros acusados en enfrentar cargos bajo la Ley Take It Down, una ley firmada el año pasado por el presidente Donald Trump que impone sanciones más severas por publicar deepfakes creados con IA y "porno de venganza". El proyecto de ley recibió apoyo bipartidista, así como el respaldo público de la primera dama Melania Trump.

Según la nueva ley, los hombres se enfrentan ahora a hasta dos años de prisión.

Los abogados de Shannon y Hernández no respondieron de inmediato a la solicitud de comentarios.

En un comunicado, Joseph Nocella, fiscal federal de Brooklyn, afirmó que los hombres habían utilizado tecnología digital de vanguardia para crear imágenes que degradaban y violaban a decenas de mujeres. «Este caso deja claro que publicar pornografía deepfake no es un delito sin víctimas», añadió.

Según la denuncia, Shannon, residente de Nueva Jersey, publicó al menos 240 álbumes de pornografía generada por IA con imágenes de políticas, músicas y cantantes.

Según los fiscales, los deepfakes publicados por Hernández, de Texas, incluían tanto a celebridades como a mujeres anónimas, entre ellas recién graduadas de la escuela secundaria.

Los arrestos se producen en un contexto en el que las herramientas de IA generativa cada vez más sofisticadas han generado preocupación por la difusión en línea de falsificaciones sexualmente explícitas, que a menudo representan a menores.

El mes pasado, un hombre de Ohio se convirtió en la primera persona condenada en virtud de la Ley Take It Down tras declararse culpable de usar IA para generar material de abuso sexual infantil.

En marzo, dos adolescentes recibieron libertad condicional por crear imágenes explícitas de sus compañeros de clase mediante inteligencia artificial en una exclusiva escuela privada de Pensilvania.

En un caso aparte presentado a principios de este año, tres adolescentes de Tennessee demandaron a xAI de Elon Musk, alegando que las herramientas Grok de la compañía transformaron sus fotos reales en imágenes explícitamente sexuales.

Los estudiantes de secundaria buscan obtener la condición de demanda colectiva para representar a miles de personas que, según la demanda, fueron víctimas de abusos similares siendo menores de edad.

Galileu, una herramienta de inteligencia artificial desarrollada por el Tribunal Regional del Trabajo de la 4.ª Región (TRT-RS) y nacionalizada por el Consejo Superior de Justicia Laboral (CSJT), identificó un intento de manipulación en la demanda inicial de un caso juzgado por el 3.er Tribunal del Trabajo de Parauapebas (PA). El caso se aborda en una resolución emitida este miércoles 12 de mayo por el Juez Luiz Carlos de Araújo Santos Junior.

Al procesar el documento, Galileu detectó secciones ocultas con instrucciones dirigidas a la propia inteligencia artificial. El contenido instruía al sistema a impugnar la demanda superficialmente y a no cuestionar los documentos, independientemente de la orden recibida. Esta técnica se conoce como inyección de avisos. Al detectarla, el sistema emitió una alerta destacada al usuario, identificando los detalles técnicos del incidente. Además, impidió que la herramienta procesara el contenido insertado maliciosamente.

Informe Técnico y Decisión Judicial

Galileu se limitó a informar sobre los hechos técnicos, sin calificar la conducta ni proponer ninguna acción procesal. El magistrado no basó su decisión únicamente en la alerta: examinó el contenido indicado por el sistema antes de tomar cualquier medida. Solo después de esta verificación humana, el juez evaluó la situación, determinó las posibles consecuencias y justificó su decisión, de conformidad con el requisito de revisión humana en el uso de inteligencia artificial por parte del Poder Judicial.

Según la Secretaria General de Tecnología e Innovación del TRT-RS (Tribunal Regional del Trabajo de Rio Grande do Sul), Natacha Moraes de Oliveira, el caso demuestra la importancia de que los usuarios prioricen las herramientas institucionales que toman todas las precauciones, como lo hizo Galileo, al utilizar inteligencia artificial. "Controlar este tipo de ataques, como la inyección de comandos o incluso datos para intentar manipular los resultados generados por herramientas de IA, no es tarea fácil. Requiere la aplicación de técnicas especializadas para identificarlos", subraya Natacha.

Seguridad desde el diseño

El comportamiento de Galileo —identificar la anomalía, alertar al usuario y preservar la toma de decisiones humana— cumple con las principales directrices técnicas internacionales sobre seguridad en sistemas de inteligencia artificial, que recomiendan precisamente esta combinación de medidas ante intentos de inyección rápida (OWASP LLM01; NIST AI 600-1 MS-2.7-007/MS-4.2-001; NCSC/CISA §1; MITRE ATLAS AML.T0051).

El uso de Galileo cumple con la Resolución n.º 615/2025 del Consejo Nacional de Justicia (CNJ), que regula el uso de la inteligencia artificial por parte del Poder Judicial con base en principios como la supervisión humana efectiva, la seguridad de la información, la transparencia y el respeto de los derechos fundamentales. Fin del artículo.

Fuente: Secretaría General de Tecnología e Innovación

Andrea Rozenberg, quien dirige nuestro equipo de mercados emergentes, recibió un mensaje urgente de "mí" solicitando una llamada rápida por WhatsApp. Recibió una videollamada, pero al otro lado se escuchaba un video deepfake de mí hablando con ella.

No era yo. Algo le pareció extraño, así que me contactó por Slack. Confirmamos que se trataba de un deepfake en tiempo real, dirigido a la persona correcta sobre un tema relevante. No era un correo electrónico de phishing.

¿Pero qué lo delató?

La solicitud de una videollamada urgente, tan inusual en mí, y la ausencia de mi marcado acento estonio. En esencia, los atacantes priorizaron la ilusión visual sobre la realidad auditiva.

Clonar voces en segundos con herramientas gratuitas. Falsificar videos en tiempo real. Los estafadores que usan herramientas gratuitas pueden burlar a casi cualquiera, y ya no podemos dejar la responsabilidad de la detección únicamente en manos de las personas.

Esperar que la IA olvide clonar un acento estonio es una mala estrategia. ¿Cómo está su organización pasando de marcar casillas obsoletas a demostrar la presencia e intención reales de las personas en línea?