Bienvenido ala base de datos de incidentes de IA
Incidente 1415: Nippon Life Alleged ChatGPT Practiced Law Without a License in Illinois Disability Case
“OpenAI Sued for Unauthorized Practice of Law via ChatGPT”
Nippon Life's landmark lawsuit against OpenAI alleges ChatGPT acted as an unlicensed attorney.
Key points:
- Nippon Life Insurance Company of America has sued OpenAI in federal court, alleging ChatGPT engaged in the unauthorized practice of law by helping a former disability claimant reopen a settled case and file dozens of meritless motions.
- The lawsuit --- believed to be one of the first to accuse a major AI developer of unlicensed legal practice through a consumer chatbot --- seeks $300,000 in compensatory damages and $10 million in punitive damages.
- The case arrives as New York legislators advance a bill that would bar AI chatbots from posing as licensed professionals and give affected users a private right of action against AI platforms.
A Chicago federal court is now the stage for what legal observers are calling a landmark test of artificial intelligence's boundaries in the practice of law. Nippon Life Insurance Company of America filed suit on March 4 against OpenAI Foundation and OpenAI Group PBC, alleging that ChatGPT functioned as an unlicensed attorney when it guided a former disability claimant through a series of legal maneuvers after her case had been settled and dismissed with prejudice.
According to the complaint filed in the U.S. District Court for the Northern District of Illinois, the claimant --- Graciela Dela Torre, an employee of a logistics firm insured through Nippon --- uploaded correspondence from her former lawyer into ChatGPT in 2024. The chatbot allegedly validated her concerns, encouraged her to fire her attorney, and helped her pursue reopening a case that had already been resolved. After a judge denied that bid in February 2025, ChatGPT is alleged to have drafted a new lawsuit and dozens of subsequent motions and notices that Nippon contends had "no legitimate legal or procedural purpose."
The insurer's claims include tortious interference with contract, abuse of process, and --- most notably --- violation of Illinois's unauthorized practice of law statute. "ChatGPT is not an attorney," the complaint states bluntly, adding that despite OpenAI's widely publicized demonstrations of ChatGPT passing bar examinations, the platform "has not been admitted to practice law in the State of Illinois or in any other jurisdiction within the United States." OpenAI responded that "this complaint lacks any merit whatsoever."
The lawsuit marks a significant escalation in AI-related legal liability. Prior litigation against AI companies has largely centered on copyright, privacy, and defamation claims. A lawsuit targeting an AI developer for the unauthorized practice of law through a consumer-facing product breaks new ground, raising questions that bar associations and courts have only begun to address: at what point does an AI tool cross from providing information into providing legal counsel?
The timing is notable. A bill advancing through New York's legislature would explicitly prohibit AI chatbots from giving substantive legal advice --- or advice in any other licensed profession --- and would create a private right of action for users harmed by such conduct. The bill's sponsor, State Senator Kristen Gonzalez, noted that current law contains no explicit prohibition on a large language model representing itself as a lawyer and dispensing legal advice accordingly. The measure, which cleared the Senate's Internet and Technology Committee in February, would also prevent platforms from shielding themselves behind a disclosure that users are interacting with a "non-human chatbot."
For legal departments and law firms, the case reinforces a familiar but urgent message. Courts have already sanctioned lawyers for submitting AI-generated briefs containing hallucinated citations; now the liability exposure extends upstream to the developers of the tools themselves. OpenAI amended its usage policies in October 2024 to bar users from seeking legal advice via the platform --- a change Nippon argues came too late and underscores that the risks were foreseeable. Whether that policy change will carry legal weight is among the questions the Northern District of Illinois may ultimately have to answer.
The case is Nippon Life Insurance Company of America v. OpenAI Foundation and OpenAI Group PBC, No. 1:26-cv-02448 (N.D. Ill.).
Incidente 1406: Según informes, durante la fase inicial de la guerra en Irán circularon ampliamente en línea supuestas imágenes de guerra generadas por IA.
“Una avalancha de noticias falsas generadas por IA sobre una guerra con Irán provoca caos en internet.”
Un torrente de videos e imágenes falsas generadas por inteligencia artificial inundó las redes sociales durante las primeras semanas de la guerra en Irán.
Los videos —que muestran enormes explosiones que nunca ocurrieron, calles de ciudades devastadas que nunca fueron atacadas o tropas protestando contra la guerra que no existen— añadieron una capa de caos y confusión al conflicto en línea.
The New York Times identificó más de 110 imágenes y videos únicos generados por IA en las últimas dos semanas sobre la guerra en Oriente Medio. Las falsificaciones abarcaron todos los aspectos del combate: mostraron falsamente a israelíes gritando y acobardados mientras las explosiones arrasaban Tel Aviv, a iraníes llorando a sus muertos y a buques militares estadounidenses bombardeados con misiles y torpedos.
En conjunto, fueron vistos millones de veces en línea a través de redes como X, TikTok y Facebook, e innumerables veces más en aplicaciones de mensajería privada populares en la región y en todo el mundo.
The Times identificó la IA. El contenido se analizó buscando señales evidentes —como representaciones de edificios inexistentes, texto ilegible y comportamientos o movimientos que desafían las expectativas— y marcas de agua invisibles incrustadas en los archivos. Las publicaciones también se revisaron con múltiples herramientas de detección de IA y se compararon con informes de medios de comunicación.
Una nueva y sofisticada generación de herramientas de IA hace posible la falsificación, permitiendo que prácticamente cualquiera cree simulaciones de guerra realistas que pueden engañar a simple vista con poco o ningún costo. Contenido similar se ha difundido en otros conflictos, incluida la guerra entre Ucrania y Rusia. Pero esta guerra tiene múltiples frentes, lo que ha llevado a una proliferación de contenido falso desde que Estados Unidos e Israel atacaron Irán por primera vez, según los expertos.
"Incluso comparado con cuando estalló la guerra de Ucrania, las cosas ahora son muy diferentes", dijo Marc Owen Jones, profesor asociado de análisis de medios en la Universidad Northwestern en Qatar. "Probablemente estamos viendo mucho más contenido relacionado con la IA ahora que nunca antes".
En general, la IA... Falsificaciones incluidas...
37 imágenes y videos falsos que representan falsamente una guerra activa
5 imágenes y videos falsos que representan falsamente preparativos de guerra
8 imágenes y videos falsos que representan falsamente destrucción
5 imágenes y videos falsos que representan falsamente soldados llorando
43 memes y usos evidentes de IA
13 imágenes y videos falsos adicionales
Este contenido se ha convertido en una poderosa arma informativa para Teherán, que busca minar la tolerancia pública hacia la guerra mostrando escenas de devastación y destrucción en toda la región. La mayoría de las imágenes y videos falsos fueron creados con IA. Según un estudio de la actividad en línea realizado por Cyabra, una empresa de inteligencia de redes sociales, los videos sobre la guerra promueven posturas proiraníes, a menudo para demostrar falsamente su superioridad y sofisticación militar.
«El uso de imágenes generadas por IA de lugares en el Golfo —incendiados o dañados— cobra mayor importancia en la estrategia de Irán», afirmó el Sr. Jones, «porque les permite dar la impresión de que esta guerra es más destructiva y quizás más costosa para los aliados de Estados Unidos de lo que realmente es».
En uno de los videos falsos más difundidos en línea, una escena inestable grabada con cámara en mano, aparentemente desde el balcón de un apartamento en Tel Aviv, muestra el horizonte bombardeado con misiles mientras una bandera israelí ondea en primer plano. Según un análisis de la actividad en redes sociales realizado por The Times, el video fue visto millones de veces en diversas plataformas y difundido por influencers y sitios web de noticias marginales.
La bandera israelí en primer plano fue una señal inequívoca de que el video fue generado por inteligencia artificial (IA), según expertos. Para generar este tipo de videos, quienes utilizan herramientas de IA suelen escribir instrucciones sencillas que describen, por ejemplo, un video tembloroso grabado con una cámara en mano de un ataque con misiles contra Israel. Las herramientas de IA a menudo incluyen una bandera israelí o la Estrella de David para cumplir con esta solicitud. Varios otros videos generados por IA también incluían la bandera.
También circulan en línea numerosas imágenes reales de la guerra, grabadas con teléfonos móviles y en redes sociales, que ofrecen una visión en tiempo real del conflicto. Muchas de estas imágenes y videos son más sobrios que las escenas creadas con IA.
Las grabaciones reales de ataques con misiles a menudo se filmaban desde lejos, generalmente de noche, y los misiles se veían como poco más que luces brillantes en la distancia. En los vídeos reales, las explosiones suelen mostrarse como columnas de humo, no como bolas de fuego, y los transeúntes se apresuran a grabar la escena solo después de que las municiones alcancen su objetivo.
Por el contrario, algunos vídeos e imágenes generados por IA han representado falsamente la guerra como una película de acción hollywoodense exagerada, con enormes explosiones que generan nubes en forma de hongo, estampidos sónicos que se propagan por ciudades sin nombre y supuestos misiles hipersónicos que dejan estelas luminosas en el cielo. Las grabaciones reales a veces se mejoran con herramientas de IA para que las explosiones parezcan más grandes y devastadoras, difuminando aún más la línea entre lo real y lo falso.
Según los expertos, las grabaciones generadas por IA han creado una realidad alternativa más adecuada para las redes sociales, donde las imágenes exageradas tienen más probabilidades de encontrar audiencia. En un caso, las falsificaciones generadas por IA desempeñaron un papel fundamental en el debate en línea y entre gobiernos sobre el destino del USS Abraham Lincoln, un portaaviones desplegado en la región. La Armada de la Guardia Revolucionaria Islámica de Irán sugirió inicialmente el 1 de marzo que había atacado con éxito el buque, posiblemente hundiéndolo. Esto provocó una avalancha de falsificaciones generadas por IA que mostraban el buque o buques similares en llamas. Los usuarios iraníes celebraron las imágenes en línea como prueba de que la contraofensiva de su país estaba desestabilizando la alianza entre Estados Unidos e Israel.
Posteriormente, Estados Unidos declaró que el ataque no había tenido éxito y que el buque no había sufrido daños.
Decenas de otras imágenes y videos generados por IA no ocultaron su falsedad, actuando como una nueva forma de propaganda digital que dio vida a los argumentos políticos que suelen utilizar los gobiernos o sus brazos propagandísticos. Entre ellos se incluían representaciones halagadoras de líderes mundiales como hombres poderosos o representaciones deshumanizadoras de líderes de la oposición.
Una colección de videos claramente ficticios ofrecía una vista de la escuela primaria Shajarah Tayyebeh, destruida por Estados Unidos en un aparente ataque con misiles errático el 28 de febrero, según una investigación preliminar. Al menos 175 personas murieron, la mayoría niños, según funcionarios iraníes.
Los videos generados por IA se desarrollaban como cortometrajes, mostrando a niñas jugando afuera antes de que un avión de combate estadounidense lanzara misiles.
Las empresas de redes sociales han hecho poco para combatir el flagelo de la IA. videos](https://www.nytimes.com/2025/12/08/technology/ai-slop-sora-social-media.html) que saturaron sus plataformas el año pasado después de OpenAI lanzó Sora, una aplicación generadora de videos que permitía a cualquiera crear falsificaciones realistas a través de una aplicación sencilla. (The New York Times demandó a OpenAI y Microsoft en 2023, acusándolos de infracción de derechos de autor de contenido informativo relacionado con sistemas de IA. Ambas compañías han negado esas acusaciones).
Aunque los videos generados por muchas IA. Las herramientas pueden incluir marcas de agua, tanto visibles como invisibles, que las identifican como falsas; estas son fáciles de eliminar u ocultar. Solo algunos de los videos identificados por The Times contenían dichas marcas de agua.
X, la plataforma de Elon Musk, que ha adoptado un enfoque permisivo respecto a la desinformación, anunció la semana pasada que suspendería la recepción de ingresos de las cuentas durante 90 días si publicaban contenido generado por IA sobre "conflicto armado" sin etiquetarlo como tal, con el fin de evitar que los usuarios se lucraran con las falsedades.
Sin embargo, muchas de las cuentas vinculadas a Irán identificadas por Cyabra parecían mucho más centradas en difundir sus mensajes que en obtener beneficios económicos.
"Este es un frente natural que Irán intenta explotar, y parece ser una de las razones de su gran volumen", afirmó Valerie Wirtschafter, investigadora de la Brookings Institution especializada en política exterior e IA. "En realidad, es una herramienta de guerra".
Incidente 1408: Según informes, un supuesto vídeo deepfake de Oprah indujo a una mujer de Utah a comprar suplementos para bajar de peso que no eran del agrado de todos.
“Una mujer de Utah afirma que el costoso suplemento promocionado por la falsa Oprah es en realidad una especia común.”
EAGLE MOUNTAIN — Lisa Swearingen pidió varios frascos de pastillas que se promocionaban como un método de pérdida de peso con respaldo científico.
"Tiene cuatro ingredientes", dijo Swearingen que decía la publicidad. "Sal rosa del Himalaya, quercetina, raíz de montaña y berberina tostada".
Pero cuando llegaron los frascos, descubrió que el ingrediente principal era cúrcuma, una especia común, y muy poco más.
Swearingen dijo que llamó al número que aparecía en la etiqueta de envío y le dijeron que podía devolver el producto. Pero no está satisfecha.
Pagó más de 400 dólares por este envío de suplementos, que creía que venía con un poderoso respaldo: ¡la mismísima Oprah Winfrey!
"Hay muchos videos de Oprah en TikTok y Reels", dijo Swearingen.
Dice que llamó al número que aparecía en la etiqueta de envío y le dijeron que podía devolver el producto. Pero no está satisfecha y me pidió que investigara. «Recibí un producto fraudulento», dijo.
Me puse en contacto con la empresa que fabrica el suplemento, Prozenith, para preguntar sobre este asunto. No obtuve respuesta.
Investigando más a fondo, queda claro que Lisa Swearingen no es la única clienta frustrada. El Better Business Bureau ha registrado numerosas quejas en su Rastreador de Estafas, muchas de ellas relacionadas con la cúrcuma en lugar de los ingredientes promocionados en los testimonios.
Hablando de testimonios, la verdadera Oprah, no una versión digital, usó las redes sociales para advertir que su nombre se está utilizando para promocionar productos para bajar de peso. Aunque no menciona a Prozenith específicamente, sí afirma que varias marcas están usando su imagen sin su consentimiento.
«No tengo nada que ver con gomitas para bajar de peso ni pastillas para adelgazar», declaró en una publicación en redes sociales.
«Me enfureció», dijo Swearingen sobre el momento en que descubrió que sus frascos de Prozenith contenían principalmente cúrcuma.
Dijo que devolverá la cúrcuma, que le costó muy cara, con la esperanza de obtener un reembolso. Pero espera que compartir su experiencia conmigo ayude a otros habitantes de Utah.
"Creo que mucha gente podría ser estafada con esto", dijo.
Según la ley federal, si usted pide un producto y paga con tarjeta de crédito, y lo que recibe no coincide con lo anunciado, puede reclamar el cargo.
Lo complicado puede ser demostrarlo. En el caso de Swearingen, por ejemplo, no puede encontrar el anuncio original que hablaba de los cuatro ingredientes "mágicos".
En cuanto al sitio web del vendedor, parece ser deliberadamente ambiguo sobre qué es realmente Prozenith.
Incidente 1410: Según informes, imágenes explícitas de alumnas de la Royal School Armagh, supuestamente generadas por inteligencia artificial, circularon entre las estudiantes.
“Un instituto de Armagh es la última víctima de la difusión de imágenes deepfake con contenido sexual generadas por IA.”
Un instituto de secundaria del condado de Armagh se encuentra entre los últimos afectados por la difusión de imágenes deepfake generadas con IA.
La policía ha iniciado una investigación tras la difusión de imágenes sexuales generadas por IA entre alumnos del Royal School Armagh, en College Hill.
El director declaró a The Times que, en cuanto tuvo conocimiento del problema, el centro contactó con las autoridades y tomará todas las medidas oportunas según sus indicaciones.
Esto ocurre apenas dos semanas después de que el club de la GAA de Portadown, Tír-na-nOg, advirtiera a los padres sobre los peligros de las imágenes explícitas falsificadas tras el chantaje a un joven miembro de la comunidad, con el fin de evitar la difusión en línea de imágenes "muy realistas".
El terrible incidente en Portadown llamó la atención del diputado de Newry y Armagh, Justin McNulty, quien posteriormente contactó al Ministro de Comunidades, Gordon Lyons, solicitándole que detallara las medidas que su Ministerio tomaría para implementar salvaguardias que protegieran a los jóvenes deportistas de ser víctimas de los "deepfakes" generados por IA.
El Sr. Lyons explicó que, si bien la seguridad y la responsabilidad de los jóvenes y niños en nuestras comunidades son una «responsabilidad compartida por toda la sociedad», abordar los «riesgos emergentes», como los deepfakes generados por IA, representa un «desafío de gran alcance» que requerirá la participación y la acción de múltiples áreas del gobierno y los servicios públicos.
Sport NI, responsable de la protección de menores en el deporte en Irlanda del Norte, tiene actualmente un contrato con la NSPCC, según indicó el Ministro.
Mediante este contrato, Sport NI garantiza el cumplimiento de la legislación y las mejores prácticas en materia de protección de menores, así como el apoyo adecuado al sector.
Como parte de este contrato, el Ministro explicó que Sport NI «discutirá este asunto con la NSPCC».
En la mañana del 15 de enero, la plataforma X de Elon Musk, que ha estado en el centro de una creciente controversia por el uso indebido de su modelo de IA Grok, anunció que ya no permitirá a los usuarios alterar fotos de personas reales para convertirlas en imágenes sexualmente explícitas o sugerentes en países donde tales acciones son ilegales.
Además, ha restringido el acceso a esta función únicamente a los miembros de pago.
En Irlanda del Norte, Cara Hunter, diputada del SDLP por East Londonderry, ha liderado la lucha contra la difusión de imágenes explícitas generadas con deepfakes, desde que ella misma fue víctima de esta práctica ilícita. Su campaña aboga por medidas legales más estrictas contra la creación y distribución de deepfakes.
Tras su labor de cabildeo, se concluyó una consulta pública sobre el tema en octubre de 2025, cuyos resultados podrían ahora servir de base para la elaboración de futuras leyes.
El 13 de enero, la Sra. Hunter también se pronunció a favor de que Irlanda del Norte siguiera el ejemplo del Gobierno del Reino Unido tras el anuncio de nuevas leyes para combatir la creación de imágenes explícitas mediante inteligencia artificial.
La Secretaria de Tecnología, Liz Kendall, ha declarado que crear, o intentar crear, una imagen íntima sin consentimiento será un delito a partir de esta semana.
Las aplicaciones que permiten a los usuarios crear estas imágenes también serán penalizadas en virtud del Proyecto de Ley de Delincuencia y Policía del Reino Unido.
Enviar URL Rapidamente
Acerca de la Base de Datos
La base de datos de incidentes de IA está dedicada a indexar el historial colectivo de daños o casi daños realizados en el mundo real por el despliegue de sistemas de inteligencia artificial. Al igual que bases de datos similares en aviación y seguridad informática, la base de datos de incidentes de IA tiene como objetivo aprender de la experiencia para que podamos prevenir o mitigar los malos resultados.
Estás invitado a enviar informes de incidentes, después de lo cual los envíos se indexarán y se harán visibles para el mundo. La inteligencia artificial solo será un beneficio para las personas y la sociedad si registramos colectivamente y aprendemos de sus fallas. (Más información)

Investigación de incidentes de IA para construir un futuro más seguro: el Instituto de Investigación de Seguridad Digital se asocia con Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
El Instituto de Investigación de Seguridad Digital (DSRI) de los Institutos de Investigación de UL se está asociando con Responsible AI Coll...
La Base de Datos en la Prensa
Lea acerca de la base de datos en Time Magazine, Vice News, Venture Beat, Wired y Bulletin of the Atomic Scientists entre otros puntos de venta.
Rankings de Reportadores de Incidentes
Estas son las personas y entidades acreditadas con la creación y presentación de informes de incidentes. Hay más detalles disponibles en la página de rankings.
El Informe de Incidentes de IA

Create an account to subscribe to new incident notifications and other updates.
Incidentes Aleatorios
El Colaborativo de IA Responsable
La base de datos de incidentes de IA es un proyecto de Responsible AI Collaborative, una organización autorizada para promover la base de datos de incidentes de IA. La gobernanza de la Colaborativa se estructura en torno a la participación en su programación de impacto. Para obtener más detalles, lo invitamos a leer el informe de fundación y obtener más información sobre nuestro and learn more on our.

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
Patrocinador fundador de la organización
Patrocinador fundador de la base de datos






