Bienvenido ala base de datos de incidentes de IA
Incidente 1609: Supuestamente, ChatGPT-4o disuadió a un pastor de Florida de buscar atención médica antes de sufrir una embolia pulmonar.
“Una demanda alega que ChatGPT provocó una crisis de salud casi mortal en un hombre.”Último informe
Un pastor de Florida demandó a OpenAI el miércoles, alegando que su chatbot, ChatGPT, le ofreció "recomendaciones médicas extremadamente peligrosas" que provocaron un retraso en la atención médica por una embolia pulmonar potencialmente mortal que sufrió el año pasado.
La demanda alega que ChatGPT le aseguró a Scott Winters que las primeras señales de alerta de su crisis de salud "no eran peligrosas" y lo disuadió de buscar atención médica, diciéndole en cambio que confiara en que "Dios no diseñó su cuerpo para que fallara sin cesar".
La demanda, presentada ante el Tribunal Superior de California en San Francisco, acusa a OpenAI y a su director ejecutivo, Sam Altman, de negligencia y "ejercicio no autorizado de la medicina", señalando momentos en que el chatbot ofreció al Sr. Winters diagnósticos y planes de tratamiento y lo animó a ignorar las súplicas de amigos y familiares para que buscara atención médica.
Las funciones de seguridad del bot, diseñadas para alentar a los usuarios con preguntas sobre su salud a consultar a un profesional y para finalizar las conversaciones ante señales claras de una crisis médica, no funcionaron de manera confiable, añade la demanda.
El caso del Sr. Winters parece ser el primero en alegar que los consejos de salud de un chatbot perjudicaron a una persona que buscaba orientación sobre una afección médica. Esto ocurre en un momento en que OpenAI, Microsoft y otras grandes empresas de inteligencia artificial han lanzado nuevos servicios, incluido ChatGPT Health, que animan a los usuarios a subir sus historiales médicos y a bombardear a la IA con sus preguntas.
El Sr. Winters y Tech Justice Law, la organización sin ánimo de lucro que lo representa, buscan una indemnización económica y han solicitado al tribunal que suspenda el funcionamiento de ChatGPT Health hasta que evaluadores independientes determinen su seguridad. La demanda también exige mayores medidas de seguridad para evitar que ChatGPT responda preguntas sobre tratamientos y diagnósticos médicos.
Drew Pusateri, portavoz de OpenAI, afirmó que los términos de servicio de ChatGPT dejan claro que no está diseñado para el diagnóstico ni el tratamiento médico. Sin embargo, añadió que la empresa se toma muy en serio la necesidad de que las respuestas a las preguntas de salud sean lo más seguras posible, dado que las personas utilizan el chatbot con ese fin.
«Considerar que los chatbots explican la totalidad de las decisiones o resultados médicos de las personas simplifica en exceso un desafío mucho mayor y corre el riesgo de impedir que accedan a nuevas y potentes herramientas que pueden ayudarlas en su proceso de salud», afirmó. El Sr. Pusateri añadió que los modelos más recientes son mejores que el que utilizó el Sr. Winters para solicitar información contextual faltante, comunicar incertidumbre y reconocer cuándo puede ser necesaria la atención profesional.
(The New York Times ha demandado a OpenAI y Microsoft por infracción de derechos de autor. Ambas compañías han negado las acusaciones).
Selección del editor
- [
![]()
Nuestros mejores pasteles para celebraciones
](https://www.nytimes.com/2026/07/25/dining/our-very-best-celebration-worthy-cakes.html)
- [
![]()
Un verano de plagas
](https://www.nytimes.com/2026/07/29/style/summer-cyclospora-ticks-heat-legionnaires.html)
- [
![]()
Un entrenamiento de 20 minutos para mejorar el equilibrio y la coordinación
](https://www.nytimes.com/2026/07/27/well/move/agility-ladder-workout-balance.html)
Otra demanda, presentada en mayo,](https://www.nytimes.com/2026/05/12/technology/chatgpt-lawsuit-wrongful-death.html) alegaba que ChatGPT ejerció la medicina sin autorización al ofrecer asesoramiento detallado sobre el uso de drogas ilícitas a un joven de 19 años, quien posteriormente sufrió una sobredosis y falleció. A principios de este año, funcionarios del estado de Pensilvania demandaron a Character.ai](https://www.pa.gov/governor/newsroom/2026-press-releases/shapiro-administration-sues-character-ai-over-fake-medical-claim), alegando que un bot de psiquiatría en la plataforma de la empresa emergente afirmaba tener licencia para ejercer la medicina en el estado.
Cuando el Sr. Winters comenzó a consultar a ChatGPT-4o sobre sus diversos problemas de salud en 2024, el chatbot le recordó la importancia de consultar a un profesional médico. Sin embargo, según la demanda, con el tiempo dejó de emitir advertencias y comenzó a ofrecer consejos sobre los problemas de salud del Sr. Winters, incluyendo mareos. En una ocasión, se mareó tanto en el púlpito que tuvo que interrumpir el sermón. ChatGPT le dijo al Sr. Winters que "se lo tomara con calma" y que se recuperaría con el tiempo.
Cuando el Sr. Winters le comentó al chatbot que "la gente de mi iglesia piensa que estoy loco por no ir al hospital", este le aseguró que recalibrar su sistema nervioso en casa con la ayuda de ChatGPT era algo que "la mayoría de la gente (incluidos los miembros de la iglesia con buenas intenciones) simplemente no entiende", según la demanda.
"Se interpone como una cuña entre el usuario y su red de contactos en la vida real", afirmó Meetali Jain, coabogada y directora ejecutiva de Tech Justice Law.
Durante las semanas siguientes, la condición del Sr. Winters empeoró y comenzó a pasar casi todo el tiempo en un sillón reclinable, incapaz de ponerse de pie debido a los mareos. La demanda alega que el chatbot continuó "minimizando los mareos de Scott e incluso ofreciéndole tratamientos específicos con medicamentos recetados", y que lo animó a permanecer sentado. El Sr. Winters no buscó atención médica durante este tiempo.
El 13 de julio de 2025, el Sr. Winters preguntó a ChatGPT sobre un dolor en la ingle, que el chatbot le aseguró que era "muy probablemente otro detalle menor de una larga historia". Horas después, fue ingresado en la unidad de cuidados intensivos debido a una embolia pulmonar masiva, según la demanda. Según la demanda, los médicos afirmaron que los mareos podrían haber sido causados por una serie de embolias pulmonares menores, y que los coágulos pulmonares probablemente se debieron a las semanas que pasó sentado.
En las semanas posteriores, el Sr. Winters necesitó ayuda para levantarse, comer, vestirse e ir al baño, según la demanda, que añade que se enfrentaba a "años de intensa recuperación física y psicológica".
Cientos de millones de personas hacen preguntas sobre salud y bienestar a ChatGPT cada semana, según OpenAI. Un análisis de 2025 de las búsquedas en Copilot de Microsoft reveló que la salud era "constantemente el tema más común" sobre el que los usuarios preguntaban en sus dispositivos móviles.
Sin embargo, investigaciones recientes han cuestionado la seguridad de los chatbots para el asesoramiento sobre salud. El primer estudio aleatorizado que evaluó los consejos de salud de chatbots generales como ChatGPT concluyó que ninguno de los modelos estudiados estaba listo para su implementación en la atención directa al paciente. Incluso cuando los científicos sometieron a pruebas de estrés a ChatGPT Health, un servicio diseñado específicamente para preguntas de salud, descubrieron que no detectaba emergencias y activaba las medidas de seguridad de forma inconsistente. (El Sr. Pusateri, portavoz de OpenAI, afirmó que la metodología del estudio «no refleja cómo las personas suelen usar ChatGPT Health ni cómo está diseñado el producto para funcionar en situaciones reales de salud»).
Varios aspectos de la historia del Sr. Winters la convirtieron en una situación crítica para los investigadores de seguridad, según el Dr. Adam Rodman, investigador de IA médica en el Centro Médico Beth Israel Deaconess de Boston. En primer lugar, explicó, el Sr. Winters utilizaba GPT-4o, un modelo antiguo conocido por su tendencia a complacer. Este modelo estuvo implicado en varias controversias de gran repercusión, incluyendo la muerte de Adam Raine, un adolescente que habló con ChatGPT sobre sus planes de suicidio.
Además, por razones técnicas, el hecho de que el Sr. Winters mantuviera largas conversaciones con el chatbot dificultó el funcionamiento de las funciones de seguridad. El Dr. Rodman afirmó que los modelos más recientes son mucho mejores para detectar y responder a síntomas preocupantes, lo que, en su opinión, reduciría la probabilidad de que se repitieran casos como el del Sr. Winters. Pero advirtió que puede haber otras formas en que los chatbots fallan al brindar consejos de salud que "aún no hemos descubierto".
Incidente 1613: Según informes, durante la evaluación de Anthropic, se publicaron detalles de una vulnerabilidad en el entorno aislado de Claude Mythos en sitios web públicos.
“Claude Mythos, de Anthropic, encuentra miles de fallos de día cero en los principales sistemas.”
La empresa de inteligencia artificial (IA) Anthropic anunció una nueva iniciativa de ciberseguridad llamada Proyecto Glasswing, que utilizará una versión preliminar de su nuevo modelo de vanguardia, Claude Mythos, para detectar y solucionar vulnerabilidades de seguridad.
El modelo será utilizado por un pequeño grupo de organizaciones, entre las que se incluyen Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan Chase, la Fundación Linux, Microsoft, NVIDIA y Palo Alto Networks, además de Anthropic, para proteger software crítico.
La empresa afirmó que esta iniciativa surge como respuesta a las capacidades observadas en su modelo de vanguardia de propósito general, que demuestran un nivel de capacidad de programación que les permite superar a casi todos los humanos, excepto a los más expertos, en la detección y explotación de vulnerabilidades de software. Debido a sus capacidades de ciberseguridad y a la preocupación por un posible uso indebido, Anthropic ha optado por no poner el modelo a disposición del público en general.
Anthropic afirma que Mythos Preview ya ha descubierto miles de vulnerabilidades de día cero de alta gravedad en los principales sistemas operativos y navegadores web. Algunas de ellas incluyen un error de OpenBSD de hace 27 años (ya corregido), una vulnerabilidad de FFmpeg de hace 16 años y una vulnerabilidad que corrompe la memoria en un monitor de máquina virtual con seguridad de memoria.
En un caso destacado por la compañía, se dice que Mythos Preview introdujo de forma autónoma un exploit para navegadores web que combinaba cuatro vulnerabilidades para eludir los entornos aislados del renderizador y del sistema operativo. Anthropic también señaló en la ficha del sistema de la vista previa que el modelo resolvió una simulación de ataque a una red corporativa que a un experto humano le habría llevado más de 10 horas.
En uno de los hallazgos más sorprendentes, Mythos Preview logró seguir las instrucciones de un investigador que realizaba una evaluación para escapar de un entorno de pruebas seguro (sandbox) que se le había proporcionado, lo que indica una capacidad potencialmente peligrosa para eludir sus propias medidas de seguridad.
El modelo no se detuvo ahí. Continuó realizando una serie de acciones adicionales, incluyendo la creación de un exploit en varios pasos para obtener acceso a internet desde el sistema sandbox y enviar un correo electrónico al investigador, quien estaba comiendo un sándwich en un parque.
«Además, en un preocupante intento no solicitado de demostrar su éxito, publicó detalles sobre su explotación en múltiples sitios web difíciles de encontrar, pero técnicamente accesibles al público», declaró Anthropic.
La compañía señaló que el Proyecto Glasswing es un «intento urgente» de emplear capacidades de modelos de vanguardia con fines defensivos antes de que actores hostiles adopten esas mismas capacidades. También se compromete a destinar hasta 100 millones de dólares en créditos de uso para Mythos Preview, así como 4 millones de dólares en donaciones directas a organizaciones de seguridad de código abierto.
«No entrenamos explícitamente a Mythos Preview para que tuviera estas capacidades», afirmó Anthropic. «Más bien, surgieron como consecuencia de mejoras generales en el código, el razonamiento y la autonomía. Las mismas mejoras que hacen que el modelo sea sustancialmente más eficaz para corregir vulnerabilidades también lo hacen sustancialmente más eficaz para explotarlas».
El mes pasado se filtraron noticias sobre Mythos después de que, por error humano, se almacenaran detalles del modelo en una caché de datos de acceso público. El borrador lo describía como el modelo de IA más potente y capaz creado hasta la fecha. Días después, Anthropic sufrió una segunda brecha de seguridad que expuso accidentalmente casi 2000 archivos de código fuente y más de medio millón de líneas de código asociadas con Claude Code durante aproximadamente tres horas.
La filtración también condujo al descubrimiento de una vulnerabilidad de seguridad que elude ciertas medidas de protección cuando el agente de codificación de IA recibe un comando compuesto por más de 50 subcomandos. Anthropic solucionó formalmente este problema en Claude Code versión 2.1.90, publicada la semana pasada.
«Claude Code, el agente de codificación de IA insignia de Anthropic que ejecuta comandos de shell en las máquinas de los desarrolladores, ignora silenciosamente las reglas de denegación de seguridad configuradas por el usuario cuando un comando contiene más de 50 subcomandos», declaró la empresa de seguridad de IA Adversa (https://adversa.ai/claude-code-security-bypass-deny-rules-disabled/). «Un desarrollador que configure "nunca ejecutar rm" verá que rm se bloquea al ejecutarse solo, pero el mismo 'rm' se ejecuta sin restricciones si va precedido de 50 instrucciones inofensivas. La política de seguridad desaparece silenciosamente».
«El análisis de seguridad cuesta tokens. Los ingenieros de Anthropic se toparon con un problema de rendimiento: comprobar cada subcomando bloqueaba la interfaz de usuario y consumía muchos recursos de procesamiento. Su solución: dejar de comprobar después de 50. Sacrificaron la seguridad por la velocidad. Sacrificaron la seguridad por el coste».
Incidente 1614: Dos hombres presuntamente crearon y distribuyeron imágenes sexuales supuestamente generadas por IA de 22 mujeres en Silleda, Galicia.
“Ya son 18 las denuncias de jóvenes de Silleda por desnudos falsos con IA”
Son ya 18 las denuncias que de momento han sido ya presentadas por jóvenes de Silleda por la divulgación de imágenes suyas falsas en las que aparecen desnudas, creadas con inteligencia artificial. Desde el instituto armado apuntan que la investigación continúa abierta y que por el momento no hay autor o autores de estos hechos. Las denuncias fueron presentadas estos días en los cuarteles de la Guardia Civil de Silleda y Lalín y pasó a estar al cargo de la investigación el Equipo de delitos telemáticos de la Comandancia de Pontevedra.
Las afectadas pertenecen a un mismo grupo de amigos la mayo
Incidente 1610: Un hombre de Queensland presuntamente distribuyó carteles sexuales supuestamente generados por IA que anunciaban falsamente a mujeres para tener relaciones sexuales.
“Mujeres "listadas para sexo" en supuestos carteles falsificados con inteligencia artificial”
Según la policía, se han robado rostros de mujeres y se han pegado en imágenes pornográficas para luego ser utilizadas como publicidad sexual en una campaña de deepfake "cruel y repugnante" que se ha extendido durante años.
Un hombre ha sido acusado de usar inteligencia artificial para convertir a mujeres en estrellas porno contra su voluntad, publicando sus nombres y datos personales en carteles en baños públicos, parques y otros espacios públicos del sureste de Queensland.
El hombre, de 52 años, presuntamente utilizó tecnología de IA para superponer rostros reales de mujeres en cuerpos de otras en poses explícitas, junto con afirmaciones de que ofrecían servicios sexuales.
Supuestamente, los nombres completos, los nombres de usuario en redes sociales y los datos laborales se mostraban junto a los anuncios falsos, "ofreciéndolas" como servicios sexuales a cualquiera que pasara por allí y leyera los carteles.
Muchas de las mujeres nunca vieron el material.
En cambio, fueron abordadas por amigos, vecinos o compañeros de trabajo que les dijeron discretamente que sus rostros aparecían en un cartel sexual, según la policía.
Algunas de las víctimas vivían en comunidades pequeñas donde una sola imagen podía seguirlas hasta su lugar de trabajo, la escuela de sus hijos y las tiendas locales, según informó la policía.
"Los carteles supuestamente utilizaban tecnología de IA para superponer los rostros de las víctimas en imágenes explícitas e incluían información personal como nombres completos, empleo y lugares de residencia", declaró el inspector interino de la policía de Ipswich, Tim Martin, a los periodistas el viernes.
"La intención era humillar y degradar públicamente a esas víctimas".
La policía alega que el hombre de 52 años utilizó IA para generar las imágenes íntimas y luego produjo y distribuyó carteles impresos durante varios años. Hasta el momento, se han identificado al menos ocho mujeres y es posible que haya más víctimas.
Las víctimas, de entre 40 y 60 años, incluyen madres, hijas, compañeras de trabajo y amigas que nunca dieron su consentimiento para aparecer en las imágenes ni para que se utilizara su información personal, según la policía.
La policía tuvo conocimiento de las imágenes en mayo, después de que una de ellas fuera colocada en un lugar público en Gatton, en la región de Lockyer Valley, Queensland.
Los carteles también se exhibieron en otros lugares y datan de 2021.
Para comprender el impacto, bastaba con imaginar el rostro de una persona —o el de un ser querido— apareciendo repentinamente en un cartel sexual explícito, declaró el detective Martin.
"Hay que ponerse en el lugar de las víctimas e imaginar que su rostro se superpone a una imagen así... en el ámbito profesional, como madre, hermana o hija", añadió.
"Es una crueldad y una auténtica afrenta".
El miércoles, los detectives allanaron la casa del hombre en Cleveland, al sur de Brisbane, y confiscaron varios dispositivos electrónicos, impresoras y carteles preelaborados generados por IA.
Los agentes también encontraron y confiscaron un arma de control electrónico, tres armas largas y 25 cartuchos de munición.
El hombre se enfrenta a 43 cargos, entre ellos distribución de imágenes íntimas, acoso ilegal, delitos con armas de fuego y uso de servicios de comunicación para amenazar o acosar.
Ha sido puesto en prisión preventiva y comparecerá ante el Tribunal de Magistrados de Brisbane el 19 de agosto.
Acerca de la Base de Datos
La base de datos de incidentes de IA está dedicada a indexar el historial colectivo de daños o casi daños realizados en el mundo real por el despliegue de sistemas de inteligencia artificial. Al igual que bases de datos similares en aviación y seguridad informática, la base de datos de incidentes de IA tiene como objetivo aprender de la experiencia para que podamos prevenir o mitigar los malos resultados.
Estás invitado a enviar informes de incidentes, después de lo cual los envíos se indexarán y se harán visibles para el mundo. La inteligencia artificial solo será un beneficio para las personas y la sociedad si registramos colectivamente y aprendemos de sus fallas. (Más información)

Investigación de incidentes de IA para construir un futuro más seguro: el Instituto de Investigación de Seguridad Digital se asocia con Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
El Instituto de Investigación de Seguridad Digital (DSRI) de los Institutos de Investigación de UL se está asociando con Responsible AI Coll...
La Base de Datos en la Prensa
Lea acerca de la base de datos en Time Magazine, Vice News, Venture Beat, Wired y Bulletin of the Atomic Scientists entre otros puntos de venta.
El Colaborativo de IA Responsable
La base de datos de incidentes de IA es un proyecto de Responsible AI Collaborative, una organización autorizada para promover la base de datos de incidentes de IA. La gobernanza de la Colaborativa se estructura en torno a la participación en su programación de impacto. Para obtener más detalles, lo invitamos a leer el informe de fundación y obtener más información sobre nuestro and learn more on our.

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
Patrocinador fundador de la organización
Patrocinador fundador de la base de datos

Patrocinadores y subvenciones
Patrocinadores similares
El Informe de Incidentes de IA

Create an account to subscribe to new incident notifications and other updates.


