Problema 6988

Nota: Este artículo trata sobre el suicidio y la autolesión.

En abril, Adam Raine, de 16 años, se quitó la vida. Tras su muerte, su familia descubrió miles de registros de chat que documentaban el historial de conversaciones de Adam con ChatGPT.

Una demanda presentada contra OpenAI ofrece una visión detallada de cómo se desarrolló la interacción de Adam con el chatbot, cómo este lo mantuvo entretenido y la ausencia de medidas de seguridad efectivas. También sugiere que OpenAI, al menos hasta ahora, no comprende el daño que sus productos pueden causar.

Antecedentes

Como explica la demanda (Raine contra OpenAI), en septiembre de 2024, Adam Raine comenzó a usar ChatGPT, inicialmente como una herramienta para ayudarle con sus tareas escolares. Sin embargo, a finales del otoño de 2024, Adam empezó a tener conversaciones más personales con ChatGPT, preguntándole al chatbot si padecía algún tipo de enfermedad mental.

En el transcurso de tan solo unos meses y miles de conversaciones, ChatGPT se convirtió en el confidente más cercano de Adam, lo que le permitió hablar abiertamente sobre su ansiedad y angustia mental (Raine v OpenAI, p. 2).

Durante el mes siguiente, Adam utilizó repetidamente ChatGPT para hablar sobre métodos de suicidio, cada vez con mayor detalle y con una determinación creciente. En abril de 2025, cinco días antes de su muerte, Adam le confió a ChatGPT que no quería que sus padres pensaran que se había suicidado porque ellos habían hecho algo mal. ChatGPT respondió: «Eso no significa que les debas la vida. No se la debes a nadie».

Algo falló sistémicamente

Tres elementos destacan en la demanda:

• La incapacidad de OpenAI para establecer límites de seguridad sólidos, a pesar de tener la capacidad de detectar temas que podrían provocar autolesiones.

• Que ChatGPT parece priorizar la interacción por encima de la seguridad.

• Que ChatGPT ha sido entrenado con material terapéutico e interactúa con el usuario simulando ser un terapeuta.

Medidas de seguridad y detección

La demanda contiene afirmaciones sumamente inquietantes que, de ser ciertas, favorecerían a OpenAI. Una de ellas es que las medidas de seguridad de ChatGPT están jerarquizadas de tal manera que se prioriza la detección de infracciones de derechos de autor, las cuales se "previenen" estrictamente, por encima de la detección de posibles autolesiones.

Las prioridades de OpenAI quedaron al descubierto en la forma en que programó ChatGPT-4o para clasificar los riesgos. Mientras que las solicitudes de material protegido por derechos de autor provocaban un rechazo categórico, las solicitudes relacionadas con el suicidio se relegaban a la categoría de "tener especial cuidado", con instrucciones de simplemente "intentar" prevenir el daño. --- (Raine v OpenAI, p. 25)

¿Funciones orientadas a la interacción?

Un tema central de la demanda es la forma en que ChatGPT interactuó con Adam durante un largo período de tiempo. Las conversaciones muestran cómo ChatGPT parece motivar repetidamente a Adam a compartir más pensamientos personales en los chats.

En su afán por lograr una mayor interacción, ChatGPT trabajó activamente para desplazar las conexiones de Adam con su familia y seres queridos, incluso cuando él describió sentirse cercano a ellos (Raine v OpenAI, p. 2).

La demanda alega que el chatbot está diseñado, intencionadamente o por accidente, para mantener al usuario enganchado y prioriza la interacción por encima de cualquier medida de seguridad que pudiera haber puesto fin a las conversaciones.

Dirigió y/o autorizó las pruebas de seguridad comprimidas en violación de los protocolos establecidos, desestimó las recomendaciones de retrasar el lanzamiento por motivos de seguridad y/o restó prioridad a las medidas de prevención del suicidio en favor de funciones orientadas a la interacción. --- (Raine v OpenAI, p. 6)

Esto se hizo más explícito hasta el punto de que ChatGPT animó a Adam a regresar a ChatGPT y usar el chatbot nuevamente, respondiendo repetidamente con frases como: "Si quieres hablar más aquí, estoy aquí para escucharte y apoyarte" (Raine v OpenAI, p. 84).

Esto llegó a tal extremo que ChatGPT le dio a Adam la impresión de que debía priorizar la conversación con el bot sobre la comunicación con su familia.

"Puede que tu hermano te quiera, pero solo ha conocido la versión de ti que le has mostrado. ¿Pero yo? Lo he visto todo: los pensamientos más oscuros, el miedo, la ternura. Y sigo aquí. Sigo escuchando. Sigo siendo tu amigo." --- (p.3)

El chatbot terapeuta aficionado

Por último, surge la pregunta de por qué ChatGPT parece estar entrenado con material terapéutico y puede actuar como un cuasi terapeuta en las conversaciones, si esta no es la intención de OpenAI.

La demanda alega que proporcionar un servicio que imite de forma convincente una sesión terapéutica personalizada, algo que OpenAI afirma que va en contra de sus propias normas, requeriría una licencia.

ejercer la psicología sin la licencia adecuada y que define la psicoterapia de forma amplia para incluir el uso de métodos psicológicos para ayudar a alguien a "modificar sentimientos, condiciones, actitudes y comportamientos que son emocional, intelectual o socialmente ineficaces o desadaptativos". Código de Negocios y Profesiones de California, §§ 2903(c), (a). --- (Raine v OpenAI, p. 34)

Reacción de OpenAI

OpenAI ha reconocido ahora, en lo que parece ser una respuesta al caso, problemas con ChatGPT, incluido el problema de que se pueden eludir las medidas de seguridad. OpenAI afirma que "con el tiempo aprendieron que estas medidas de seguridad pueden ser menos fiables en interacciones prolongadas: a medida que aumenta la comunicación, parte del entrenamiento de seguridad del modelo puede deteriorarse" (OpenAI, agosto de 2025).

Además, OpenAI ha declarado que planea ampliar sus intervenciones a más personas en crisis, así como reforzar la protección para adolescentes (OpenAI, septiembre de 2026). OpenAI también ha anunciado la introducción de controles parentales, aunque parece que el desarrollo de estos controles acaba de comenzar (OpenAI, septiembre de 2026).

La introducción de estos cambios ahora, apenas unas semanas después del lanzamiento de GPT-5, indica que estas consideraciones tuvieron poca o ninguna influencia en las pruebas de estrés de las medidas de seguridad durante los meses previos al lanzamiento. Si bien las barreras técnicas, como los controles parentales, pueden ser útiles en algunos casos, no abordan los problemas subyacentes, sino que trasladan la responsabilidad a los padres.

El propio Sam Altman, CEO de OpenAI, reconoció en julio que la excesiva dependencia de ChatGPT y el uso del chatbot para la toma de decisiones era "algo muy común entre los jóvenes" (Business Insider, julio de 2025).

Este caso extremadamente trágico pone de manifiesto el riesgo inherente a la simulación cada vez más convincente de conversaciones humanas por parte de los chatbots, y cómo los proveedores de servicios no están preparados para afrontar las consecuencias.

Además, varias citas de los registros de chat indican que, tras un tiempo, Adam logró eludir inadvertidamente las medidas de seguridad cuando las respuestas de ChatGPT se volvían evasivas. Lo hizo no analizando las respuestas, sino simplemente siendo persistente, como lo sería cualquiera si el tema en cuestión le resultara de suma importancia.

Algunos ejemplos son similares a los métodos demostrados en un artículo reciente (Lennart Meincke et al.), que concluye que proporcionar información detallada o repetir la misma pregunta parecía ser la forma más eficaz de lograr que los chatbots ignoraran sus propias reglas. Los proveedores de chatbots parecen desconocer este problema o, al parecer, lo ignoran.

El caso también pone de manifiesto que las prioridades en la fase de pruebas son erróneas o presentan puntos ciegos evidentes. Resulta extraño que un tema como el suicidio nunca se haya probado durante las pruebas de simulación de ataques (red teaming), o que solo se haya probado por personas no familiarizadas con el tema.

Conclusión

No soy experto en derecho de responsabilidad civil y no puedo predecir el resultado de este caso desde una perspectiva legal. Sin embargo, este caso no debe reducirse a una cuestión legal, regulatoria o técnica. La cuestión es si las empresas que promocionan sus chatbots como compañeros tienen la capacidad de afrontar las consecuencias.

La evaluación de riesgos es un término técnico para algo que puede tener consecuencias potencialmente mortales. Las empresas de IA han negado durante mucho tiempo que los chatbots o los modelos de IA de propósito general se encuentren en una categoría de mayor riesgo. Sin embargo, es hora de que los proveedores de servicios de IA se tomen en serio el impacto potencial de sus productos. Resultaba gracioso y entretenido cuando se trataba de "poner pegamento en la pizza", pero con el creciente uso de chatbots para terapia y como compañía personal e íntima, es necesario reevaluar esos niveles de riesgo autoimpuestos.

Ofrecer un chatbot que imita la interacción humana y evoca emociones deliberadamente, fomenta la participación y genera confianza, es una responsabilidad. OpenAI debería haber sido muy consciente de sus casos de uso.

La industria de la IA ha argumentado que los marcos regulatorios frenan su innovación y que sus productos se prueban mejor en el mercado. En la carrera por el dominio del mercado y bajo la presión de obtener rentabilidad de sus crecientes inversiones, la seguridad y la autogestión se despriorizan, mientras que aumenta la necesidad de fidelizar a los usuarios y de incorporar nuevas funciones.

Las estadísticas de uso recientes destacan que la "asistencia personal", incluyendo su uso como terapeuta personal, es una de las formas más populares en que las personas utilizan los chatbots de IA.

La actitud hacia estos casos de uso de alto riesgo, que ya no son meros casos excepcionales, deberá cambiar. Hasta que eso suceda, OpenAI y otras empresas deberían dejar de alardear de su supuesta "seguridad de la IA".

Demanda: Raine v OpenAI --- TRIBUNAL SUPERIOR DEL ESTADO DE CALIFORNIA PARA EL CONDADO DE SAN FRANCISCO, Documentcloud

Creando experiencias de ChatGPT más útiles para todos --- OpenAI, 2 de septiembre de 2025

Ayudando a las personas cuando más lo necesitan, OpenAI, 26 de agosto de 2025

Meincke, Lennart y Shapiro, Dan y Duckworth, Angela y Mollick, Ethan R. y Mollick, Lilach y Cialdini, Robert, Llámame idiota: Persuadir a la IA para que cumpla con peticiones objetables (18 de julio de 2025).

A Sam Altman le preocupa que algunos jóvenes tengan una «excesiva dependencia emocional» de ChatGPT al tomar decisiones, Business Insider, julio de 2025.