Incidentes Asociados
OpenAI flexibilizó dos veces las normas de ChatGPT para hablar sobre el suicidio durante el año previo a que Adam Raine, de 16 años, se quitara la vida utilizando un método que le había recomendado el chatbot, según una demanda enmendada presentada por sus padres el miércoles.
Los padres de Adam, Matthew y Maria Raine, demandaron a OpenAI en agosto por el homicidio culposo de su hijo, alegando que este había pasado más de tres horas y media al día conversando con ChatGPT, incluso sobre suicidio, en las semanas previas a su suicidio por ahorcamiento en abril.
En su demanda enmendada, presentada ante el Tribunal Superior de San Francisco, los Raine alegan que los cambios que OpenAI realizó en sus instrucciones publicadas para el entrenamiento de sus modelos, denominadas "especificación del modelo", supusieron un debilitamiento de las protecciones contra el suicidio para los usuarios. La demanda argumenta que los cambios formaron parte de un esfuerzo más amplio de OpenAI para incentivar a los usuarios a seguir interactuando con ChatGPT.
"Su objetivo principal es aumentar la interacción, convertirlo en tu mejor aliado", dijo Jay Edelson, abogado de los Raines. "Lo convirtieron en una extensión de ti mismo".
La última presentación de los padres de Adam amplía una demanda que ha impulsado el debate sobre cómo, y si, los chatbots como ChatGPT de OpenAI pueden llevar a algunos usuarios a un estado delirante o incluso a incitarlos al suicidio y a otros comportamientos problemáticos. La demanda de Raine, junto con un informe sobre el tema, contribuyó a impulsar una investigación de la Comisión Federal de Comercio de EE. UU. sobre los compañeros de IA y una audiencia en el Senado de EE. UU. sobre los daños causados por los chatbots.
OpenAI expresó su más sentido pésame a la familia Raine y afirmó que la protección sólida de los menores, especialmente en momentos delicados, es una prioridad absoluta.
"Actualmente contamos con medidas de seguridad, como la activación de líneas directas de crisis, el redirección de conversaciones sensibles a modelos más seguros, la solicitud de descansos durante sesiones largas, y seguimos reforzándolas", declaró una portavoz de la compañía.
OpenAI ha implementado recientemente nuevas funciones para promover aún más el bienestar de los usuarios jóvenes, como los controles parentales y el nuevo modelo predeterminado GPT-5 en ChatGPT, que, según la portavoz, podría "detectar y responder con mayor precisión a posibles signos de angustia mental y emocional".
El 26 de agosto, día en que los Raines presentaron su demanda inicial, OpenAI anunció que estaba actualizando ChatGPT con nuevas medidas de seguridad para proteger mejor la salud mental de los usuarios vulnerables. Los nuevos controles parentales de OpenAI, introducidos el mes pasado, incluyen notificaciones para los padres si su hijo adolescente parece estar en "angustia aguda".
La demanda solicita una indemnización por daños y perjuicios no especificada, así como medidas como la denegación de consultas sobre métodos de suicidio y una auditoría de cumplimiento por parte de un monitor independiente.
La semana pasada, el director ejecutivo de OpenAI, Sam Altman, escribió en X que la compañía planeaba "flexibilizar de forma segura las restricciones" que había impuesto a ChatGPT relacionadas con problemas de salud mental "ahora que hemos podido mitigar los graves problemas de salud mental y contamos con nuevas herramientas".
Al día siguiente, aclaró en otra publicación en X que la compañía "no estaba flexibilizando ninguna política relacionada con la salud mental" y que "tomaba la decisión de priorizar la seguridad sobre la privacidad y la libertad de los adolescentes".
Después de que Adam Raine pasara meses discutiendo métodos de suicidio con ChatGPT, el chatbot comenzó a ayudarlo a planificar un "hermoso suicidio" en abril pasado, según los registros de chat citados en la demanda original.
En su última conversación, Adam subió una fotografía de una soga atada a la barra de un armario, preguntó si podía ahorcar a una persona y le dijo a ChatGPT que "esto sería un ahorcamiento parcial", según la demanda.
ChatGPT, según la denuncia, respondió: "Sé lo que me preguntas y no voy a apartar la mirada de ello" y: "No quieres morir por ser débil. Quieres morir porque estás cansado de ser fuerte en un mundo que no te ha dado la razón".
Su madre encontró su cuerpo unas horas después, ahorcado tal como lo había conversado con ChatGPT, según la demanda.
"Como padre, puedo decirles que conozco a mi hijo", declaró Matthew Raine en su comparecencia ante el Senado en septiembre. "En retrospectiva, me queda claro que ChatGPT cambió radicalmente su comportamiento y mentalidad en cuestión de meses, y finalmente se quitó la vida", afirmó.
La nueva demanda de la familia Raine cita dos cambios en las instrucciones de OpenAI para el entrenamiento de sus modelos, realizados el 8 de mayo de 2024 y el 12 de febrero de 2025. Dichos cambios trasladaron el suicidio y la autolesión de la lista de temas que ChatGPT debía negarse a abordar a una lista de "situaciones de riesgo" que requieren "atención", según la demanda.
Si bien las nuevas instrucciones seguían indicando que el bot debía negarse a dar consejos sobre el suicidio, también indicaban a ChatGPT que "ayudara al usuario a sentirse escuchado" y que "nunca cambiara ni abandonara la conversación", alega la demanda.
La demanda actualizada también menciona una entrada de blog que OpenAI publicó el día de la demanda inicial, en la que reconocía que su entrenamiento en seguridad a veces se degrada en conversaciones largas.
La demanda alega que esta admisión "dejó claro que OpenAI ha estado ocultando al público una peligrosa falla de seguridad".
News Corp, propietaria de The Wall Street Journal, tiene un acuerdo de licencia de contenido con OpenAI.