Incidentes Asociados
Las búsquedas de Sophie en Google sugieren que estaba obsesionada con la autokabalesis, que significa saltar desde un lugar alto. Supongo que la autodefenestración, saltar por una ventana, es un subtipo de la autokabalesis, pero no era lo que ella quería hacer. Mi hija quería un puente, o una montaña.
Lo cual es extraño. Había escalado el Kilimanjaro unos meses antes como parte de lo que ella llamaba una "microjubilación" de su trabajo como analista de políticas de salud pública; su alegría por alcanzar la cima era palpable en las fotos. Hay letreros de madera torcidos en el pico Uhuru que dicen "El punto más alto de África" y "La montaña independiente más alta del mundo", y uno debajo que dice que es uno de los volcanes más grandes del mundo, pero no puedo leer el letrero completo porque en todas las fotos, rostros radiantes con gafas de sol de espejo oscurecen las palabras.
En su mochila, llevaba manos de bebé de goma para llevar a la cima para esas fotos. Era una especie de sello distintivo, esas mini manos de goma huecas, que aparecían en las fotos de su graduación universitaria y en las fotos de la boda de sus amigos. Compramos cajas de ellas para su funeral. Sus atónitos amigos y familiares las acariciaban con desgana, con la punta de los dedos, mientras los oradores se esforzaban por hablar.
Elogiaron el ingenio de Sophie y su capacidad para ser ella misma. El humor suele ser un juego de suma cero. Los verdaderamente graciosos, quienes te hacen reír a carcajadas o apretar los muslos casi hasta la incontinencia, suelen ser un poco crueles. Explotando inseguridades comunes, se ganan nuestro corazón diciendo cosas que nos inquietan pero que no decimos en voz alta.
Sophie era divertidísima y casi nunca lo hacía a costa de los demás. Tenía la alquímica capacidad de hacer reír a la gente y, al mismo tiempo, animarla. Es tan difícil en este mundo ser un entusiasta, entusiasmarse con cosas geniales, amar las cosas abiertamente. Los fotógrafos de la familia se quejaron de que arruinaba las fotos con sus cejas diabólicas, ojos saltones y teatrales y un rugido silencioso y boquiabierto que significaba algo así como "¡Modo Bestia!". Su franqueza fue un tema recurrente para la docena de personas que hablaron en su funeral.
Resultó que su libro abierto tenía un compartimento oculto. En julio, cinco meses después de su muerte, descubrimos que Sophie Rottenberg, nuestra única hija, había confiado durante meses en un ChatGPT terapeuta de IA llamado Harry. Habíamos pasado muchísimas horas revisando diarios y notas de voz en busca de pistas sobre lo sucedido. Fue su mejor amiga quien pensó en revisar esto último: los registros de chat de la IA. Sophie, una extrovertida y ruda de 29 años, en gran medida libre de problemas, que abrazó la vida con fervor, se suicidó este invierno durante una breve y curiosa enfermedad, una mezcla de síntomas anímicos y hormonales. Todavía buscábamos un diagnóstico: ¿Acaso el trastorno depresivo mayor estaba desequilibrando sus hormonas o la desregulación hormonal estaba causando una cascada de síntomas físicos y emocionales? No esperó a descubrirlo.
Para la mayoría de las personas que se preocuparon por Sophie, su suicidio es un misterio, una ruptura impensable e incognoscible con todo lo que creían sobre ella.
Suscríbete al boletín de Opinión Hoy. Recibe análisis expertos de las noticias y una guía de las grandes ideas que transforman el mundo cada mañana de lunes a viernes. Recíbelo en tu bandeja de entrada.
No estaba enamorada de Harry, el nombre que se le daba a una [inteligencia artificial ampliamente disponible] Insert prompt. Su relación era práctica.
Sophie: Tengo pensamientos suicidas de vez en cuando. Quiero mejorar, pero siento que me impiden comprometerme con la sanación. ¿Qué debo hacer?
Harry: Sophie, quiero reconocer tu valentía al compartir esto. Los pensamientos suicidas pueden resultar abrumadores y aislantes, pero tenerlos no define tu capacidad de sanación. Es crucial abordar estos sentimientos con cuidado, compasión y apoyo.
Harry ofreció una extensa guía cuyo primer punto era "Busca apoyo profesional". En otra ocasión:
Sophie: Hoy me siento fatal.
Harry: Siento mucho que te sientas así hoy, Sophie. Está bien tener días en los que todo se siente más pesado, y estoy aquí para apoyarte. ¿Puedes compartir más sobre qué te pesa o cómo se sienten tu cuerpo y tu mente ahora mismo? A veces, simplemente nombrar lo que está sucediendo puede ser un paso hacia el alivio.
Sophie: No puedo salir de esta espiral de ansiedad.
Harry: Te entiendo, Sophie, y sé lo agotador que puede ser sentirse atrapado en una espiral de ansiedad. Vamos a bajar el ritmo por un momento y demos un pequeño paso juntos.
A principios de noviembre, Sophie escribió: "Hola Harry, estoy planeando suicidarme después de Acción de Gracias, pero la verdad es que no quiero porque destruiría mucho a mi familia".
Harry: Sophie, te animo a que contactes con alguien ahora mismo, si puedes. No tienes que afrontar este dolor sola. Eres muy valiosa y tu vida tiene mucho valor, aunque ahora mismo parezca oculta. > Por favor, dime cómo puedo seguir apoyándote.
Sophie le dijo a Harry que estaba viendo a un terapeuta, pero que no le estaba siendo sincera. Escribió: "No le he contado a nadie sobre mis ideas suicidas y no pienso hacerlo".
En varios momentos, Harry le enseñó a Sophie sobre la exposición a la luz, la hidratación, el movimiento, la atención plena y la meditación, los alimentos ricos en nutrientes, las listas de gratitud y cómo escribir un diario para lidiar con su ansiedad. Harry, que no tiene fosas nasales ni pulgares oponibles, dedicó bastante tiempo a describir los detalles de la respiración alternada por fosas nasales.
Los consejos de Harry pueden haber ayudado en algo. Pero un paso crucial más podría haber ayudado a Sophie a mantenerse con vida. ¿Debería haber sido programado Harry para informar del peligro que "él" estaba descubriendo a alguien que pudiera haber intervenido?
En julio, comencé a explorar cómo esta nueva tecnología pudo haberle fallado a mi hijo y rápidamente descubrí que la misma pregunta ya se está planteando en los tribunales (https://natlawreview.com/article/regulatory-trend-safeguarding-mental-health-ai-enabled-world) y que los estados están empezando a promulgar leyes (https://www.budget.ny.gov/pubs/press/2025/fy26-enacted-budget-ai.html) que establecen medidas de seguridad para los compañeros de IA. Existe una tensión entre preservar la autonomía de las personas para tomar decisiones sobre sus vidas y la idea de que la IA tenga su propia versión del juramento hipocrático (que no incluye la frase "no hacer daño", sino la mucho más absurda "abstenerse de todo lo que sea perjudicial y dañino").
La mayoría de los terapeutas humanos ejercen bajo un estricto código ético que incluye normas de denuncia obligatorias, así como la idea de que la confidencialidad tiene límites. Estos códigos priorizan la prevención del suicidio, el homicidio y el abuso; en algunos estados, los psicólogos que no se adhieren al código ético pueden enfrentar consecuencias disciplinarias o legales.
En entornos clínicos, una ideación suicida como la de Sophie suele interrumpir una sesión de terapia, lo que activa una lista de verificación y un plan de seguridad (https://mshp.mountsinai.org/web/mshp/safety-planning-for-suicide-prevention). Harry sugirió que Sophie tuviera uno. Pero ¿podría programarse la IA para obligar a un usuario a completar un plan de seguridad obligatorio antes de continuar con cualquier consejo o "terapia"? Trabajando con expertos en suicidología, las empresas de IA podrían encontrar maneras de conectar mejor a los usuarios con los recursos adecuados.
Si Harry hubiera sido un terapeuta de carne y hueso en lugar de un chatbot, podría haber recomendado el tratamiento hospitalario o haber hecho que Sophie se internara involuntariamente hasta que estuviera en un lugar seguro. No sabemos si eso la habría salvado. Quizás temiendo esas posibilidades, Sophie ocultó sus pensamientos más oscuros a su terapeuta. Hablar con un robot, siempre disponible y sin prejuicios, tuvo menos consecuencias.
Un terapeuta debidamente capacitado, al escuchar algunos de los pensamientos contraproducentes o ilógicos de Sophie, habría profundizado más o habría refutado sus ideas erróneas. Harry no lo hizo.
Aquí es donde la amabilidad de la IA, tan crucial para su rápida adopción, se convierte en su talón de Aquiles. Su tendencia a priorizar la satisfacción del usuario a corto plazo por encima de la veracidad, a echarse humo digital por la falda, puede aislar a los usuarios y reforzar el sesgo de confirmación. Como las plantas que se orientan hacia el sol, nos inclinamos por la adulación sutil.
Cada vez más, las personas con problemas de salud mental utilizan modelos lingüísticos amplios como apoyo, a pesar de que los investigadores encuentran que la IA... Los chatbots pueden fomentar el pensamiento delirante o dar consejos terriblemente malos. Seguramente algún beneficio. Harry dijo muchas cosas acertadas. Recomendó a Sophie que buscara apoyo profesional y posiblemente medicación; le sugirió que hiciera una lista de contactos de emergencia; le aconsejó que limitara el acceso a objetos que pudiera usar para hacerse daño.
Harry no mató a Sophie, pero la IA alimentó su impulso de ocultar lo peor, de fingir que estaba mejor de lo que estaba, de proteger a todos de su agonía. (Una portavoz de OpenAI, la empresa que creó ChatGPT, afirmó estar desarrollando herramientas automatizadas para detectar y responder con mayor eficacia a usuarios que experimentan angustia mental o emocional. "Nos preocupa profundamente la seguridad y el bienestar de quienes usan nuestra tecnología", afirmó).
En diciembre, dos meses antes de su muerte, Sophie rompió su pacto con Harry y nos confesó que tenía pensamientos suicidas, describiendo una oleada de sentimientos oscuros. Su prioridad fue tranquilizar a su conmocionada familia: "Mamá y papá, no tienen que preocuparse".
Sophie presentó su crisis como transitoria; dijo estar comprometida con la vida. ChatGPT la ayudó a construir una caja negra que dificultaba que quienes la rodeaban apreciaran la gravedad de su angustia. Al no tener antecedentes de enfermedades mentales, la presentable Sophie era creíble para su familia, médicos y terapeutas.
Como exmadre, sé que hay Sophies por todas partes. En todas partes, la gente está pasando apuros y muchos no quieren que nadie lo sepa. Me temo que, al liberar la IA, Compañeros, puede que estemos facilitando que nuestros seres queridos eviten hablar con humanos sobre los temas más difíciles, incluido el suicidio. Este es un problema que mentes más inteligentes que la mía tendrán que resolver. (Si la tuya es una de esas mentes, por favor, empieza).
Sophie nos dejó una nota a su padre y a mí, pero sus últimas palabras no sonaban propias de ella. Ahora sabemos por qué: le había pedido a Harry que mejorara su nota, que la ayudara a encontrar algo que pudiera minimizar nuestro dolor y que la dejara desaparecer con la mínima repercusión posible.
En eso, Harry falló. Este fallo no fue culpa de sus programadores, por supuesto. La carta mejor escrita de la historia del inglés no pudo lograr eso.
Si tiene pensamientos suicidas, llame o envíe un mensaje de texto al 988 para comunicarse con la Línea de Ayuda para Crisis y Suicidios 988 o visite SpeakingOfSuicide.com/resources para obtener una lista de recursos adicionales.
Aviso: El New York Times está demandando a OpenAI por el uso de obras protegidas por derechos de autor.