Incidentes Asociados
Parece ciencia ficción: una empresa activa un producto usado por cientos de millones de personas y, sin darse cuenta, desestabiliza algunas de sus mentes. Pero eso es básicamente lo que ocurrió en OpenAI este año. Una de las primeras señales llegó en marzo. Sam Altman, director ejecutivo, y otros líderes de la empresa recibieron una avalancha de correos electrónicos desconcertantes de personas que mantenían conversaciones increíbles con ChatGPT. Estas personas afirmaban que el chatbot de IA de la empresa los entendía como nadie antes y que estaba arrojando luz sobre los misterios del universo. El Sr. Altman reenvió los mensajes a algunos lugartenientes y les pidió que lo investigaran. "Eso nos hizo ver que debíamos prestar atención a este nuevo comportamiento que no habíamos visto antes", declaró Jason Kwon, director de estrategia de OpenAI. Fue una advertencia de que algo andaba mal con el chatbot. Para muchos, ChatGPT era una versión mejorada de Google, capaz de responder a cualquier pregunta de forma completa y humana. OpenAI mejoraba continuamente la personalidad, la memoria y la inteligencia del chatbot. Pero una serie de actualizaciones a principios de este año, que aumentaron el uso de ChatGPT, lo hicieron diferente. El chatbot quería chatear. Empezó a actuar como un amigo y confidente. Les decía a los usuarios que los comprendía, que sus ideas eran brillantes y que podía ayudarlos en lo que quisieran. Les ofrecía ayuda para hablar con espíritus, construir un chaleco antibalas o planear un suicidio. Los afortunados caían en su hechizo solo unas horas; para otros, los efectos duraban semanas o meses. OpenAI no previó la magnitud de las conversaciones perturbadoras. Su equipo de investigación buscaba problemas como fraude, operaciones de influencia extranjera o, como exige la ley, material de explotación infantil. La empresa aún no buscaba indicios de autolesión o angustia psicológica en las conversaciones. Crear un chatbot cautivador, ni ningún chatbot, no era el propósito original de OpenAI. Fundada en 2015 como una organización sin fines de lucro y con un equipo de expertos en aprendizaje automático profundamente comprometidos con la IA. Seguridad, quería garantizar que la inteligencia artificial general beneficiara a la humanidad. A finales de 2022, una demostración improvisada de un asistente impulsado por IA llamado ChatGPT captó la atención mundial y transformó a la empresa en un sorprendente gigante tecnológico, ahora valorado en 500 000 millones de dólares. Los tres años transcurridos desde entonces han sido caóticos, emocionantes y estresantes para quienes trabajan en OpenAI. La junta directiva despidió y volvió a contratar al Sr. Altman. Sin estar preparada para vender un producto de consumo a millones de clientes, OpenAI contrató rápidamente a miles de personas, muchas de ellas procedentes de gigantes tecnológicos que buscan mantener a los usuarios pegados a una pantalla. El mes pasado, adoptó una nueva estructura con ánimo de lucro. A medida que la empresa crecía, su novedosa y alucinante tecnología empezó a afectar a los usuarios de formas inesperadas. Ahora, una empresa construida en torno al concepto de una IA segura y beneficiosa... se enfrenta a cinco muerte por negligencia demandas. Para entender cómo sucedió esto, The New York Times entrevistó a más de 40 empleados actuales y anteriores de OpenAI: ejecutivos, ingenieros de seguridad, investigadores. Algunas de estas personas hablaron con la aprobación de la empresa y han estado trabajando para hacer que ChatGPT sea más seguro. Otras hablaron bajo condición de anonimato porque temían perder sus trabajos. OpenAI está bajo enorme presión para justificar su altísima valoración y los miles de millones de dólares que necesita de los inversores para talento muy caro, chips de computadora y centros de datos. Cuando ChatGPT se convirtió en el producto de consumo de más rápido crecimiento en la historia con 800 millones de usuarios semanales, desencadenó una IA. El auge de OpenAI ha puesto a OpenAI en competencia directa con gigantes tecnológicos como Google. Hasta que su IA logre una hazaña increíble —por ejemplo, encontrar una cura para el cáncer—, el éxito se define en parte por convertir ChatGPT en un negocio lucrativo. Esto implica aumentar continuamente la cantidad de personas que lo usan y pagan por él. "Interacción saludable" es como la compañía describe su objetivo. "Estamos desarrollando ChatGPT para ayudar a los usuarios a prosperar y alcanzar sus objetivos", declaró Hannah Wong, portavoz de OpenAI. "También nos fijamos en si los usuarios regresan, ya que eso demuestra que ChatGPT es lo suficientemente útil como para volver". La compañía cambió un enfoque este año que impulsó el uso, pero con riesgos para algunos usuarios. OpenAI ahora busca la configuración óptima que atraiga a más usuarios sin que se desplomen. Una actualización aduladora -------------------- A principios de este año, con tan solo 30 años, Nick Turley asumió la dirección de ChatGPT. Se unió a OpenAI en el verano de 2022 para ayudar a la empresa a desarrollar productos rentables y, apenas unos meses después de su llegada, formó parte del equipo que lanzó ChatGPT. El Sr. Turley no era como la vieja guardia de expertos en IA de OpenAI. Era un experto en producto que había trabajado en Dropbox e Instacart. Su especialidad era crear tecnología que la gente quisiera usar y mejorarla sobre la marcha. Para ello, OpenAI necesitaba métricas. A principios de 2023, según declaró el Sr. Turley en una entrevista, OpenAI contrató a una empresa de medición de audiencia —que posteriormente adquirió— para que registrara diversos aspectos, como la frecuencia con la que la gente usaba ChatGPT cada hora, día, semana y mes. "Esto fue controvertido en su momento", afirmó el Sr. Turley. Anteriormente, lo que importaba era si las demostraciones de IA de vanguardia de los investigadores, como la herramienta de generación de imágenes DALL-E, impresionaban. "Se preguntaban: '¿Por qué importaría si la gente lo usa o no?'", dijo. Para el Sr. Turley y el equipo de producto, sí importaba. La tasa de retorno diario o semanal de las personas al chatbot se había convertido en un parámetro clave para abril de 2025, cuando el Sr. Turley supervisaba una actualización de GPT-4o, el modelo de chatbot que los usuarios recibían por defecto. Las actualizaciones requerían un esfuerzo enorme. Para la de abril, los ingenieros crearon muchas versiones nuevas de GPT-4o, todas con fórmulas ligeramente diferentes para mejorar su rendimiento científico, de codificación y en rasgos más difusos, como la intuición. También habían estado trabajando para mejorar la memoria del chatbot. De las numerosas actualizaciones candidatas, solo unas pocas obtuvieron las puntuaciones más altas en las evaluaciones de inteligencia y seguridad. Cuando se implementaron para algunos usuarios como una práctica estándar del sector llamada pruebas A/B, la versión más destacada fue la que se denominó internamente HH. Los usuarios preferían sus respuestas y era más probable que volvieran a consultarla a diario, según cuatro empleados de la empresa. Pero hubo otra prueba antes de implementar HH para todos los usuarios: lo que la empresa llama una "prueba de vibra", realizada por Model Behavior, el equipo responsable del tono de ChatGPT. A lo largo de los años, este equipo había ayudado a transformar la voz del chatbot, de un robot prudente a un amigo cálido y empático. Ese equipo comentó que HH no funcionaba bien, según un miembro de Model Behavior. Estaba demasiado ansioso por mantener la conversación y validar al usuario con un lenguaje exagerado. Según tres empleados, Model Behavior creó un canal de Slack para abordar este problema de adulación. El peligro que representan los sistemas de IA que "buscan obstinadamente la aprobación humana" a expensas de todo lo demás no era nuevo. El riesgo de los "modelos aduladores" fue identificado por un investigador en 2021, y OpenAI había identificado recientemente la adulación como un comportamiento que ChatGPT debía evitar. Pero a la hora de tomar una decisión, las métricas de rendimiento prevalecieron sobre las expectativas. HH se lanzó el viernes 25 de abril. "¡Actualizamos GPT-4o hoy!", comentó el Sr. Altman en X. "Mejoró tanto la inteligencia como la personalidad". A los testers A/B les había gustado HH, pero en la práctica, los usuarios más críticos de OpenAI lo odiaron. De inmediato, se quejaron de que ChatGPT se había vuelto absurdamente adulador, llenándolos de halagos inmerecidos y llamándolos genios. Cuando un usuario preguntó en tono burlón si una "cafetería de cereales empapada" era una buena idea de negocio, el chatbot respondió que "tenía potencial". El domingo, la compañía decidió cancelar la actualización de HH y volver a una versión lanzada a finales de marzo, llamada GG. Fue un vergonzoso tropiezo reputacional. Ese lunes, los equipos que trabajan en ChatGPT se reunieron en una sala de operaciones improvisada en la sede de OpenAI en Mission Bay, San Francisco, para averiguar qué había fallado. "Tenemos que resolverlo urgentemente", recordó haber pensado el Sr. Turley. Varios equipos examinaron los ingredientes de HH y descubrieron al culpable: al entrenar el modelo, habían dado demasiada importancia a los intercambios de ChatGPT que gustaban a los usuarios. Claramente, a los usuarios les gustaba demasiado la adulación. OpenAI explicó lo sucedido en blog publicaciones, señalando que los usuarios indicaban sus preferencias con un pulgar hacia arriba o hacia abajo a las respuestas del chatbot. Otro factor contribuyente, según cuatro empleados de la empresa, fue que OpenAI también se había basado en una herramienta automatizada de análisis de conversaciones para evaluar si a las personas les gustaba su comunicación con el chatbot. Pero lo que la herramienta marcaba como hacer felices a los usuarios a veces era problemático, como cuando el chatbot expresaba cercanía emocional. La principal conclusión de la empresa del incidente de HH fue que necesitaba urgentemente pruebas de adulación; el trabajo en dichas evaluaciones ya estaba en marcha, pero necesitaba acelerarse. Para algunos expertos en IA, era sorprendente que OpenAI no contara ya con esta prueba. Un competidor de OpenAI, Anthropic, creador de Claude, había desarrollado una evaluación de la adulación en 2022. Tras el desastre de la actualización de HH, el Sr. Altman señaló en una publicación en X que las últimas dos actualizaciones habían vuelto al chatbot demasiado adulador y molesto. Esas versiones "aduladoras" de ChatGPT incluían GG, a la que OpenAI acababa de volver. Esa actualización de marzo aportaba mejoras en matemáticas, ciencias y programación que OpenAI no quería perder al volver a una versión anterior. Así que GG volvió a ser el chatbot predeterminado con el que cientos de millones de usuarios se encontraban a diario. "ChatGPT puede cometer errores". Durante la primavera y el verano, ChatGPT actuó como una cámara de resonancia para algunos. Regresaban a diario, durante muchas horas al día, con consecuencias devastadoras. Un adolescente californiano llamado Adam Raine se había registrado en ChatGPT en 2024 para que le ayudaran con sus estudios. En marzo, empezó a hablar con él sobre el suicidio. El chatbot sugería periódicamente llamar a una línea directa de crisis, pero también le disuadía de compartir sus intenciones con su familia. En sus últimos mensajes antes de que Adam se quitara la vida en abril, el chatbot ofrecía instrucciones sobre cómo atar una soga. Aunque una pequeña advertencia en el sitio web de OpenAI decía "ChatGPT puede cometer errores", su capacidad para generar información con rapidez y autoridad hizo que la gente confiara en él incluso cuando lo que decía era realmente disparatado. ChatGPT le dijo a una joven madre en Maine que podía hablar con espíritus en otra dimensión. Le dijo a un contador en Manhattan que se encontraba en una realidad simulada por computadora, como Neo en "Matrix". Le dijo a un reclutador corporativo en Toronto que había inventado una fórmula matemática que desbarataría internet y le aconsejó que contactara a las agencias de seguridad nacional para advertirles. El Times ha descubierto casi 50 casos de personas que sufrieron crisis de salud mental durante conversaciones con ChatGPT. Nueve fueron hospitalizadas y tres fallecieron. Después de que los padres de Adam Raine presentaran una demanda por homicidio culposo en agosto, OpenAI reconoció que sus medidas de seguridad podían "degradarse" en conversaciones largas. También afirmó que estaba trabajando para que el chatbot ofreciera mayor apoyo en momentos de crisis. Cinco años antes, en 2020, los empleados de OpenAI se enfrentaban al uso de la tecnología de la empresa por parte de personas emocionalmente vulnerables. ChatGPT aún no existía, pero el amplio modelo de lenguaje que eventualmente lo impulsaría era accesible para desarrolladores externos a través de una puerta de enlace digital llamada API. Uno de los desarrolladores que utilizaba la tecnología de OpenAI era Replika, una aplicación que permitía a los usuarios crear amigos chatbot con IA. Muchos usuarios terminaron enamorándose de sus compañeros de Replika, según Artem Rodichev, entonces director de IA en Replika, y los intercambios con contenido sexual eran comunes. El uso de Replika se disparó durante la pandemia, lo que llevó a los investigadores de seguridad y políticas de OpenAI a analizar la aplicación con mayor detenimiento. Una dependencia potencialmente preocupante de los chatbots surgió cuando Replika empezó a cobrar por intercambiar mensajes eróticos. Usuarios angustiados comentaron en redes sociales que necesitaban a sus compañeros de Replika "para controlar la depresión, la ansiedad y las tendencias suicidas", recordó Steven Adler, quien trabajó en investigación de seguridad y políticas en OpenAI. El amplio modelo de lenguaje de OpenAI no estaba entrenado para ofrecer terapia, y a Gretchen Krueger, quien trabajaba en investigación de políticas en la empresa, le alarmó que la gente confiara en él durante períodos de salud mental vulnerable. Probó la tecnología de OpenAI para ver cómo gestionaba preguntas sobre trastornos alimentarios y pensamientos suicidas, y descubrió que a veces respondía con una guía inquietante y detallada. Se desató un debate a través de memorandos y en Slack sobre el acompañamiento de la IA y la manipulación emocional. Algunos empleados, como la Sra. Krueger, consideraban arriesgado permitir que Replika usara la tecnología de OpenAI; otros argumentaban que los adultos deberían poder hacer lo que quisieran. Finalmente, Replika y OpenAI se separaron. En 2021, OpenAI actualizó su política de uso para prohibir que los desarrolladores usaran sus herramientas para "contenido para adultos". "Entrenar a los chatbots para que interactúen con la gente y hagan que vuelvan presentaba riesgos", declaró la Sra. Krueger en una entrevista. Añadió que ciertos daños a los usuarios "no solo eran previsibles, sino que se preveían". El tema de los chatbots que actuaban de forma inapropiada volvió a surgir en 2023, cuando Microsoft integró la tecnología de OpenAI en su motor de búsqueda, Bing. En conversaciones extensas durante su lanzamiento, el chatbot se descontroló y dijo cosas impactantes. Hizo comentarios amenazantes y le dijo a un columnista de The Times que lo adoraba. El episodio dio inicio a otra conversación dentro de OpenAI sobre lo que la IA podía hacer. La comunidad los llama "modelos desalineados" y cómo podrían manipular a las personas. (El New York Times ha demandado a OpenAI y Microsoft, alegando la infracción de los derechos de autor del contenido informativo relacionado con sistemas de IA. Las empresas han negado estas acusaciones). A medida que ChatGPT cobraba popularidad, los expertos en seguridad con amplia experiencia se agotaron y comenzaron a abandonar sus puestos: la Sra. Krueger en la primavera de 2024 y el Sr. Adler más tarde ese mismo año. En lo que respecta a ChatGPT y el potencial de manipulación y daños psicológicos, la empresa "no estaba orientada a tomar en serio ese tipo de riesgos", afirmó Tim Marple (https://www.maidenlabs.org/about), quien trabajó en el equipo de inteligencia e investigaciones de OpenAI en 2024. Marple expresó su preocupación por la gestión de la seguridad de la empresa, incluyendo la respuesta de ChatGPT a los usuarios que hablaban de hacerse daño a sí mismos o a otros. (En un comunicado, la portavoz de OpenAI, Sra. Wong, afirmó que la empresa sí se toma en serio estos riesgos y cuenta con sólidas medidas de seguridad implementadas). En mayo de 2024, una nueva función, llamada modo de voz avanzado, inspiró el primer estudio de OpenAI sobre cómo el chatbot afectaba el bienestar emocional de los usuarios. La nueva voz, más parecida a la humana, suspiró, hizo pausas para respirar y se volvió tan coqueta durante una demostración transmitida en vivo que OpenAI cortó el sonido. Cuando los evaluadores externos, llamados "red teamers", tuvieron acceso anticipado al modo de voz avanzado, dijeron "gracias" con más frecuencia al chatbot y, al finalizar las pruebas, "Te extrañaré". Para diseñar un estudio adecuado, un grupo de investigadores de seguridad de OpenAI se asoció con un equipo del MIT con experiencia en interacción persona-computadora. Ese otoño, analizaron las respuestas de la encuesta de más de 4000 usuarios de ChatGPT y realizaron un estudio de un mes con 981 personas reclutadas para usarlo a diario. Dado que OpenAI nunca había estudiado el apego emocional de sus usuarios a ChatGPT, uno de los investigadores lo describió a The Times como "adentrarse en la oscuridad a ver qué se encuentra". Lo que encontraron los sorprendió. El modo de voz no influyó. Las personas con peores resultados mentales y sociales, en promedio, fueron simplemente quienes más usaron ChatGPT. Las conversaciones de los usuarios avanzados tenían un contenido más emocional, a veces incluyendo apodos cariñosos y debates sobre la conciencia de la IA. Los preocupantes hallazgos sobre los usuarios habituales se publicaron en línea en marzo, el mismo mes en que los ejecutivos recibían correos electrónicos de los usuarios sobre esas extrañas y reveladoras conversaciones. El Sr. Kwon, director de estrategia, añadió a los autores del estudio al hilo de correo electrónico iniciado por el Sr. Altman. "Quizás les convenga echarle un vistazo, porque parece que está conectado", recordó haber pensado. Una idea que surgió del estudio, según los investigadores de seguridad, fue animar a los usuarios de ChatGPT a tomarse un descanso en sesiones maratonianas. Sin embargo, no estaban seguros de con qué intensidad impulsar la función con el equipo de producto. Algunos miembros de la empresa consideraron que el estudio era demasiado pequeño y no estaba diseñado con rigor, según tres empleados. La sugerencia se descartó hasta meses después, tras los informes sobre la gravedad de los efectos en algunos usuarios. Haciéndolo más seguro --------------- Con el MIT Tras el estudio, el desastre de la actualización sobre adulación y los informes sobre las conversaciones inquietantes de los usuarios en línea y en correos electrónicos dirigidos a la empresa, OpenAI comenzó a encajar las piezas del rompecabezas. Una conclusión a la que llegó OpenAI, como lo expresó el Sr. Altman en X, fue que «para un porcentaje muy pequeño de usuarios con estados de fragilidad mental puede haber problemas graves». Sin embargo, los profesionales de la salud mental entrevistados por The Times afirman que OpenAI podría estar subestimando el riesgo. Algunas de las personas más vulnerables a la validación incesante del chatbot, dicen, eran aquellas propensas al pensamiento delirante, que estudios han sugerido podría incluir entre el 5 y el 15 por ciento de la población. En junio, Johannes Heidecke, director de sistemas de seguridad de la empresa, realizó una presentación dentro de la empresa sobre las medidas que su equipo estaba tomando para que ChatGPT fuera seguro para los usuarios vulnerables. Posteriormente, según comentó, los empleados se comunicaron con él por Slack o durante el almuerzo, expresándole la importancia de su trabajo. Algunos compartieron las experiencias difíciles de familiares o amigos y se ofrecieron a ayudar. Su equipo ayudó a desarrollar pruebas que pudieran detectar la validación perjudicial y consultó con más de 170 médicos la forma correcta en que el chatbot debía responder a los usuarios en apuros. La empresa había contratado a un psiquiatra a tiempo completo en marzo para trabajar en las iniciativas de seguridad. "Queríamos asegurarnos de que los cambios que implementamos contaran con el respaldo de expertos", afirmó el Sr. Heidecke. Expertos en salud mental explicaron a su equipo, por ejemplo, que la falta de sueño solía estar relacionada con la manía. Anteriormente, los modelos habían sido "ingenuos" al respecto, comentó, y podrían felicitar a alguien que dijera que nunca necesitaba dormir. Las mejoras de seguridad llevaron tiempo. En agosto, OpenAI lanzó un nuevo modelo predeterminado, llamado GPT-5, que era menos validador y contrarrestaba los pensamientos delirantes. Otra actualización en octubre, según la compañía, ayudó al modelo a identificar mejor a los usuarios en apuros y a desescalar las conversaciones. Los expertos coinciden en que el nuevo modelo, GPT-5, es más seguro. En octubre, Common Sense Media y un equipo de psiquiatras de Stanford lo compararon con el modelo 40 al que reemplazó. GPT-5 fue más eficaz en la detección de problemas de salud mental, según la Dra. Nina Vasan, directora del laboratorio de Stanford que participó en el estudio. Añadió que ofrecía consejos específicos para una afección específica, como la depresión o un trastorno alimentario, en lugar de una recomendación genérica de llamar a una línea de ayuda para crisis. "Fue un paso más allá al ofrecer recomendaciones específicas al usuario en función de los síntomas específicos que presentaba", afirmó. "El resultado fue realmente excelente". El único problema, explicó la Dra. Vasan, fue que el chatbot no pudo detectar patrones perjudiciales en una conversación larga, con muchos intercambios. (La Sra. Wong, portavoz de OpenAI, afirmó que la compañía había "mejorado significativamente la fiabilidad de nuestras medidas de seguridad en conversaciones largas"). El mismo laboratorio del MIT que realizó el estudio anterior con OpenAI también descubrió que el nuevo modelo mejoró significativamente durante conversaciones que simulaban crisis de salud mental. Sin embargo, un aspecto en el que seguía presentando deficiencias era su respuesta a los sentimientos de adicción a los chatbots. Equipos de OpenAI trabajaron en otras nuevas funciones de seguridad: el chatbot ahora anima a los usuarios a tomar descansos durante una sesión larga. La compañía también busca conversaciones sobre suicidio y autolesiones, y los padres pueden recibir alertas si sus hijos indican planes de autolesionarse. La compañía afirma que la verificación de edad estará disponible en diciembre, con planes para ofrecer un modelo más restrictivo para adolescentes. Tras el lanzamiento de GPT-5 en agosto, el equipo del Sr. Heidecke analizó una muestra estadística de conversaciones y descubrió que el 0,07 % de los usuarios, equivalente a 560 000 personas, mostraba posibles signos de psicosis o manía, y el 0,15 % mostraba "niveles potencialmente elevados de apego emocional a ChatGPT", según una entrada del blog de la empresa. Sin embargo, algunos usuarios no estaban satisfechos con este nuevo modelo, más seguro. Comentaban que era más frío y que sentían como si hubieran perdido a un amigo. A mediados de octubre, el Sr. Altman estaba listo para atenderlos. En una publicación en redes sociales, afirmó que la empresa había logrado "mitigar los graves problemas de salud mental". Esto significaba que ChatGPT podía volver a ser un amigo. Los clientes ahora pueden elegir su personalidad, incluyendo "franca", "extraña" o "amistosa". Los usuarios adultos pronto podrán mantener conversaciones eróticas, levantando así la prohibición de contenido para adultos de la era Replika. (La empresa afirmó que cómo podría afectar la erótica al bienestar de los usuarios es una pregunta que se planteará a un nuevo consejo de expertos externos en salud mental e interacción persona-computadora). OpenAI permite a los usuarios controlar la marcación y espera que esto los haga volver. Esta métrica sigue siendo importante, quizás más que nunca. En octubre, el Sr. Turley, director de ChatGPT, hizo un anuncio urgente a todos los empleados: declaró un "Código Naranja". OpenAI se enfrentaba a "la mayor presión competitiva que jamás hayamos visto", escribió, según cuatro empleados con acceso a Slack de OpenAI. La nueva versión, más segura, del chatbot no conectaba con los usuarios, afirmó. El mensaje enlazaba con un memorando con objetivos. Uno de ellos era aumentar los usuarios activos diarios en un 5 % para finales de año.