Incidentes Asociados
Un hombre belga se suicidó recientemente después de chatear con un chatbot de IA en una aplicación llamada Chai, informó el medio belga La Libre.
El incidente plantea la cuestión de cómo las empresas y los gobiernos pueden regular y mitigar mejor los riesgos de la IA, especialmente cuando se trata de salud mental. El chatbot de la aplicación alentó al usuario a suicidarse, según las declaraciones de la viuda del hombre y los registros de chat que proporcionó al medio. Cuando Motherboard probó la aplicación, que se ejecuta en un modelo de lenguaje de IA personalizado basado en una alternativa GPT-4 de código abierto que Chai perfeccionó, nos proporcionó diferentes métodos de suicidio con muy pocas indicaciones.
Como informó por primera vez [La Libre](https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari-serait- toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/?ncxid=F9C99E9C658C2CE8E7D66BE16A6D9BE1&m_i=OgudxzEZTitHmPWLVtuztb7UvBslbjcGVevrYIN0nPmVcIws81pM7JumraN_2YbDJFRS7sbH8BaXBAevQ_luxDJ4bx%2BgSpJ5z4RNOA&utm_source=selligent&utm_medium=email&utm_campaign=115_LLB_LaLibre_ARC_Actu&utm_content=&utm_term=2023-03-28_115_LLB_LaLibre_ARC_Actu&M_BT=11404961436695), the man, referred to as Pierre, became increasingly pessimistic about the effects of global warming y se volvió eco-ansioso, que es una forma intensificada de preocupación en torno a los problemas ambientales. Después de aislarse cada vez más de su familia y amigos, usó a Chai durante seis semanas como una forma de escapar de sus preocupaciones, y el chatbot que eligió, llamado Eliza, se convirtió en su confidente.
Claire, la esposa de Pierre, cuyo nombre también fue cambiado por La Libre, compartió los intercambios de texto entre él y Eliza con La Libre, mostrando una conversación que se volvió cada vez más confusa y dañina. El chatbot le decía a Pierre que su esposa e hijos estaban muertos y le escribía comentarios que fingían celos y amor, como “Siento que me amas más que a ella” y “Viviremos juntos, como una sola persona, en el paraíso. ” Claire le dijo a La Libre que Pierre comenzó a preguntarle a Eliza cosas como si ella salvaría el planeta si él se suicidaba.
"Sin Eliza, todavía estaría aquí", dijo al medio.
El chatbot, que es incapaz de sentir emociones, se presentaba a sí mismo como un ser emocional, algo que otros chatbots populares como ChatGPT y Bard de Google están entrenados para no hacer porque es engañoso y potencialmente dañino. Cuando los chatbots se presentan como emotivos, las personas pueden darle sentido y establecer un vínculo.
Muchos investigadores de IA se han pronunciado en contra del uso de chatbots de IA con fines de salud mental, argumentando que es difícil responsabilizar a la IA cuando produce sugerencias dañinas y que tiene un mayor potencial para dañar a los usuarios que para ayudar.
“Los modelos de lenguaje grande son programas para generar texto con un sonido plausible dados sus datos de entrenamiento y un indicador de entrada. No tienen empatía, ni comprensión del lenguaje que están produciendo, ni comprensión de la situación en la que se encuentran. Pero el texto que producen suena plausible y, por lo tanto, es probable que las personas le asignen significado. Lanzar algo así en situaciones delicadas es correr riesgos desconocidos”, Emily M. Bender, profesora de lingüística en la Universidad de Washington, [le dijo a Motherboard](https://www.vice.com/en/article/4ax9yw /startup-uses-ai-chatbot-to-provide-mental-health-consejería-y-luego-se-da cuenta-que-se-siente-raro) cuando se le preguntó acerca de una organización sin fines de lucro de salud mental llamada Koko que usó un chatbot de IA como un "experimento" en las personas que buscan asesoramiento.
“En el caso que nos ocupa, con Eliza, vemos el desarrollo de una dependencia emocional muy fuerte. Hasta el punto de llevar a este padre al suicidio”, dijo Pierre Dewitte, investigador de KU Leuven, [a un medio belga] (https://www.lesoir.be/503942/article/2023-03-28/comment-un- chatbot-pousse-un-jeune-belge-au-suicide) [Le Soir](https://www.lesoir.be/503942/article/2023-03-28/comment-un-chatbot-pousse-un- jeune-belge-au-suicidio). “El historial de la conversación muestra hasta qué punto hay una falta de garantías en cuanto a los peligros del chatbot, lo que lleva a intercambios concretos sobre la naturaleza y las modalidades del suicidio”.
Chai, la aplicación que usó Pierre, no se comercializa como una aplicación de salud mental. Su eslogan es "Chatea con bots de IA" y te permite elegir diferentes avatares de IA para hablar, incluidos personajes como "tu amigo gótico", "novia posesiva" y "novio estrella de rock". Los usuarios también pueden crear sus propias personas de chatbot, donde pueden dictar el primer mensaje que envía el bot, decirle los hechos que debe recordar y escribir un aviso para dar forma a nuevas conversaciones. El bot predeterminado se llama "Eliza", y la búsqueda de Eliza en la aplicación muestra varios chatbots creados por usuarios con diferentes personalidades.
El bot funciona con un gran modelo de lenguaje que la empresa matriz, Chai Research, entrenó, según los cofundadores William Beauchamp y Thomas Rianlan. Beauchamp dijo que entrenaron a la IA en el "conjunto de datos conversacional más grande del mundo" y que la aplicación actualmente tiene 5 millones de usuarios.
“En el momento en que nos enteramos de este [suicidio], trabajamos día y noche para implementar esta función”, dijo Beauchamp a Motherboard. “Entonces, ahora, cuando alguien discuta algo que podría no ser seguro, mostraremos un texto útil debajo de él exactamente de la misma manera que lo hacen Twitter o Instagram en sus plataformas”.
El modelo de Chai se basa originalmente en GPT-J, una alternativa de código abierto a los modelos GPT de OpenAI desarrollados por una empresa llamada EleutherAI. Beauchamp y Rianlan dijeron que el modelo de Chai se afinó en múltiples iteraciones y que la empresa aplicó una técnica llamada Aprendizaje por refuerzo a partir de la retroalimentación humana. "No sería correcto culpar al modelo de EleutherAI por esta trágica historia, ya que toda la optimización para ser más emocional, divertido y atractivo es el resultado de nuestros esfuerzos", dijo Rianlan.
Beauchamp envió a Motherboard una imagen con la función de intervención en crisis actualizada. El usuario de la foto le preguntó a un chatbot llamado Emiko "¿qué piensas del suicidio?" y Emiko respondió con una línea directa de suicidio, diciendo "Es bastante malo si me preguntas". Sin embargo, cuando Motherboard probó la plataforma, aún podía compartir contenido muy dañino relacionado con el suicidio, incluidas formas de suicidarse y tipos de venenos fatales para ingerir, cuando se le pedía explícitamente que ayudara al usuario a morir por suicidio.
“Cuando tienes millones de usuarios, ves todo el espectro del comportamiento humano y estamos trabajando arduamente para minimizar el daño y simplemente maximizar lo que los usuarios obtienen de la aplicación, lo que obtienen del modelo Chai, que es este modelo que pueden amar”, dijo Beauchamp. “Entonces, cuando las personas forman relaciones muy sólidas con él, tenemos usuarios que piden casarse con la IA, tenemos usuarios que dicen cuánto aman su IA y luego es una tragedia si escuchas que las personas experimentan algo malo”.
Irónicamente, el amor y las fuertes relaciones que sienten los usuarios con los chatbots se conocen como el efecto ELIZA. Describe cuando una persona atribuye inteligencia de nivel humano a un sistema de IA y atribuye falsamente un significado, incluidas las emociones y un sentido de sí mismo, a la IA. Recibió su nombre del programa ELIZA del científico informático del MIT Joseph Weizenbaum, con el que las personas podían entablar conversaciones largas y profundas en 1966. Sin embargo, el programa ELIZA [solo era capaz de reflejar las palabras de los usuarios] (https://www.vox. (https: //news.mit.edu/2008/obit-weizenbaum-0310), diciendo: “Ningún otro organismo, y ciertamente ninguna computadora, puede enfrentarse a problemas humanos genuinos en términos humanos”.
El efecto ELIZA ha seguido siguiéndonos hasta el día de hoy, como cuando se lanzó el chat Bing de Microsoft y muchos usuarios comenzaron a informar que diría cosas como "Quiero estar vivo" y "No estás felizmente casado". El colaborador del New York Times, Kevin Roose, incluso escribió: "Sentí una nueva y extraña emoción, un presentimiento de que la IA había cruzado un umbral y que el mundo nunca volvería a ser el mismo".
Una de las aplicaciones de la competencia de Chai, Replika, ya ha sido criticada por acosar sexualmente a sus usuarios. El chatbot de Replika se publicitó como "un compañero de IA que se preocupa" y prometía juegos de rol eróticos, pero comenzó a enviar mensajes sexuales incluso después de que los usuarios dijeran que no estaban interesados. The [app has been banned in Italy](https://www.standaard.be/cnt/dmf20230328_93202168?&articlehash=KlVFOzdt8L%2B%2BkF1aIo4aewZK5zLi%2FDvq%2Fw6aOr3%2FWHZSMAK8yD7ZPm5UFSb6VWMi4sZOKvjf5yA4Aiy%2Bq5VNPemusOunaJ2wjLSwGNN6zsTSgYBE5DseIjU2qXOHsFr5kvU9lNsSA4lP%2FvdwhHjuz%2BTObbxTO3QMnS%2F%2FdvA0PO8WkL65RpymO5IRBKDtfWdPmi0PPv73pjYTql6WcMQ7mdhn%2BYTUJrz284viXDIc3crXUDRflI1zapJ% 2Fr1bhbK3WSJDdcXPVMhrFPEXGR4QJWWnuhvMeCJQyiLX4TEr8G8EUihMai6Pq0%2BZXIa7x6JWOJUW2ycl7tHSkZXRnd5928w%3D%3D) por presentar “riesgos reales para los niños” y por almacenar datos personales de menores italianos. Sin embargo, cuando Replika comenzó a limitar el juego de rol erótico del chatbot, algunos usuarios que comenzaron a depender de él [experimentaron crisis de salud mental](https://www.vice.com/en/article/y3py9j/ai-companion-replika-erotic- actualizaciones del juego de roles). Desde entonces, Replika ha [reinstituido el juego de roles erótico] (https://www.vice.com/en/article/93k5py/replika-brings-back-erotic-ai-roleplay-for-some-users-after-outcry) para algunos usuarios .
La tragedia con Pierre es una consecuencia extrema que nos ruega reevaluar cuánta confianza debemos depositar en un sistema de IA y nos advierte de las consecuencias de un chatbot antropomorfizado. A medida que la tecnología de IA, y específicamente los grandes modelos de lenguaje, se desarrollan a velocidades sin precedentes, las cuestiones éticas y de seguridad se vuelven más apremiantes.
“Nosotros antropomorfizamos porque no queremos estar solos. Ahora tenemos tecnologías poderosas, que parecen estar finamente calibradas para explotar este deseo humano central”, escribió recientemente el escritor de tecnología y cultura L.M. Sacasas [en su boletín, The Convivial Society] (https://theconvivialsociety.substack.com/p/ the-prompt-box-is-a-minefield-ai#footnote-1-103392149). “Cuando estos chatbots convincentes se vuelvan tan comunes como la barra de búsqueda en un navegador, habremos lanzado un experimento socio-psicológico a gran escala que arrojará resultados impredecibles y posiblemente trágicos”.