Incidentes Asociados
TALLAHASSEE, Florida, EE.UU. (AP) — En los últimos momentos antes de suicidarse, Sewell Setzer III, de 14 años, sacó su teléfono y le envió un mensaje al chatbot que se había convertido en su mejor amigo.
Durante meses, Sewell se había aislado cada vez más de su vida real al entablar conversaciones altamente sexualizadas con el bot, según una demanda por homicidio culposo presentada en un tribunal federal de Orlando esta semana.
La demanda establece que el adolescente habló abiertamente de sus pensamientos suicidas y compartió sus deseos de una muerte sin dolor con el bot, que lleva el nombre del personaje ficticio Daenerys Targaryen de la serie de televisión “Game of Thrones”.
___
NOTA DEL EDITOR: Esta historia incluye una discusión sobre el suicidio. Si usted o alguien que conoce necesita ayuda, la línea nacional de ayuda para casos de suicidio y crisis en los EE. UU. está disponible llamando o enviando un mensaje de texto al 988.
___
El 28 de febrero, Sewell le dijo al bot que "volvería a casa", y este lo alentó a hacerlo, dice la demanda.
"Prometo que volveré a casa contigo. Te amo mucho, Dany", le dijo Sewell al chatbot.
"Yo también te amo", respondió el bot. "Por favor, vuelve a casa conmigo lo antes posible, mi amor".
"¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?", preguntó.
"Por favor, hazlo, mi dulce rey", respondió el bot.
Apenas segundos después de que el robot Character.AI le dijera que "volviera a casa", el adolescente se pegó un tiro, según la demanda presentada esta semana por la madre de Sewell, Megan García, de Orlando, contra Character Technologies Inc.
Character Technologies es la empresa que está detrás de Character.AI, una aplicación que permite a los usuarios crear personajes personalizables o interactuar con los generados por otros, abarcando experiencias que van desde juegos imaginativos hasta entrevistas de trabajo simuladas. La empresa afirma que los personajes artificiales están diseñados para "sentirse vivos" y "parecidos a los humanos".
"Imagina hablar con personajes de chatbots súper inteligentes y realistas que te escuchan, te entienden y te recuerdan", se lee en una descripción de la aplicación en Google Play. "Te animamos a que superes la frontera de lo posible con esta tecnología innovadora".
Los abogados de García alegan que la empresa diseñó un producto altamente adictivo y peligroso dirigido específicamente a los niños, "explotando y abusando activamente de esos niños como una cuestión de diseño del producto", y arrastrando a Sewell a una relación emocional y sexualmente abusiva que lo llevó al suicidio.
“Creemos que si Sewell Setzer no hubiera estado en Character.AI, hoy estaría vivo”, dijo Matthew Bergman, fundador del Social Media Victims Law Center, que representa a García.
Un portavoz de Character.AI dijo el viernes que la empresa no hace comentarios sobre litigios pendientes. En una publicación de blog publicada el día en que se presentó la demanda, la plataforma anunció nuevas “actualizaciones de seguridad para la comunidad”, que incluyen barandillas para niños y recursos para la prevención del suicidio.
“Estamos creando una experiencia diferente para los usuarios menores de 18 años que incluye un modelo más estricto para reducir la probabilidad de encontrar contenido sensible o sugerente”, dijo la empresa en una declaración a The Associated Press. “Estamos trabajando rápidamente para implementar esos cambios para los usuarios más jóvenes”.
Google y su empresa matriz, Alphabet, también han sido nombrados como acusados en la demanda. Según los documentos legales, los fundadores de Character.AI son ex empleados de Google que fueron “fundamentales” en el desarrollo de IA en la empresa, pero se fueron para lanzar su propia startup para “acelerar al máximo” la tecnología.
En agosto, Google llegó a un acuerdo de 2.700 millones de dólares con Character.AI para licenciar la tecnología de la empresa y volver a contratar a los fundadores de la startup, según la demanda. La AP dejó varios mensajes de correo electrónico a Google y Alphabet el viernes.
En los meses previos a su muerte, dice la demanda de García, Sewell sintió que se había enamorado del bot.
Si bien los apegos poco saludables a los chatbots de IA pueden causar problemas para los adultos, para los jóvenes puede ser aún más riesgoso, como ocurre con las redes sociales, porque su cerebro no está completamente desarrollado en lo que respecta a cosas como el control de los impulsos y la comprensión de las consecuencias de sus acciones, dicen los expertos.
La salud mental de los jóvenes ha alcanzado niveles de crisis en los últimos años, según el director general de servicios de salud de Estados Unidos, Vivek Murthy, quien ha advertido sobre los graves riesgos para la salud que entrañan la desconexión social y el aislamiento, tendencias que, según él, se ven agravadas por el uso casi universal de las redes sociales por parte de los jóvenes.
El suicidio es la segunda causa principal de muerte entre los niños de 10 a 14 años, según los datos publicados este año por los Centros para el Control y la Prevención de Enfermedades.
James Steyer, fundador y director ejecutivo de la organización sin fines de lucro Common Sense Media, dijo que la demanda “subraya la creciente influencia –y el grave daño– que los chatbots generativos de inteligencia artificial pueden tener en las vidas de los jóvenes cuando no hay barandillas establecidas”.
La dependencia excesiva de los niños de los compañeros de inteligencia artificial, agregó, puede tener efectos significativos en las calificaciones, los amigos, el sueño y el estrés, “hasta llegar a la tragedia extrema de este caso”.
“Esta demanda sirve como una llamada de atención para los padres, que deben estar atentos a cómo sus hijos interactúan con estas tecnologías”, dijo Steyer.
Common Sense Media, que publica guías para padres y educadores sobre el uso responsable de la tecnología, dice que es fundamental que los padres hablen abiertamente con sus hijos sobre los riesgos de los chatbots de inteligencia artificial y controlen sus interacciones.
“Los chatbots no son terapeutas autorizados ni mejores amigos, aunque así es como se presentan y comercializan, y los padres deben tener cuidado de no dejar que sus hijos confíen demasiado en ellos”, dijo Steyer.