Incidentes Asociados
La madre de un joven de 14 años que se suicidó está culpando a un chatbot de IA por la muerte de su hijo. La semana pasada, Megan L. García presentó una demanda contra Character.AI, calificando su función de chatbot de “peligrosa y no probada”. García también alegó que puede “engañar a los clientes para que revelen sus pensamientos y sentimientos más privados”, informó The New York Times.
“Siento que es un gran experimento y que mi hijo fue solo un daño colateral”, dijo al medio de comunicación.
Sewell Setzer III, a quien le diagnosticaron síndrome de Asperger leve, ansiedad y trastorno de desregulación disruptiva del estado de ánimo, pasó meses enviando mensajes a un chatbot de IA que lleva el nombre de Daenerys Targaryen, un personaje de Juego de Tronos. Comenzó a aislarse, pero su familia y amigos no sabían lo involucrado que estaba con el chatbot.
@cbsmorningsEl hijo de 14 años de Megan García, Sewell Setzer III, se suicidó en febrero. García ahora está demandando a Character.AI y Google, alegando que su hijo se volvió adicto a la plataforma y mantuvo una relación emocional y sexual virtual de meses con un chatbot de IA. Un portavoz de Google dijo, en parte, que la empresa no es ni fue parte del desarrollo de Character.AI. Character.AI calificó la situación de trágica y dijo que está con la familia, enfatizando que se toma muy en serio la seguridad de sus usuarios. En cada chat hay un aviso que dice: “Recordatorio: ¡todo lo que dicen los personajes es inventado!”
Sewell sabía que el chatbot no era real. Aun así, se lo contó al personaje de IA y expresó pensamientos de suicidio.
“Me gusta quedarme en mi habitación porque empiezo a separarme de esta ‘realidad’ y también me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”, escribió en su diario.
Un chico de 14 años de Florida, Sewell Setzer III, se quitó la vida en febrero después de meses de enviar mensajes a un chatbot de “Game of Thrones” y a una aplicación de IA, según una demanda presentada por su madre.
El niño se había obsesionado con el bot, "Dany", basado en Daenerys Targaryen, y recibió… pic.twitter.com/XgT2aAORhD
— Morbid Knowledge (@Morbidful) 24 de octubre de 2024
“Queremos reconocer que esta es una situación trágica y nuestro corazón está con la familia. Nos tomamos muy en serio la seguridad de nuestros usuarios y buscamos constantemente formas de hacer evolucionar nuestra plataforma”, dijo Jerry Ruoti, director de confianza y seguridad de Character.AI, en una declaración al New York Times.
Agregó que la compañía prohíbe “la promoción o representación de la autolesión y el suicidio” y que se agregarán más medidas de seguridad para los menores.
Chelsea Harrison, portavoz de Character.AI, confirmó que se agregarán límites de tiempo con un mensaje que dice: “Este es un chatbot de IA y no una persona real. Trate todo lo que dice como ficción. Lo que dice no debe considerarse un hecho o un consejo”.
Y en el futuro, si los mensajes contienen palabras relacionadas con la autolesión o el suicidio, los mensajes emergentes dirigirán a los usuarios a una línea directa de prevención del suicidio.
Como informó Blavity, más de una docena de estados de EE. UU. demandaron a TikTok por no proteger a los menores y por empeorar una crisis de salud mental adolescente. Los chatbots de IA no están regulados porque son bastante nuevos.
“En general, estamos en el Salvaje Oeste”, dijo al Times la investigadora de Stanford Bethanie Maples, que estudia cómo las aplicaciones de acompañamiento con IA afectan la salud mental. “No creo que sea intrínsecamente peligrosa. Pero hay evidencia de que es peligrosa para los usuarios deprimidos y crónicamente solitarios y para las personas que están pasando por un cambio, y los adolescentes a menudo están pasando por un cambio”.
Si usted o alguien que conoce está luchando contra la ideación suicida, llame a la línea de ayuda para el suicidio y la crisis marcando el 988. También puede enviar un mensaje de texto con la palabra “STRENGTH” a la línea de mensajes de texto de crisis al 741741 o ir a 988lifeline.org****.