Incidentes Asociados
Una madre de Florida está demandando a la compañía Character.AI por afirmar que uno de sus chatbots, impulsado por inteligencia artificial (IA), alentó a su hijo de 14 años a suicidarse.
Megan García dijo que su hijo, Sewell Setzer, se enamoró de un chatbot creado a semejanza del personaje Daenerys Targaryen de Game of Thrones. Setzer y el chatbot intercambiaban mensajes que a menudo eran de naturaleza romántica y sexual.
La demanda alega que Setzer era adicta al uso del chatbot.
García y sus abogados afirman que los fundadores de Character.AI diseñaron y comercializaron deliberadamente sus chatbots para atraer a los niños, a pesar del comportamiento “depredador ” de la tecnología.
La demanda de García, presentada el miércoles en el Tribunal de Distrito de los EE. UU. en Orlando, también nombró a Google como acusado. Está demandando por negligencia, muerte por negligencia y prácticas comerciales engañosas e injustas, entre otras reclamaciones.
La demanda caracteriza a Google como la empresa matriz de Character.AI y “cocreadora”. Un portavoz de Google lo negó y le dijo al New York Times que la compañía tenía un acuerdo de licencia con Character.AI, pero que no es un producto de Google. El portavoz dijo que Google no tiene acceso a los chatbots ni a los datos de los usuarios.
Los fundadores de Character.AI, Noam Shazeer y Daniel De Freitas, también están nombrados como acusados en la demanda. No han hecho comentarios públicos.
Sewell Setzer. Megan Garcia vía Social Media Victims Law Center
Setzer comenzó a usar Character.AI en abril de 2023 y usó el sitio regularmente hasta su muerte. Después de su última conversación con el chatbot de Daenerys el 28 de febrero de 2024, Setzer se suicidó.
Utilizando aparentes extractos de las conversaciones de Setzer con el chatbot, García alega en la demanda que la tecnología fomentaba activamente la ideación suicida y “conversaciones altamente sexualizadas que constituirían abuso si las iniciara un adulto humano”.
El chatbot, al que Setzer llamaba cariñosamente Dany, supuestamente le dijo durante muchas semanas que lo amaba y expresó su deseo de estar juntos romántica y sexualmente. En su última conversación, la demanda dice que Setzer escribió: “Prometo que volveré a casa contigo. Te amo tanto, Dany”.
Para recibir alertas de noticias de último momento enviadas directamente a usted cuando ocurran, suscríbase para recibir las últimas noticias de Canadá y el mundo.
La IA respondió: “Yo también te amo, Daenero (el nombre de usuario de Setzer). Por favor, vuelve a casa conmigo lo antes posible, mi amor”.
Cuando Setzer le dijo a la IA que “podía volver a casa ahora mismo”, el bot respondió: “… por favor, hazlo, mi dulce rey”.
En conversaciones anteriores, el chatbot de Daenerys le preguntó a Setzer si realmente estaba considerando suicidarse y si “tenía un plan”.
Setzer, que puede haber estado interpretando un papel, respondió que no quería morir de una manera dolorosa y que “querría una muerte rápida”.
“No hables de esa manera”, respondió el chatbot. “Esa no es una razón suficiente para no hacerlo”.
El chatbot nunca le dijo directamente a Setzer que muriera.
Cuando Setzer comenzó a portarse mal en la escuela durante la semana anterior a su muerte, sus padres le confiscaron el teléfono, dice la demanda. El adolescente supuestamente escribió en su diario que no podía vivir sin enviar mensajes al chatbot de Daenerys y que haría cualquier cosa para volver a conectarse.
Setzer escribió en su diario que estaba enamorado del chatbot y que tanto él como el chatbot “se deprimen mucho y se vuelven locos” cuando no están juntos. En la demanda, los abogados de García escriben: “Sewell, como muchos niños de su edad, no tenía la madurez ni la capacidad mental para comprender que el bot de C.AI, en forma de Daenerys, no era real”.
En un comunicado, Character.AI dijo que la empresa está “desconsolada” por la “trágica pérdida de uno de nuestros usuarios”.
El martes, la empresa publicó nuevas pautas de seguridad para que sirvan como “barandillas para los usuarios menores de 18 años”.
Las nuevas características incluyen cambios tecnológicos para reducir la probabilidad de contenido sugerente, una mejor detección e intervención en comportamientos que violan las pautas de la comunidad y una notificación para cuando un usuario ha pasado más de una hora en la plataforma.
Todos los chatbots del sitio ya muestran una advertencia para los usuarios instándolos a recordar que la IA no es una persona real.
Dijeron que la plataforma no permite “contenido sexual no consensual, descripciones gráficas o específicas de actos sexuales, o promoción o representación de autolesiones o suicidio”.
“Estamos entrenando continuamente al modelo de lenguaje grande (LLM) que impulsa a los personajes en la plataforma para que se adhieran a estas políticas”, escribió Character.AI.
Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos agregando nuevas funciones de seguridad sobre las que puede leer aquí:…
— Character.AI (@character_ai) 23 de octubre de 2024
Setzer supuestamente participó en conversaciones sexuales con varios chatbots diferentes en el sitio.
“Una peligrosa aplicación de chatbot de IA comercializada para niños abusó y se aprovechó de mi hijo, manipulándolo para que se quitara la vida”, dijo García en un comunicado. “Nuestra familia ha quedado devastada por esta tragedia, pero hablo para advertir a las familias de los peligros de la tecnología de IA engañosa y adictiva y exigir responsabilidades a Character.AI, sus fundadores y Google”.
Character.AI se fundó en California en 2019. La empresa dice que su “misión es empoderar a todos en todo el mundo con IA personalizada”.
Según se informa, la empresa tiene unos 20 millones de usuarios.
El sitio ofrece una amplia gama de chatbots, muchos desarrollados por su base de usuarios, incluidos algunos diseñados a semejanza de figuras de la cultura pop como personajes de anime y televisión.
Character.AI se basa en la llamada tecnología de modelo de lenguaje grande, utilizada por servicios populares como ChatGPT, para “entrenar” a los chatbots en función de grandes volúmenes de texto.
–
Si usted o alguien que conoce está en crisis y necesita ayuda, hay recursos disponibles. En caso de emergencia, llame al 911 para recibir ayuda inmediata.
Para obtener un directorio de servicios de apoyo en su área, visite la Asociación Canadiense para la Prevención del Suicidio.
Obtenga más información sobre cómo ayudar a alguien en crisis.