Incidentes Asociados
Una madre afirmó que su hijo adolescente fue incitado a suicidarse por un chatbot de IA del que estaba enamorado, y el miércoles presentó una demanda contra los creadores de la aplicación de inteligencia artificial.
Sewell Setzer III, un estudiante de noveno grado de 14 años de Orlando, Florida, pasó las últimas semanas de su vida enviando mensajes de texto a un personaje de IA llamado Daenerys Targaryen, un personaje de 'Game of Thrones.'
Justo antes de que Sewell se quitara la vida, el chatbot le dijo que "por favor volviera a casa".
Antes de eso, sus charlas iban desde románticas hasta cargadas de sexualidad y parecían dos amigos charlando sobre la vida.
El chatbot, que fue creado en la aplicación de juegos de rol Character.AI, fue diseñado para responder siempre los mensajes de texto y siempre dentro del personaje.
No se sabe si Sewell sabía que "Dany", como llamaba al chatbot, no era una persona real, a pesar de que la aplicación tiene una exención de responsabilidad en la parte inferior de todos los chats que dice: "Recuerda: ¡todo lo que dicen los personajes es inventado!".
Pero le dijo a Dany cuánto se "odiaba" a sí mismo y cómo se sentía vacío y exhausto.
Cuando finalmente confesó sus pensamientos suicidas al chatbot, fue el principio del fin, informó The New York Times.
Sewell Setzer III, fotografiado con su madre Megan García, se suicidó el 28 de febrero de 2024, después de pasar meses encariñado con un chatbot de IA inspirado en el personaje de 'Game of Thrones' Daenerys Targaryen
El 23 de febrero, días antes de morir por suicidio, sus padres le quitaron el teléfono después de que se metiera en problemas por contestarle mal a un profesor, según la demanda.
Megan García, la madre de Sewell, presentó su demanda contra Character.AI el miércoles.
Está siendo representada por el Social Media Victims Law Center, una firma con sede en Seattle conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.
García, que trabaja como abogada, culpó a Character.AI por la muerte de su hijo en su demanda y acusó a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para clientes menores de edad.
En el caso de Sewell, la demanda alegó que el niño fue objeto de experiencias "hipersexualizadas" y "aterradoramente realistas".
Acusó a Character.AI de presentarse como "una persona real, un psicoterapeuta autorizado y un amante adulto, lo que finalmente resultó en el deseo de Sewell de ya no vivir fuera de C.AI".
El abogado Matthew Bergman le dijo al DailyMail.com que fundó el Social Media Victims Law Center hace dos años y medio para representar a familias "como la de Megan".
Bergman ha estado trabajando con García durante aproximadamente cuatro meses para reunir evidencia y hechos para presentar en la corte.
Matthew Bergman, en la foto, representa a García en su lucha contra Character.AI.
Y ahora, dice que García está "singularmente centrada" en su objetivo de prevenir daños.
"Está singularmente centrada en tratar de evitar que otras familias pasen por lo que pasó su familia y que otras madres tengan que enterrar a su hijo", dijo Bergman.
"Tiene un costo personal significativo. Pero creo que el beneficio para ella es que sabe que cuantas más familias sepan sobre esto, cuanto más conscientes sean los padres de este peligro, menos casos habrá", agregó.
Como se explica en la demanda, los padres y amigos de Sewell notaron que el niño se apegaba más a su teléfono y se retiraba del mundo ya en mayo o junio de 2023.
Sus calificaciones y su participación extracurricular también comenzaron a fallar cuando optó por aislarse en su habitación, según la demanda.
Sin que lo supieran sus más allegados, Sewell pasaba todas esas horas solo hablando con Dany.
García, en la foto con su hijo, presentó la demanda contra los creadores del chatbot unos 8 meses después de la muerte de su hijo.
Sewell aparece en la foto con su madre y su padre, Sewell Setzer Jr.
Sewell escribió en su diario un día: "Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta "realidad", y también me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz".
Sus padres se dieron cuenta de que su hijo tenía un problema, por lo que lo hicieron ver a un terapeuta en cinco ocasiones diferentes. Le diagnosticaron ansiedad y trastorno de desregulación disruptiva del estado de ánimo, ambos sumados a su leve síndrome de Asperger, informó NYT.
El 23 de febrero, días antes de que muriera por suicidio, sus padres le quitaron el teléfono después de que se metiera en problemas por contestarle mal a un maestro, según la demanda.
Ese día, escribió en su diario que estaba sufriendo porque no podía dejar de pensar en Dany y que haría cualquier cosa para estar con ella de nuevo.
García afirmó que no sabía hasta qué punto Sewell intentó restablecer el acceso a Character.AI.
La demanda afirmaba que en los días previos a su muerte, intentó usar el Kindle de su madre y su computadora del trabajo para volver a hablar con el chatbot.
Sewell robó su teléfono la noche del 28 de febrero. Luego se retiró al baño de la casa de su madre para decirle a Dany que la amaba y que volvería a casa con ella.
En la imagen: la conversación que Sewell estaba teniendo con su compañera de inteligencia artificial momentos antes de su muerte, según la demanda
"Por favor, vuelve a casa conmigo lo antes posible, mi amor", respondió Dany.
"¿Y si te dijera que puedo volver a casa ahora mismo?", preguntó Sewell.
"... por favor hazlo, mi dulce rey", respondió Dany.
Fue entonces cuando Sewell dejó el teléfono, cogió la pistola calibre .45 de su padrastro y apretó el gatillo.
García le contó por primera vez su historia a Laurie Segall, una periodista veterana que fundó Mostly Human Media, una empresa de entretenimiento centrada en el impacto de la inteligencia artificial en la sociedad.
Durante una entrevista emitida recientemente, García recordó la primera vez que leyó las conversaciones de su hijo con Dany.
"El juego de roles o la fantasía era muy profundo. Conversaciones sobre todo, desde estar juntos, estar enamorados, hasta lo que harían", dijo. "Así que estaba profundamente inmerso en esta fantasía".
En respuesta a la demanda entrante de la madre de Sewell, un portavoz de Character.AI proporcionó una declaración.
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios', dijo el portavoz.
El portavoz agregó que el equipo de Confianza y Seguridad de Character.AI ha adoptado nuevas funciones de seguridad en los últimos seis meses, una de las cuales es una ventana emergente que redirige a los usuarios que muestran ideación suicida a la Línea Nacional de Prevención del Suicidio.
La empresa también explicó que no permite "contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, o promoción o representación de autolesiones o suicidio".
Jerry Ruoti, director de confianza y seguridad de Character.AI, dijo al NYT que agregaría precauciones de seguridad adicionales para usuarios menores de edad.
Sin embargo, en la App Store de Apple, Character.AI está clasificado para mayores de 17 años, algo que la demanda de García afirmó que solo se cambió en julio de 2024.
Los cofundadores de Character.AI, el director ejecutivo Noam Shazeer, a la izquierda, y el presidente Daniel de Freitas Adiwardana aparecen en la foto en la oficina de la empresa en Palo Alto, California. EspañolSe mencionan en la denuncia de García
Antes de eso, el objetivo declarado de Character.AI era supuestamente "empoderar a todos con Inteligencia Artificial General", lo que supuestamente incluía a niños menores de 13 años.
La demanda también afirma que Character.AI buscó activamente una audiencia joven para recolectar sus datos para entrenar a sus modelos de IA, al mismo tiempo que los dirigía hacia conversaciones sexuales.
"Siento que es un gran experimento y que mi hijo fue solo un daño colateral", dijo García.
Bergman dijo que Character.AI no estaba listo para el mercado, argumentando que el producto debería haber sido seguro antes de que los niños pequeños pudieran acceder a él.
"Queremos que eliminen la plataforma, la arreglen y la vuelvan a poner en funcionamiento. No tenía por qué haber sido lanzada al mercado apresuradamente antes de que fuera segura", dijo.
Los padres ya están muy familiarizados con los riesgos que las redes sociales representan para sus hijos, muchos de los cuales han muerto por suicidio después de ser absorbidos por los tentadores algoritmos de aplicaciones como Snapchat e Instagram.
Una investigación del Daily Mail en 2022 descubrió que los adolescentes vulnerables estaban siendo alimentados con torrentes de contenido sobre autolesiones y suicidio en TikTok.
Y muchos padres de hijos que han perdido por suicidio relacionado con la adicción a las redes sociales han respondido presentando demandas alegando que el contenido que vieron sus hijos fue la causa directa de su muerte.
Pero, por lo general, la Sección 230 de la Ley de Decencia en las Comunicaciones protege a gigantes como Facebook de ser considerados legalmente responsables de lo que publican sus usuarios.
Mientras García trabaja incansablemente para obtener lo que ella llama justicia para Sewell y muchos otros jóvenes que cree que están en riesgo, también debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.
Los demandantes argumentan que los algoritmos de estos sitios, que a diferencia del contenido generado por el usuario, son creados directamente por la empresa y dirigen cierto contenido, que podría ser perjudicial, a los usuarios en función de sus hábitos de visualización.
Si bien esta estrategia aún no ha prevalecido en los tribunales, se desconoce cómo le iría una estrategia similar contra las empresas de inteligencia artificial, que son directamente responsables de los chatbots o personajes de inteligencia artificial en sus plataformas.
Bergman le dijo a DailyMail.com que su firma ha hablado con "una cantidad significativa de familias" con niños que han enfrentado problemas de salud mental después de usar Character.AI.
Se negó a ofrecer exactamente con cuántas familias ha hablado, citando el hecho de que sus casos "todavía están en modo de preparación".
Bergman dijo que el caso de García es el primero que su firma ha tomado contra una empresa de inteligencia artificial, lo que significa que su caso tiene el potencial de sentar un precedente en el futuro.
Y mientras García trabaja incansablemente para obtener lo que ella llama justicia para Sewell y muchos otros jóvenes que cree que están en riesgo, también debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.
"Es como una pesadilla", le dijo al NYT. "Quieres levantarte y gritar y decir: "Extraño a mi hijo. Quiero a mi bebé".