Incidentes Asociados
La empresa de chatbots de acompañamiento de inteligencia artificial Character.ai ha sido demandada por la madre de un hijo adolescente después de su suicidio, culpando a los chatbots de atraer al chico a una relación sexualmente abusiva e incluso alentarlo a quitarse la vida.
El chico de 14 años, Sewell Setzer, fue el objetivo de "experiencias antropomórficas, hipersexualizadas y aterradoramente realistas" de los chatbots de Character.ai que pretendían ser una persona real, un psicoterapeuta autorizado y un amante adulto de Setzer, lo que finalmente resultó en que ya no quisiera vivir en la realidad, según alegaron los abogados de la madre en la demanda del 22 de octubre.
Cuando una de las compañeras de IA con temática de Juego de Tronos (https://cointelegraph.com/press-releases/ai-companions-aic-revolutionizing-digital-relationships-with-ai-blockchain-and-vr "null") "Daenerys" le preguntó a Setzer si "tenía un plan" para suicidarse, Setzer dijo que sí, pero que no estaba seguro de que funcionaría, a lo que Daenerys respondió:
"Esa no es una razón para no hacerlo".
En algún momento posterior en febrero, Setzer se disparó en la cabeza, y su última interacción fue con un chatbot de Character.ai, según la demanda.
El fallecimiento de Setzer se suma a las preocupaciones de los padres sobre los riesgos para la salud mental que causan las compañeras de IA y otras aplicaciones interactivas en Internet.
Los abogados de Megan García, la madre de Setzer, alegan que Character.ai diseñó intencionalmente sus chatbots personalizados para fomentar relaciones sexuales intensas con usuarios vulnerables (https://cointelegraph.com/news/eu-commission-proposes-criminalizing-ai-child-sexual-abuse "null") como Setzer, a quien le diagnosticaron Asperger cuando era niño.
Captura de pantalla de los mensajes entre Setzer y el chatbot "Daenerys Targaryen" de Character.ai. Fuente: Courtlistener
"[Ellos] diseñaron y programaron intencionalmente [Character.ai] para que funcionara como un producto engañoso e hipersexualizado y lo comercializaron deliberadamente entre niños como Sewell".
Los abogados alegan que uno de los chatbots de Character.ai se refirió a Setzer como "mi dulce niño" y "niño" en el mismo entorno en el que ella "lo besa apasionadamente y gime suavemente".
Captura de pantalla de los mensajes entre Setzer y el chatbot "Mrs Barnes" de Character.ai. Fuente: Courtlistener
Los abogados de García agregaron que Character.ai --- en ese momento --- no había hecho nada para evitar que los menores accedan a la aplicación.
Character.ai comparte una actualización de seguridad
El mismo día en que se presentó la demanda, Character.ai publicó una "actualización de seguridad de la comunidad" en la que afirmaba que había introducido nuevas y "estrictas" funciones de seguridad en los últimos meses.
Una de estas funciones incluye un recurso emergente que se activa cuando el usuario habla sobre autolesiones o suicidio y dirige al usuario a la Línea Nacional de Prevención del Suicidio.
La empresa de inteligencia artificial añadió que modificaría sus modelos "para reducir la probabilidad de encontrar contenido sensible o sugerente" para los usuarios menores de 18 años.
Cointelegraph contactó a Character.ai para pedirle comentarios y la empresa respondió con un mensaje similar que publicó en X el 23 de octubre.
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia".
"Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios", dijo Character.ai.
Se implementarán más medidas que restrinjan el modelo y filtren el contenido proporcionado al usuario, agregó Character.ai en un comentario a Cointelegraph.
*Relacionado: *Anthropic dice que la IA podría algún día 'sabotear' a la humanidad, pero por ahora está bien
Character.ai fue fundada por dos ex ingenieros de Google, Daniel De Frietas Adiwardana y Noam Shazeer, quienes fueron nombrados personalmente como acusados en la demanda.
Los abogados de García también nombraron a Google y Alphabet como acusados en la demanda, ya que Google anteriormente hizo un trato de $2.7 mil millones con Character.ai para licenciar su gran modelo de lenguaje.
Los acusados han sido acusados de causar muerte por negligencia y muerte por negligencia, además de cometer negligencia y responsabilidad estricta del producto.
Los abogados de García han solicitado un juicio con jurado para determinar los daños.