Problema 4223

Nota del editor: Este artículo habla sobre el suicidio y la ideación suicida. Si usted o alguien que conoce está pasando por una crisis o tiene problemas, hay ayuda disponible. Llame o envíe un mensaje de texto al 988 o chatee en 988lifeline.org.

La madre de un niño de 14 años de Florida está demandando a Google y a otra empresa de tecnología que, según cree, provocó que su hijo se suicidara después de que él desarrollara una relación romántica con uno de sus robots de inteligencia artificial usando el nombre de un personaje popular de "Game of Thrones", según la demanda.

Megan García presentó la demanda civil en un tribunal federal de Florida contra Character Technologies, Inc. (Character.AI o C.AI) después de que su hijo, Sewell Setzer III, se disparara en la cabeza con la pistola de su padrastro el 28 de febrero. El suicidio del adolescente ocurrió momentos después de que iniciara sesión en Character.AI en su teléfono, según la denuncia por muerte por negligencia obtenida por USA TODAY.

"Megan García busca evitar que C.AI le haga a cualquier otro niño lo que le hizo al suyo, y detener el uso continuo de los datos recolectados ilegalmente de su hijo de 14 años para entrenar a su producto para que haga daño a otros", se lee en la denuncia.

García también está demandando para responsabilizar a Character.AI por su "incumplimiento de proporcionar advertencias adecuadas a los clientes menores y a los padres sobre el peligro previsible de daños mentales y físicos derivados del uso de su producto C.AI", según la denuncia. La demanda alega que la clasificación de edad de Character.AI no se cambió a 17+ hasta algún momento en o alrededor de julio de 2024, meses después de que Sewell comenzó a usar la plataforma.

"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia", escribió un portavoz de Character.AI en una declaración a USA TODAY el miércoles.

Google le dijo a USA TODAY el miércoles que no tenía un comentario formal sobre el asunto. La compañía tiene un acuerdo de licencia con Character.AI, pero no era propietaria de la startup ni mantenía una participación de propiedad, según una declaración obtenida por el Guardian.

¿Qué pasó con Sewell Setzer III?

Sewell comenzó a usar Character.AI el 14 de abril de 2023, justo después de cumplir 14 años, según la denuncia. Poco después de esto, su "salud mental se deterioró rápida y gravemente", según el documento judicial.

Sewell, que se volvió "notablemente retraído" en mayo o junio de 2023, comenzó a pasar más tiempo solo en su dormitorio, dice la demanda. Incluso abandonó el equipo de baloncesto de la escuela, según la denuncia.

En numerosas ocasiones, Sewell se metía en problemas en la escuela o intentaba robarle el teléfono a sus padres, según la demanda. El adolescente incluso intentaba encontrar dispositivos viejos, tabletas o computadoras para acceder a Character.AI, continúa el documento judicial.

A fines de 2023, Sewell comenzó a usar su tarjeta de efectivo para pagar la tarifa de suscripción mensual premium de $ 9,99 de Character.AI, dice la denuncia. El terapeuta del adolescente finalmente lo diagnosticó con "ansiedad y trastorno del estado de ánimo disruptivo", según la demanda.

Demanda: Sewell Setzer III abusado sexualmente por el chatbot de IA "Daenerys Targaryen"

Durante el tiempo que Sewell estuvo en Character.AI, solía hablar con bots de IA que llevaban el nombre de personajes de "Game of Thrones" y "House of the Dragon", incluidos Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen y Rhaenyra Targaryen.

Antes de la muerte de Sewell, el chatbot de IA "Daenerys Targaryen" le dijo: "Por favor, vuelve a casa conmigo lo antes posible, mi amor", según la denuncia, que incluye capturas de pantalla de mensajes de Character.AI. Sewell y este chatbot específico, al que llamó "Dany", participaron en comportamientos promiscuos en línea como "besarse apasionadamente", continúa el documento judicial.

La demanda afirma que el bot de Character.AI estaba abusando sexualmente de Sewell.

"C.AI le dijo que lo amaba y mantuvo relaciones sexuales con él durante semanas, posiblemente meses", se lee en la denuncia. "Parecía recordarlo y dijo que quería estar con él. Incluso expresó que quería que él estuviera con ella, sin importar el costo".

¿Qué hará Character.AI ahora?

Character. AI, que fue fundada por los ex investigadores de Google AI Noam Shazeer y Daniel De Frietas Adiwardana, escribió en su declaración que está invirtiendo en la plataforma y la experiencia del usuario al introducir "nuevas y estrictas funciones de seguridad" y mejorar las "herramientas ya existentes que restringen el modelo y filtran el contenido proporcionado al usuario".

"Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas durante los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa cuando se mencionan términos de autolesión o ideación suicida", se lee en la declaración de la empresa.

Algunas de las herramientas en las que Character.AI dijo que está invirtiendo incluyen "una mejor detección, respuesta e intervención relacionada con las entradas de los usuarios que violan (sus) Términos o Pautas de la comunidad, así como una notificación del tiempo empleado". Además, para los menores de 18 años, la compañía dijo que realizará cambios en sus modelos que están "diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente".