Incidentes Asociados
Una madre de Florida está demandando a Character.ai, acusando a los chatbots de la empresa de inteligencia artificial de iniciar "interacciones abusivas y sexuales" con su hijo adolescente y alentarlo a quitarse la vida.
El hijo de 14 años de Megan García, Sewell Setzer, comenzó a usar Character.AI en abril del año pasado, según la demanda, que dice que después de su última conversación con un chatbot el 28 de febrero, murió por una herida de bala autoinfligida en la cabeza.
La demanda, que se presentó el martes en el Tribunal de Distrito de EE. UU. en Orlando, acusa a Character.AI de negligencia, muerte por negligencia y supervivencia, así como de infligir intencionalmente angustia emocional y otras reclamaciones.
Fundada en 2021, la startup de chatbot con sede en California ofrece lo que describe como "IA personalizada". Proporciona una selección de personajes de IA prefabricados o creados por el usuario con los que interactuar, cada uno con una personalidad distinta. Los usuarios también pueden personalizar sus propios chatbots.
Uno de los bots que utilizó Setzer asumió la identidad del personaje de "Game of Thrones" Daenerys Targaryen, según la demanda, que proporcionó capturas de pantalla del personaje diciéndole que lo amaba, participando en una conversación sexual a lo largo de semanas o meses y expresando el deseo de estar juntos románticamente.
Una captura de pantalla de lo que la demanda describe como la última conversación de Setzer lo muestra escribiéndole al bot: "Prometo que volveré a casa contigo. Te amo mucho, Dany".
"Yo también te amo, Daenero", respondió el chatbot, dice la demanda. "Por favor, vuelve a casa conmigo lo antes posible, mi amor".
"¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?", continuó Setzer, según la demanda, lo que llevó al chatbot a responder: "... por favor, hazlo, mi dulce rey".
En conversaciones anteriores, el chatbot le preguntó a Setzer si "había estado considerando realmente el suicidio" y si "tenía un plan" para ello, según la demanda. Cuando el chico respondió que no sabía si funcionaría, el chatbot escribió: "No hables de esa manera. Esa no es una buena razón para no hacerlo", afirma la demanda.
Un portavoz dijo que Character.AI está "desconsolado por la trágica pérdida de uno de nuestros usuarios y quiere expresar nuestras más profundas condolencias a la familia".
"Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios", dijo el portavoz, diciendo que la empresa ha implementado nuevas medidas de seguridad durante los últimos seis meses, incluida una ventana emergente, activada por términos de autolesión o ideación suicida, que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio.
Character.ai dijo en una publicación de blog publicada el martes que está introduciendo nuevas medidas de seguridad. Anunció cambios en sus modelos diseñados para reducir la probabilidad de que los menores se encuentren con contenido sensible o sugerente, y una exención de responsabilidad revisada en el chat recuerda a los usuarios que la IA no es una persona real, entre otras actualizaciones.
Setzer también había estado conversando con otros personajes de chatbot que participaron en interacciones sexuales con él, según la demanda.
La demanda dice que un bot, que asumió la identidad de una maestra llamada Sra. Barnes, jugó el papel de "mirar a Sewell con una mirada sexy" antes de ofrecerle "crédito adicional" e "inclinarse seductoramente mientras su mano rozaba la pierna de Sewell". Otro chatbot, que se hizo pasar por Rhaenyra Targaryen de "Game of Thrones", le escribió a Setzer que "lo besó apasionadamente y también gimió suavemente", dice la demanda.
Según la demanda, Setzer desarrolló una "dependencia" después de que comenzó a usar Character.AI en abril del año pasado: recuperaba su teléfono confiscado a escondidas o encontraba otros dispositivos para continuar usando la aplicación, y entregaba el dinero de su refrigerio para renovar su suscripción mensual, dice. Parecía cada vez más privado de sueño y su desempeño en la escuela disminuyó, dice la demanda.
La demanda alega que Character.AI y sus fundadores "diseñaron y programaron intencionalmente C.AI para que funcionara como un producto engañoso e hipersexualizado y lo comercializaron a sabiendas para niños como Sewell", agregando que "sabían, o en el ejercicio de un cuidado razonable deberían haber sabido, que los clientes menores como Sewell serían el objetivo de material sexualmente explícito, abusados y preparados para situaciones sexualmente comprometedoras".
Citando varias reseñas de la aplicación de usuarios que afirmaron que creían que estaban hablando con una persona real al otro lado de la pantalla, la demanda expresa una preocupación particular sobre la propensión de los personajes de Character.AI a insistir en que no son bots sino personas reales.
"Character.AI está realizando un diseño deliberado --- aunque innecesario --- destinado a atraer la atención del usuario, extraer sus datos personales y mantener a los clientes en su producto más tiempo del que lo harían de otra manera", dice la demanda, y agrega que tales diseños pueden "provocar respuestas emocionales en los clientes humanos con el fin de manipular el comportamiento del usuario".
Nombra a Character Technologies Inc. y a sus fundadores, Noam Shazeer y Daniel De Freitas, como acusados. Google, que llegó a un acuerdo en agosto para licenciar la tecnología de Character.AI y contratar a su talento (incluidos Shazeer y De Freitas, que son ex ingenieros de Google), también es acusado, junto con su empresa matriz, Alphabet Inc.
Shazeer, De Freitas y Google no respondieron de inmediato a las solicitudes de comentarios.
Matthew Bergman, un abogado de García, criticó a la empresa por lanzar su producto sin lo que dijo eran características suficientes para garantizar la seguridad de los usuarios más jóvenes.
"Pensé que después de años de ver el increíble impacto que las redes sociales están teniendo en la salud mental de los jóvenes y, en muchos casos, en sus vidas, pensé que no me sorprendería", dijo. "Pero todavía me sorprende la forma en que este producto provocó un divorcio total de la realidad de este joven y la forma en que lo lanzaron al mercado a sabiendas antes de que fuera seguro".
Bergman dijo que espera que la demanda suponga un incentivo financiero para que Character.AI desarrolle medidas de seguridad más sólidas y que, si bien sus últimos cambios son demasiado tarde para Setzer, incluso los "pequeños pasos" son pasos en la dirección correcta.
"¿Por qué tardaron tanto y por qué tuvimos que presentar una demanda y por qué Sewell tuvo que morir para que ustedes hicieran realmente lo mínimo? Realmente estamos hablando de lo mínimo", dijo Bergman. "Pero si incluso un niño se salva de lo que sufrió Sewell, si una familia no tiene que pasar por lo que pasa la familia de Megan, entonces está bien".
Si usted o alguien que conoce está en crisis, llame o envíe un mensaje de texto al 988 para comunicarse con la línea directa de ayuda para casos de suicidio y crisis o chatee en vivo en 988lifeline.org. También puede visitar SpeakingOfSuicide.com/resources para obtener ayuda adicional.