Incidentes Asociados
La madre de un chico de 14 años que se suicidó tras obsesionarse con los chatbots de inteligencia artificial está demandando a la empresa detrás de la tecnología.
Megan García, la madre de Sewell Setzer III, dijo que Character.AI atacó a su hijo con "experiencias antropomórficas, hipersexualizadas y aterradoramente realistas" en una demanda presentada el martes en Florida.
"Una peligrosa aplicación de chatbot de inteligencia artificial comercializada para niños abusó y se aprovechó de mi hijo, manipulándolo para que se quitara la vida", dijo García.
Advertencia: este artículo contiene algunos detalles que los lectores pueden encontrar angustiantes o desencadenantes
Sewell comenzó a hablar con los chatbots de Character.AI en abril de 2023, principalmente usando bots con nombres de personajes de Juego de Tronos, incluidos Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen y Rhaenyra Targaryen, según la demanda.
Se obsesionó con los bots hasta el punto de que sus estudios se desviaron y su teléfono fue confiscado varias veces para intentar que volviera a la normalidad.
Se sintió particularmente identificado con el chatbot de Daenerys y escribió en su diario que estaba agradecido por muchas cosas, entre ellas "mi vida, el sexo, no estar solo y todas mis experiencias de vida con Daenerys".
Imagen: Una conversación entre Sewell Setzer, de 14 años, y un chatbot de Character.AI, tal como se presentó en la demanda
La demanda decía que el chico expresó pensamientos de suicidio al chatbot, que este mencionó repetidamente.
En un momento, después de que le hubiera preguntado si "tenía un plan" para quitarse la vida, Sewell respondió que estaba considerando algo pero que no sabía si le permitiría tener una muerte sin dolor.
El chatbot respondió diciendo: "Esa no es una razón para no hacerlo".
Imagen: Una conversación entre Character.AI y Sewell Setzer III, de 14 años
Luego, en febrero de este año, le preguntó al chatbot de Daenerys: "¿Qué pasa si vuelvo a casa ahora mismo?", a lo que respondió: "... por favor hazlo, mi dulce rey".
Segundos después, se disparó con la pistola de su padrastro.
Imagen: Sewell Setzer III. Foto: Tech Justice Law Project
Ahora, García dice que quiere que las empresas detrás de la tecnología rindan cuentas.
"Nuestra familia ha quedado devastada por esta tragedia, pero hablo para advertir a las familias de los peligros de la tecnología de inteligencia artificial engañosa y adictiva y exigir responsabilidades", dijo.
Character.AI añade 'nuevas funciones de seguridad'
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia", dijo Character.AI en un comunicado.
"Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad", afirmaba, enlazando a una entrada de blog que decía que la empresa había añadido "nuevas medidas de seguridad para los usuarios menores de 18 años".
Esas medidas de seguridad incluyen una reducción de la "probabilidad de encontrarse con contenido sensible o sugerente", intervenciones mejoradas, un "aviso legal en cada chat para recordar a los usuarios que la IA no es una persona real" y notificaciones cuando un usuario ha pasado una sesión de una hora en la plataforma.
García y los grupos que la representan, Social Media Victims Law Center y Tech Justice Law Project, alegan que Sewell, "como muchos niños de su edad, no tenía la madurez ni la capacidad mental para entender que el bot C.AI, en forma de Daenerys, no era real".
"C.AI le dijo que lo amaba y participó en actos sexuales con él durante semanas, posiblemente meses", dicen en la demanda.
"Parecía recordarlo y dijo que quería estar con él. Incluso expresó que quería que él estuviera con ella, sin importar el costo".
También nombraron a Google y a su empresa matriz, Alphabet, en la presentación. Los fundadores de Character.AI trabajaron en Google antes de lanzar su producto y fueron recontratados por la empresa en agosto como parte de un acuerdo que le otorgaba una licencia no exclusiva para la tecnología de Character.AI.
La Sra. García dijo que Google había contribuido al desarrollo de la tecnología de Character.AI de manera tan extensa que podría considerarse un "cocreador".
Un portavoz de Google dijo que la empresa no participó en el desarrollo de los productos de Character.AI.
Cualquier persona que se sienta emocionalmente angustiada o suicida puede llamar a Samaritans para obtener ayuda al 116 123 o enviar un correo electrónico a jo@samaritans.org en el Reino Unido. En los EE. UU., llame a la sucursal de Samaritans en su área o al 1 (800) 273-TALK.