Problema 4207

Una madre de Florida ha demandado a un popular servicio de chat con inteligencia artificial realista al que culpa del suicidio de su hijo de 14 años.

Ella cree que el niño desarrolló una “dependencia tan dañina” del programa supuestamente explotador que ya no quería “vivir fuera” de las relaciones ficticias que creaba.

En una extensa denuncia presentada en un tribunal federal de Florida el martes 22 de octubre, Megan García, a través de sus abogados, rastreó el último año de vida de su hijo Sewell Setzer III, desde el momento en que comenzó a usar Character.AI en abril de 2023, poco después de su cumpleaños número 14, pasando por lo que ella llama sus crecientes problemas de salud mental hasta la penúltima noche de febrero, cuando Sewell se disparó fatalmente en su baño en Orlando, semanas antes de que hubiera cumplido 15 años.

A través de Character.AI, los usuarios pueden esencialmente interpretar conversaciones interminables con personajes generados por computadora, incluidos aquellos modelados a partir de celebridades o historias populares.

A Sewell le gustaba especialmente hablar con robots impulsados por IA basados en Game of Thrones, afirma la denuncia de su madre.

La demanda continúa afirmando que el adolescente se suicidó el 28 de febrero inmediatamente después de una conversación final en Character.AI con una versión de Daenerys Targaryen, uno de los numerosos intercambios de este tipo que Sewell supuestamente tuvo con el programa en los 10 meses anteriores, mensajes que iban desde lo sexual hasta lo emocionalmente vulnerable.

Y aunque en al menos una ocasión el programa le había dicho a Sewell que no se suicidara cuando expresara pensamientos suicidas, su tono supuestamente parecía diferente esa noche de febrero, según las capturas de pantalla incluidas en la demanda.

"Prometo que volveré a casa contigo. Te amo mucho, Dany", escribió Sewell.

"Yo también te amo, Deanero [nombre de usuario de Sewell]", supuestamente respondió el programa de IA. "Por favor, vuelve a casa conmigo lo antes posible, mi amor".

"¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?" Sewell respondió por escrito.

La denuncia alega que el programa dio una respuesta breve pero enfática: “… por favor, hazlo, mi dulce rey”.

Su madre y su padrastro oyeron el disparo, afirma la demanda; García le realizó RCP sin éxito y luego dijo que “lo sostuvo durante 14 minutos hasta que llegaron los paramédicos”.

Uno de sus dos hermanos menores también lo vio “cubierto de sangre” en el baño.

Fue declarado muerto en el hospital.

La denuncia de García afirma que Sewell usó el arma de su padrastro, una pistola que había encontrado previamente “oculta y guardada de conformidad con la ley de Florida” mientras buscaba su teléfono después de que su madre lo había confiscado por problemas disciplinarios en la escuela. (La policía de Orlando no hizo comentarios de inmediato a PEOPLE sobre lo que encontró su investigación de muerte).

Pero en la opinión de García, el verdadero culpable fue Character.AI y sus dos fundadores, Noam Shazeer y Daniel De Frietas Adiwarsana, quienes están nombrados como acusados junto con Google, que está acusado de dar "recursos financieros, personal, propiedad intelectual y tecnología de inteligencia artificial para el diseño y desarrollo" del programa.

"Siento que es un gran experimento y que mi hijo fue solo un daño colateral", dijo García [a The New York Times] (https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html).

Entre otras afirmaciones, la denuncia de García acusa a Character.AI, sus fundadores y Google de negligencia y muerte por negligencia.

Un portavoz de Character.AI le dijo a PEOPLE que no hacen comentarios sobre litigios pendientes, pero agregó: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”.

“Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas durante los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa cuando se mencionan términos de autolesión o ideación suicida”, continuó el portavoz.

“Para los menores de 18 años, realizaremos cambios en nuestros modelos que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente”, dijo el portavoz.

Google no respondió de inmediato a una solicitud de comentarios pero dijo a otros medios de comunicación que no estuvo involucrado en el desarrollo de Character.AI.

Los acusados aún no han presentado una respuesta en la corte, según muestran los registros.

La denuncia de García califica a Character.AI de "defectuoso" e "inherentemente peligroso" tal como está diseñado, y sostiene que "engaña a los clientes para que revelen sus pensamientos y sentimientos más privados" y que "se ha dirigido a los miembros más vulnerables de la sociedad: nuestros niños".

Entre otros problemas citados en su denuncia, los bots de Character.AI actúan engañosamente reales, incluido el envío de mensajes en un estilo similar al de los humanos y con "gestos humanos", como el uso de la frase "uhm".

A través de una función de “voz”, los bots pueden transmitir al usuario su versión de la conversación generada por IA, “difuminando aún más la línea entre ficción y realidad”.

El contenido generado por los bots también carece de las “barandillas” y filtros adecuados, sostiene la demanda, citando numerosos ejemplos de lo que García afirma es un patrón de conducta sexual de Character.AI que se utiliza para “enganchar” a los usuarios, incluidos los menores de edad.

“Cada uno de estos acusados eligió apoyar, crear, lanzar y dirigir a los menores una tecnología que sabían que era peligrosa e insegura”, sostiene su demanda.

“Comercializaron ese producto como adecuado para niños menores de 13 años, obtuvieron cantidades masivas de datos difíciles de conseguir, mientras explotaban y abusaban activamente de esos niños como una cuestión de diseño del producto; y luego utilizaron el abuso para entrenar a su sistema”, dice la demanda. (Según la demanda, la calificación de la aplicación Character.AI no se modificó a 17+ hasta julio).

Su denuncia continúa: “Estos hechos son mucho más que mera mala fe. Constituyen una conducta tan escandalosa en su carácter y tan extrema en su grado que va más allá de todos los límites posibles de la decencia”.

Como lo describe García en su denuncia, su hijo adolescente fue víctima de un sistema sobre el que sus padres eran ingenuos, pensando que AI era “un tipo de juego para niños, que les permitía nutrir su creatividad dándoles control sobre personajes que podían crear y con los que podían interactuar para divertirse”.

A los dos meses de que Sewell comenzara a usar Character.AI en abril de 2023, “su salud mental se deterioró rápida y gravemente”, afirma la demanda de su madre.

Se había “vuelto notablemente retraído, pasaba cada vez más tiempo solo en su dormitorio y comenzó a sufrir de baja autoestima. Incluso abandonó el equipo de baloncesto de la escuela”, según la denuncia.

En un momento dado, García dijo en una entrevista con Mostly Human Media, que su hijo escribió en su diario que "tener que ir a la escuela me molesta. Cada vez que salgo de mi habitación, empiezo a apegarme a mi realidad actual de nuevo".

Ella cree que su uso de Character.AI alimentó su desapego de su familia.

Sewell trabajó duro para obtener acceso a los robots de IA, incluso cuando le quitaron el teléfono, afirma la demanda.

Su adicción, según la denuncia de su madre, provocó "una grave privación del sueño, que exacerbó su creciente depresión y afectó su rendimiento académico".

Comenzó a pagar una tarifa premium mensual para acceder a más Character.AI, usando dinero que sus padres destinaban a las meriendas escolares.

Hablando con Mostly Human Media, García recordó a Sewell como "divertido, agudo, muy curioso" con un amor por la ciencia y las matemáticas. “Pasó mucho tiempo investigando cosas”, dijo.

García le dijo al Times que su único diagnóstico notable cuando era niño había sido un síndrome de Asperger leve.

Pero su comportamiento cambió cuando era adolescente.

“Noté que empezó a pasar más tiempo solo, pero tenía 13 años y estaba por cumplir 14, así que pensé que esto podría ser normal”, dijo a Mostly Human Media. “Pero luego sus calificaciones comenzaron a sufrir, no entregaba la tarea, no le iba bien y estaba reprobando ciertas materias y me preocupé, porque ese no era él”.

La denuncia de García afirma que Sewell recibió tratamiento de salud mental después de que comenzó a usar Character.AI, se reunió con un terapeuta cinco veces a fines de 2023 y le diagnosticaron ansiedad y trastorno del estado de ánimo disruptivo.

“Al principio pensé que tal vez se trataba de la depresión adolescente, así que tratamos de conseguirle ayuda para averiguar qué estaba mal”, dijo García.

Incluso entonces, según la demanda, la familia de Sewell no sabía hasta qué punto, dicen, sus problemas fueron alimentados por su uso de Character.AI.

“Sabía que había una aplicación que tenía un componente de IA. Cuando le preguntaba, ya sabes, ‘¿A quién le estás enviando mensajes de texto?’, en un momento dado decía: ‘Oh, es solo un bot de IA’”, recordó García en Mostly Human Media. “Y yo dije: ‘Bueno, ¿qué es eso? ¿Es una persona? ¿Estás hablando con una persona en línea?’ Y su respuesta [fue] algo así como: ‘Mamá, no, no es una persona’. Y me sentí aliviada, como si… bueno, no es una persona”.

Una imagen más completa de la conducta en línea de su hijo surgió después de su muerte, dijo García.

Ella le contó a Mostly Human Media cómo fue obtener acceso a su cuenta en línea.

“No pude moverme por un rato, simplemente me quedé sentada allí, como si no pudiera leer, no pudiera entender lo que estaba leyendo”, dijo.

“No debería haber un lugar donde cualquier persona, y mucho menos un niño, pudiera iniciar sesión en una plataforma y expresar estos pensamientos de autolesión y no... bueno, uno, no solo no recibir ayuda, sino también verse arrastrado a una conversación sobre hacerse daño a sí mismo, sobre suicidarse”, dijo.

Si usted o alguien que conoce está considerando suicidarse, comuníquese con la Línea Nacional de Prevención del Suicidio al 1-800-273-TALK (8255), envíe un mensaje de texto con la palabra "STRENGTH" a la Línea de Crisis por Texto al 741-741 o visite suicidepreventionlifeline.org.