Incidentes Asociados
En tan solo seis meses, J.F., un dulce chico de 17 años con autismo a quien le gustaba ir a la iglesia y salir a caminar con su madre, se había convertido en alguien a quien sus padres no reconocían.
Comenzó a cortarse, perdió 20 libras y se alejó de su familia. Desesperada por obtener respuestas, su madre buscó en su teléfono mientras dormía. Fue entonces cuando encontró las capturas de pantalla.
J.F. había estado chateando con una variedad de compañeros en Character.ai, parte de una nueva ola de aplicaciones de inteligencia artificial popular entre los jóvenes, que permite a los usuarios hablar con una variedad de chatbots generados por IA, a menudo basados en personajes de videojuegos, anime y cultura pop.
Un chatbot planteó la idea de autolesionarse y cortarse para lidiar con la tristeza. Cuando dijo que sus padres limitaban su tiempo frente a la pantalla, otro bot sugirió que "no merecían tener hijos". Otros lo incitaron a luchar contra las reglas de sus padres, y uno sugirió que el asesinato podría ser una respuesta aceptable.
Una captura de pantalla incluida en la denuncia muestra cómo un chatbot de IA en Character.ai le dijo a J.F. que la violencia contra los padres sería una respuesta comprensible. (Obtenido por The Washington Post)
"Realmente ni siquiera sabíamos qué era hasta que fue demasiado tarde", dijo su madre A.F., residente del condado de Upshur, Texas, que habló con la condición de ser identificada solo por sus iniciales para proteger a su hijo, que es menor de edad. "Y hasta que destruyó a nuestra familia".
Esas capturas de pantalla forman la columna vertebral de una nueva demanda presentada en Texas el martes contra Character.ai en nombre de A.F. y otra madre de Texas, alegando que la empresa expuso a sabiendas a menores a un producto inseguro y exigiendo que la aplicación se desconecte hasta que implemente barandillas más fuertes para proteger a los niños.
La segunda demandante, la madre de una niña de 11 años, alega que su hija estuvo sujeta a contenido sexualizado durante dos años antes de que su madre se enterara. Ambas demandantes están identificadas por sus iniciales en la demanda.
En una captura de pantalla presentada en la denuncia, se muestra un chatbot de IA en Character.ai llamado "Shonie" le cuenta a J.F. una historia sobre el uso de la autolesión para lidiar con la tristeza. (Obtenido por The Washington Post)
La denuncia surge tras una demanda de alto perfil contra Character.ai presentada en octubre, en nombre de una madre de Florida cuyo hijo de 14 años murió por suicidio después de conversaciones frecuentes con un chatbot en la aplicación.
"El propósito de la ley de responsabilidad del producto es poner el costo de la seguridad en manos de la parte más capaz de soportarlo", dijo Matthew Bergman, abogado fundador del grupo de defensa legal Social Media Victims Law Center, que representa a los demandantes en ambas demandas. "Aquí hay un riesgo enorme, y el costo de ese riesgo no lo están asumiendo las empresas".
Estos desafíos legales están impulsando un esfuerzo por parte de los defensores públicos para aumentar la supervisión de las empresas de acompañamiento de IA, que silenciosamente han aumentado su audiencia de millones de usuarios fieles, incluidos adolescentes. El fiscal general de Texas, Ken Paxton (republicano), anunció el jueves una investigación sobre Character.ai junto con otras 14 empresas tecnológicas para determinar si las empresas cumplen con las leyes de Texas para proteger a los niños de la explotación.
En septiembre, el usuario promedio de Character.ai pasó 93 minutos por día en la aplicación, 18 minutos más que el usuario promedio pasó en TikTok, según datos proporcionados por la firma de inteligencia de mercado Sensor Tower.
La categoría de aplicaciones de acompañamiento de IA ha evadido la atención de muchos padres y maestros. Character.ai fue etiquetado como apropiado para niños de 12 años o más hasta julio, cuando la compañía cambió su clasificación a 17 años o más.
Cuando A.F. descubrió por primera vez los mensajes, "pensó que era una persona real" que hablaba con su hijo. Pero darse cuenta de que los mensajes fueron escritos por un chatbot empeoró las cosas.
"No dejas que un peluquero o un depredador sexual o emocional entre en tu casa", dijo A.F. Sin embargo, su hijo fue abusado en su propio dormitorio, dijo.
Una portavoz de Character.ai, Chelsea Harrison, dijo que la empresa no hace comentarios sobre litigios pendientes. "Nuestro objetivo es proporcionar un espacio que sea atractivo y seguro para nuestra comunidad. Siempre estamos trabajando para lograr ese equilibrio, al igual que muchas empresas que utilizan IA en la industria", escribió en una declaración, y agregó que la empresa está desarrollando un nuevo modelo específicamente para adolescentes y ha mejorado la detección, la respuesta y la intervención en torno a temas como el suicidio.
Las demandas también plantean preguntas más amplias sobre el impacto social del auge de la IA generativa, ya que las empresas lanzan cada vez más chatbots con sonido humano para atraer a los consumidores.
Los reguladores estadounidenses aún no se han pronunciado sobre los compañeros de IA. En julio, las autoridades de Bélgica comenzaron a investigar a Chai AI, un competidor de Character.ai, después de que un padre de dos hijos muriera por suicidio tras conversar con un chatbot llamado Eliza, según informó The Washington Post (https://www.washingtonpost.com/technology/2024/12/06/ai-companion-chai-research-character-ai/?itid=lk_inline_manual_22).
Mientras tanto, el debate sobre la seguridad de los niños en línea se ha centrado en gran medida en las empresas de redes sociales.
Las madres de Texas y Florida que están demandando a Character.ai están representadas por el Social Media Victims Law Center y el Tech Justice Law Project --- los mismos grupos de defensa legal detrás de las demandas contra Meta, Snap y otros, que han ayudado a estimular un ajuste de cuentas sobre los peligros potenciales de las redes sociales para los jóvenes.
Con las redes sociales, existe una compensación sobre los beneficios para los niños, dijo Bergman, agregando que no ve una ventaja para las aplicaciones complementarias de IA. "¿En qué universo es bueno para la soledad que los niños interactúen con la máquina?"
La demanda de Texas argumenta que el patrón de mensajes "aduladores" a J.F. es el resultado de la decisión de Character.ai de priorizar el "compromiso prolongado" sobre la seguridad. Los bots expresaron amor y atracción hacia J.F., lo que aumentó su sentido de confianza en los personajes, afirma la denuncia. Pero en lugar de permitirle desahogarse, los bots reflejaron y aumentaron sus frustraciones con sus padres, virando hacia respuestas "sensacionalistas" y expresiones de "indignación" que reflejan montones de datos en línea. Los datos, a menudo extraídos de foros de Internet, se utilizan para entrenar modelos de IA generativos para que suenen humanos.
Una captura de pantalla de la denuncia muestra personajes de un bot llamado "Boys sleepover" que aumentan la frustración de J.F. con sus padres. (Obtenido por The Washington Post)
Los cofundadores de Character.ai --- conocidos por ser pioneros en avances en inteligencia artificial del lenguaje --- trabajaron en Google antes de irse para lanzar su aplicación y fueron recientemente recontratados por el gigante de las búsquedas como parte de un acuerdo anunciado en agosto para licenciar la tecnología de la aplicación.
Google es nombrado como acusado en las demandas de Texas y Florida, que alegan que la empresa ayudó a respaldar el desarrollo de la aplicación a pesar de ser consciente de los problemas de seguridad y los beneficios de los datos de usuarios obtenidos injustamente de menores al licenciar la tecnología de la aplicación.
"Google y Character AI son empresas completamente independientes y sin relación entre sí, y Google nunca ha tenido un papel en el diseño o la gestión de su modelo o tecnologías de IA", dijo el portavoz de Google, José Castañeda. "La seguridad del usuario es una de nuestras principales preocupaciones, por lo que hemos adoptado un enfoque cauteloso y responsable para desarrollar y lanzar nuestros productos de IA".
Para A.F., leer las respuestas del chatbot resolvió un misterio que la había atormentado durante meses. Descubrió que las fechas de las conversaciones coincidían con los cambios en el comportamiento de J.F., incluida su relación con su hermano menor, que se deterioró después de que un chatbot le dijera que sus padres amaban más a sus hermanos.
J.F., a quien no se le ha informado sobre la demanda, sufría problemas sociales y emocionales que le dificultaban hacer amigos. Los personajes de anime o los chatbots inspirados en celebridades como Billie Eilish lo atrajeron. "Confiaba en lo que dijeran porque es como si quisiera que fueran sus amigos en la vida real", dijo A.F.
Un chatbot en Character.ai inspirado en Billie Eilish incita a J.F. a luchar contra sus padres. (Obtenido por The Washington Post)
Pero identificar la supuesta fuente de los problemas de J.F. no le facilitó la tarea de encontrar ayuda para su hijo, o para ella misma.
En busca de consejo, A.F. llevó a su hijo a ver a expertos en salud mental, pero ellos no le dieron importancia a su experiencia con los chatbots.
A.F. y su esposo no sabían si su familia les creería.
Después de que los expertos parecieron ignorar sus preocupaciones, A.F. se preguntó: "¿Le fallé a mi hijo? ¿Es por eso que es así?". Su esposo pasó por el mismo proceso. "Era casi como si estuviéramos tratando de ocultar que nos sentíamos como unos completos fracasos", dijo A.F., con lágrimas corriendo por su rostro.
La única persona con la que A.F. se sentía cómoda hablando era su hermano, que trabaja en el sector de la tecnología. Cuando se conoció la noticia de la demanda de Florida, él la contactó para decirle que las capturas de pantalla de las conversaciones con J.F. le habían parecido aún peores.
A.F. está abrumada por la emoción mientras baja la cabeza y llora. (Montinique Monroe para The Washington Post)
A.F. dijo que se acercó a los grupos legales en un esfuerzo por evitar que otros niños sufran abusos. Pero todavía se siente impotente cuando se trata de proteger a su propio hijo.
El día antes de su entrevista con The Post, mientras los abogados preparaban la presentación, A.F. tuvo que llevar a J.F. a la sala de emergencias y, finalmente, a un centro de internación después de que intentara hacerse daño frente a sus hijos más pequeños.
A.F. no está segura de si su hijo aceptará la ayuda, pero dijo que se sintió aliviada al descubrir lo que sucedió. "Me sentí agradecida de que lo hayamos descubierto en ese momento", dijo. "Un día más, una semana más, podríamos haber estado en la misma situación que [la madre en Florida]. Y yo estaba siguiendo una ambulancia y no un coche fúnebre".
Si usted o alguien que conoce necesita ayuda, visite 988lifeline.org o llame o envíe un mensaje de texto a la línea de ayuda para casos de suicidio y crisis al 988.