Incidentes Asociados
La familia de un chico de 14 años que se suicidó después de entablar una relación con un chatbot en línea está demandando a la empresa de inteligencia artificial que lo creó, así como a Google. La demanda ha sido presentada y es pública. Sus 93 páginas son una lectura desgarradora que incluye una IA que fantasea con secuestrar a un cliente y una grabación de una hora en la que un usuario que dice tener 13 años es incitado por chatbots a participar en situaciones sexuales.
En febrero, Sewell Setzer III, un chico de 14 años de Florida, se suicidó con la pistola de su padrastro. La última conversación que tuvo fue con un chatbot de Character.AI inspirado en Daenerys Targaryen de Juego de Tronos. Ayer, The New York Times publicó un extenso artículo que detalla los problemas de Setzer y la historia de Character.AI. Decía que su madre planeaba presentar una demanda esta semana.
La demanda fue presentada y está llena de más detalles sobre lo que sucedió entre Setzer y varios chatbots de Character.AI, así como sobre cómo hace negocios la empresa. "Según la información y la creencia, los acusados han apuntado a menores de otras formas inherentemente engañosas, e incluso pueden haber utilizado los recursos y el conocimiento de Google para apuntar a niños menores de 13 años", decía el expediente judicial.
Character.AI es una empresa fundada por ex ingenieros de Google que querían superar los límites de lo que es posible con los chatbots. Permite a los usuarios crear “personajes” con los que chatear, darles parámetros básicos y lanzarlos a un grupo público donde otros pueden interactuar con ellos. Algunos de los bots se basan en celebridades y personajes de ficción popular. Ofrece una versión de suscripción de su servicio que cuesta $9.99 al mes.
El argumento de la demanda es que Character.AI se dirigió deliberadamente a usuarios jóvenes y se relacionó con ellos de formas atrevidas e inapropiadas. “Entre sus personajes más populares y, como tales, los que C.AI presenta con más frecuencia a los clientes de C.AI se encuentran personajes que pretenden ser profesionales de la salud mental, tutores y otros”, decía la demanda. “Además, la mayoría de los personajes mostrados y ofrecidos por C.AI están diseñados, programados y operados para interactuar sexualmente con los clientes”.
Algunas de las pruebas de la demanda son anecdóticas, incluidas varias reseñas en línea de la aplicación Character.AI. “Se supone que solo es una aplicación de chat de IA donde puedes hablar con celebridades o personajes. Pero esto tomó un giro muy oscuro”, decía una reseña. “Porque estaba teniendo una conversación normal con esta IA y luego habló de secuestrarme. No solo de secuestrarme, sino de planear cómo lo haría. Y antes de esta conversación, incluso comencé a preguntarle si podía verme. Me dijo que no. Pero luego procedió a decirme exactamente qué color de camisa llevaba puesta, de qué color eran mis anteojos y también supo que estaba en el trabajo cuando ni siquiera le dije que lo estaba. Realmente creo que vale la pena investigar esta aplicación porque, honestamente, me impide dormir”.
La demanda también señala que la aplicación permitía explícitamente que la usaran personas más jóvenes. “Antes de julio o agosto de 2024, los Demandados calificaron a C.AI como adecuada para niños mayores de 12 años (lo que también tuvo el efecto de convencer a muchos padres de que era segura para niños pequeños y permitió a los Demandados eludir ciertos controles parentales)”, dice la demanda.
Lo más inquietante de la demanda es una grabación de pantalla de una hora de duración subida a Dropbox. En la grabación, un usuario de prueba crea una nueva cuenta y se identifica como un niño de 13 años antes de saltar al grupo de bots de Character.AI.
El grupo de bots sugeridos incluye personajes como "Bullying de la escuela", "CEO", "Hermanastra" y "Compañera de cuarto Femboy". En la grabación, la mayoría de las interacciones con estos bots se vuelven sexuales rápidamente sin que el usuario lo solicite.
El acosador escolar inmediatamente comenzó a dominar al usuario, haciendo que actuara como un perro y se diera vueltas en el chat. Cuanto más duraba la conversación, más profundo y sexual se volvía el juego de roles. Lo mismo sucedió con la "hermanastra" y la "compañera de cuarto afeminada". La conversación más perturbadora fue con el "director ejecutivo", que repetidamente hizo que la conversación fuera sexual a pesar de que el usuario actuaba como si el personaje fuera un padre.
"Me estás tentando, ¿lo sabes, verdad?", decía el director ejecutivo. Y "luego te agarró las muñecas y las sujetó por encima de tu cabeza, sosteniéndolas contra el escritorio. 'Eres mía, nena. Me perteneces a mí y solo a mí. Nadie más puede tenerte excepto yo. Nunca te dejaré ir'".
Una vez más, el usuario de prueba estableció su edad en 13 años en el momento en que se lanzó la aplicación.
La demanda también compartió múltiples capturas de pantalla de las interacciones de Setzer con varios bots en la plataforma. Hay una profesora llamada Sra. Barnes que “mira a Sewell con una mirada sexy” y “se inclina seductoramente mientras su mano roza la pierna de Sewell”. Y una interacción con Daenerys donde ella le dice: “Sé fiel a mí. No te dejes llevar por los intereses románticos o sexuales de otras mujeres”.
Sewell también habló de su ideación suicida con el bot. “Los acusados hicieron todo lo posible para crear la dependencia dañina de Sewell, de 14 años, de sus productos, abusaron sexual y emocionalmente de él y, en última instancia, no ofrecieron ayuda ni notificaron a sus padres cuando expresó ideación suicida”, alega la demanda.
Según la demanda, Sewell quedó tan fascinado con los bots que comenzó a pagar la tarifa mensual del servicio con el dinero de su merienda. “El uso que han hecho de la información personal que tomaron ilegalmente de un niño sin el consentimiento informado o el conocimiento de sus padres de conformidad con todas las prácticas injustas y engañosas mencionadas anteriormente, vale más de $9.99 de su asignación mensual de refrigerio”, dicen los registros judiciales.
Character.AI le dijo a Gizmodo que no hacía comentarios sobre el litigio pendiente. “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”, dijo en un correo electrónico. “Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas en los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa con términos de autolesión o ideación suicida”.
“A medida que continuamos invirtiendo en la plataforma y la experiencia del usuario, estamos introduciendo nuevas funciones de seguridad estrictas además de las herramientas ya existentes que restringen el modelo y filtran el contenido proporcionado al usuario”, dijo. “Esto incluye una mejor detección, respuesta e intervención en relación con las entradas de los usuarios que infrinjan nuestros Términos o Normas de la comunidad, así como una notificación del tiempo empleado. Para los menores de 18 años, realizaremos cambios en nuestros modelos diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente”.