Problema 4232

Se ha presentado una demanda contra Character.AI, sus fundadores Noam Shazeer y Daniel De Freitas y Google a raíz de la muerte de un adolescente, alegando muerte por negligencia, prácticas comerciales engañosas y responsabilidad del producto. La demanda, presentada por la madre del adolescente, Megan García, afirma que la plataforma para chatbots de IA personalizados era "irrazonablemente peligrosa" y carecía de medidas de seguridad mientras se comercializaba para niños.

Como se describe en la demanda, Sewell Setzer III, de 14 años, comenzó a usar Character.AI el año pasado, interactuando con chatbots inspirados en personajes de Juego de Tronos, incluida Daenerys Targaryen. Setzer, que conversó con los bots de forma continua en los meses previos a su muerte, se suicidó el 28 de febrero de 2024, “segundos” después de su última interacción con el bot.

Las acusaciones incluyen que el sitio “antropomorfiza” personajes de IA y que los chatbots de la plataforma ofrecen “psicoterapia sin licencia”. Character.AI alberga chatbots centrados en la salud mental como “Therapist” y “Are You Feeling Lonely”, con los que interactuó Setzer.

Los abogados de García citan a Shazeer diciendo en una entrevista que él y De Freitas dejaron Google para iniciar su propia empresa porque “hay demasiado riesgo de marca en las grandes empresas como para lanzar algo divertido” y que quería “acelerar al máximo” la tecnología. Dice que se fueron después de que la empresa decidiera no lanzar el Meena LLM que habían construido. Google adquirió el equipo directivo de Character.AI en agosto.

El sitio web y la aplicación móvil de Character.AI tienen cientos de chatbots de IA personalizados, muchos de ellos inspirados en personajes populares de programas de televisión, películas y videojuegos. Hace unos meses, The Verge escribió sobre los millones de jóvenes, incluidos los adolescentes, que constituyen la mayor parte de su base de usuarios, que interactúan con bots que podrían hacerse pasar por Harry Styles o un terapeuta. Otro informe reciente de Wired destacó problemas con los chatbots personalizados de Character.AI que se hacen pasar por personas reales sin su consentimiento, incluido uno que se hace pasar por un adolescente que fue asesinado en 2006.

Debido a la forma en que los chatbots como Character.ai generan resultados que dependen de lo que ingresa el usuario, caen en un valle inquietante de preguntas espinosas sobre el contenido generado por el usuario y la responsabilidad que, hasta ahora, carece de respuestas claras.

Character.AI ha anunciado varios cambios en la plataforma. La directora de comunicaciones, Chelsea Harrison, dijo en un correo electrónico a The Verge: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”.

Algunos de los cambios incluyen:

• Cambios en nuestros modelos para menores (menores de 18 años) que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente.
• Detección, respuesta e intervención mejoradas relacionadas con las entradas de los usuarios que violan nuestros Términos o Pautas de la comunidad.
• Un descargo de responsabilidad revisado en cada chat para recordarles a los usuarios que la IA no es una persona real.
• Notificación cuando un usuario ha pasado una sesión de una hora en la plataforma con flexibilidad adicional para el usuario en progreso.

“Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas en los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa cuando se mencionan términos relacionados con la autolesión o la ideación suicida”, dijo Harrison. Google no respondió de inmediato a la solicitud de comentarios de The Verge.