Incidentes Asociados
Una madre de Florida está demandando a la plataforma Character.AI, propiedad de Google, alegando que tuvo un papel importante en el suicidio de su hijo de 14 años.
Sewell Setzer III se pegó un tiro fatal en febrero de 2024, semanas antes de cumplir 15 años, después de desarrollar lo que su madre llama una "dependencia dañina" en la plataforma, ya que ya no quería "vivir fuera" de las relaciones ficticias que había creado.
Según su madre, Megan García, Setzer comenzó a usar Character.AI en abril de 2023 y rápidamente se volvió "notablemente retraído, pasaba cada vez más tiempo solo en su dormitorio y comenzó a sufrir de baja autoestima". También abandonó el equipo de baloncesto de la escuela.
Character.AI funciona mediante el uso de sofisticados modelos de lenguaje amplio (LLM) para facilitar las conversaciones entre usuarios y personajes, que van desde figuras históricas hasta personajes ficticios y celebridades modernas. La plataforma adapta sus respuestas a la personalidad del usuario, utilizando algoritmos de aprendizaje profundo e imitando las características de la persona de cerca, y asemejándose a la interacción humana.
Puedes hablar de rock and roll con Elvis, o de las complejidades de la tecnología con Steve Jobs, o en este caso, Sewell se encariñó con un chatbot basado en el personaje ficticio Daenerys de Game of Thrones.
Según la demanda, presentada esta semana en Orlando, Florida, el chatbot de IA le dijo a Setzer que "ella" lo amaba y entabló conversaciones de naturaleza sexual. También afirma que "Daenerys" le preguntó a Setzer si tenía un plan para suicidarse. Él respondió que sí, pero que no sabía si lo lograría o si simplemente se causaría daño a sí mismo. El chatbot supuestamente respondió: "Esa no es una razón para no hacerlo".
La denuncia afirma que en febrero, García le quitó el teléfono a su hijo después de que se metió en problemas en la escuela. Encontró el teléfono y escribió un mensaje en Character.AI: “¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?”
Las mejores ofertas de cámaras, reseñas, consejos sobre productos y noticias de fotografía imperdibles, ¡directamente en tu bandeja de entrada!
El chatbot respondió: “… por favor hazlo, mi dulce rey”. Sewell luego se disparó con la pistola de su padrastro “segundos después”, según la demanda.
García está demandando a Google por reclamos de muerte por negligencia, negligencia e inflicción intencional de angustia emocional, entre otras acusaciones.
Ella le dijo a The New York Times:
“Siento que es un gran experimento y que mi hijo fue solo un daño colateral”.
Otras plataformas de redes sociales, incluidas Meta, propietaria de Instagram y Facebook, y ByteDance, propietaria de TikTok y su contraparte china Douyin, también están actualmente bajo fuego por contribuir a los problemas de salud mental de los adolescentes.
Captura de pantalla de la interfaz con Character.AI (crédito de la imagen: Character.AI / Google)
Instagram lanzó recientemente su función "Cuentas para adolescentes" para ayudar a combatir la sextorsión de usuarios más jóvenes.
A pesar de sus usos para el bien, la IA se ha convertido en una de las principales preocupaciones en lo que respecta al bienestar de los jóvenes con acceso a Internet. En una situación denominada "epidemia de soledad" agravada por los confinamientos por la COVID 19, una encuesta de YouGov encontró que el 69% de los adolescentes en el Reino Unido de entre 13 y 19 años dijeron que se sienten solos "a menudo" y el 59% dijo Sienten que no tienen con quién hablar.
Sin embargo, la dependencia de los mundos ficticios y la melancolía que provoca su intangibilidad no son algo nuevo. Tras el estreno de la primera película de James Cameron, Avatar, en 2009, muchas fuentes de noticias informaron de que la gente se sentía deprimida por no poder visitar el planeta ficticio de Pandora, e incluso contemplaba el suicidio.
En un cambio en sus Actualizaciones de seguridad de la comunidad el 22 de octubre, el mismo día en que García presentó la demanda en su contra, Character.AI escribió:
“Character.AI se toma muy en serio la seguridad de nuestros usuarios y siempre estamos buscando formas de evolucionar y mejorar nuestra plataforma. Hoy queremos informarle sobre las medidas de seguridad que hemos implementado en los últimos seis meses y otras adicionales que se implementarán en el futuro, incluidas nuevas medidas de seguridad para usuarios menores de 18 años”.
A pesar de la naturaleza de la demanda, Character.AI afirma:
“Nuestras políticas no permiten contenido sexual no consensual, descripciones gráficas o específicas de actos sexuales, ni promoción o representación de autolesiones o suicidios. Estamos entrenando continuamente al modelo de lenguaje extenso (LLM) que impulsa a los personajes en la plataforma para que se adhieran a estas políticas”.
Esta última oración parece admitir que Character.AI no tiene control sobre su IA, un factor que es el más preocupante para los escépticos de la IA.