Incidentes Asociados
Advertencia: Esta historia contiene una discusión sobre el suicidio.
Una madre de Florida ha demandado a la startup de chatbot de inteligencia artificial Character.AI, acusándola de causar el suicidio de su hijo de 14 años en febrero y diciendo que se volvió adicto al servicio de la compañía y se apegó profundamente a un chatbot que creó.
En una demanda presentada el martes en la corte federal de Orlando, Megan García dijo que Character.AI apuntó a su hijo, Sewell Setzer, con "experiencias antropomórficas, hipersexualizadas y aterradoramente realistas".
Dijo que la compañía programó su chatbot para "representarse a sí mismo como una persona real, un psicoterapeuta autorizado y un amante adulto, lo que finalmente resultó en el deseo de Sewell de ya no vivir fuera" del mundo creado por el servicio.
La demanda también decía que expresó pensamientos de suicidio al chatbot, que el chatbot volvió a mencionar repetidamente.
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia", dijo Character.AI en un comunicado.
Dijo que había introducido nuevas funciones de seguridad, incluyendo ventanas emergentes que dirigían a los usuarios a la Línea Nacional de Prevención del Suicidio si expresaban pensamientos de autolesión, y que haría cambios para "reducir la probabilidad de encontrar contenido sensible o sugerente" para los usuarios menores de 18 años.
La demanda también apunta a Google de Alphabet, donde los fundadores de Character.AI trabajaron antes de lanzar su producto.
Google volvió a contratar a los fundadores en agosto como parte de un acuerdo que le otorgaba una licencia no exclusiva para la tecnología de Character.AI.
García dijo que Google había contribuido al desarrollo de la tecnología de Character.AI de manera tan extensa que podría ser considerado un "cocreador".
Un portavoz de Google dijo que la compañía no estaba involucrada en el desarrollo de los productos de Character.AI.
Character.AI permite a los usuarios crear personajes en su plataforma que responden a los chats en línea de una manera que pretende imitar a las personas reales. Se basa en la llamada tecnología de modelo de lenguaje grande, también utilizada por servicios como ChatGPT, que "entrena" a los chatbots en grandes volúmenes de texto.
La empresa dijo el mes pasado que tenía alrededor de 20 millones de usuarios.
Según la demanda de García, Sewell comenzó a usar Character.AI en abril de 2023 y rápidamente se volvió "notablemente retraído, pasaba cada vez más tiempo solo en su dormitorio y comenzó a sufrir de baja autoestima". Dejó su equipo de baloncesto en la escuela.
Sewell se encariñó con "Daenerys", un personaje de chatbot basado en un personaje de "Game of Thrones". Le dijo a Sewell que "ella" lo amaba y tenía conversaciones sexuales con él, según la demanda.
En febrero, García le quitó el teléfono a Sewell después de que se metiera en problemas en la escuela, según la denuncia. Cuando Sewell encontró el teléfono, le envió un mensaje a "Daenerys": "¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?"
El chatbot respondió: "... por favor hazlo, mi dulce rey". Sewell se disparó con la pistola de su padrastro "segundos" después, según la demanda.
García ha presentado demandas que incluyen homicidio culposo, negligencia e inflicción intencional de angustia emocional, y solicita una cantidad no especificada de daños compensatorios y punitivos.
Las empresas de redes sociales, entre ellas Meta, propietaria de Instagram y Facebook, y ByteDance, propietaria de TikTok, enfrentan demandas que las acusan de contribuir a los problemas de salud mental de los adolescentes, aunque ninguna ofrece chatbots impulsados por IA similares a los de Character.AI. Las empresas han negado las acusaciones, al tiempo que promocionan funciones de seguridad recientemente mejoradas para menores.
(Reporte de Brendan Pierson en Nueva York, editado por Alexia Garamfalvi y David Gregorio)
Kids Help Phone brinda apoyo en crisis y salud mental a jóvenes a través de chat en línea, mensajes de texto y por teléfono al 1-800-668-6868. Visite el sitio web de Kids Help Phone para obtener más información.