Incidentes Asociados
Character AI, una startup con sede en Menlo Park, California, se describe a sí misma como una empresa con la misión de "empoderar a todos a nivel mundial con IA personalizada". Su sistema ofrece a los usuarios la oportunidad de chatear con personajes de IA basados en personajes de géneros que incluyen anime, "asistentes digitales" tradicionales o incluso detectives privados de la vieja escuela. Y si no te gusta lo que se ofrece, puedes crear tu propio [chatbot] personalizado (https://www.inc.com/sam-blum/the-real-reasons-why-ai-chatbots-have-proliferated-in-place-of-true-innovation.html) y elegir su "voz, inicio de conversación, tono" y más. La empresa ahora está en el centro de atención por uno de estos personajes generados por el usuario, que lleva el nombre del personaje de Game of Thrones Daenerys Targaryen, que está vinculado a una joven de 14 años de Florida que se suicidó después de hablar con el personaje artificial durante varios meses.
ABC7News informa que el niño, Sewell Setzer III, había estado hablando con el chatbot durante algún tiempo, y su madre afirmó que, aunque sabía que no era una persona real, "se encariñó emocionalmente" con la personalidad digital y luego "se hundió en el aislamiento y la depresión antes de quitarse la vida". El New York Times dice que Setzer había estado chateando con el bot docenas de veces al día, y sus interacciones se habían intensificado hasta el punto de intercambiar contenido romántico y sexual. Estaba hablando con el bot momentos antes de su muerte, y previamente había indicado que había tenido pensamientos suicidas, dice el Times.
La madre del niño, Megan L. García, ahora está demandando a Character AI. Según se informa, García está tratando de responsabilizar al creador del chatbot y a sus fundadores, Noam Shazeer y Daniel De Freitas, por el suicidio de su hijo y está pidiendo daños no especificados. El sitio de noticias Decrypt.co explica que la demanda alega que Character AI "eligió apoyar, crear, lanzar y apuntar a menores de edad una tecnología que sabían que era peligrosa e insegura". La demanda también apunta a Google y Alphabet. En agosto, Google volvió a contratar a los dos fundadores de Character (que habían dejado previamente el gigante tecnológico en 2021 para fundar Character) como parte de un acuerdo que vio a Google licenciar la tecnología de chatbot de la startup. El acuerdo valía 2.700 millones de dólares.
Lo que complica el caso legal sobre la tecnología de Character AI es que no hay otros usuarios humanos involucrados y es posible que el sistema de Character no dependa de los mismos trucos algorítmicos supuestamente adictivos que otras plataformas sociales usan para mantener a los usuarios interesados.
Character hizo una declaración sobre el asunto en una publicación X [(https://x.com/character_ai/status/1849055407492497564?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1849055407492497564%7Ctwgr%5E9264d128e442d7aa4482833fdf77ef67da770433%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fdecrypt.co%2F287925%2Fcharacter-ai-safety-rules-teen-user-commits-suicidecide), señalando "Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más profundo pesar". Condolencias a la familia". Como empresa, dice que se toma "muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad", continúa la publicación, enlazando a un blog que dice "nuestras políticas no permiten contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, o promoción o representación de autolesiones o suicidio". Explica que también está "entrenando continuamente el gran modelo de lenguaje (LLM) que impulsa a los personajes de la plataforma para que se adhieran a estas políticas".
La muerte de Setzer es una tragedia, pero todas las cuestiones de responsabilidad legal tendrán que esperar hasta que se resuelvan en los tribunales; después de todo, la tecnología en cuestión aquí es muy nueva.
Vale la pena recordar que las plataformas de chat y de intercambio, principalmente en forma de sistemas de redes sociales tradicionales como el servicio Instagram de Meta, han estado en los titulares durante años debido a las acusaciones de vínculos con la actual crisis de salud mental adolescente. A mediados de octubre, por ejemplo, se supo que Meta iba a enfrentar dos demandas por su supuesto impacto en el bienestar mental de los usuarios jóvenes.
La historia no es una advertencia para todas las empresas de IA, ni para terceros que usan o licencian tecnología de IA. Pero es un recordatorio de que la tecnología de chatbots, y otras tecnologías de IA similares, están en sus inicios y es inevitable que haya complicaciones y errores. También es un recordatorio de que si los servicios de su empresa son accesibles para personas más jóvenes, es posible que sus sistemas para proteger a estos usuarios vulnerables sean objeto de un intenso escrutinio.
Si usted o alguien que conoce tiene pensamientos suicidas o está en crisis, sepa que puede buscar ayuda en la línea directa de crisis y suicidio 988 marcando 988. Está abierta las 24 horas del día y es gratuita y confidencial.