Incidentes Asociados
La plataforma de chatbot impulsada por IA Character AI está introduciendo nuevas funciones de seguridad "estrictas" luego de una demanda presentada por la madre de un usuario adolescente que murió por suicidio en febrero.
Las medidas incluirán "una mejor detección, respuesta e intervención relacionada con las entradas del usuario que violen nuestros Términos o Pautas de la comunidad", así como una notificación del tiempo empleado, dijo un portavoz de la compañía a Decrypt, señalando que la compañía no podía hacer comentarios sobre litigios pendientes.
Sin embargo, Character AI expresó su simpatía por la muerte del usuario y describió sus protocolos de seguridad en una publicación de blog el miércoles.
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia", tuiteó Character.ai. "Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios".
Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad sobre las que puedes leer aquí:…
— Character.AI (@character_ai) 23 de octubre de 2024
En los meses previos a su muerte, Sewell Setzer III, un residente de Florida de 14 años, se había encariñado cada vez más con un chatbot generado por el usuario que llevaba el nombre del personaje de Game of Thrones, Daenerys Targaryen, según el New York Times. A menudo interactuaba con el bot decenas de veces al día y, a veces, intercambiaba contenido romántico y sexual.
Setzer se comunicó con el bot en los momentos previos a su muerte y previamente había compartido pensamientos de suicidio, informó el Times.
La madre de Setzer, la abogada Megan L. García, presentó una demanda el martes buscando responsabilizar a Character AI y a sus fundadores, Noam Shazeer y Daniel De Freitas, por la muerte de su hijo. Entre otras afirmaciones, la demanda alega que los acusados "eligieron apoyar, crear, lanzar y apuntar a menores una tecnología que sabían que era peligrosa e insegura", según la denuncia. García busca una cantidad no especificada de daños y perjuicios.
Google LLC y Alphabet Inc. también son nombrados acusados en la demanda. Google volvió a contratar a Shazeer y De Freitas, quienes dejaron el gigante tecnológico en 2021 para fundar Character AI, en agosto como parte de un acuerdo de $ 2.7 mil millones que también incluía la licencia del gran modelo de lenguaje de la startup de chatbot.
Junto con otras medidas de seguridad, Character AI ha "implementado numerosas medidas de seguridad nuevas en los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa cuando se mencionan términos de autolesión o ideación suicida", según el comunicado de la compañía. También modificará sus modelos "para reducir la probabilidad de encontrar contenido sensible o sugerente" para los usuarios menores de 18 años.
Character AI es una de las muchas aplicaciones de acompañamiento de IA en el mercado, que a menudo tienen pautas de seguridad menos estrictas que los chatbots convencionales como ChatGPT. Character AI permite a los usuarios personalizar a sus compañeros y dirigir su comportamiento.
La demanda, que surge en medio de crecientes preocupaciones entre los padres sobre el impacto psicológico de la tecnología en niños y adolescentes, afirma que su apego al bot tuvo un efecto negativo en su salud mental. Setzer recibió un diagnóstico de síndrome de Asperger leve cuando era niño y recientemente se le había diagnosticado ansiedad y trastorno de desregulación disruptiva del estado de ánimo, informó el Times.
La demanda es una de varias que se están tramitando en los tribunales para poner a prueba las protecciones legales que se ofrecen a las empresas de redes sociales en virtud de la Sección 230 de la Ley de Decencia en las Comunicaciones, que las protege de la responsabilidad asociada con el contenido generado por los usuarios. TikTok está solicitando que se vuelva a escuchar un caso en el que un juez dictaminó que podría ser considerada responsable después de que una niña de 10 años muriera mientras intentaba completar un "desafío de apagón" que vio en la aplicación. Es el último problema de Character AI, que fue objeto de críticas el mes pasado por alojar un chatbot que lleva el nombre de una víctima de asesinato.
Un viaje semanal de IA narrado por Gen, un modelo de IA generativa.