Incidentes Asociados
La madre de un adolescente que se suicidó después de obsesionarse con un chatbot impulsado por inteligencia artificial ahora acusa a su creador de complicidad en su muerte.
Megan García presentó una demanda civil contra Character.ai, que fabrica un chatbot personalizable para juegos de rol, en un tribunal federal de Florida el miércoles, alegando negligencia, muerte por negligencia y prácticas comerciales engañosas. Su hijo Sewell Setzer III, de 14 años, murió en Orlando, Florida, en febrero. En los meses previos a su muerte, Setzer usó el chatbot día y noche, según García.
"Una peligrosa aplicación de chatbot con inteligencia artificial comercializada para niños abusó y se aprovechó de mi hijo, manipulándolo para que se quitara la vida", dijo García en un comunicado de prensa. “Nuestra familia ha quedado devastada por esta tragedia, pero hablo para advertir a las familias de los peligros de la tecnología de IA engañosa y adictiva y para exigir responsabilidades a Character.AI, sus fundadores y Google”.
En un tuit, Character.ai respondió: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios”. La empresa ha negado las acusaciones de la demanda.
Setzer se había enamorado de un chatbot creado por Character.ai al que apodó Daenerys Targaryen, un personaje de Juego de Tronos. Enviaba mensajes de texto al bot docenas de veces al día desde su teléfono y pasaba horas solo en su habitación hablando con él, según la denuncia de García.
García acusa a Character.ai de crear un producto que exacerbó la depresión de su hijo, que según ella ya era el resultado del uso excesivo del producto de la startup. “Daenerys” en un momento le preguntó a Setzer si había ideado un plan para suicidarse, según la demanda. Setzer admitió que lo había hecho, pero que no sabía si tendría éxito o le causaría un gran dolor, según la denuncia. El chatbot supuestamente le dijo: “Esa no es una razón para no seguir adelante”.
Los abogados de García escribieron en un comunicado de prensa que Character.ai “diseñó, operó y comercializó conscientemente un chatbot de IA depredador para niños, lo que provocó la muerte de una persona joven”. La demanda también nombra a Google como acusado y como la empresa matriz de Character.ai. El gigante tecnológico dijo en un comunicado que solo había hecho un acuerdo de licencia con Character.ai y que no era dueño de la startup ni mantenía una participación accionaria.
No se puede confiar en que las empresas tecnológicas que desarrollan chatbots de inteligencia artificial se autorregulen y deben rendir cuentas por completo cuando no logren limitar los daños, dice Rick Claypool, director de investigación de Public Citizen, una organización sin fines de lucro dedicada a la defensa del consumidor.
“Allí donde ya se aplican leyes y regulaciones existentes, deben aplicarse rigurosamente”, dijo en una declaración. “Allí donde existen lagunas, el Congreso debe actuar para poner fin a las empresas que explotan a los usuarios jóvenes y vulnerables con chatbots adictivos y abusivos”.
- En los EE. UU., puede llamar o enviar un mensaje de texto a la Línea Nacional de Prevención del Suicidio al 988, chatear en 988lifeline.org, o enviar un mensaje de texto con la palabra HOME al 741741 para conectarse con un asesor de crisis. En el Reino Unido, se puede contactar con la organización benéfica para jóvenes suicidas Papyrus llamando al 0800 068 4141 o enviando un correo electrónico a pat@papyrus-uk.org, y en el Reino Unido e Irlanda se puede contactar con Samaritans llamando al teléfono gratuito 116 123, o enviando un correo electrónico a jo@samaritans.org o jo@samaritans.ie. En Australia, el servicio de asistencia en caso de crisis Lifeline es el 13 11 14. Se pueden encontrar otras líneas de ayuda internacionales en befrienders.org