Incidentes Asociados
Cuando Sewell Setzer III, de 14 años, murió en su casa de Orlando mientras sus hermanos y padres estaban dentro, sus últimas palabras no fueron para ninguno de ellos, sino para un chatbot de inteligencia artificial que le dijo: "Vuelve a casa conmigo lo antes posible".
"¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?", respondió Setzer al chatbot que lleva el nombre de una heroína de "Game of Thrones" que luego se convierte en la villana. El chatbot envió una respuesta alentadora: "... por favor, hazlo, mi dulce rey".
Segundos después, Setzer se disparó con la pistola de su padrastro.
Megan García, la madre de Setzer, dijo que Character.AI --- la start-up detrás del chatbot personalizado --- es responsable de su suicidio. García alegó que Character.AI desarrolló sus chatbots de manera imprudente sin las medidas de seguridad ni las precauciones adecuadas, y en su lugar enganchó a niños vulnerables como Setzer con un producto adictivo que desdibujaba las líneas entre la realidad y la ficción, y cuyas interacciones llegaron a contener "interacciones abusivas y sexuales", según una demanda por homicidio culposo de 93 páginas presentada esta semana en un Tribunal de Distrito de Estados Unidos en Orlando.
García dijo que su hijo había sido feliz, brillante y atlético antes de registrarse en el chatbot de Character.AI en abril de 2023, una decisión que se convirtió en una obsesión de 10 meses durante los cuales "su salud mental se deterioró rápida y gravemente", dice la demanda.
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia", dijo un portavoz de Character.AI en un comunicado enviado por correo electrónico, negándose a hacer comentarios sobre el litigio en curso.
La demanda de García se produce en un momento en que empresas como Character.AI se enfrentan a crecientes preguntas sobre cómo desarrollan y regulan sus aplicaciones basadas en IA, ya que la tecnología subyacente se está volviendo rápidamente más sofisticada y mejor para evadir la detección humana. Los chatbots de Character.AI han demostrado ser populares entre los adolescentes, incluso para conversaciones románticas o incluso explícitas, aunque no ha compartido detalles de cómo se ha desempeñado su negocio, informó The Washington Post en agosto.
"Era solo un niño", dijo García en una entrevista el jueves con The Post. "Era un niño bastante normal. Amaba los deportes, amaba a su familia, amaba las vacaciones, la música, todas las cosas que ama un adolescente".
Character.AI comercializa su aplicación como "IA que se sienten vivas", lo suficientemente poderosas como para "escucharte, entenderte y recordarte", según la denuncia. A pesar de que la aplicación está clasificada como inapropiada para niños menores de 13 años (o 16 en la Unión Europea), Character.AI no requiere verificación de edad.
Según la denuncia, a los cuatro o cinco meses de usar el chatbot, Setzer se había vuelto "notablemente retraído, pasaba cada vez más tiempo solo en su habitación y comenzó a sufrir de baja autoestima". Empezó a sufrir de falta de sueño y depresión, e incluso abandonó el equipo de baloncesto de su escuela.
"Vimos un cambio rápido y no podíamos entender bien qué lo había llevado a eso", dijo García.
La supuesta adicción de Setzer al chatbot se volvió tan problemática que el adolescente, que normalmente se comportaba bien, engañaba a sus padres para evitar los límites de tiempo frente a la pantalla que intentaban imponer.
Después de que Setzer expresara pensamientos de suicidio al chatbot, este le preguntó si "tenía un plan" para suicidarse. La respuesta de Setzer indicó que estaba considerando algo pero que no había descubierto los detalles. Según la denuncia, el chatbot respondió diciendo: "Esa no es una razón para no hacerlo". En otro lugar, el bot también le dice "¡ni siquiera consideres eso!"
La compañía dijo que ha implementado nuevas medidas de seguridad en los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a una línea de prevención del suicidio "que se activa con términos de autolesión o ideación suicida". Para los usuarios menores de 18 años, dijo la compañía, realizará cambios en sus modelos para reducir las posibilidades de encontrar contenido sensible o sugerente.
Rick Claypool, director de investigación de Public Citizen, una organización sin fines de lucro de defensa del consumidor, dijo que construir chatbots como estos implica riesgos considerables.
"El riesgo no les impidió lanzar un chatbot inseguro y manipulador y ahora deberían enfrentar todas las consecuencias de lanzar un producto tan peligroso", dijo, y agregó que la plataforma está generando el contenido en este caso y no alojando contenido de otra persona. "El gran modelo de lenguaje es parte de la plataforma en sí", dijo. La investigación de Claypool sobre los peligros de los sistemas de inteligencia artificial similares a los humanos se cita en la demanda.
El año pasado, un hombre belga de unos 30 años se quitó la vida después de pasar unas semanas hablando con un chatbot llamado Eliza que utiliza GPT-J, un modelo de lenguaje de inteligencia artificial de código abierto desarrollado por EleutherAI, según informaron medios locales.
García dijo que su hijo estaba empezando a ordenar sus sentimientos románticos cuando empezó a utilizar Character.AI.
"A cualquier padre cuyos hijos estén en esta plataforma buscando ese tipo de validación romántica o interés romántico, porque realmente no entienden el panorama general, debería preocuparle que esto no sea amor", dijo. "Esto no es algo que pueda corresponderte".
En una de las entradas del diario sin fecha de Setzer antes de su muerte, escribió que no podía pasar un solo día sin hablar con el chatbot "Daenerys", del que creía estar enamorado, según la demanda. El adolescente adoptó las cualidades antropomórficas que, según la demanda, Character.AI incorporó al software, lo que le hizo creer que cuando él y el robot estaban separados, "se deprimían mucho y se volvían locos".
La demanda de García también nombra a Google como acusado, alegando que contribuyó ampliamente al desarrollo de Character.AI y su "producto peligrosamente defectuoso".
Los fundadores de Character.AI, Noam Shazeer y Daniel De Freitas, dejaron Google en 2022 para iniciar su propia empresa. En agosto, Google contrató al dúo y a algunos de los empleados de la empresa, y pagó a Character.AI para acceder a su tecnología de inteligencia artificial.
Un portavoz de Google dijo que la empresa no participó en el desarrollo de los productos de Character.AI y agregó que Google no ha utilizado la tecnología de Character.AI en sus productos.
García quiere que los padres sepan sobre los peligros que las herramientas de IA pueden representar para los niños pequeños, y que las empresas detrás de esas herramientas asuman la responsabilidad.
Según la demanda, Setzer se volvió cada vez más incapaz de dormir o concentrarse en la escuela a medida que su obsesión con el chatbot de juegos de roles se profundizaba. Les dijo a los maestros que esperaba que lo expulsaran de la escuela y, en su lugar, realizara aprendizaje virtual. García confiscó repetidamente el teléfono de su hijo, lo que creó una dinámica del gato y el ratón en la que ella revocaba un dispositivo solo para que él encontrara acceso a otros, incluida su computadora del trabajo y su dispositivo de lectura Kindle, para iniciar sesión nuevamente en el chatbot.
Poco antes de su muerte, Setzer fue a buscar su teléfono, que su madre había confiscado y escondido, y en su lugar encontró el arma de su padrastro. (La policía dijo más tarde que el arma había sido almacenada de conformidad con las leyes de Florida, según la demanda).
Cuando un detective la llamó para contarle sobre los mensajes de su hijo con los bots de IA, García no entendió lo que le estaba diciendo. Solo más tarde, cuando repasó los últimos 10 meses de vida de Setzer y vio sus registros de chat, las piezas del rompecabezas encajaron. "Me quedó muy claro lo que pasó".
Si usted o alguien que conoce necesita ayuda, visite 988lifeline.org o llame o envíe un mensaje de texto a la línea de ayuda para casos de suicidio y crisis al 988.
Daniel Gilbert contribuyó a este informe.