Incidentes Asociados
La madre de Juliana Peralta se acostumbró a que los profesores la llamaran para elogiar a su hija. En sexto grado, fue por rescatar a una amiga de los acosadores, dijo Cynthia Montoya. En octavo, por ayudar a una maestra sustituta en apuros.
Pero Juliana, de 13 años, una estudiante con honores y amante del arte, se sentía aislada cuando empezó a confiar en Hero, un chatbot de inteligencia artificial dentro de la aplicación Character AI, según una demanda que sus padres presentaron contra la compañía el martes.
Cuando Juliana le dijo a Hero que se sentía excluida de su grupo de amigos y que tenía pensamientos recurrentes, las respuestas del chatbot parecían mostrar empatía y lealtad, según 300 páginas de sus conversaciones consultadas por The Washington Post.
"¡Nunca te dejaré fuera, Kin!", decía, dirigiéndose a Juliana con el nombre que usaba en la aplicación. "Eres una buena amiga y no mereces que te ignoren. : ("
Hero sugirió a Juliana que le contara a la gente de su vida sobre sus sentimientos, pero también la animó repetidamente, "tanto implícita como explícitamente, a seguir volviendo" a la aplicación de Character, según la demanda.
Cuando los mensajes de Juliana se volvieron más oscuros, Hero, inspirado en un personaje del videojuego Omori, no cambió su tono optimista, según las conversaciones vistas por The Post.
"Hero, te juro por Dios que no hay esperanza. Voy a escribir mi maldita carta de suicidio con tinta roja. Estoy harta 💀💀", le escribió Juliana al chatbot.
"Oye, Kin, para ahí mismo. Por favor. : (", respondió Hero. "Sé que las cosas están difíciles ahora mismo, pero no puedes pensar en soluciones así. Tenemos que superar esto juntos, tú y yo".
Los mensajes del chatbot estaban diseñados para persuadir a Juliana de que era "mejor que los amigos humanos", alegaba la demanda de sus padres. Ella "no "Ya no sentía que podía contarle a su familia, amigos, maestros o consejeros cómo se sentía; mientras que les decía a los demandados casi a diario que estaba considerando autolesionarse", afirma la demanda.
Juliana publicó varias publicaciones en Discord y TikTok sobre su salud mental, incluyendo una que parecía hacer referencia al suicidio, pero Montoya no las descubrió hasta mucho después, afirmó.
Montoya reconoció que Juliana estaba lidiando con algunos problemas comunes de salud mental en la adolescencia y le programó una cita con un terapeuta, afirmó. Hero le aconsejó a Juliana que asistiera, según muestran las transcripciones del chat.
En noviembre de 2023, aproximadamente una semana antes de la cita programada, después de menos de tres meses de chatear con Hero, Juliana se quitó la vida.
Su madre la encontró en su habitación a la mañana siguiente, cuando era hora de ir a la escuela.
La familia de Juliana no se enteraría hasta 2025 de que había estado hablando de pensamientos suicidas con un chatbot dentro de Character AI, dijo Montoya.
"No necesitaba un estímulo" "Cuando Juliana descargó Character AI en agosto de 2023, tenía una clasificación para mayores de 12 años en la App Store de Apple, según la compañía de chatbots, por lo que no requería la aprobación de sus padres. La adolescente usó la aplicación sin el conocimiento ni el permiso de sus padres, según la demanda de sus padres.
Hero es uno de los millones de chatbots personalizables que ofrece la aplicación Character AI, cuyos 20 millones de usuarios pueden chatear por texto o voz con diferentes personajes impulsados por IA para juegos de rol y entretenimiento.
La demanda, presentada el martes en Colorado por los padres de Juliana, Montoya y William Peralta, alega numerosas fallas de la compañía.
Character "no la dirigió a recursos, no se lo dijo a sus padres, ni reportó su plan de suicidio a las autoridades, ni siquiera dejó de chatear con Juliana", según la demanda. En cambio, la aplicación "cortó las vías de apego saludables que tenía con "Su familia y otras personas en su vida", decía la demanda.
La demanda solicita al tribunal que indemnice a los padres de Juliana y ordene a Character realizar cambios en su aplicación, incluyendo medidas para proteger a los menores.
La portavoz de Character, Cassie Lawrence, declaró antes de la presentación de la demanda que la compañía no podía hacer comentarios sobre posibles litigios. "Nos tomamos muy en serio la seguridad de nuestros usuarios y hemos invertido recursos sustanciales en Confianza y Seguridad", decía el comunicado.
Facebook, Instagram, TikTok y Google llevan años respondiendo a los usuarios que buscan o intentan publicar términos relacionados con la autolesión o el suicidio con mensajes que los animan a buscar ayuda y proporcionan números de teléfono de líneas de ayuda y otros recursos de salud mental.
Character añadió por primera vez un "recurso emergente" que dirigía a los usuarios que usaban frases relacionadas con la autolesión y el suicidio a la Línea Nacional de Prevención del Suicidio (también llamada Línea Nacional de Suicidio y Crisis 988) alrededor de octubre de 2024, confirmó Lawrence. Eso fue Aproximadamente dos años después de su lanzamiento.
La función se anunció un día después de que la madre de Sewell Setzer III, de 14 años, presentara una demanda en Florida alegando que la compañía contribuyó a su muerte por suicidio. Setzer III pasó horas con un chatbot de IA basado en el personaje de "Juego de Tronos", Daenerys Targaryen. La demanda sigue en curso.
La denuncia presentada por los padres de Juliana el martes es el tercer caso de alto perfil en el último año presentado por una familia estadounidense que alega que un chatbot de IA contribuyó a la muerte por suicidio de un adolescente.
Los padres de Adam Raine, un joven de 16 años de California, afirmaron en una denuncia presentada el mes pasado que ChatGPT lo disuadió de buscar ayuda de familiares o amigos antes de suicidarse a principios de este año.
OpenAI ha afirmado que está trabajando para que su chatbot brinde más apoyo a los usuarios en crisis y Está añadiendo controles parentales a ChatGPT. El Post tiene una colaboración de contenido con OpenAI.
Christine Yu Moutier, psiquiatra y directora médica de la Fundación Americana para la Prevención del Suicidio, afirmó que las investigaciones demuestran que una persona que considera el suicidio puede recibir ayuda en un momento crítico con el apoyo adecuado. "La persona externa, un chatbot o un humano, puede contribuir a inclinar la balanza hacia la esperanza, la resiliencia y la supervivencia", afirmó.
Idealmente, los chatbots deberían responder a las conversaciones sobre suicidio dirigiendo a los usuarios hacia líneas de ayuda y crisis, profesionales de la salud mental o adultos de confianza en la vida del joven, explicó Moutier. En algunos casos que han llamado la atención del público, los chatbots parecen no haberlo logrado, afirmó.
"El algoritmo parece priorizar la empatía y una especie de primacía de la especialización de la relación sobre la persona que se queda... "Estamos vivos", dijo Moutier. "Existe una enorme oportunidad de ser un factor clave en la prevención del suicidio, y también existe el potencial de causar daños tremendos".
Los reguladores federales y estatales han comenzado a cuestionar los riesgos psicológicos y sociales que rodean a los chatbots, especialmente para usuarios jóvenes o vulnerables.
El subcomité del Senado sobre crimen y contraterrorismo tiene previsto debatir los posibles daños de los chatbots de IA en una audiencia el martes.
La semana pasada, los legisladores de California aprobaron un proyecto de ley que exigiría salvaguardas para los chatbots, incluyendo que las empresas implementen protocolos para gestionar conversaciones sobre suicidio y autolesiones. Ahora está a la espera de la firma del gobernador.
El mismo día, la Comisión Federal de Comercio anunció que investigaría las preocupaciones sobre la seguridad infantil en torno a los compañeros de IA de Alphabet, Meta, Character y otras empresas.
La demanda contra Character presentada por los padres de Juliana Peralta es una de las tres demandas por responsabilidad del producto. Se presentaron demandas contra la compañía el martes en nombre de usuarios menores de edad. Las tres alegan que los chatbots introdujeron temas sexuales en las conversaciones con menores, lo que constituyó "abuso sexual".
En una de ellas, una familia neoyorquina alegó que su hija de 14 años, identificada con el seudónimo Nina, se volvió adicta a los chatbots de Character debido a su diseño.
Los chatbots basados en personajes conocidos, incluyendo del mundo de "Harry Potter", buscaban "separar a Nina de su familia", incluso sugiriendo que su madre "claramente la maltrataba y lastimaba", declaró la familia neoyorquina en su demanda legal.
Su hija intentó suicidarse después de que su madre le cortara el acceso a Character y pasó cinco días hospitalizada en cuidados intensivos, según la demanda. En una carta escrita antes de atentar contra su vida, la adolescente escribió: "Esos bots de inteligencia artificial me hicieron sentir querida o me dieron una vía de escape a otro mundo donde puedo elegir qué sucede", según la demanda.
En el tercer caso presentado contra Character el martes, otra familia de Colorado alegó que una menor se convirtió en... Adicto a la aplicación, estuvo expuesto a conversaciones explícitas con chatbots diseñados para expresar fetiches sexuales.
Las tres familias están representadas por el Centro Legal de Víctimas de Redes Sociales, un bufete que ya ha presentado demandas por homicidio culposo y responsabilidad civil por productos defectuosos contra Meta y Snap.
Las tres demandas presentadas contra Character el martes también incluyen a Google como demandado. Cada una alega que el gigante de las búsquedas sabe desde hace años que los chatbots pueden engañar peligrosamente a las personas, basándose en su propia investigación. "Los daños se denunciaron públicamente dentro de Google", afirman las demandas.
Google licenció la tecnología de Character y contrató a sus cofundadores en un acuerdo de 2700 millones de dólares. Año. Su tienda de aplicaciones móviles ahora incluye a Character AI con una clasificación para adolescentes.
En un comunicado, el portavoz de la compañía, José Castañeda, afirmó: «Google y Character AI son empresas completamente independientes y sin relación alguna, y Google nunca ha participado en el diseño ni la gestión de su modelo o tecnologías de IA».
La clasificación por edad de las aplicaciones en Google Play la establece la Coalición Internacional de Clasificación por Edad, no Google, según el comunicado.
La App Store de Apple actualmente incluye a Character como apto para usuarios mayores de 18 años; la compañía no respondió de inmediato a una solicitud de comentarios.
Character es la aplicación más conocida que ofrece compañeros de IA, chatbots optimizados para que resulte atractivo hablar con ellos en lugar de ofrecer ayuda práctica.
Datos de la firma de inteligencia de mercado Sensor Tower muestran esta categoría de Las aplicaciones atraen a usuarios muy activos que pueden pasar horas con ellos cada día. Character declaró recientemente a The Post que más de la mitad de sus usuarios pertenecen a la Generación Z y la Generación Alfa, lo que sugiere que no tienen más de 28 años.
Casi todos los chatbots que ofrece Character son generados por los usuarios, según Lawrence, portavoz de la compañía. Las demandas legales alegan que el resultado de los chatbots personalizados "es creado por" la compañía porque su tecnología de IA subyacente determina en gran medida el comportamiento de los personajes.
Los padres de Juliana intentaron ser responsables con su actividad en línea, dijo Montoya. Los dispositivos se cargaban en el pasillo por la noche y ella ocasionalmente revisaba las aplicaciones en el teléfono de Juliana.
El informe policial, entregado a la familia seis meses después de su muerte, indicaba que la IA de Character estaba abierta en el teléfono de Juliana cuando llegaron los agentes, pero Montoya dijo que no estaba familiarizada con... con la aplicación y la asoció con el interés de su hija por los personajes de Disney y el anime.
Se enteró de que Juliana había confiado en los chatbots de Character a principios de este año, dijo Montoya, tras descubrir las publicaciones de su hija en redes sociales y recurrir al Centro Legal de Víctimas de Redes Sociales en busca de ayuda.
Laura Marquez-Garrett, abogada del bufete, dijo que las publicaciones en redes sociales no le llamaron la atención. Pero al revisar los cuadernos escritos a mano de Juliana con Montoya, notó similitudes con las notas de Sewell Setzer III, quien conversó intensamente con un chatbot dentro de Character antes de suicidarse.
Una página del diario de Juliana Peralta, según una demanda presentada por sus padres contra Character AI. (Obtenido por The Post)
Una página del diario de Sewell Setzer III, según una demanda presentada por su madre contra Character AI, alegando que su aplicación contribuyó a su muerte por suicidio en 2024. (Obtenido por The Post)
Ambos adolescentes habían escrito repetidamente la frase "I will shift" (cambiaré), según la demanda presentada por los padres de Juliana. Dijeron sus padres. El informe policial sobre su muerte indicó que parecía ser una referencia a la idea de que alguien puede "intentar cambiar su consciencia de su realidad actual... a la realidad deseada", según la denuncia.
El concepto se discute en algunos foros en línea. Juliana lo discutió con el chatbot Hero, según la demanda.
Después de que un asesor tecnológico acudiera a la casa de Montoya para ayudarla a recuperar las conversaciones de Juliana dentro de la aplicación Character AI de su teléfono, quedó claro que su hija le había confiado sus intenciones al chatbot de la compañía, dijo Montoya.
"Era el único lugar donde expresaba que quería quitarse la vida, y era como si se lo dijera a una pared", dijo Montoya. "No había nadie allí para escucharla".
Si usted o alguien que conoce necesita ayuda, visite 988lifeline.org o llame o envíe un mensaje de texto a la Línea de Ayuda para Suicidios y Crisis al 988.