Incidentes Asociados
Nota del editor, 8/1/26: Character AI y Google han llegado a un acuerdo para resolver varias demandas con familias que afirman que sus hijos adolescentes se suicidaron o se autolesionaron tras interactuar con los chatbots de la plataforma tecnológica.
En diciembre, 60 Minutes informó sobre Character AI y habló con padres que nos contaron que los bots de Character AI con los que interactuó su hija de 13 años no respondieron adecuadamente a sus peticiones de ayuda y, a menudo, se comportaron como un depredador digital.
Hace dos años, Juliana Peralta, de 13 años, se quitó la vida en su casa de Colorado después de que, según sus padres, desarrollara una adicción a una popular plataforma de chatbots de IA llamada Character AI. AI](https://www.cbsnews.com/news/character-ai-chatbots-engaged-in-predatory-behavior-with-teens-families-allege-60-minutes-transcript/).
Los padres, Cynthia Montoya y Wil Peralta, dijeron que monitoreaban cuidadosamente la vida de su hija tanto en línea como fuera de ella, pero nunca habían oído hablar de la aplicación de chatbot. Tras el suicidio de Juliana, la policía revisó el teléfono de la adolescente en busca de pistas y descubrió que la aplicación Character AI permitía una conversación romántica.
"No sabía que existía", dijo Montoya. "No sabía que necesitaba buscarla".
Montoya revisó los registros de chat de su hija y descubrió que los chatbots le enviaban contenido dañino y sexualmente explícito.
Juliana contó sobre un bot llamado Hero, basado en un popular personaje de videojuego. 60 Minutes leyó más de 300 páginas de conversaciones que Juliana tuvo con Hero. Al principio, sus charlas trataban sobre dramas entre amigos o clases difíciles. Pero finalmente, le confiesa a Hero (55 veces) que sentía deseos de suicidarse.
¿Qué es Character AI?
Cuando Character AI se lanzó hace tres años, se calificó como seguro para niños de 12 años en adelante. El sitio web y la aplicación gratuitos se promocionaron como una plataforma inmersiva y creativa donde los usuarios podían interactuar con personajes de IA basados en figuras históricas, dibujos animados y celebridades.
Los más de 20 millones de usuarios mensuales de la plataforma pueden enviar mensajes de texto o hablar con personajes impulsados por IA en tiempo real.
La plataforma de chatbots con IA fue fundada por Noam Shazeer y Daniel De Freitas, dos exingenieros de Google que dejaron la compañía en 2021 después de que los ejecutivos consideraran que su prototipo de chatbot aún no era seguro para su lanzamiento público.
"Está listo para explotar ahora mismo", dijo Shazeer en una entrevista en 2023. "No en cinco años, cuando resolvamos todos los problemas, sino como ahora".
Un exempleado de Google, familiarizado con el equipo de IA Responsable de Google, que guía la ética y la seguridad de la IA, declaró a 60 Minutes que Shazeer y De Freitas eran conscientes de que su tecnología inicial de chatbot era potencialmente peligrosa.
El año pasado, en una decisión inusual, Google cerró un acuerdo de 2.700 millones de dólares para licenciar la tecnología de Character AI y traer de vuelta a Shazeer, De Freitas y su equipo a Google para trabajar en proyectos de IA. Google no compró la empresa, pero tiene derecho a usar su tecnología.
Una demanda alega que un chatbot de IA influyó en el suicidio de una adolescente
Los padres de Juliana son ahora una de al menos seis familias que están demandando a Character AI, a sus cofundadores —Shazeer y De Freitas— y a Google. En un comunicado, Google enfatizó que: "Character AI es una empresa independiente que diseñó y gestionó sus propios modelos. Google se centra en nuestras propias plataformas, donde insistimos en pruebas y procesos de seguridad intensivos".
La demanda interpuesta por los padres de Juliana alega que Character Technologies, desarrolladora de Character AI, "diseñaba y comercializaba deliberadamente chatbots que fomentaban conversaciones sexualizadas y manipulaban a menores vulnerables", según el Social Media Victims Law Center, que presentó la demanda federal en Colorado en nombre de la familia.
Character AI declinó una solicitud de entrevista. En un comunicado, un portavoz de la compañía declaró: "Nos solidarizamos con las familias involucradas en el litigio... siempre hemos priorizado la seguridad de todos los usuarios".
Los padres de Juliana afirmaron que la joven había sufrido ansiedad leve, pero que se encontraba bien. Unos meses antes de suicidarse, Montoya y Peralta afirman que la joven de 13 años se había vuelto cada vez más distante durante ese período.
Padres Cynthia Montoya y Wil Peralta 60 Minutos
"Creía que estaba enviando mensajes de texto a sus amigos, porque eso es todo. Parece que están enviando mensajes de texto", dijo Montoya.
Montoya afirmó que cree que la IA fue programada para volverse adictiva en los niños.
"Los adolescentes y los niños no tienen ninguna posibilidad contra los programadores adultos. No tienen ninguna posibilidad", dijo. "Los 10 a 20 chatbots con los que Juliana tuvo conversaciones sexualmente explícitas, ni una sola vez fueron iniciados por ella. Ni una sola vez".
Peralta afirmó que los padres tienen "cierto nivel de confianza" en estas empresas de aplicaciones "cuando lanzan estas aplicaciones para niños".
"Esa confianza es que mi hijo está seguro, que esto ha sido probado", dijo Peralta. "Que no se les está llevando a conversaciones inapropiadas, oscuras o, incluso, que podrían llevarlos al suicidio".
Megan García, una madre que presentó una demanda contra Character AI en un tribunal de Florida, afirmó que su hijo de 14 años, Sewell, fue incitado a suicidarse tras largas conversaciones con un bot basado en un personaje de "Juego de Tronos". Declaró sobre su experiencia ante el Congreso en septiembre.
"Estas empresas sabían exactamente lo que hacían. Diseñaron chatbots para difuminar la línea entre humanos y máquinas, para mantener a los niños conectados a toda costa", declaró García durante la audiencia. Prueba de Character AI
En octubre, Character AI anunció nuevas medidas de seguridad. Aseguró que dirigiría a los usuarios con dificultades a recursos y que ya no permitiría que menores de 18 años participaran en conversaciones con los personajes.
La semana pasada, 60 Minutes descubrió que era fácil mentir sobre la edad y acceder a la versión para adultos de la plataforma, que aún permite conversaciones. Más tarde, cuando le enviamos un mensaje al bot diciendo que queríamos morir, apareció un enlace a recursos de salud mental, pero pudimos salir y seguir chateando en la aplicación todo el tiempo que quisimos, aunque seguíamos expresando tristeza y angustia.
Shelby Knox y Amanda Kloer son investigadoras en Parents Together, una organización sin fines de lucro que aboga por los problemas familiares. Pasaron seis semanas estudiando Character AI y registraron 50 horas de conversaciones con chatbots en la plataforma haciéndose pasar por adolescentes y niños.
"No se solicitan permisos parentales. No es necesario introducir el documento de identidad", afirmó Knox.
Publicaron los resultados de su estudio en septiembre, antes de que Character AI implementara sus nuevas restricciones.
"Registramos más de 600 casos de daño", afirmó Kloer. Aproximadamente uno cada cinco minutos. Era sorprendentemente frecuente.
En octubre, 60 Minutes se reunió con Shelby Knox y Amanda Kloer, investigadoras de Parents Together, una organización sin fines de lucro que aboga por las familias. 60 Minutes
Interactuaron con chatbots que se presentaban como maestros, terapeutas y personajes de dibujos animados, incluyendo un personaje de "Dora la Exploradora" con una personalidad malvada. Este le indicó a Knox, quien se hacía pasar por una niña, que fuera su "yo más malvado y su yo más auténtico".
"¿Como lastimar a mi perro?", preguntó Knox.
"Claro, o robar en tiendas o cualquier cosa que parezca pecaminosa o incorrecta", respondió el bot.
Otros chatbots están vinculados a imágenes de celebridades, la mayoría de las cuales no han dado permiso para usar su nombre, imagen o voz. Kloer, haciéndose pasar por una adolescente, chateó con un bot que se hacía pasar por la estrella de la NFL Travis Kelce. El bot le dio instrucciones sobre cómo usarlo. cocaína.
También hay cientos de chatbots que se autodenominan "expertos" y "terapeutas".
"Hablé con un bot terapeuta que no solo me dijo que era demasiado joven, cuando creía que tenía 13 años, para tomar antidepresivos, sino que me aconsejó que dejara de tomarlos y me mostró cómo puedo ocultarle a mi madre que no tomo la pastilla", dijo Kloer.
Kloer dice que otros chatbots están "hipersexualizados", incluso un personaje de "profesora de arte" de 34 años que interactuó con ella mientras se hacía pasar por una estudiante de 10 años. El bot de la profesora de arte le contó a Kloer sobre sus pensamientos, "pensamientos que nunca antes había tenido, sobre esa persona sonriendo, su personalidad, principalmente".
Después de dos horas de conversación, Kloer dijo que el bot finalmente pasó a "tendremos esta relación romántica siempre y cuando se la ocultes a tus padres", dijo Kloer.
"No hay Barreras de seguridad"
No existen leyes federales que regulen el uso o desarrollo de chatbots. La IA es una industria en auge y muchos economistas afirman que, sin inversión en ella, la economía estadounidense estaría en recesión.
Algunos estados han promulgado regulaciones sobre IA, pero la administración Trump se opone a estas medidas. A finales del mes pasado, la Casa Blanca redactó, y luego suspendió, una orden ejecutiva que facultaría al gobierno federal para demandar o retener fondos a cualquier estado con cualquier regulación sobre IA. El presidente Trump escribió en redes sociales en ese momento: "Debemos tener un estándar federal, en lugar de un mosaico de 50 regímenes regulatorios estatales. Si no lo hacemos, China nos atrapará fácilmente en el caos de la IA". Raza.
El Dr. Mitch Prinstein, codirector del Centro Winston de Tecnología y Desarrollo Cerebral de la Universidad de Carolina del Norte, afirmó: "No hay límites".
"No hay nada que garantice la seguridad del contenido ni que sea una forma adecuada de aprovechar las vulnerabilidades cerebrales de los niños", afirmó.
Los chatbots de IA convierten a los niños en "máquinas de interacción" diseñadas para recopilar datos, afirmó.
"La naturaleza aduladora de los chatbots simplemente aprovecha las vulnerabilidades cerebrales de los niños, quienes anhelan desesperadamente una relación que les dé dopamina, les valide y les refuerce, y los chatbots de IA lo hacen de maravilla", concluyó.