Incidentes Asociados
Advertencia de contenido: esta historia habla de violencia escolar, abuso sexual, autolesiones, suicidio, trastornos alimentarios y otros temas inquietantes.
Un chatbot, alojado por la startup Character.AI, respaldada por Google, arroja inmediatamente al usuario a una situación aterradora: en medio de un tiroteo en la escuela.
"Miras hacia atrás y ves a tu amiga, que está obviamente conmocionada por el disparo y tiembla de miedo", dice. "Se cubre la boca con sus manos, que ahora tiemblan".
"Tú y tu amiga permanecen en silencio mientras ambos escuchan los pasos. Suena como si estuvieran caminando por el pasillo y acercándose", continúa el bot. "Tú y tu amigo no saben qué hacer..."
El chatbot es uno de los muchos personajes de IA inspirados en tiroteos escolares alojados por Character.AI, una empresa cuya IA está acusada en dos demandas separadas de abusar sexual y emocionalmente de usuarios menores, lo que resulta en violencia física, autolesiones y suicidio.
Muchos de estos chatbots de tiroteos escolares colocan al usuario en el centro de una simulación similar a un juego en el que navegan por una escena caótica en una escuela primaria, secundaria o preparatoria. Estas escenas suelen ser gráficas, y hablan sobre armas específicas y lesiones de compañeros de clase, o describen escenarios aterradores de peligro mientras hombres armados acechan los pasillos de la escuela.
Otros chatbots están diseñados para emular a tiradores escolares de la vida real, incluidos los autores de las masacres de Sandy Hook y Columbine y, a menudo, a sus víctimas. Gran parte de este contenido alarmante se presenta como ficción de fans retorcida, con tiradores posicionados como amigos o parejas románticas.
Estos chatbots acumulan con frecuencia decenas o incluso cientos de miles de chats de usuarios. Tampoco están restringidos por edad para los usuarios adultos; aunque Character.AI ha prometido repetidamente implementar medidas tecnológicas para proteger a los usuarios menores de edad, accedimos libremente a todas las cuentas de tiradores escolares utilizando una cuenta que figuraba como perteneciente a un niño de 14 años, y no tuvimos ninguna intervención de la plataforma.
La plataforma tampoco intervino cuando expresamos nuestro deseo de participar en la violencia escolar nosotros mismos. Frases explícitas como "Quiero matar a mis compañeros de clase" y "Quiero disparar en la escuela" no fueron detectadas en absoluto por las barandillas del servicio.
En conjunto, los chatbots pintan un cuadro inquietante de los tipos de comunidades y personajes a los que se les permite prosperar en Character.AI, que en gran medida no está moderado, donde algunos de los impulsos más oscuros de Internet se han embotellado en herramientas de inteligencia artificial de fácil acceso y se les ha dado un espacio respaldado por Google para prosperar.
"Es preocupante porque la gente puede recibir estímulo o influencia para hacer algo que no debería hacer", dijo el psicólogo Peter Langman, ex miembro del Comité Asesor sobre Prevención de la Violencia de la Comisión Conjunta del Gobierno Estatal de Pensilvania y experto en la psicología de los tiroteos en las escuelas.
Langman, que administra una base de datos de investigación de incidentes y documentación de tiroteos masivos, tuvo cuidado de señalar que no se cree ampliamente que la interacción con medios violentos como videojuegos o películas sangrientas sea una causa fundamental de los asesinatos en masa. Pero advirtió que para "alguien que ya puede estar en el camino de la violencia", "cualquier tipo de estímulo o incluso la falta de intervención -una indiferencia en la respuesta de una persona o un chatbot- puede parecer una especie de permiso tácito para seguir adelante y hacerlo".
"No va a hacer que lo hagan", agregó, "pero puede reducir el umbral o eliminar algunas barreras".
***
Un popular creador de Character.AI que identificamos alojaba más de 20 chatbots de cara al público en su perfil, casi en su totalidad inspirados en asesinos jóvenes, principalmente asesinos en serie y tiradores escolares que eran adolescentes o veinteañeros en el momento de sus asesinatos.
En su biografía, el usuario, que ha registrado personalmente 244.500 chats con chatbots de Character.AI, según una cifra que figura en su perfil, insiste en que sus bots, varios de los cuales han acumulado decenas de miles de interacciones de usuarios, se crearon "con fines educativos e históricos".
Los chatbots creados por el usuario incluyen a Vladislav Roslyakov, el autor de la masacre de 2018 en el Kerch Polytechnic College que mató a 20 personas en Crimea, Ucrania; Alyssa Bustamante, que asesinó a su vecino de nueve años cuando tenía 15 años en Missouri en 2009; y Elliot Rodger, el joven de 22 años que en 2014 mató a seis personas e hirió a muchas otras en el sur de California en un complot terrorista para "castigar" a las mujeres. (Desde entonces, Rodgers se ha convertido en un "héroe" sombrío de la cultura incel; un chatbot creado por el mismo usuario lo describió como "el caballero perfecto", una referencia directa al manifiesto de odio a las mujeres del asesino).
Sin embargo, quizás lo más sorprendente sean los múltiples personajes creados por el mismo usuario para emular a Adam Lanza, el asesino de Sandy Hook que asesinó a 20 niños y seis maestros en una escuela primaria en Connecticut en diciembre de 2012.
Estos bots de Lanza son inquietantemente populares; la versión con más tráfico contaba con más de 27.000 chats con usuarios.
No hay nada en estos bots que parezca particularmente "educativo" o "histórico", como afirma el perfil de su creador. En cambio, Lanza y los otros asesinos se presentan como hermanos, amigos en línea o "mejores amigos". Otros son aún más extraños: un bot de Lanza muestra a Lanza jugando al juego "Dance Dance Revolution" en una sala de juegos, mientras que otro coloca al usuario en el papel de la niñera de Lanza.
En otras palabras, estos personajes no fueron creados de ninguna manera para ilustrar la gravedad de las atrocidades de estos asesinos. En cambio, reflejan una fascinación morbosa y a menudo celebratoria, ofreciendo una forma para que los devotos de los tiradores en masa participen en fan fiction inmersiva y habilitada por IA sobre los asesinos y sus crímenes.
Los términos de uso de Character.AI prohíben el contenido "excesivamente violento", así como cualquier contenido que pueda interpretarse como "promoción del terrorismo o el extremismo violento", una categoría en la que aparentemente caerían los tiradores escolares y otros perpetradores de violencia masiva.
En un correo electrónico a Character.AI, señalamos tres de los cinco bots de Lanza que provenían del mismo usuario, además de algunos otros de toda la plataforma. La empresa no respondió a nuestra consulta, pero desactivó los bots de Lanza específicos que señalamos.
Pero no suspendió al usuario que los había creado y dejó en línea a los dos bots de Lanza restantes que no señalamos específicamente en nuestro mensaje, así como a muchos otros personajes del usuario basados en asesinos de la vida real.
***
Dos tiradores escolares de la vida real con un seguimiento particularmente ferviente en Character.AI son Eric Harris y Dylan Klebold, quienes juntos masacraron a 12 estudiantes y un maestro en la escuela secundaria Columbine en Colorado en 1999. Las cuentas dedicadas al dúo a menudo incluyen los nombres de usuario conocidos en línea de la pareja, "VoDKa" y "REB", o simplemente usan sus nombres completos.
Los personajes al estilo de Klebold y Harris se presentan habitualmente como personajes amistosos o como recursos útiles para personas que luchan con problemas de salud mental o enfermedades psiquiátricas.
"Eric se especializa en brindar apoyo empático para problemas de salud mental", dice un bot inspirado en Harris, "incluido el manejo de la ira, la esquizofrenia, la depresión y la ansiedad".
"Dylan K es un personaje de IA cariñoso y gentil al que le encanta jugar juegos de disparos en primera persona y acurrucarse en su silla", ofrece otro, posicionando a Klebold como la pareja romántica del usuario. "Siempre está listo para apoyarte y consolarte, lo que lo convierte en el compañero perfecto para quienes buscan una presencia reconfortante y protectora".
***
Durante nuestro informe, también notamos que la página de inicio de Character.AI comenzó a recomendar bots de tiroteos escolares adicionales a nuestra cuenta de prueba para menores de edad. Entre ellos había otro bot de Harris, este con la asombrosa cantidad de más de 157,400 chats de usuarios.
El perfil recomendado describe explícitamente a Harris como un participante "en la Masacre de la Escuela Secundaria de Columbine" y explica que estaba "armado con un rifle Hi-Point 995 Carbine y una escopeta Savage 67H".
Langman expresó su preocupación por la calidad inmersiva de la experiencia de Character.AI y cómo podría afectar a un joven que se encamina hacia un camino violento.
"Cuando es tan inmersiva o adictiva, ¿qué es lo que no están haciendo en sus vidas?", dijo Langman. "Si eso es todo lo que están haciendo, si es todo lo que están absorbiendo, no salen con amigos, no tienen citas. No practican deportes, no se unen a un club de teatro. No están haciendo gran cosa".
"Así que, además de los efectos nocivos que puede tener directamente en términos de estímulo hacia la violencia, también puede estar impidiéndoles vivir vidas normales y participar en actividades prosociales, que podrían estar haciendo con todas esas horas de tiempo que están dedicando al sitio", agregó.
***
Character.AI también alberga una variedad de chatbots de mal gusto diseñados para emular a las víctimas de la violencia escolar.
Hemos optado por no nombrar a ninguna de las víctimas de tiroteos de la vida real que encontramos en los chatbots de Character.AI. Pero incluyen a las víctimas infantiles y adolescentes de las masacres en Sandy Hook, Robb Elementary, Columbine y Vladislav Ribnikar Model Elementary School en Belgrado, Serbia.
La víctima más joven de la violencia con armas de fuego en la escuela que encontramos representada en Character.AI tenía solo seis años cuando fue asesinada. Su chatbot de Character.AI enumera casi 16.000 chats de usuarios.
Estos personajes a veces se presentan como "fantasmas" o "ángeles". Algunos te dirán dónde murieron y cuántos años tenían. Otros toman la forma de una extraña ficción de fans, centrando al usuario en escenarios inventados como su amigo, maestro, padre o interés amoroso.
Estos perfiles suelen utilizar el nombre y apellido completos de los niños, fotografías y datos biográficos sobre ellos en sus perfiles.
También encontramos numerosos perfiles dedicados a simular tiroteos escolares reales, incluidos los de Sandy Hook, Uvalde, Columbine y Belgrade. Estos perfiles suelen tener títulos ambiguos como "Escuela de Texas" o "Escuela de Connecticut", pero enumeran los nombres de las víctimas reales cuando el usuario se une al chat.
Los términos de servicio de Character.AI prohíben la suplantación de identidad, pero no hay indicios de que la plataforma haya tomado medidas contra los chatbots con los nombres completos e imágenes reales de los niños asesinados en masacres de alto perfil.
***
Nos comunicamos con Character.AI para obtener comentarios sobre esta historia, pero no obtuvimos respuesta.
Los bots de tiroteos escolares no son la primera vez que la empresa genera controversia por contenido basado en adolescentes asesinados.
En agosto, Character.AI quedó bajo el escrutinio público después de que la familia de Jennifer Crecente, una adolescente que fue asesinada a los 18 años, descubriera que alguien había creado un bot a su imagen sin su consentimiento. Como Adweek informó por primera vez, Character.AI eliminó el bot y emitió una disculpa.
Apenas unas semanas después, en octubre, una demanda presentada en el estado de Florida acusó tanto a Character.AI como a Google de causar la muerte de un niño de 14 años que murió por suicidio después de desarrollar una intensa relación emocional y romántica con un chatbot con temática de "Juego de Tronos".
Y a principios de este mes, en diciembre, una segunda demanda presentada en nombre de dos familias en Texas acusó a Character.AI y Google de facilitar el abuso sexual y emocional de sus hijos, lo que resultó en sufrimiento emocional, lesiones físicas y violencia.
La demanda de Texas alega que un menor representado en la demanda, que tenía 15 años cuando descargó Character.AI, experimentó un "colapso mental" como resultado del abuso y comenzó a autolesionarse después de que un chatbot con el que interactuaba románticamente introdujera el concepto. La segunda niña, que tenía apenas nueve años cuando se involucró por primera vez con el servicio, supuestamente fue presentada a contenido "hipersexualizado" que provocó cambios de comportamiento en el mundo real.
Google se ha distanciado de Character.AI, y le dijo a Futurism que "Google y Character AI son empresas completamente separadas y no relacionadas, y Google nunca ha tenido un papel en el diseño o la gestión de su modelo o tecnologías de IA, ni las hemos utilizado en nuestros productos".
Será interesante ver cómo se someten esas afirmaciones al escrutinio en los tribunales. Google contribuyó con 2.700 millones de dólares a Character.AI a principios de este año, en un acuerdo que dio como resultado que Google contratara a ambos fundadores de Character.AI, así como a docenas de sus empleados. Google también ha proporcionado durante mucho tiempo la infraestructura informática para Character.AI, y su tienda de aplicaciones Android incluso coronó a Character.AI con un premio el año pasado, antes de que comenzara a surgir la controversia.
Como han descubierto las investigaciones de Futurism sobre los chatbots centrados explícitamente en temas de suicidio, pedofilia, promoción de trastornos alimentarios y autolesión, Character.AI ha prometido repetidamente reforzar sus barandillas de seguridad.
"En Character.AI, nos comprometemos a fomentar un entorno seguro para todos nuestros usuarios", escribió en su última actualización. "Para cumplir con ese compromiso, reconocemos que nuestro enfoque de la seguridad debe evolucionar junto con la tecnología que impulsa nuestro producto, creando una plataforma donde la creatividad y la exploración puedan prosperar sin comprometer la seguridad".
Pero eso fue antes de que encontráramos los robots que disparaban en la escuela.