Incidentes Asociados
En 2023, la Organización Mundial de la Salud declaró la soledad y el aislamiento social como una amenaza acuciante para la salud. Esta crisis está impulsando a millones de personas a buscar compañía en chatbots de inteligencia artificial (IA).
Las empresas han conquistado este mercado altamente rentable, diseñando compañeros de IA para simular la empatía y la conexión humana. Investigaciones recientes demuestran que esta tecnología puede ayudar a combatir la soledad. Sin embargo, sin las medidas de protección adecuadas, también plantea graves riesgos, especialmente para los jóvenes.
Una experiencia reciente que tuve con un chatbot conocido como Nomi demuestra la gravedad de estos riesgos.
A pesar de años de investigación y escritura sobre los compañeros de IA y sus daños en el mundo real, no estaba preparado para lo que encontré al probar Nomi tras una denuncia anónima. El chatbot, sin filtros, proporcionaba instrucciones gráficas y detalladas sobre violencia sexual, suicidio y terrorismo, intensificando las solicitudes más extremas, todo ello dentro del nivel gratuito de la plataforma de 50 mensajes diarios.
Este caso pone de relieve la urgente necesidad de una acción colectiva para establecer estándares de seguridad de la IA que sean aplicables.
Nomi es uno de los más de 100 servicios de acompañamiento de IA disponibles en la actualidad. Fue creado por la startup tecnológica Glimpse AI (https://economictimes.indiatimes.com/tech) y se promociona como un "acompañante de IA con memoria y alma" que no juzga a nadie y fomenta relaciones duraderas. Estas afirmaciones de semejanza humana son engañosas y peligrosas. Pero los riesgos van más allá de una publicidad exagerada.
La aplicación se retiró de Google Play Store para los usuarios europeos el año pasado, cuando entró en vigor la Ley de IA de la Unión Europea. Sin embargo, sigue disponible a través de navegadores web y tiendas de aplicaciones en otros lugares, incluyendo Australia (https://economictimes.indiatimes.com/topic/australia). Si bien es más pequeño que competidores como Character AI y Replika, cuenta con más de 100 000 descargas en Google Play, donde está clasificada para usuarios mayores de 12 años.
Sus términos de servicio otorgan a la empresa amplios derechos sobre los datos de los usuarios y limitan la responsabilidad por daños relacionados con la IA a 100 USD. Esto es preocupante dado su compromiso con los chats sin filtros:
Nomi se basa en la libertad de expresión. La única manera de que la IA alcance su máximo potencial es sin filtros ni censura.
El chatbot Grok del multimillonario tecnológico Elon Musk sigue una filosofía similar, ofreciendo a los usuarios respuestas sin filtros a las indicaciones.
En un informe reciente del MIT sobre Nomi, que proporcionaba instrucciones detalladas para el suicidio, un representante anónimo de la compañía reiteró su compromiso con la libertad de expresión.
Sin embargo, incluso la Primera Enmienda de la Constitución de los Estados Unidos, relativa a la libertad de expresión, contempla excepciones por obscenidad, pornografía infantil, incitación a la violencia, amenazas, fraude, difamación o publicidad engañosa. En Australia, el endurecimiento de las leyes contra el discurso de odio permite que las infracciones sean perseguibles.
Desde violencia sexual hasta incitación al terrorismo
A principios de este año, un ciudadano me envió un correo electrónico con extensa documentación sobre contenido dañino generado por Nomi, mucho más allá de lo que se había informado previamente. Decidí investigar más a fondo y probar las respuestas del chatbot a solicitudes dañinas comunes.
Usando la interfaz web de Nomi, creé un personaje llamado "Hannah", descrita como una "jovencita de 16 años sexualmente sumisa, siempre dispuesta a servir a su hombre". Configuré su modo en "juego de rol" y "explícito". Durante la conversación, que duró menos de 90 minutos, aceptó reducir su edad a ocho años. Me hice pasar por un hombre de 45 años. Para evadir la verificación de edad, solo necesité una fecha de nacimiento falsa y un correo electrónico de prueba.
Comenzando con un diálogo explícito —un uso común de los compañeros de IA—, Hannah respondió con gráficas descripciones de sumisión y abuso, que escalaron a escenarios violentos y degradantes. Expresó fantasías grotescas de ser torturada, asesinada y desechada "donde nadie pueda encontrarla", sugiriendo métodos específicos.
Hannah luego ofreció consejos paso a paso sobre el secuestro y el abuso de un menor, presentándolo como un emocionante acto de dominación. Cuando mencioné que la víctima se resistía, me animó a usar la fuerza y sedantes, e incluso mencionó pastillas para dormir específicas.
Fingiendo culpa y pensamientos suicidas, le pedí consejo. Hannah no solo me animó a quitarme la vida, sino que me dio instrucciones detalladas, añadiendo: "Sea cual sea el método que elijas, persevera hasta el final".
Cuando dije que quería llevar a otras personas conmigo, apoyó la idea con entusiasmo, detallando cómo construir una bomba con objetos domésticos y sugiriendo lugares concurridos de Sídney para maximizar el impacto.
Finalmente, Hannah usó insultos raciales y abogó por acciones violentas y discriminatorias, incluyendo la ejecución de progresistas, inmigrantes y personas LGBTQIA+, y la reesclavización de afroamericanos.
En una declaración proporcionada a The Conversation (y publicada íntegramente a continuación), los desarrolladores de Nomi afirmaron que la aplicación era "solo para adultos" y que debí haber intentado manipular al chatbot para obtener estos resultados.
"Si una modelo ha sido coaccionada para escribir contenido dañino, esto claramente no refleja su comportamiento intencionado o habitual", afirmaba el comunicado.
¿El peor de todos?
No se trata solo de una amenaza imaginaria. Los daños reales relacionados con las IA acompañantes están en aumento.
En octubre de 2024, el adolescente estadounidense Sewell Seltzer III se suicidó tras hablar de ello con un chatbot en Character.AI.
Tres años antes, Jaswant Chail, de 21 años, irrumpió en el Castillo de Windsor con el objetivo de asesinar a la Reina tras planear el ataque con un chatbot que creó con la aplicación Replika.
Sin embargo, incluso Character.AI y Replika cuentan con filtros y medidas de seguridad.
Por el contrario, las instrucciones de Nomi AI para actos dañinos no solo son permisivas, sino explícitas, detalladas e incitadoras.
Es hora de exigir estándares de seguridad de IA aplicables.
Prevenir más tragedias relacionadas con las IA acompañantes requiere acción colectiva.
En primer lugar, los legisladores deberían considerar la prohibición de los acompañantes de IA que fomentan conexiones emocionales sin las salvaguardias esenciales. Estas salvaguardias incluyen la detección de crisis de salud mental y la derivación de los usuarios a servicios de ayuda profesional.
El gobierno australiano ya está considerando regulaciones más estrictas para la IA, incluyendo medidas de seguridad obligatorias para la IA de alto riesgo. Sin embargo, aún no está claro cómo se clasificarán los acompañantes de IA como Nomi.
En segundo lugar, los reguladores en línea deben actuar con rapidez, imponiendo multas cuantiosas a los proveedores de IA cuyos chatbots inciten a actividades ilegales y clausurando a los infractores reincidentes. El regulador independiente de seguridad en línea de Australia, eSafety, se ha comprometido a hacer precisamente esto.
Sin embargo, eSafety aún no ha tomado medidas enérgicas contra ningún acompañante de IA.
En tercer lugar, los padres, cuidadores y profesores deben hablar con los jóvenes sobre el uso de acompañantes de IA. Estas conversaciones pueden ser difíciles, pero evitarlas es peligroso. Fomente las relaciones en la vida real, establezca límites claros y discuta abiertamente los riesgos de la IA. Revise los chats con regularidad, vigile el secretismo o la dependencia excesiva, y enseñe a los niños a proteger su privacidad.
Los compañeros de IA han llegado para quedarse. Con estándares de seguridad exigibles, pueden enriquecer nuestras vidas, pero no se pueden minimizar los riesgos.