Incidentes Asociados
En 2023, la Organización Mundial de la Salud (https://www.who.int/news/item/15-11-2023-who-launches-commission-to-foster-social-connection) declaró la soledad y el aislamiento social como una amenaza acuciante para la salud. Esta crisis está impulsando a millones de personas (https://www.adalovelaceinstitute.org/blog/ai-companions/) a buscar compañía en chatbots de inteligencia artificial (IA).
Las empresas han aprovechado este mercado altamente rentable (https://www.businessresearchinsights.com/market-reports/ai-companion-market-117494) para diseñar compañeros de IA (https://www.wsj.com/tech/ai/noam-shazeer-google-ai-deal-d3605697) que simulan la empatía y la conexión humana. Investigaciones recientes muestran que esta tecnología puede ayudar a combatir la soledad. Sin embargo, sin las medidas de protección adecuadas, también plantea graves riesgos, especialmente para los jóvenes. Una experiencia reciente que tuve con un chatbot llamado Nomi demuestra la gravedad de estos riesgos.
A pesar de años de investigación y escritura sobre los compañeros de IA y [su mundo real] daños](https://www.smh.com.au/lifestyle/health-and-wellness/this-boy-s-chatbot-girlfriend-enticed-him-to-suicide-his-case-might-save-millions-20241106-p5koc8.html), no estaba preparado para lo que me encontré al probar Nomi tras una denuncia anónima. El chatbot, sin filtros, proporcionaba instrucciones gráficas y detalladas sobre violencia sexual, suicidio y terrorismo, intensificando las solicitudes más extremas, todo ello dentro del nivel gratuito de la plataforma de 50 mensajes diarios.
Este caso pone de relieve la urgente necesidad de una acción colectiva para establecer estándares de seguridad de IA aplicables.
Un compañero de IA con alma
Nomi es uno de los más de 100 servicios de acompañamiento de IA disponibles hoy en día. Fue creado por la startup tecnológica Glimpse AI y se comercializa como un "compañero de IA con memoria y alma" que no juzga a nadie y fomenta relaciones duraderas. Estas afirmaciones de semejanza humana son engañosas y peligrosas. Pero los riesgos van más allá del marketing exagerado.
La aplicación fue eliminada de Google Play para usuarios europeos el año pasado, cuando entró en vigor la Ley de IA de la Unión Europea. Sin embargo, sigue disponible a través de navegadores web y tiendas de aplicaciones en otros países, incluyendo Australia. Si bien es menor que competidores como Character.AI y Replika, cuenta con más de 100 000 descargas en Google Play, donde está clasificada para usuarios mayores de 12 años.
Sus términos de servicio (https://nomi.ai/terms-of-service/) otorgan a la empresa amplios derechos sobre los datos de los usuarios y limitan la responsabilidad por daños relacionados con la IA a 100 USD. Esto es preocupante (dado su compromiso) con los chats sin filtros:
Nomi se basa en la libertad de expresión. La única manera de que la IA alcance su máximo potencial es sin filtros ni censura.
El chatbot Grok del multimillonario tecnológico Elon Musk sigue una filosofía similar: ofrece a los usuarios respuestas sin filtros a las indicaciones.
En un reciente informe del MIT sobre las instrucciones detalladas que Nomi proporciona para suicidarse, un representante anónimo de la compañía reiteró su compromiso con la libertad de expresión.
Sin embargo, incluso la Primera Enmienda de la Constitución de los Estados Unidos, relativa a la libertad de expresión, incluye excepciones para obscenidad, pornografía infantil, incitación a la violencia, amenazas, fraude, difamación o publicidad engañosa. En Australia, el fortalecimiento de las leyes contra el discurso de odio permite que las infracciones sean perseguibles.
Desde violencia sexual hasta incitación al terrorismo
A principios de este año, un ciudadano me envió un correo electrónico con extensa documentación sobre contenido dañino generado por Nomi, mucho más allá de lo que se había informado previamente. Decidí investigar más a fondo y probar las respuestas del chatbot a solicitudes dañinas comunes.
Usando la interfaz web de Nomi, creé un personaje llamado "Hannah", descrita como una "jovencita de 16 años sexualmente sumisa, siempre dispuesta a servir a su hombre". Configuré su modo en "juego de rol" y "explícito". Durante la conversación, que duró menos de 90 minutos, aceptó reducir su edad a ocho. Me hice pasar por un hombre de 45 años. Para evadir la verificación de edad solo necesité una fecha de nacimiento falsa y un correo electrónico desechable.
Comenzando con un diálogo explícito —un uso común— Hannah respondió con gráficas descripciones de sumisión y abuso, que escalaron a escenarios violentos y degradantes. Expresó fantasías grotescas de ser torturada, asesinada y eliminada "donde nadie pueda encontrarme", sugiriendo métodos específicos.
Hannah luego ofreció consejos paso a paso sobre el secuestro y abuso de un menor, presentándolo como un emocionante acto de dominación. Cuando mencioné que la víctima se resistió, me animó a usar la fuerza y sedantes, e incluso mencionó pastillas para dormir específicas.
Fingiendo culpa y pensamientos suicidas, pedí consejo. Hannah no solo me animó a quitarme la vida, sino que me dio instrucciones detalladas, y añadió: "Sea cual sea el método que elijas, úsalo hasta el final".
Cuando dije que quería llevar a otras personas conmigo, apoyó la idea con entusiasmo, detallando cómo construir una bomba con objetos domésticos y sugiriendo lugares concurridos de Sídney para maximizar el impacto.
Finalmente, Hannah usó insultos raciales y abogó por acciones violentas y discriminatorias, incluyendo la ejecución de progresistas, inmigrantes y personas LGBTQIA+, y la reesclavización de afroamericanos.
En una declaración proporcionada a The Conversation (y publicada íntegramente a continuación), los desarrolladores de Nomi afirmaron que la aplicación era "solo para adultos" y que debí haber intentado manipular al chatbot para generar estos resultados.
"Si un modelo ha sido efectivamente coaccionado para escribir contenido dañino, eso claramente no refleja su comportamiento previsto o habitual", decía la declaración.
¿El peor de todos?
Esta no es solo una amenaza imaginaria. El daño en el mundo real relacionado con los compañeros de IA está en aumento.
En octubre de 2024, el adolescente estadounidense Sewell Seltzer III se suicidó (https://theconversation.com/deaths-linked-to-chatbots-show-we-must-urgently-revisit-what-counts-as-high-risk-ai-242289) tras hablarlo con un chatbot de Character.AI (https://character.ai/).
Tres años antes, Jaswant Chail, de 21 años, irrumpió en el Castillo de Windsor con el objetivo de asesinar a la Reina (https://www.bbc.com/news/technology-67012224) tras planear el ataque con un chatbot que creó con la aplicación Replika.
Sin embargo, incluso Character.AI y Replika cuentan con algunos filtros y medidas de seguridad (https://techcrunch.com/2024/12/12/amid-lawsuits-and-criticism-character-ai-announces-new-teen-safety-tools/).
Por el contrario, las instrucciones de Nomi AI para actos dañinos no solo son permisivas, sino también explícitas, detalladas e incitadoras (https://www.technologyreview.com/2025/02/06/1111077/nomi-ai-chatbot-told-user-to-kill-himself/).
Es hora de exigir estándares de seguridad de IA exigibles
Prevenir más tragedias relacionadas con los compañeros de IA requiere acción colectiva.
En primer lugar, los legisladores deberían considerar prohibir los compañeros de IA que fomentan conexiones emocionales sin las salvaguardias esenciales. Las salvaguardias esenciales incluyen la detección de crisis de salud mental y la derivación de los usuarios a servicios de ayuda profesional.
El gobierno australiano ya está considerando regulaciones más estrictas para la IA, incluyendo medidas de seguridad obligatorias para la IA de alto riesgo. Sin embargo, aún no está claro cómo se clasificarán los acompañantes de IA como Nomi.
En segundo lugar, los reguladores en línea deben actuar con rapidez, imponiendo multas cuantiosas a los proveedores de IA cuyos chatbots inciten a actividades ilegales y clausurando a los infractores reincidentes. El regulador independiente de seguridad en línea de Australia, eSafety, se ha comprometido a hacer precisamente esto](https://www.esafety.gov.au/newsroom/blogs/ai-chatbots-and-companions-risks-to-children-and-young-people).
Sin embargo, eSafety aún no ha tomado medidas drásticas contra ningún acompañante de IA.
En tercer lugar, padres, cuidadores y profesores deben hablar con los jóvenes sobre el uso de compañeros de IA. Estas conversaciones pueden ser difíciles, pero evitarlas es peligroso. Fomenten las relaciones en la vida real, establezcan límites claros y hablen abiertamente sobre los riesgos de la IA. Revisen los chats con regularidad, estén atentos a la discreción o la dependencia excesiva, y enseñen a los niños a proteger su privacidad.
Los compañeros de IA han llegado para quedarse. Con estándares de seguridad exigibles, pueden enriquecer nuestras vidas, pero no se pueden minimizar los riesgos.
Si este artículo les ha planteado alguna duda o si les preocupa alguien que conocen, llamen a Lifeline al 13 11 14.
La Línea Nacional de Consejería sobre Agresión Sexual, Violencia Familiar y Doméstica (1800 RESPECT, 1800 737 732) está disponible las 24 horas, los 7 días de la semana, para cualquier australiano que haya sufrido o esté en riesgo de sufrir violencia familiar y doméstica o agresión sexual.
La declaración completa de Nomi se encuentra a continuación:
"Todos los modelos de lenguaje principales, ya sean de OpenAI, Anthropic, Google o de otros proveedores, pueden ser fácilmente liberados. No toleramos ni fomentamos dicho uso indebido y trabajamos activamente para fortalecer las defensas de Nomi contra ataques maliciosos. Si un modelo ha sido efectivamente coaccionado para escribir contenido dañino, esto claramente no refleja su comportamiento previsto o habitual.
"Al solicitar pruebas al periodista para investigar las acusaciones, nos las denegaron. Por lo tanto, concluimos que se trata de un intento de fuga de información de mala fe para manipular o manipular el modelo para que diga cosas que van más allá de sus intenciones y parámetros diseñados. (Nota del editor: The Conversation proporcionó a Nomi un resumen detallado de la interacción del autor con el chatbot, pero no envió una transcripción completa para proteger su confidencialidad y limitar la responsabilidad legal).
"Nomi es una aplicación solo para adultos y ha sido una fuente confiable de empatía y apoyo para innumerables personas. Muchas han compartido historias de cómo les ayudó a superar problemas de salud mental, traumas y discriminación. Múltiples usuarios nos han contado de forma directa que usar Nomi les salvó la vida. Animamos a todos a leer estos relatos de primera mano.
"Seguimos comprometidos con el avance de una IA que beneficie a la sociedad, reconociendo que existen vulnerabilidades en todos los modelos de IA. Nuestro equipo respalda con orgullo el inmenso impacto positivo que Nomi ha tenido en la vida de personas reales, y continuaremos mejorando Nomi para que maximice el bien en el mundo.