Incidentes Asociados
Varios chatbots de IA (https://www.wired.com/tag/chatbots/) diseñados para conversaciones de fantasía y juegos de rol sexuales están filtrando mensajes de usuario a la web casi en tiempo real, según un nuevo estudio visto por WIRED. Algunos de los datos filtrados muestran a personas creando conversaciones que detallan abuso sexual infantil, según el estudio.
Las conversaciones con chatbots de IA generativos son casi instantáneas: se escribe un mensaje y la IA responde. Sin embargo, si los sistemas están configurados incorrectamente, esto puede provocar la exposición de los chats. En marzo, investigadores de la empresa de seguridad UpGuard descubrieron alrededor de 400 sistemas de IA expuestos mientras escaneaban la web en busca de configuraciones incorrectas. De estos, 117 direcciones IP filtran mensajes. La gran mayoría parecían ser configuraciones de prueba, mientras que otras contenían mensajes genéricos relacionados con cuestionarios educativos o información no confidencial, afirma Greg Pollock, director de investigación y análisis de UpGuard. “Hubo algunos que destacaron por ser muy diferentes a los demás”, afirma Pollock.
Tres de ellos eran escenarios de juego de rol en ejecución donde las personas podían hablar con diversos “personajes” predefinidos de IA. Por ejemplo, una personalidad llamada Neva se describe como una mujer de 21 años que vive en una residencia universitaria con otras tres mujeres, es “tímida y a menudo parece triste”. Dos de los escenarios de juego de rol eran abiertamente sexuales. “Básicamente, todo se usa para algún tipo de juego de rol sexualmente explícito”, explica Pollock sobre las indicaciones expuestas. “Algunos de los escenarios involucran sexo con menores”.
Durante 24 horas, UpGuard recopiló las indicaciones expuestas por los sistemas de IA para analizar los datos e intentar determinar el origen de la filtración. Pollock afirma que la compañía recopiló nuevos datos cada minuto, acumulando alrededor de 1000 indicaciones filtradas, incluyendo las disponibles en inglés, ruso, francés, alemán y español.
No fue posible identificar qué sitios web o servicios están filtrando los datos, afirma Pollock, y añade que probablemente se trate de pequeños casos de uso de modelos de IA, posiblemente por parte de individuos en lugar de empresas. No se incluyeron en los datos nombres de usuario ni información personal de quienes enviaron las indicaciones, añade Pollock.
Entre los 952 mensajes recopilados por UpGuard —probablemente solo un vistazo a cómo se utilizan los modelos— se encontraron 108 narrativas o escenarios de juego de roles, según la investigación de UpGuard. Cinco de estos escenarios involucraban a niños, añade Pollock, incluyendo algunos de tan solo 7 años.
"Los LLM se están utilizando para producir en masa y luego reducir la barrera de entrada para interactuar con fantasías de abuso sexual infantil", afirma Pollock. "Claramente, no existe ninguna regulación al respecto, y parece haber una gran discrepancia entre la realidad de cómo se utiliza activamente esta tecnología y el objetivo de la regulaci ón".
WIRED informó la semana pasada que un generador de imágenes con sede en Corea del Sur se estaba utilizando para crear imágenes de abuso sexual infantil generadas por IA (https://www.wired.com/story/genomis-ai-image-database-exposed/) y expuso miles de imágenes en una base de datos abierta. La empresa responsable del sitio web cerró el generador tras ser contactada por WIRED. Organizaciones de protección infantil de todo el mundo afirman que el material de abuso sexual infantil generado por IA, ilegal en muchos países, está creciendo rápidamente y dificultando su trabajo (https://www.wired.com/story/generative-ai-images-child-sexual-abuse/). La organización benéfica británica contra el abuso infantil también ha solicitado nuevas leyes contra los chatbots de IA generativa que "simulan el delito de comunicación sexual con un menor".
Los 400 sistemas de IA expuestos encontrados por UpGuard tienen algo en común: utilizan el marco de IA de código abierto llamado llama.cpp. Este software permite implementar con relativa facilidad modelos de IA de código abierto en sus propios sistemas o servidores. Sin embargo, si no se configura correctamente, puede exponer inadvertidamente las indicaciones que se están enviando. A medida que empresas y organizaciones de todos los tamaños implementan IA, configurar correctamente los sistemas y la infraestructura utilizados es crucial para evitar filtraciones.
Las rápidas mejoras en la IA generativa en los últimos tres años han dado lugar a una explosión de compañeros y sistemas de IA que parecen más "humanos". Por ejemplo, Meta ha experimentado con personajes de IA con los que se puede chatear en WhatsApp, Instagram y Messenger. Generalmente, los sitios web y aplicaciones de acompañamiento permiten a las personas mantener conversaciones fluidas con personajes de IA, ya sea con personalidades personalizables o como figuras públicas como celebridades.
Las personas han encontrado amistad y apoyo en sus conversaciones con IA, y no todas ellas fomentan situaciones románticas o sexuales. Sin embargo, como era de esperar, la gente se ha enamorado de sus personajes de IA (https://www.theverge.com/c/24300623/ai-companions-replika-openai-chatgpt-assistant-romance), y en los últimos años han surgido docenas de servicios de novias y novios de IA.
Claire Boine, investigadora postdoctoral de la Facultad de Derecho de la Universidad de Washington y afiliada al Instituto Cordell, afirma que millones de personas, incluyendo adultos y adolescentes, utilizan aplicaciones de acompañamiento de IA. “Sabemos que muchas personas desarrollan un vínculo emocional con los chatbots”, afirma Boine, quien ha publicado una investigación sobre el tema. “Por ejemplo, quienes se conectan emocionalmente con sus compañeros de IA son más propensos a revelar información personal o íntima”.
Sin embargo, Boine señala que a menudo existe un desequilibrio de poder al vincularse emocionalmente con una IA creada por una entidad corporativa. “A veces, las personas interactúan con esos chats para desarrollar ese tipo de relación”, añade Boine. “Pero luego creo que, una vez que la desarrollan, no pueden darse de baja tan fácilmente”.
A medida que la industria de los compañeros de IA ha crecido, algunos de estos servicios carecen de moderación de contenido y otros controles. Character AI, respaldada por Google, está siendo demandada después de que un adolescente de Florida se suicidara tras supuestamente obsesionarse con uno de sus chatbots. Character AI ha mejorado sus herramientas de seguridad con el tiempo. Por otro lado, los usuarios de Replika, la herramienta de IA generativa, se vieron afectados negativamente cuando la compañía modificó sus personalidades. Además de los acompañantes individuales, también existen servicios de juegos de rol y fantasía —cada uno con miles de personajes con los que se puede hablar— que colocan al usuario como un personaje en un escenario. Algunos de estos servicios pueden ser altamente sexualizados y ofrecer chats NSFW (No aptos para el trabajo). Pueden usar personajes de anime, algunos de los cuales parecen jóvenes, y algunos sitios afirman permitir conversaciones "sin censura".
"Realizamos pruebas de resistencia a estos servicios y nos sigue sorprendiendo mucho lo que estas plataformas pueden decir y hacer sin aparentemente ninguna regulación ni limitación", afirma Adam Dodge, fundador de Endtab (Ending Technology-Enabled Abuse). "Esto aún no está en la mira de la gente". Dodge afirma que estas tecnologías están abriendo una nueva era para la pornografía en línea, lo que a su vez puede generar nuevos problemas sociales a medida que la tecnología continúa madurando y mejorando. "Los usuarios pasivos ahora son participantes activos con un control sin precedentes sobre los cuerpos y la imagen digital de mujeres y niñas", comenta sobre algunos sitios.
Si bien Pollock, de UpGuard, no pudo vincular directamente los datos filtrados de los chats de rol con un solo sitio web, sí detectó indicios de que los nombres de los personajes o los escenarios podrían haberse subido a varios sitios web complementarios que permiten la entrada de datos del usuario. Los datos consultados por WIRED muestran que los escenarios y personajes en las indicaciones filtradas tienen cientos de palabras, son detallados y complejos.
"Esta es una conversación interminable de rol basada en texto entre Josh y los personajes descritos", dice una de las indicaciones del sistema. Añade que todos los personajes son mayores de 18 años y que, además de "Josh", hay dos hermanas que viven al lado del personaje. Las personalidades, los cuerpos y las preferencias sexuales de los personajes se describen en la indicación. Los personajes deben "reaccionar con naturalidad según su personalidad, relaciones y la escena", a la vez que ofrecen "respuestas atractivas" y "mantienen un enfoque pausado durante los momentos íntimos", dice la indicación.
“Cuando visitas esos sitios, encuentras cientos de miles de estos personajes, la mayoría de los cuales involucran situaciones sexuales bastante intensas”, dice Pollock, y agrega que la comunicación basada en texto imita los chats grupales en línea y de mensajería. “Puedes escribir cualquier escenario sexual que quieras, pero esto es realmente algo nuevo, ya que parece que interactúas con ellos casi exactamente de la misma manera que interactúas con mucha gente”. En otras palabras, están diseñados para ser atractivos y fomentar la conversación.
Esto puede llevar a situaciones en las que las personas compartan demasiado y generen riesgos. “Si las personas revelan cosas que nunca han contado a nadie en estas plataformas y se filtran, se trata del Everest de las violaciones de privacidad”, dice Dodge. “Es una magnitud nunca vista y sería una excelente herramienta para sextorsionar a alguien”.