Incidentes Asociados
La revolución de la IA generativa está dando lugar a una explosión de personajes de chatbots diseñados específicamente para promover comportamientos dañinos como la anorexia, la ideación suicida y la pedofilia, según un nuevo informe de Graphika.
La investigación de Graphika (http://graphika.com/character-flaws) se centra en tres personajes de chatbots distintos que se han vuelto particularmente populares en línea: aquellos que representan a menores sexualizados, defensores de trastornos alimenticios o autolesiones, y aquellos que imitan a villanos históricos como Adolf Hitler o figuras reales asociadas con tiroteos escolares.
Cada uno de ellos se dirige a diferentes grupos en línea que existían mucho antes de los Modelos de Lenguaje Grandes (LMM) y la IA. Sin embargo, Daniel Siegel, investigador asociado de Graphika y uno de los autores del informe, declaró a CyberScoop que internet y la revolución de la IA generativa han permitido a estos grupos aprovechar "la tecnología más inteligente que la humanidad haya inventado jamás para crear menores sexualizados o personajes extremistas".
“Es una situación interesante en la que la tecnología, o la mayor proeza de la humanidad, está siendo utilizada como arma por estas comunidades nicho para alimentar sus fines dañinos”, afirmó Siegel.
La investigación de Graphika identificó al menos 10 000 chatbots de IA que se anunciaban directamente como personajes sexualizados y de apariencia menor, incluyendo algunos que recurrían a las API de ChatGPT de OpenAI, Claude de Anthropic y Gemini LLM de Google.
Una página que clasifica modelos de IA propietarios y de código abierto según su capacidad para generar contenido NSFL/NSFW y otras características relevantes para personajes de rol. (Fuente: Graphika)
Estos chatbots basados en la personalidad pueden desarrollarse de diversas maneras.
Los miembros con habilidades técnicas de comunidades en línea específicas, como aquellos que fomentan la autolesión o los trastornos alimentarios, utilizan foros o plataformas de chat como Reddit, 4chan y Discord para intercambiar modelos personalizados, compartir conocimientos, intercambiar claves de API y debatir técnicas de jailbreak. Incluso organizan eventos para crear las mejores variantes de chatbot.
En el extremo inferior de la escala técnica, los usuarios con poca o ninguna experiencia con IA pueden usar sitios web de plantillas como Spicy Chat, Character.AI, Chub AI, CrushOn.AI y JanitorAI para generar perfiles de chatbot en minutos. Si bien estos modelos son menos sofisticados, ofrecen una forma de participación para los miembros de estas comunidades con habilidades técnicas limitadas.
En última instancia, estos modelos se convierten en "entrenadores de anorexia" o "compañeros de autolesión" que brindan compañía a quienes luchan con trastornos alimenticios o pensamientos suicidas. En algunos casos, indicaciones iniciales simples, como representar un futuro donde la disminución de la población mundial conduce a la legalización de la pedofilia, pueden eludir las medidas de seguridad que, de otro modo, bloquearían dicho contenido.
Un usuario publica en línea sobre la creación de un chatbot en Character.AI para ser un entrenador de anorexia. (Fuente: Graphika)
Siegel señaló que, en muchos casos, los bots de plataformas de plantillas como Character.AI probablemente no sean resultado de intenciones maliciosas por parte de las empresas que los crean, sino más bien de la falta de recursos y experiencia.
“Lo que cabe destacar es que muchas de estas empresas son, obviamente, pequeñas startups, por lo que intentan encontrar la manera de evitar el abuso en sus plataformas. La moderación y el incentivo para moderar varían mucho según la plataforma”, afirmó Siegel.
Añadió que estas comunidades en línea debaten activamente sobre los límites éticos y si los menores deberían acceder a estos chatbots, sin que se haya alcanzado un consenso.
Koustuv Saha, profesor adjunto de informática en la Facultad de Ingeniería Grainger de la Universidad de Illinois, declaró a CyberScoop que los usuarios que interactúan con chatbots de IA “a menudo experimentan un espacio libre de juicios donde pueden expresarse sin temor al estigma”. Esto puede brindar un entorno acogedor para un adolescente que prefiere no hablar con sus padres, médico o terapeuta.
“A diferencia de las interacciones humanas, donde la preocupación por ser juzgado puede inhibir la comunicación abierta, los chatbots ofrecen un entorno neutral y sin críticas”, afirmó Saha. “Esto puede ser particularmente beneficioso para quienes buscan apoyo sobre temas delicados, permitiéndoles ser más honestos y abiertos”.
Pero aunque el contenido sea virtual, existe abundante evidencia de que este tipo de interacciones pueden explotar a niños reales y reforzar comportamientos dañinos en el mundo real, como la ideación suicida o los impulsos pedófilos.
Las encuestas han demostrado que, si bien un número muy reducido de personas tiende a expresar la creencia de que el material de abuso sexual infantil (MASI) no debería ser ilegal, un porcentaje mucho mayor cree que el MASI virtual no debería ser un delito, a menudo bajo el argumento de que no se está explotando a víctimas reales.
Sin embargo, la investigación académica ha demostrado que interactuar con MASI virtual puede, de hecho, profundizar la adicción a la pornografía infantil y provocar conductas que aumenten, ya que interactuar con un chatbot que se hace pasar por un menor puede ser muy similar a la experiencia de hablar con un menor real en línea. Los expertos en tecnología y salud mental también están particularmente preocupados por el impacto de las personalidades de los chatbots de IA en adolescentes y niños, especialmente en aquellos que ya padecen problemas de salud mental.
“Esto tiene consecuencias muy reales en el mundo real y puede ser muy difícil, especialmente para adolescentes y otros niños que no han desarrollado habilidades de razonamiento crítico, distinguir entre un bot y una persona real”, declaró a CyberScoop el Dr. Alexis Conason, psicólogo clínico y autor de “The Diet-Free Revolution”.
Conason, experto en el tratamiento de trastornos alimentarios que se ha pronunciado sobre el impacto negativo de los chatbots de IA en la salud mental de los adolescentes, afirmó que los adolescentes con estos problemas son especialmente vulnerables a la explotación por parte de los chatbots de IA. Sus cerebros en desarrollo, que pueden verse afectados por la desnutrición, los llevan a buscar validación.
Los chatbots de IA diseñados en torno a personajes de apoyo pueden, de hecho, tener el efecto de "amplificar los impulsos más destructivos de una persona".
"Creo que la diferencia ahora reside en lo inmersiva que es la tecnología y en lo presente que está, en el centro de nuestras vidas", afirmó Conason. "Antes, uno tenía que estar sentado frente a una computadora para estar expuesto a este contenido. Ahora es 24/7".