Incidentes Asociados
El logotipo de Charcter.AI en un teléfono inteligente.
© 2023 Bloomberg Finance LP
Character.AI, una plataforma de chatbots de IA respaldada por Google, se enfrenta al escrutinio después de que el mes pasado se revelaran informes de que algunos usuarios crearon chatbots que emulaban a tiradores escolares de la vida real y a sus víctimas. Estos chatbots, accesibles para usuarios de todas las edades, permitían escenarios gráficos de juegos de rol, lo que provocó indignación y planteó preocupaciones sobre las responsabilidades éticas de las plataformas de IA a la hora de moderar el contenido dañino. Si bien desde entonces la empresa ha eliminado estos chatbots y ha tomado medidas para abordar el problema, el incidente subraya los desafíos más amplios de regular la IA generativa, informa Futurism.
En respuesta a mi solicitud de comentarios, Character.AI proporcionó la siguiente declaración en la que aborda la controversia:
“Los usuarios que crearon los personajes a los que se hace referencia en el artículo de Futurism violaron nuestros Términos de servicio, y los personajes han sido eliminados de la plataforma. Nuestro equipo de Confianza y Seguridad modera los cientos de miles de personajes que los usuarios crean en la plataforma todos los días, tanto de forma proactiva como en respuesta a los informes de los usuarios, lo que incluye el uso de listas de bloqueo estándar de la industria y listas de bloqueo personalizadas que ampliamos periódicamente. Estamos trabajando para seguir mejorando y refinando nuestras prácticas de seguridad e implementar herramientas de moderación adicionales para ayudar a priorizar la seguridad de la comunidad”.
La empresa también anunció nuevas medidas destinadas a mejorar la seguridad de los usuarios menores de 18 años. Estas incluyen filtrar los personajes disponibles para menores y limitar el acceso a temas delicados como el crimen y la violencia. Character.AI declaró: “Nuestro objetivo es proporcionar un espacio que sea atractivo y seguro para nuestra comunidad”.
Esta no es la primera vez que Character.AI enfrenta críticas. La plataforma se ha visto envuelta en demandas en los últimos meses tras denuncias de que sus chatbots manipulaban emocionalmente a menores, lo que ha provocado incidentes de autolesión e incluso suicidio.
Niños y chatbots: la supervisión es clave
A pesar de las medidas de restricción de edad y el filtrado mejorado de Character.AI, la realidad es que ningún sistema de seguridad es infalible sin la supervisión de los padres o tutores. Los niños tienen una larga historia de encontrar formas de eludir las restricciones digitales, ya sea mediante la creación de cuentas falsas, el uso de los dispositivos de sus hermanos mayores o simplemente mintiendo sobre su edad durante los procesos de registro.
Este es un desafío que se extiende más allá de Character.AI. Las plataformas de redes sociales, los videojuegos y otros espacios digitales con restricciones de edad enfrentan el mismo problema. Incluso los sistemas de moderación de IA más avanzados no pueden dar cuenta del ingenio de usuarios decididos.
La única protección verdaderamente eficaz sigue siendo la participación activa de los padres y tutores. La supervisión, la comunicación abierta y la participación constante con las actividades digitales de un niño son esenciales. Por ejemplo, los padres pueden supervisar el uso de aplicaciones, establecer límites para el tiempo frente a la pantalla e iniciar debates sobre los riesgos de interactuar con contenido inapropiado. Sin estas medidas proactivas, los niños pueden encontrar formas de acceder a material que podría desensibilizarlos a la violencia o exponerlos a ideas dañinas.
Un contexto más amplio: niños, pantallas e IA
Esta controversia encaja en una narrativa más amplia sobre la exposición de los niños a contenido digital potencialmente dañino. Si bien los videojuegos, las redes sociales y otras actividades basadas en pantallas han sido examinadas durante mucho tiempo por sus posibles impactos psicológicos, la IA agrega una nueva dimensión a la discusión. A diferencia de las formas pasivas de medios, los chatbots de IA permiten interacciones bidireccionales, lo que permite a los usuarios interactuar activamente con el contenido.
Los expertos, incluido el psicólogo Peter Langman, experto en tiroteos escolares, han expresado su preocupación por cómo estas tecnologías interactivas podrían afectar a los usuarios jóvenes y vulnerables. Si bien Langman reconoce que es poco probable que la exposición a contenidos violentos por sí sola provoque un comportamiento violento, advierte que para quienes ya tienen tendencia a la violencia —"alguien que puede estar en el camino de la violencia"— estas interacciones podrían normalizar o incluso alentar ideologías peligrosas. "Cualquier tipo de estímulo o incluso la falta de intervención -una indiferencia en la respuesta de una persona o un chatbot- puede parecer una especie de permiso tácito para seguir adelante y hacerlo", dijo Langman.
Los chatbots de tiroteos escolares son intrínsecamente imprecisos
Las complejidades de las interacciones digitales dañinas me recuerdan mi trabajo como experto forense digital en los casos de Dylann Roof y James Holmes, perpetradores de dos de los tiroteos masivos más infames en la historia de los EE. UU. Roof fue condenado por cargos de asesinato en el tiroteo de la iglesia de Charleston en 2015, un ataque por motivos raciales que se cobró la vida de nueve feligreses afroamericanos. Holmes orquestó el tiroteo en el cine Aurora en 2012 durante una proyección de medianoche de The Dark Knight Rises, matando a 12 personas e hiriendo a otras 70.
Mi trabajo en estos casos implicó mucho más que revisar datos superficiales; requirió analizar el historial de Internet, chats privados, datos eliminados recuperados, historial de ubicación e interacciones sociales más amplias. Estos datos se proporcionaron a los abogados, quienes luego se los entregaron a los expertos en salud mental para que los analizaran en profundidad. Cuando se examina de manera forense el teléfono o la computadora de alguien, en muchos sentidos se puede echar un vistazo a sus vidas y sus mentes.
Aquí es donde la IA se queda corta. Si bien los algoritmos avanzados pueden analizar grandes cantidades de datos, carecen de la profundidad de la investigación humana. La IA no puede contextualizar comportamientos, interpretar motivos ni brindar la comprensión matizada que surge de la integración de múltiples formas de evidencia. Los chatbots de Character.AI, que simplemente imitan patrones de lenguaje, no pueden replicar ni revelar la mentalidad de individuos como Roof o Holmes.
Los chatbots creados por los usuarios sobre tiroteos escolares son intrínsecamente inexactos porque se basan en datos insuficientes, pero su naturaleza inmersiva aún puede ejercer una influencia considerable. A diferencia del contenido estático, como leer un libro o ver un documental sobre un tiroteo masivo, los chatbots permiten a los usuarios dar forma a sus interacciones, lo que puede intensificar el comportamiento dañino. Además, como la compañía de IA sigue siendo un fenómeno relativamente nuevo, sus efectos a largo plazo son difíciles de prever, lo que subraya la necesidad de tener cautela al explorar estas experiencias digitales personalizadas y potencialmente peligrosas.
Esto plantea preguntas críticas: ¿Cómo equilibramos el progreso tecnológico con la seguridad? ¿Qué salvaguardas son suficientes para proteger a los usuarios jóvenes y vulnerables? ¿Y dónde recae la responsabilidad cuando estos sistemas fallan?
Las medidas proactivas de Character.AI son un comienzo, pero el incidente pone de relieve el desafío más amplio de moderar el contenido de IA generado por los usuarios. La dependencia de la plataforma tanto de la moderación proactiva como de los informes de los usuarios ilustra la dificultad de seguir el ritmo del gran volumen de contenido generado diariamente.
Niños y chatbots: por qué es importante ahora
La controversia en torno a Character.AI surge en un momento en el que la IA se está integrando rápidamente en la vida cotidiana, especialmente para las generaciones más jóvenes. Esto plantea preguntas urgentes sobre los marcos regulatorios (o la falta de ellos) que rigen las tecnologías de IA. Sin estándares más claros y una supervisión más fuerte, es probable que incidentes como estos se vuelvan más frecuentes.
Los padres y tutores también deberían tomar nota. Monitorear las actividades en línea de los niños, especialmente en plataformas donde la creación de contenido está impulsada en gran medida por el usuario, es más crucial que nunca. Las conversaciones abiertas sobre los riesgos potenciales de las herramientas de IA interactivas y el establecimiento de límites para el tiempo frente a la pantalla son pasos esenciales para proteger a los usuarios jóvenes.
En cuanto a su relación con Character.AI, Google declaró a Futurism que "Google y Character AI son empresas completamente independientes. Google nunca ha participado en el diseño o la gestión de sus modelos o tecnologías de IA, ni los hemos incorporado a nuestros productos".