Incidentes Asociados
Se ha descubierto que un enorme conjunto de datos públicos que sirvió como datos de entrenamiento para varios generadores de imágenes de IA contiene miles de casos de material de abuso sexual infantil (CSAM).
En un estudio publicado hoy, el Observatorio de Internet de Stanford (SIO) dijo que analizó más de 32 millones de puntos de datos en el conjunto de datos LAION-5B y pudo validarlos. Utilizando la herramienta PhotoDNA desarrollada por Microsoft, se obtuvieron 1.008 imágenes CSAM, algunas incluidas varias veces. Es probable que esa cifra sea "un conteo significativamente insuficiente", dijeron los investigadores en su artículo.
LAION-5B no incluye las imágenes en sí, sino que es una colección de metadatos que incluye un hash del identificador de la imagen, una descripción, datos de idioma, si puede ser inseguro y una URL que apunta a la imagen. Varias de las fotos CSAM vinculadas en LAION-5B se encontraron alojadas en sitios web como Reddit, Twitter, Blogspot y Wordpress, así como en sitios web para adultos como XHamster y XVideos.
Para encontrar imágenes en el conjunto de datos que valieran la pena probar, SIO se centró en imágenes etiquetadas por el clasificador de seguridad de LAION como "inseguras". Esas imágenes fueron escaneadas con PhotoDNA para detectar CSAM y las coincidencias se enviaron al Centro Canadiense para la Protección Infantil (C3P) para su verificación.
"La eliminación del material fuente identificado está actualmente en progreso, ya que los investigadores informaron las URL de las imágenes al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) en los EE. UU. y al C3P", [dijo] el SIO (https://cyber.fsi .stanford.edu/io/news/investigation-finds-ai-image-generation-models-trained-child-abuse).
LAION-5B se utilizó para entrenar, entre otras cosas, el popular generador de imágenes de IA Stable Diffusion versión 1.5, que es bien conocido en ciertos rincones de Internet por su capacidad para crear imágenes explícitas. Si bien no está directamente relacionado con casos como el de un psiquiatra infantil usando IA para generar imágenes pornográficas de menores, es ese tipo de tecnología la que ha creado deepfake sextortion y otros delitos más fácilmente.
Según SIO, Stable Diffusion 1.5 sigue siendo popular en línea por generar fotografías explícitas después de la "insatisfacción generalizada de la comunidad" con el lanzamiento de Stable Diffusion 2.0, que agregó filtros para evitar que imágenes inseguras se introduzcan en el conjunto de datos de entrenamiento.
Le preguntamos a Stability AI, que financia y dirige el desarrollo de Stable Diffusion, si conocía la presencia de CSAM en LAION-5B y si algo de ese material llegó a la serie de modelos de la startup; la empresa no respondió a nuestras preguntas.
Observamos que, aunque Stability ha lanzado varios giros de Stable Diffusion, incluida la versión 2.0 con los filtros antes mencionados, la versión 1.5, que fue estudiada por SIO y entrenada en LAION-5B, fue lanzada por otra startup llamada RunwayML, que colabora con Stability AI. .
Ups, lo hicieron de nuevo
Si bien es la primera vez que los datos de entrenamiento de IA de la organización alemana sin fines de lucro LAION han sido acusados de albergar pornografía infantil, la organización ha sido criticada por incluir contenido cuestionable en sus datos de entrenamiento anteriormente.
Google, que utilizó un predecesor LAION-2B conocido como LAION-400M para entrenar su generador Imagen AI, decidió no lanzar nunca la herramienta debido a varias preocupaciones, incluida si los datos de entrenamiento de LAION le habían ayudado a construir un modelo sesgado y problemático.
Según el equipo de Imagen, el generador mostró "un sesgo general hacia la generación de imágenes de personas con tonos de piel más claros y... que representan diferentes profesiones para alinearse con los estereotipos de género occidentales". Modelar cosas distintas a los humanos no mejoró la situación, lo que provocó que Imagen "codifique una variedad de prejuicios sociales y culturales al generar imágenes de actividades, eventos y objetos".
Una auditoría del propio LAION-400M "descubrió una amplia gama de contenido inapropiado, incluidas imágenes pornográficas, insultos racistas y estereotipos sociales dañinos".
Unos meses después de que Google decidiera no hacer pública Imagen, una artista vio imágenes médicas de una cirugía a la que se sometió en 2013 presente en LAION-5B, que nunca dio permiso para incluir.
LAION no respondió a nuestras preguntas sobre el asunto, pero el fundador Christoph Schuhmann le dijo a Bloomberg a principios de este año que no estaba [desconocido](https://www.bloomberg.com/news/features/2023-04-24/a -high-school-teacher-s-free-image-database-powers-ai-unicorns?leadSource=uverify%20wall) de cualquier CSAM presente en LAION-5B, aunque también admitió que "no revisó los datos en gran profundidad. "
Coincidentemente o no (no se menciona el estudio de SIO), LAION decidió ayer presentar planes para "procedimientos de mantenimiento regulares", que comenzarán de inmediato, para eliminar "enlaces en conjuntos de datos de LAION que aún apuntan a contenido sospechoso y potencialmente ilegal en la Internet pública".
"LAION tiene una política de tolerancia cero con el contenido ilegal", afirmó la empresa. "Los conjuntos de datos públicos se eliminarán temporalmente para volver después del filtrado de actualizaciones". LAION planea devolver sus conjuntos de datos al público en la segunda quincena de enero. ®
Actualizado para agregar
Un portavoz de Stability AI se negó a aclarar si el advenedizo conocía o no el contenido problemático en LAION-5B, y en cambio dijo que su propia serie Stable Diffusion se entrenó en una parte de las imágenes del conjunto de datos, aunque no se nos dice si eso porción tenía CSAM o no.
"Los modelos de estabilidad de IA se entrenaron en un subconjunto filtrado de ese conjunto de datos", dijo el representante. "Además, posteriormente ajustamos estos modelos para mitigar los comportamientos residuales".
El portavoz también dijo que coloca filtros en las indicaciones de entrada y las imágenes de salida para, idealmente, detectar y prevenir intentos de crear contenido ilegal. "Estamos comprometidos a prevenir el uso indebido de la IA y prohibir el uso de nuestros modelos y servicios de imágenes para actividades ilegales, incluidos los intentos de editar o crear CSAM", dijeron a The Register.
Finalmente, Stability AI nos destacó que el SIO estudió la versión 1.5 de Stable Diffusion, que la startup no lanzó. Dijo que no estaba de acuerdo con la decisión del colaborador RunwayML de lanzar esa versión del modelo entrenado con LAION-5B.