Incidentes Asociados
La IA generativa se ha democratizado. Los kits de herramientas para descargar, configurar, usar y ajustar una variedad de modelos se han convertido en marcos de un clic para que los use cualquier persona con una computadora portátil. Si bien esta tecnología permite a los usuarios generar y experimentar con una amplia gama de contenidos, sin barreras de seguridad también permite la generación de material increíblemente dañino.
El mes pasado, el Observatorio de Internet de Stanford (SIO) publicó un informe identificando a los niños Material de abuso sexual (CSAM) en Red abierta de inteligencia artificial a gran escala (LAION) LAION-5B, una popular base de datos de entrenamiento de imágenes de IA. Sobre la base de trabajo previo, el informe y la posterior cobertura de prensa resaltaron un lado desagradable e inquietante del auge generativo de la IA y los desafíos que enfrentan las fuerzas del orden, los gobiernos y la industria privada. en procesar, contrarrestar y crear legislación sobre CSAM generado por IA.
Los organismos encargados de hacer cumplir la ley y los responsables de la formulación de políticas, ya abrumados por el gran volumen de CSAM digital, consideran que la rápida proliferación y las capacidades de la IA generativa son desalentadoras. Estos sistemas avanzados no sólo pueden replicar el CSAM existente sino también generar nuevas instancias que no involucran víctimas humanas directas, lo que complica las respuestas legales. Las implicaciones son profundas: si un modelo se entrena utilizando datos que incluyen CSAM original, sus pesos podrían replicarse o incluso generar nuevo CSAM, lo que llevaría a una forma de revictimización digital que es complejo y omnipresente. El hallazgo de LAION es particularmente alarmante: el conjunto de datos respalda modelos ampliamente utilizados como Stable Diffusion 1.5 y Midjourney y se encontró que contenía no menos de 1.679 casos de CSAM, como identificado por SIO.
Teniendo en cuenta la naturaleza técnica de estos modelos, en particular la forma en que las ponderaciones de los modelos podrían encapsular CSAM real, existe una necesidad urgente de reevaluar cómo se ven estos según la ley. Actual legal frameworks necesitan evolucionar para abordar los matices de las representaciones no visuales de CSAM y CSAM sintético, reconociendo el potencial de estos modelos para albergar y perpetuar el abuso. Es imperativo un esfuerzo concertado entre los organismos gubernamentales, el sector privado y el mundo académico para guiar el desarrollo de la IA generativa de manera responsable y ética.
Antecedentes: IA generativa
Los avances recientes en la IA generativa han permitido al profano generar obras de arte, imágenes y videos realistas a partir de indicaciones de texto. Los últimos modelos de IA generativa se denominan "modelos de difusión", nacidos de [académico](https://arxiv. org/abs/1503.03585) investigación en la Universidad de California, Berkeley y la Universidad de Stanford. En términos de antecedentes útiles, un "modelo" se compone de un conjunto de código que define una "arquitectura" y un conjunto de "pesos" que definen cómo un mensaje de texto se convierte en una imagen significativa. Piense en la "arquitectura" como el chasis de un automóvil y los "pesos" como el combustible: el chasis es inútil sin el combustible. Estos modelos se entrenan en conjuntos de datos seleccionados mediante la extracción de una enorme cantidad de imágenes y texto relacionado de Internet, con diferentes modelos de diferentes empresas como OpenAI o Stability AI que utilizan datos recopilados a través de diferentes fuentes. Esto permite que estos modelos sean generadores de imágenes generalistas: generan bien elementos comunes, mientras que los elementos específicos de nicho suelen ser deficientes.
Para que estos modelos funcionen para mensajes más específicos, los usuarios pueden recopilar un pequeño conjunto de imágenes y títulos sobre un tema y "afinar" el modelo, modificando así los pesos (pero no la arquitectura) del modelo para generar imágenes adaptadas a sus especificaciones.
Con un mensaje de texto, cualquier teléfono inteligente común en el mercado actual puede generar una imagen realista en [menos de 12 segundos](https://ai.googleblog.com/2023/06/speed-is-all-you-need-on- dispositivo.html). Este límite de tiempo está disminuyendo rápidamente a medida que avanza la investigación en IA. Tanto las arquitecturas como los pesos ajustados para muchos modelos están disponibles para descargar para cualquier persona en todo el mundo. Se han ajustado y [se han hecho fácilmente accesibles] las ponderaciones de temas específicos como "anime chibi", "retratos hiperrealistas", "artistas de baja fidelidad" y más (https://huggingface.co/spaces/huggingface-projects /galería-difusores).
Además, un aspecto inquietante de estos modelos es su capacidad de "memorizar" sus datos de entrenamiento, lo que significa que los pesos de un modelo entrenado contienen representaciones latentes de los datos originales. que luego puede reconstruirse para producir el contenido original o similar. La cuestión se vuelve particularmente alarmante cuando se considera la generación de CSAM. Dado que los modelos pueden memorizar de manera efectiva y potencialmente recrear los datos de entrenamiento originales, los pesos de estos modelos, cuando se entrenan o ajustan en CSAM, no son solo números abstractos, sino que pueden representar reproducciones potenciales de contenido real y dañino. Reconocer los pesos como reproducciones potenciales de CSAM es crucial para comprender y legislar contra la perpetuación de CSAM a través de estas tecnologías.
Casos de preocupación
Para comprender la gravedad y la complejidad de este problema, es esencial comprender los mecanismos mediante los cuales los actores maliciosos pueden aprovechar la IA generativa para producir CSAM. Por lo general, esto implica recopilar CSAM, ajustar un modelo de IA generativo con estos datos y luego usar los pesos del modelo resultante como una función generativa para producir continuamente nuevas instancias de CSAM. Los modelos de IA generativa de acceso público, como Stable Diffusion XL1.5 y MidJourney, han sido [documentados](https://cyber.fsi.stanford.edu/news/investigation-finds-ai-image-generation-models-trained -child-abuse) haber sido entrenado en conjuntos de datos que contienen CSAM como LAION-5B, lo que genera importantes preocupaciones.
Profundicemos en dos casos ilustrativos:
Caso 1: Ajuste de un modelo de IA generativo para generar CSAM
Considere un individuo que apunta a generar CSAM. Comienzan descargando un modelo fundamental de IA generativa, típicamente diseñado para producir imágenes benignas, de Internet. Armado con una colección de CSAM y utilizando kits de herramientas de código abierto fácilmente disponibles, este individuo luego afina el modelo de IA generativa, creando así un conjunto de pesos de modelo que están optimizados para producir CSAM. En consecuencia, el individuo está en posesión de varios elementos habilitantes: el CSAM original, un modelo capaz de generar tanto réplicas de CSAM como nuevos CSAM sintéticos, y el potencial de generar un volumen sustancial de este material ilegal con un mínimo esfuerzo.
Caso 2: Descarga de un modelo de IA generativo para generar CSAM
En este escenario, un individuo adquiere un modelo ya ajustado para la generación de CSAM, posiblemente a través de su descarga de Internet o mediante la transferencia de archivos a través de medios físicos.
Mediante el uso de kits de herramientas ampliamente disponibles, esta persona puede generar un gran volumen de CSAM con facilidad. A diferencia del primer caso, el individuo aquí no posee imágenes físicas de CSAM sino los pesos del modelo derivados de dicho material. Estos pesos, sin embargo, son capaces de contener representaciones casi perfectas del CSAM original, aunque en forma transformada o codificada.
Como se mencionó anteriormente, los modelos de IA generativa tienen la desconcertante capacidad de "memorizar" sus datos de entrenamiento, lo que significa que cuando los modelos se entrenan o se ajustan aún más en CSAM, inherentemente poseen la capacidad de producir réplicas casi exactas de las imágenes abusivas originales dentro de las pesas. En este segundo caso, si bien el individuo no posee físicamente el CSAM original, las representaciones internas dentro de los pesos del modelo constituyen efectivamente duplicaciones de CSAM. Esto implica que cada uso de estos pesos para generar nuevos CSAM contribuye indirectamente a la revictimización de individuos del CSAM original, ya que sus semejanzas se explotan para crear casos nuevos y realistas de abuso sexual infantil.
Desafíos de aplicación de la ley
En este entorno cambiante, las fuerzas del orden están luchando por mantenerse al día, tanto en los Estados Unidos como en todo el [mundo](https://www.iwf.org.uk/media/q4zll2ya/iwf-ai-csam-report_public -oct23v1.pdf). En EE. UU., 18 U.S. Code § 2256 define "pornografía infantil" como "cualquier representación visual, incluida cualquier fotografía, película, vídeo , fotografía, o imagen o fotografía generada por computadora o por computadora, ya sea hecha o producida por medios electrónicos, mecánicos u otros medios, de conducta sexualmente explícita". Además, define la producción de pornografía infantil como "producir, dirigir, fabricar, emitir, publicar o publicitar" pornografía infantil. Además, la Ley PROTECT de 2003 prohibe cualquier "dibujo, caricatura, escultura o pintura" que "represente a un menor [ o alguien que parezca menor] participando en una conducta sexualmente explícita".
Las leyes escritas hace años deben actualizarse. Según las interpretaciones actuales del artículo 18 del Código de EE. UU. § 2256, los pesos de los modelos probablemente no representen una "representación visual" de pornografía infantil. Además, los pesos de los modelos no parecen contener un "menor identificable", la definición de la Ley PROTECT de 2003. Por lo tanto, según la ley actual, los pesos de los modelos derivados de CSAM no se consideran artículos cubiertos según los estatutos de EE. UU. Además, las leyes anteriores deben actualizarse para imponer restricciones a las herramientas automatizadas que se utilizan principalmente para generar CSAM.
En el futuro, se debe tener cuidado de abordar las lagunas en cualquier enmienda propuesta. Por ejemplo, se podría entrenar un modelo de "segunda generación" para reconstruir los resultados de un modelo de "primera generación" que se entrenó en CSAM original. Dado que este modelo se está entrenando con resultados que sean realistas, un modelo de "segunda generación" aún podría ser capaz de generar CSAM realista. Sin embargo, los pesos de un modelo de "segunda generación" no se derivarían del CSAM original, sino sólo imágenes sintéticas y fotorrealistas. Garantizar que no existan tales lagunas requerirá una redefinición en capas del CSAM sintético y las herramientas utilizadas para generarlo.
Respondiendo a la necesidad insaciable de datos a cualquier precio
El incidente de LAION representa un grave paso en falso. El campo de la IA debe mejorar para evitar que se repita un fracaso de esta escala en el futuro. Inmediatamente, cualquier persona u organización involucrada en el trabajo de IA generativa debe realizar un inventario exhaustivo de sus servidores e identificar si poseen conjuntos de datos afectados y dónde, junto con modelos que han sido entrenados o derivados de estos modelos.
Además, el campo de la IA en su conjunto (incluida la industria privada, la academia y el gobierno) debe crear un proceso estandarizado para la curación de datos a escala web que incluya controles verificables de material dañino y material protegido por derechos de autor. Empresas y académicos están seleccionando conjuntos de datos más grandes que LAION-5B que casi con seguridad contienen CSAM, lo que requiere la creación de un proceso que garantice que esto no vuelva a ocurrir en el futuro.
La academia, en particular, debe prestar más atención a los conjuntos de datos que acepta para su uso en el campo. LAION-5B se presentó a la muy influyente conferencia Neural Information Processing Systems (NeurIPS) para su revisión por pares, donde fue aceptado y premiado como el mejor artículo en la categoría "conjuntos de datos y puntos de referencia". Las reseñas del artículo destacaron graves preocupaciones éticas en torno a materiales dañinos y protegidos por derechos de autor. Sin embargo, los revisores de ética de NeurIPS recomendaron que se aceptara el artículo después de reconocer que si NeurIPS no lo aceptaba, aún así se compartiría y distribuiría en otros lugares. El listón para la aceptación en los lugares más prestigiosos de AI debe ser más alto.
La academia y la industria también deben colaborar para establecer métodos mediante los cuales los modelos entrenados puedan compararse automáticamente con bases de datos como PhotoDNA para garantizar que sus pesos no contengan CSAM memorizado y para verificar que los modelos no puedan crear CSAM sintético. Las pruebas de conocimiento cero de la capacitación de modelos (zkPoT) representan un comienzo prometedor en esta dirección. Usando un zkPoT, se pueden proporcionar pruebas de modelos de "caja negra" a los auditores, quienes pueden verificar que el modelo no fue entrenado en instancias conocidas de CSAM.
Los actores en el campo de la IA han estado seleccionando y publicando grandes conjuntos de datos durante años sin controles ni equilibrios establecidos. De hecho, muchas empresas permiten a los usuarios producir y distribuir pesas generativas de IA. Como consecuencia, podría haber un rechazo de la industria contra cualquier legislación que intente limitar el uso de IA generativa o agregue una barrera significativa a la comercialización de dicho software. Al centrarse en los pesos de los modelos en sí en lugar de en las imágenes generadas por los modelos, es probable que haya un camino más fácil para hacer cumplir la Primera Enmienda.
Los legisladores también deben actuar. El código estadounidense debe modificarse para incluir representaciones no visuales de CSAM como material cubierto. Además, la Ley PROTECT debe actualizarse para tipificar como delito la creación, posesión y distribución de modelos que hayan sido capacitados principalmente para la creación de CSAM. Para lograr esto sin lagunas jurídicas, el CSAM sintético también debe redefinirse en respuesta a los avances tecnológicos. También debe establecerse una responsabilidad estricta por la divulgación de fuentes de datos a escala web no examinadas. Esto requerirá legislación y batallas en los tribunales.
Por último, los procedimientos de investigación de los organismos encargados de hacer cumplir la ley, incluida la Oficina Federal de Investigaciones de EE. UU. y otras agencias de todo el mundo, necesitan actualizaciones integrales para abordar los matices de la IA generativa en la promoción de delitos, incluido el CSAM. Esto implica ampliar el alcance de las órdenes de registro para examinar rigurosamente los modelos generativos de IA y los pesos asociados cuando dichos materiales se descubren en la computadora de un sospechoso. Más allá de las actualizaciones de procedimientos, existe una necesidad apremiante de mejorar la perspicacia técnica del personal encargado de hacer cumplir la ley. Los programas de formación diseñados específicamente para comprender e investigar las complejidades de las tecnologías de IA generativa son cruciales. Esto permitirá a las fuerzas del orden identificar, rastrear y procesar eficazmente el uso indebido de la IA en la generación y distribución de CSAM, garantizando que los agentes no solo estén equipados con las herramientas legales necesarias sino también con la experiencia técnica para abordar estos complejos desafíos.
En conjunto, estas medidas sirven como un buen comienzo para garantizar que el campo de la IA sea responsable de proteger contra la conservación, generación y distribución de CSAM y otro material dañino.