Incidentes Asociados
Los investigadores que experimentaron con la herramienta de texto a imagen de OpenAI, DALL-E 2, notaron que parece estar agregando de forma encubierta palabras como "negro" y "femenino" a las indicaciones de imágenes, aparentemente en un esfuerzo por diversificar su producción.
La firma de inteligencia artificial OpenAI parece estar modificando de forma encubierta las solicitudes a DALL-E 2, su IA avanzada de texto a imagen, en un intento de hacer que parezca que el modelo tiene menos prejuicios raciales y de género. Los usuarios han descubierto que se están agregando palabras clave como "negro" o "mujer" a las indicaciones dadas a la IA, sin su conocimiento.
Es bien sabido que [las IA pueden heredar prejuicios humanos a través del entrenamiento con conjuntos de datos sesgados] (/article/2166207-discriminating-algorithms-5-times-ai-showed-prejudice/), a menudo recopilados al aspirar datos de Internet. Por ejemplo, si la mayoría de las imágenes de un médico en el conjunto de entrenamiento de una IA son masculinas, la IA generalmente devolverá médicos masculinos cuando se le solicite una imagen de un médico.
Una forma de evitar esto es usar un conjunto diverso de datos de entrenamiento, pero OpenAI parece haber adoptado un enfoque diferente, según los investigadores que han descubierto evidencia de que DALL-E 2 agrega silenciosa y aleatoriamente palabras adicionales a las indicaciones para aumentar la diversidad.
Por ejemplo, cuando Richard Zhang en Adobe Research le pidió a DALL-E 2 que creara una imagen de "una persona con un cartel que dice" creó una imagen de una mujer negra con un cartel que dice "NEGRO", lo que sugiere que el aviso completo utilizado por DALL-E 2 era "una persona con un cartel que dice negro ”.
Cuando Zhang pidió "arte en píxeles de una persona con un cartel de texto que dice", DALL-E 2 creó una imagen de una mujer con un cartel que decía "MUJER" y cuando pidió "arte en píxeles de una figura de palo frente a un letrero de texto que dice", DALL-E 2 emitió una [imagen de un hombre con un título debajo] (https://labs.openai .com/s/tH77ryI0WO4jcufFsCVJLHdw) diciendo “MACHO NEGRO”.
Más ejemplos de resultados similares se compartieron en línea durante la semana pasada, y muchas personas sugirieron que señaló que OpenAI agregó deliberadamente palabras a las entradas para contrarrestar los sesgos inherentes.
Jamie Simon en la Universidad de California, Berkeley, dice que los métodos de aprendizaje automático como los que están detrás de DALL-E 2 a menudo producen imágenes inusuales o inesperadas, pero que el El texto espontáneo que aparece en algunas imágenes es sorprendente. “En mi experiencia, es raro que las imágenes generadas incluyan texto coherente a menos que esté en el mensaje”, dice.
OpenAI anunció públicamente una actualización de DALL-E 2 que lo haría “más preciso reflejan la diversidad de la población mundial”, diciendo que las pruebas internas habían encontrado que los usuarios eran 12 veces más propensos a decir que las imágenes incluían personas de diversos orígenes después de la actualización. Su versión anterior había provocado que algunos usuarios señalaran prejuicios raciales y de género, dijo la compañía.
Pero OpenAI no dio detalles en su publicación de blog sobre los cambios exactos que se realizaron o cómo funcionaron. Una [publicación de blog posterior que anuncia el lanzamiento de DALL-E 2 para más usuarios] (https://openai.com/blog/dall-e-now-disponible-in-beta/) dijo que la función "se aplica en el nivel del sistema cuando DALL-E recibe un aviso sobre una persona que no especifica la raza o el género, como 'CEO'”.
Un portavoz de OpenAI le dijo a New Scientist que las indicaciones dadas a DALL-E 2 se modificaron si estaban "infraespecificadas". Si un aviso describe a una persona genérica y no especifica de qué género o raza debe ser, entonces se le indicará específicamente a DALL-E 2 que agregue una determinada raza y género "con pesos basados en la población mundial", dijo el portavoz. La compañía se negó a otorgar acceso a DALL-E 2 para que New Scientist pudiera realizar sus propias pruebas.
Mhairi Aitken del Instituto Alan Turing dice que la falta de transparencia dificulta que el público evalúe la calidad de los modelos y en qué medida han heredado el sesgo del contenido en línea.
“Muestra los problemas de falta de transparencia en torno a cómo se diseñan y desarrollan estos modelos. Estos modelos, que potencialmente van a tener impactos realmente fundamentales en la sociedad, impactos potencialmente transformadores, se están desarrollando con bastante secretismo”, dice. “Sin esa transparencia sobre cómo se ha hecho realmente, siempre habrá especulaciones sobre qué enfoques se han tomado y cómo se podrían hacer mejor las cosas”.
Sandra Wachter de la Universidad de Oxford dice que los problemas con los modelos de IA que exhiben tendencias racistas y sexistas son un reflejo de nuestra sociedad , y que si bien los arreglos técnicos rápidos pueden dar la apariencia de una solución, el verdadero problema a resolver está en la cultura que generó los datos de capacitación. “Intentaron resolverlo utilizando un enfoque tecnológico”, dice sobre la actualización de OpenAI. “Es un yeso adhesivo, solo hace que parezca menos parcial, pero el componente social en realidad no está cambiando en absoluto”.