Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1835

Incidentes Asociados

Incidente 2624 Reportes
DALL-E Mini Reportedly Reinforced or Exacerbated Societal Biases in Its Outputs as Gender and Racial Stereotypes

DALL-E Mini está obsesionada con las mujeres en saris, y nadie sabe por qué
gizmodo.com · 2022

Los únicos límites reales de DALL-E Mini son la creatividad de tus propias indicaciones y su asombrosa pincelada. El [generador de imágenes de Internet de IA] accesible para todos (https://huggingface.co/spaces/dalle-mini/dalle-mini) puede evocar aproximaciones borrosas, retorcidas y derretidas de cualquier escenario que se te ocurra. ¿Pesadillas de Seinfield? Lo tienes (https://gizmodo.com/seinfeld-dall-e-ai-artworks-nightmares-1849028244). Bocetos de animales, vehículos y personas notables en variante -dall-e-mini-craiyon) combinaciones? Pan comido. [Monstruos de terror] nunca antes vistos 2Fadmin.iflscience.qa%2F) de la mente de los descerebrados. Seguro, como sea.

Pero no le des nada a DALL-E Mini y rápidamente revelará los límites de sus propias "imaginaciones". Sin dirección ni orientación, el modelo de IA parece atascarse. Sin ningún aviso, el programa sin duda le devolverá la imagen de una mujer con un sari (una prenda que se usa comúnmente en el sur de Asia).

Incluso el desarrollador de la herramienta, Boris Dayma, no sabe exactamente por qué, según información de Resto del mundo. “Es bastante interesante y no estoy seguro de por qué sucede”, dijo a Rest of World sobre el fenómeno.

¿Qué es DALL-E Mini?

DALL-E Mini se inspiró en DALL-E 2, un potente generador de imágenes de OpenAI. Las imágenes que crea DALL-E 2 son mucho más realistas que aquellas ese "mini" puede hacer, pero la contrapartida es que requiere demasiada potencia informática para ser lanzada por cualquier viejo usuario de Internet. Hay una capacidad limitada y una lista de espera.

Así que Dayma, que no está afiliada a OpenAI, optó por crear su propia versión menos exclusiva que se lanzó en julio de 2021. En las últimas semanas, se ha vuelto muy popular. El programa ha estado gestionando alrededor de 5 millones de solicitudes todos los días, dijo Dayma al resto del mundo. A partir del lunes, DALL-E Mini pasó a llamarse Craiyon y cambió a un nuevo nombre de dominio, ante la insistencia de OpenAI.

Como cualquier otro modelo de inteligencia artificial, DALL-E Mini/Craiyon crea resultados basados en entradas de entrenamiento. En el caso de Mini, el programa se entrenó con una dieta de 15 millones de pares de imágenes y subtítulos, y 14 millones de imágenes adicionales, más el caos de la Internet abierta.

Desde el resto del mundo:

El mini modelo DALL·E se desarrolló en tres conjuntos de datos principales: [Conjunto de datos de subtítulos conceptuales] (https://aclanthology.org/P18-1238/), que contiene 3 millones de pares de imágenes y subtítulos; Conceptual 12M, que contiene 12 millones de pares de imágenes y subtítulos, y The [OpenAI's](https://github.com/openai/CLIP/blob/main/data /yfcc100m.md) corpus de unos 15 millones de imágenes. Dayma y el cocreador de DALL·E mini, Pedro Cuenca, señalaron que su modelo también se entrenó con datos sin filtrar en Internet, lo que lo abre a sesgos desconocidos e inexplicables en conjuntos de datos que pueden filtrarse a modelos de generación de imágenes.

Y es casi seguro que estos datos subyacentes tienen algo que ver con el fenómeno del sari. El estado de cosas del sari, por así decirlo.

¿Por qué DALL-E Mini se atasca en Saris?

Dayma sugirió que las imágenes de mujeres del sur de Asia con saris pueden haber estado muy representadas en esos conjuntos de fotos originales que alimentan a DALL-E Mini. Y que la peculiaridad también podría tener algo que ver con la longitud de los subtítulos, ya que la IA podría asociar indicaciones de cero caracteres con descripciones breves de imágenes.

Sin embargo, Michael Cook, investigador de IA en la Universidad Queen Mary de Londres, le dijo a Rest of World que no estaba tan seguro de la teoría de la sobrerrepresentación. “Por lo general, los sistemas de aprendizaje automático tienen el problema inverso: en realidad no incluyen suficientes fotos de personas que no sean blancas”, dijo.

En cambio, Cook cree que el origen podría estar en un sesgo de idioma del proceso de filtrado de datos. “Una cosa que se me ocurrió mientras leía es que muchos de estos conjuntos de datos eliminan texto que no está en inglés”, dijo. Los subtítulos de imágenes que incluyen hindi, por ejemplo, podrían eliminarse, dejando imágenes sin texto explicativo de apoyo o etiquetas flotando libremente en la sopa primordial de IA, explicó.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 86fe0f5