Incidentes Asociados
El algoritmo de Twitter para recortar automáticamente las imágenes adjuntas a los tweets a menudo no se enfoca en el contenido importante de ellos. Una molestia, seguro, pero parece menor en la superficie. Sin embargo, durante el fin de semana, los investigadores descubrieron que el algoritmo de recorte podría tener un problema más grave: el sesgo blanco.
Varios usuarios publicaron muchas fotos para mostrar que en una imagen que tiene personas con diferentes colores, Twitter elige mostrar personas con piel más clara después de recortar esas imágenes para que se ajusten a sus parámetros de visualización en su sitio e incrustaciones. Algunos de ellos incluso intentaron reproducir resultados con personajes ficticios y perros.
Si toca estas imágenes, verá una versión sin recortar de la imagen que incluye más detalles, como otra persona o personaje. Lo extraño es que incluso si los usuarios cambiaban el orden en que aparecían en la imagen las personas de piel oscura y las de piel clara, los resultados eran los mismos.
Sin embargo, algunas personas notaron que podría haber otros factores además del color de la piel. Y quienes probaron diferentes métodos encontraron resultados inconsistentes.
El director de diseño (CDO) de Twitter, Dantley Davis, dijo que la elección de recorte a veces tiene en cuenta el brillo del fondo.
En un hilo, Bianca Kastl, una desarrolladora de Alemania, explicó que el algoritmo de Twitter podría estar recortando la imagen en función de la prominencia, un punto o parte importante de una imagen que es probable que mires primero cuando la veas.
Probablemente, el algoritmo de cultivo de Twitter es una prominencia bastante simple. Ya veremos… pic.twitter.com/q4R0R8h3vh
– Bianca Kastl (@bkastl) 20 de septiembre de 2020
Su teoría está respaldada por la publicación de blog de Twitter de 2018 que explica su red neuronal construida para el recorte de imágenes. La publicación señala que anteriormente, la compañía tuvo en cuenta la detección facial para recortar imágenes. Sin embargo, ese enfoque no funcionó para las imágenes que no tenían una cara en ellas. Entonces, la red social cambió a un algoritmo basado en la prominencia.
[Leer: ¿Son demasiado caros los vehículos eléctricos? Aquí hay 5 mitos comunes, desacreditados]
Incluso si el algoritmo de Twitter no es 'racista', suficientes personas han publicado ejemplos que muestran que el algoritmo parece sesgado hacia tonos de piel más claros, y los resultados son problemáticos. la red. Anima Anandkumar, directora de investigación de IA en Nvidia, señaló que el algoritmo de prominencia podría entrenarse mediante el seguimiento ocular de participantes masculinos heterosexuales, y eso insertaría más sesgo en el algoritmo.
Grabar a hombres heterosexuales donde sus ojos se desvían cuando ven imágenes femeninas es codificar la cosificación y la sexualización de las mujeres en las redes sociales @Twitter Nadie pregunta de quién son los ojos que se rastrean para registrar la prominencia. #ai #sesgo https://t.co/coXwngSjiW
— Prof. Anima Anandkumar (@AnimaAnandkumar) 20 de septiembre de 2020
La portavoz de Twitter, Liz Kelly, tuiteó que la empresa probó el modelo y no encontró ningún sesgo. Agregó que la compañía abrirá su trabajo para que otros lo revisen y repliquen. Es posible que Twitter haya ignorado algunos factores durante las pruebas, y abrir el estudio podría ayudarlos a encontrar esos puntos ciegos.
El director de tecnología de la empresa, Parag Agarwal, dijo que el modelo necesita mejoras continuas y que el equipo está ansioso por aprender de esta experiencia.
El sesgo de piel clara en los algoritmos está bien documentado en campos que van desde la atención médica hasta la aplicación de la ley. Por lo tanto, las grandes empresas como Twitter deben trabajar continuamente en sus sistemas para deshacerse de él. Además, necesita iniciar un diálogo abierto con la comunidad de IA para comprender sus puntos ciegos.