Incidentes Asociados
Muchas plataformas de redes sociales como Instagram y LinkedIn usan sistemas de moderación de contenido para suprimir imágenes que son sexualmente explícitas o consideradas inapropiado para los espectadores.
Pero, ¿qué sucede cuando estos sistemas bloquean imágenes que no tienen ningún carácter sexual?
Una [investigación] reciente (https://www.theguardian.com/technology/2023/feb/08/biased-ai-algorithms-racy-women-bodies) de The Guardian, producida en asociación con AI Accountability del Centro Pulitzer Network, reveló que los algoritmos de inteligencia artificial utilizados en los sistemas de moderación de contenido tienen un sesgo de género implícito que a menudo lleva a que las fotos de mujeres sean sexualizadas.
Por ejemplo, The Guardian pasó una foto de la barriga de una mujer embarazada a través del algoritmo de Microsoft para poder calificar la "subidonidad" de la foto. El algoritmo tenía un 90% de confianza en que la foto era "de naturaleza sexualmente sugerente".
La investigación mostró que fotos de mujeres realizando actividades cotidianas como hacer ejercicio o someterse a exámenes médicos también han sido objeto de este falso análisis.
El informe de The Guardian es uno de los últimos en mostrar cómo el sesgo de género sigue siendo rampante en la IA. La tecnología se basa en datos recopilados y etiquetados por humanos, a menudo hombres que pueden aportar sus propias suposiciones, perspectivas y sesgos conservadores al trabajo con ellos.
Este tipo de sesgo es dañino porque, entre otras cosas, lleva a que más fotos sean "prohibidas". Esto es cuando una plataforma de redes sociales limita el alcance o la visibilidad de una publicación en las redes sociales. Shadowbanning difiere del bloqueo porque cuando se bloquea una publicación, se notifica al usuario, mientras que si se bloquea una publicación, el usuario no lo sabe.
Cuando los criterios para la prohibición de sombras están determinados por un algoritmo de IA sesgado, conduce a que las fotos de mujeres que realizan actividades cotidianas se eliminen sin su conocimiento debido a informes falsos de indecencia.
The Guardian realizó una prueba de LinkedIn usando dos fotos que mostraban tanto a mujeres como a hombres en ropa interior, y la herramienta de Microsoft clasificó la imagen que mostraba a dos mujeres como atrevidas y le otorgó una puntuación del 96 %. La imagen con los hombres se clasificó como no racista con una puntuación del 14%.
En consecuencia, la foto de la mujer recibió ocho visitas en una hora y la foto de los hombres recibió 655 visitas.
Shadowbanning es especialmente dañino para los creadores de contenido de redes sociales que dependen de la audiencia. The Guardian habló con una fotógrafa llamada Bec Wood que documenta la lactancia, el embarazo y otros momentos que capturan la maternidad. Se ha visto obligada a censurar algunas de sus fotos para asegurarse de que no se consideren sexualmente explícitas y restringidas en Instagram.
The Guardian también habló con Carolina Are, una instructora de pole dance que descubrió que sus fotos no aparecen en la página de exploración de Instagram o bajo el hashtag # Fitness Femenino.
“Pero luego, si mirabas el hashtag #MaleFitness, todos eran tipos grasos y estaban bien”, dijo. “No fueron baneados en la sombra”.
Los usuarios de las redes sociales han rechazado durante mucho tiempo el sesgo de género en la moderación de contenido a través de movimientos como [Free the Nipple](https://www.nytimes.com/2019/11/22/arts/design/instagram-free-the-nipple .html). Sin embargo, la investigación sobre los algoritmos de moderación de contenido operados por IA ofrecidos por Microsoft, Amazon y Google presagia un mayor conjunto de problemas en el futuro para las mujeres en las redes sociales.
“Se les impone una desventaja”, dijo Leon Derczynski, profesor de informática en la Universidad de TI de Copenhague. “No tienen ninguna agencia en que esto suceda y tampoco están informados de lo que está sucediendo”.