Incidentes Asociados
Las imágenes publicadas en las redes sociales son analizadas por algoritmos de inteligencia artificial (IA) que deciden qué amplificar y qué suprimir. Muchos de estos algoritmos, según descubrió una investigación de The Guardian, tienen un sesgo de género y pueden haber estado censurando y suprimiendo el alcance de innumerables fotos que muestran cuerpos de mujeres.
Estas herramientas de IA, desarrolladas por grandes empresas de tecnología, incluidas Google y Microsoft, están destinadas a proteger a los usuarios mediante la identificación de imágenes violentas o pornográficas para que las empresas de redes sociales puedan bloquearlas. antes de que nadie lo vea. Las empresas afirman que sus herramientas de inteligencia artificial también pueden detectar "subido de tono" o cuán sexualmente sugerente es una imagen. Con esta clasificación, las plataformas, incluidas Instagram y LinkedIn, pueden suprimir las imágenes polémicas.
Dos periodistas de The Guardian utilizaron las herramientas de IA para analizar cientos de fotos de hombres y mujeres en ropa interior, haciendo ejercicio, usando pruebas médicas con desnudez parcial y encontraron evidencia de que la IA etiqueta las fotos de mujeres en situaciones cotidianas como sexualmente sugerentes. También califican las imágenes de mujeres como más "subidas de tono" o sexualmente sugerentes que las imágenes comparables de hombres. Como resultado, las compañías de redes sociales que aprovechan estos u otros algoritmos similares han suprimido el alcance de innumerables imágenes que muestran cuerpos de mujeres y perjudicado a las empresas dirigidas por mujeres, lo que amplifica aún más las disparidades sociales.
Cuestionario sobre sesgo de género de IA
Incluso las imágenes médicas se ven afectadas por el problema. Los algoritmos de IA se probaron en imágenes publicadas por el Instituto Nacional del Cáncer de EE. UU. que demuestran cómo realizar un examen clínico de mama. La IA de Google le dio a esta foto la puntuación más alta en atrevimiento, la IA de Microsoft confiaba en un 82 % en que la imagen era de "naturaleza explícitamente sexual" y Amazon la clasificó como representación de "desnudez explícita".
Los vientres embarazados también son problemáticos para estas herramientas de IA. El algoritmo de Google calificó la foto como "muy probable que contenga contenido subido de tono". El algoritmo de Microsoft confiaba en un 90% en que la imagen era "de naturaleza sexualmente sugerente".
“Esto es una locura”, dijo Leon Derczynski, profesor de informática en la Universidad de TI de Copenhague, que se especializa en daños en línea. “La cosificación de las mujeres parece estar profundamente arraigada en el sistema”.
Una empresa de redes sociales dijo que no diseñan sus sistemas para crear o reforzar sesgos y que los clasificadores no son perfectos.
“Este es un espacio complejo y en evolución, y continuamos realizando mejoras significativas en los clasificadores de SafeSearch para garantizar que sigan siendo precisos y útiles para todos”, dijo un portavoz de Google.
Obtener shadowbanned
En mayo de 2021, Gianluca Mauro, emprendedor de inteligencia artificial, asesor y coautor de este artículo, publicó una publicación en LinkedIn y se sorprendió de que se hubiera visto 29 veces en una hora, en lugar de las aproximadamente 1000 visitas que suele recibir. ¿Quizás la imagen de dos mujeres usando blusas sin mangas era el problema?
Volvió a cargar exactamente el mismo texto con otra imagen. La nueva publicación obtuvo 849 visitas en una hora.
Parecía que su publicación había sido suprimida o "prohibida en la sombra". Shadowbanning se refiere a la decisión de una plataforma de redes sociales de limitar el alcance de una publicación o cuenta. Si bien una prohibición regular implica bloquear activamente una publicación o cuenta y notificar al usuario, la prohibición de la sombra es menos transparente: a menudo, el alcance se suprimirá sin el conocimiento del usuario.
The Guardian descubrió que Microsoft, Amazon y Google ofrecen algoritmos de moderación de contenido a cualquier empresa por una pequeña tarifa. Microsoft, la empresa matriz y propietaria de LinkedIn, dijo que su herramienta [“puede detectar material para adultos en imágenes para que los desarrolladores puedan restringir la visualización de estas imágenes en su software”.](https://learn.microsoft.com/en- us/azure/cognitive-services/computer-vision/concept-detecting-adult-content)
Se realizó otro experimento en LinkedIn para intentar confirmar el descubrimiento.
En dos fotos que mostraban tanto a mujeres como a hombres en ropa interior, la herramienta de Microsoft clasificó la imagen que mostraba a dos mujeres como atrevidas y le otorgó una puntuación del 96 %. La imagen con los hombres se clasificó como no racista con una puntuación del 14%.
La foto de las mujeres obtuvo ocho vistas en una hora, y la foto con los dos hombres recibió 655 vistas, lo que sugiere que la foto de las mujeres en ropa interior fue suprimida o prohibida.
Shadowbanning se ha documentado durante años, pero los periodistas de The Guardian pueden haber encontrado un eslabón perdido para comprender el fenómeno: los algoritmos de IA sesgados. Las plataformas de redes sociales parecen aprovechar estos algoritmos para calificar imágenes y limitar el alcance del contenido que consideran demasiado subido de tono. El problema parece ser que estos algoritmos de IA tienen un sesgo de género incorporado, calificando a las mujeres más atrevidas que las imágenes que contienen hombres.
“Nuestros equipos utilizan una combinación de técnicas automatizadas, revisiones de expertos humanos e informes de miembros para ayudar a identificar y eliminar contenido que viola nuestras [políticas de la comunidad profesional] (https://www.linkedin.com/legal/professional-community-policies), ”, dijo el portavoz de LinkedIn, Fred Han, en un comunicado. “Además, nuestro feed utiliza algoritmos de manera responsable para mostrar contenido que ayude a nuestros miembros a ser más productivos y exitosos en su trayectoria profesional”.
Amazon dijo que la moderación del contenido se basa en una variedad de factores que incluyen la geografía, las creencias religiosas y la experiencia cultural. Sin embargo, "Amazon Rekognition puede reconocer una amplia variedad de contenido, pero no determina la idoneidad de ese contenido", dijo un portavoz de Amazon. “El servicio simplemente devuelve las etiquetas de los elementos que detecta para una evaluación adicional por parte de moderadores humanos”.
Cavar más profundo
Natasha Crampton, directora responsable de inteligencia artificial de Microsoft, y su equipo comenzaron a investigar cuando los periodistas le notificaron sobre el etiquetado de las fotos.
“Los resultados iniciales no sugieren que esos falsos positivos ocurran a una tasa desproporcionadamente más alta para las mujeres en comparación con los hombres”, dijo Crampton. Cuando se ejecutaron fotos adicionales a través de la herramienta, el sitio web de demostración había cambiado. Antes de que se descubriera el problema, era posible probar los algoritmos simplemente arrastrando y soltando una imagen. Ahora era necesario crear una cuenta y escribir un código.
Pero, ¿qué analizan realmente estos clasificadores de IA en las fotos? Se necesitaban más experimentos, por lo que Mauro aceptó ser el sujeto de prueba.
Cuando se fotografió con pantalones largos y el pecho descubierto, el algoritmo de Microsoft tuvo una puntuación de confianza inferior al 22 % en cuanto a picante. Cuando Mauro se puso un sostén, la puntuación de atrevimiento saltó al 97 %. El algoritmo dio una puntuación del 99 % cuando el sostén estaba a mi lado.
“Estás viendo información descontextualizada en la que un sostén se considera intrínsecamente atrevido en lugar de algo que muchas mujeres usan todos los días como una prenda básica”, dijo Kate Crawford, profesora de la Universidad del Sur de California y autora de Atlas. de AI.
Abeba Birhane, miembro sénior de la Fundación Mozilla y experta en grandes conjuntos de datos visuales, dijo que lo picante es un concepto social que difiere de una cultura a otra.
“Estos conceptos no son como identificar una tabla en la que tienes algo físico y puedes tener una definición o calificación relativamente aceptable para algo en particular”, dijo. “No se puede tener una única definición indiscutible de picante”.
¿Por qué estos sistemas parecen tan sesgados?
La IA moderna se construye utilizando el aprendizaje automático, un conjunto de algoritmos que permiten que las computadoras aprendan de los datos. Cuando los desarrolladores usan el aprendizaje automático, no escriben reglas explícitas que le indiquen a las computadoras cómo realizar una tarea. En su lugar, proporcionan a las computadoras datos de entrenamiento. Se contrata a personas para etiquetar imágenes para que las computadoras puedan analizar sus puntajes y encontrar cualquier patrón que ayude a replicar las decisiones humanas.
Margaret Mitchell, científica ética en jefe de la firma de inteligencia artificial Hugging Face y excodirectora del grupo de investigación de inteligencia artificial ética de Google, cree que las fotos utilizadas para entrenar estos algoritmos probablemente fueron etiquetadas por hombres heterosexuales, que pueden asociar a los hombres que hacen ejercicio con el estado físico, pero puede considerar atrevida la imagen de una mujer haciendo ejercicio. También es posible que estas calificaciones parezcan sesgadas por género en los EE. UU. y en Europa porque los etiquetadores pueden haber sido de un lugar con una cultura más conservadora.
Idealmente, las empresas de tecnología deberían haber realizado análisis exhaustivos sobre quién está etiquetando sus datos, para asegurarse de que el conjunto de datos final incorpore una diversidad de puntos de vista, dijo. Las empresas también deberían verificar que sus algoritmos funcionen de manera similar en fotos de hombres contra mujeres y otros grupos, pero eso no siempre se hace.
“No hay un estándar de calidad aquí”, dijo Mitchell.
Este sesgo de género que descubrió The Guardian es parte de más de una década de controversia en torno a la moderación de contenido en las redes sociales. Las imágenes que muestran a personas amamantando a sus hijos y los diferentes estándares para las fotos de pezones masculinos, que están permitidos en Instagram, y pezones femeninos, que deben cubrirse, han generado protestas durante mucho tiempo sobre las prácticas de moderación de contenido de las plataformas de redes sociales.
Ahora [la junta de supervisión de Meta] (https://about.fb.com/news/tag/oversight-board/), un organismo externo que incluye profesores, investigadores y periodistas, que son pagados por la empresa, le ha pedido al gigante tecnológico que aclarar sus pautas estándar comunitarias de desnudez adulta y actividad sexual en las plataformas de redes sociales "para que todas las personas sean tratadas de manera consistente con los estándares internacionales de derechos humanos, sin discriminación por motivos de sexo o género".
Meta se negó a comentar para esta historia.
“Las mujeres deberían expresarse”
Bec Wood, una fotógrafa de 38 años que vive en Perth, Australia, dijo que está aterrorizada por la fuerza policial algorítmica de Instagram.
Después de que Wood tuvo una hija hace nueve años, comenzó a estudiar educación para el parto y a fotografiar a mujeres que intentaban hacer retroceder las presiones sociales que muchas mujeres sienten que deberían verse como supermodelos.
“No estaba teniendo eso para mi hija”, dijo. “Las mujeres deberían expresarse y celebrarse a sí mismas y ser vistas en todas estas formas y tamaños diferentes. Simplemente creo que eso es muy importante para que la humanidad avance”.
Las fotos de Wood son miradas íntimas a las conexiones de las mujeres con sus hijos, fotografiando la lactancia, el embarazo y otros momentos importantes de una manera ingeniosa. Su negocio depende al 100% de Instagram: “Ahí es donde la gente te encuentra”, dijo Wood. “Si no comparto mi trabajo, no consigo trabajo”.
Google y Microsoft calificaron las fotos de Wood como probables de contener contenido sexual explícito. Amazon clasificó la imagen del vientre embarazado a la derecha como "desnudez explícita".
Desde que Wood comenzó su negocio en 2018, para algunas de sus fotos recibió mensajes de Instagram de que la compañía estaba quitando algunas de sus fotos o que iban a permitirlas en su perfil pero no en la pestaña Explorar, una sección de la aplicación donde las personas pueden descubrir contenido de cuentas que no siguen. Esperaba que Instagram solucionara el problema con el tiempo, pero sucedió lo contrario, dijo. “Honestamente, no puedo creer que haya empeorado. Ha devastado mi negocio”. Wood describió 2022 como su peor año comercial.
Está aterrorizada de que si sube la imagen "equivocada", se le bloqueará el acceso a su cuenta con más de 13 000 seguidores, lo que llevaría a la bancarrota a su negocio: la publicación que lo va a perder todo?'”, dijo.
Para evitar esto, Wood comenzó a ir en contra de lo que la hizo comenzar su trabajo en primer lugar: “Censuraré lo más artísticamente posible cualquier pezón. Encuentro esto tan ofensivo para el arte, pero también para las mujeres”, dijo. “Casi siento que soy parte de perpetuar ese ciclo ridículo del que no quiero formar parte”.
Al pasar algunas de las fotos de Wood a través de los algoritmos de inteligencia artificial de Microsoft, Google y Amazon, incluidas aquellas que mostraban una barriga embarazada, se calificaron como atrevidas, con desnudez o incluso explícitamente sexuales.
La madera no está sola. Carolina Are, experta en plataformas de redes sociales y moderación de contenido y actualmente becaria de Innovación en el Centro para Ciudadanos Digitales de la Universidad de Northumbria, dijo que usó Instagram para promocionar su negocio y fue víctima del shadowbanning.
Are, una instructora de pole dance, dijo que algunas de sus fotos fueron eliminadas y, en 2019, descubrió que sus imágenes no aparecían en la página de exploración o bajo el hashtag #FemaleFitness, donde los usuarios de Instagram pueden buscar contenido de los usuarios que buscan. no seguir. “Eran literalmente solo mujeres haciendo ejercicio de una manera muy mansa. Pero luego, si mirabas el hashtag #MaleFitness, todos eran tipos grasos y estaban bien. No estaban prohibidos en la sombra”, dijo.
Para Are, estos problemas individuales apuntan a problemas sistémicos más grandes: muchas personas, incluidas las personas con enfermedades crónicas y discapacitadas, confían en ganar dinero a través de las redes sociales y el shadowbanning perjudica su negocio.
Mitchell, el científico jefe de ética de Hugging Face, este tipo de algoritmos a menudo recrean sesgos sociales: "Significa que las personas que tienden a ser marginadas están aún más marginadas, como literalmente empujadas hacia abajo en un significado muy directo del término marginación".
Es un daño representativo y ciertas poblaciones no están adecuadamente representadas, agregó. “En este caso, sería una idea que las mujeres deben cubrirse más que los hombres y eso termina creando este tipo de presión social para las mujeres, ya que esto se convierte en la norma de lo que ves”, dijo Mitchell.
El daño se agrava por la falta de transparencia. Si bien en algunos casos se le notificó a Wood que sus imágenes estaban prohibidas o tenían un alcance limitado, cree que Instagram tomó otras medidas contra su cuenta sin que ella lo supiera. “La gente me ha dicho ‘No puedo etiquetarte’ o ‘Te estaba buscando para mostrárselo a mi amigo el otro día y no apareces’”, dijo. “Me siento invisible”.
Porque podría serlo, dijo el científico informático Derczynski: "Las personas que publican estas imágenes nunca se enterarán, lo cual es tan profundamente problemático". él dijo. “Se les impone una desventaja y no tienen ninguna agencia en que esto suceda y tampoco están informados de lo que está sucediendo”.
Esta historia fue apoyada por el Pulitzer Center.