Incidentes Asociados
Un estudio de 10,000 imágenes encontró sesgo en lo que el sistema elige resaltar. Twitter ha dejado de usarlo en dispositivos móviles y considerará deshacerse de él en la web.
EL OTOÑO PASADO, el estudiante canadiense Colin Madland notó que el algoritmo de recorte automático de Twitter seleccionaba continuamente su rostro, no el de su colega de piel más oscura, de las fotos de la pareja para mostrarlos en los tweets. El episodio provocó acusaciones de parcialidad cuando una oleada de usuarios de Twitter publicaron fotos alargadas para ver si la IA elegiría el rostro de una persona blanca sobre una persona negra o si se enfocaba en el pecho de las mujeres en lugar de sus rostros.
En ese momento, un portavoz de Twitter dijo que las evaluaciones del algoritmo antes de su lanzamiento en 2018 no encontraron evidencia de sesgo racial o de género. Ahora, el análisis más grande de la IA hasta la fecha ha encontrado lo contrario: que el algoritmo de Twitter favorece a los blancos sobre los negros. Esa evaluación también encontró que la IA para predecir la parte más interesante de una foto no se enfoca en los cuerpos de las mujeres sobre los rostros de las mujeres.
Las pruebas anteriores realizadas por Twitter y el investigador Vinay Prabhu involucraron unos pocos cientos de imágenes o menos. El análisis publicado por los científicos de investigación de Twitter el miércoles se basa en 10,000 pares de imágenes de personas de diferentes grupos demográficos para probar a quién favorece el algoritmo.
Los investigadores encontraron sesgo cuando al algoritmo se le mostraron fotos de personas de dos grupos demográficos. En última instancia, el algoritmo elige a una persona cuyo rostro aparecerá en las líneas de tiempo de Twitter, y algunos grupos están mejor representados en la plataforma que otros. Cuando los investigadores introdujeron en el sistema una imagen de un hombre negro y una mujer blanca, el algoritmo eligió mostrar a la mujer blanca el 64 por ciento de las veces y al hombre negro solo el 36 por ciento de las veces, la brecha más grande para cualquier grupo demográfico incluido en el analisis. Para imágenes de una mujer blanca y un hombre blanco, el algoritmo mostró a la mujer el 62 por ciento del tiempo. Para las imágenes de una mujer blanca y una mujer negra, el algoritmo mostró a la mujer blanca el 57 por ciento del tiempo.
El 5 de mayo, Twitter eliminó el recorte de imágenes para fotos individuales publicadas con la aplicación para teléfonos inteligentes de Twitter, un enfoque que favorecía al director de diseño de Twitter, Dantley Davis, desde que estalló la controversia sobre el algoritmo el otoño pasado. El cambio llevó a la gente a publicar fotos altas y marcó el final de los tweets "abiertos para una sorpresa".
El llamado algoritmo de prominencia todavía se usa en Twitter.com, así como para recortar tweets de varias imágenes y crear miniaturas de imágenes. Un portavoz de Twitter dice que las fotos excesivamente altas o anchas ahora están recortadas al centro, y la compañía planea terminar con el uso del algoritmo en el sitio web de Twitter. Los algoritmos de prominencia se entrenan rastreando lo que las personas miran cuando miran una imagen.
Otros sitios, incluidos Facebook e Instagram, han utilizado el recorte automático basado en IA. Facebook no respondió a una solicitud de comentarios.
Desafortunadamente, las acusaciones de sesgo de género y raza en los sistemas de visión por computadora son bastante comunes. Google recientemente detalló los esfuerzos para mejorar el funcionamiento de las cámaras de Android para personas con piel oscura. La semana pasada, el grupo Algorithm Watch descubrió que la IA de etiquetado de imágenes utilizada en un iPhone etiquetaba las representaciones de dibujos animados de personas con piel oscura como “animales”. Un portavoz de Apple se negó a comentar.
Independientemente de los resultados de las mediciones de equidad, los investigadores de Twitter dicen que la toma de decisiones algorítmica puede quitarle opciones a los usuarios y tener un impacto de gran alcance, particularmente para los grupos marginados de personas.
En el estudio recién publicado, los investigadores de Twitter dijeron que no encontraron evidencia de que el algoritmo de recorte de fotos favorezca los cuerpos de las mujeres sobre sus rostros. Para determinar esto, alimentaron el algoritmo con 100 imágenes elegidas al azar de personas identificadas como mujeres, y encontraron que solo tres centraban los cuerpos sobre los rostros. Los investigadores sugieren que esto se debe a la presencia de una insignia o un número de camiseta en el pecho de las personas. Para realizar el estudio, los investigadores utilizaron fotografías del conjunto de datos de WikiCeleb; Los rasgos de identidad de las personas en las fotos fueron tomados de Wikidata.
El periódico de Twitter reconoce que al limitar el análisis a las comparaciones de negros o blancos o de hombres y mujeres, puede excluir a las personas que se identifican como no binarias o mestizas. Los investigadores dijeron que esperaban utilizar el conjunto de datos de Gender Shades creado para evaluar el rendimiento de los sistemas de reconocimiento facial en función del tono de la piel, pero surgieron problemas de licencia.
Twitter publicó el estudio en el repositorio de preprints arXiv. Un portavoz de Twitter dijo que se había presentado a una conferencia de investigación que se realizará en octubre.
Los científicos de investigación de Twitter sugieren que el sesgo racial encontrado en el análisis puede ser el resultado del hecho de que muchas imágenes en la base de datos de WikiCeleb tienen fondos oscuros y el algoritmo de prominencia se ve atraído por el mayor contraste de las fotos que muestran a personas con piel clara contra un fondo oscuro. . También sugieren que el color de ojos oscuro en la piel clara desempeñó un papel en los algoritmos de prominencia que favorecían a las personas con piel clara.
Los coautores del artículo provienen del Equipo de Ética, Transparencia y Responsabilidad (META) de ML de Twitter, que Twitter lanzó el mes pasado. Rumman Chowdhury, fundador de la startup de auditoría de algoritmos Parity y exasesor de empresas tecnológicas y gobiernos, dirige el equipo.
En una publicación de blog el mes pasado, Twitter dijo que creó el equipo para asumir la responsabilidad del uso de algoritmos de Twitter, proporcionar transparencia en la toma de decisiones internas sobre IA que afecta a cientos de millones de personas y responsabilizar a la empresa. Quedan algunas preguntas sobre cómo operará el equipo de META, como quién toma la decisión final sobre si Twitter usa ciertos tipos de IA.
El portavoz de Twitter dijo que los equipos multifuncionales deciden qué acciones se toman sobre los algoritmos, pero no abordó la cuestión de quién tiene la autoridad final para decidir cuándo una forma de IA se considera demasiado injusta para su uso.
En los próximos meses, META planea evaluar cómo los algoritmos de recomendación de la página de inicio de Twitter tratan a ciertos grupos raciales y cómo la IA de Twitter trata a las personas según las ideologías políticas.
La creación del equipo META se produjo en medio de dudas sobre la independencia y viabilidad de los equipos éticos de IA en entornos corporativos. En un movimiento que desde entonces ha llevado a los grupos de IA a rechazar la financiación y a miles de empleados de Google a rebelarse, Google y el exlíder del equipo de IA ética, Timnit Gebru, se separaron en diciembre de 2020. En una entrevista poco después, Chowdhury dijo que el episodio tiene consecuencias para la IA responsable. y toda la industria de la IA.
Como señaló Chowdhury a principios de este año, hay muchas formas de definir una auditoría de algoritmos. Lo que no se incluye en la investigación de prominencia de Twitter: análisis de los datos utilizados para entrenar el algoritmo de prominencia de Twitter o información más detallada sobre el análisis que Twitter llevó a cabo antes de que se usara el algoritmo de prominencia.
Cuando se le preguntó cómo la controversia sobre la prominencia de Twitter cambió la política de la empresa, un portavoz de la empresa dijo que la empresa realiza evaluaciones de riesgos en torno a la privacidad y la seguridad, y que el equipo de META está creando métricas de equidad para la plataforma de experimentación modelo de la empresa y estándares para la revisión ética de los algoritmos.