Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2324

Incidents associés

Incident 4183 Rapports
Uber Locked Indian Drivers out of Accounts Allegedly Due to Facial Recognition Fails

Loading...
La reconnaissance faciale d'Uber bloque l'accès des chauffeurs indiens à leurs comptes
technologyreview.com · 2022

Correction : cette histoire a été mise à jour pour inclure la réponse d'Uber. L'ouverture a été modifiée pour supprimer une anecdote sur l'expérience d'un conducteur spécifique basée sur cette réponse.

Les chauffeurs Uber en Inde disent que les problèmes de reconnaissance faciale qu'ils utilisent pour accéder à leurs applications leur coûtent du travail. Dans une enquête menée par MIT Technology Review auprès de 150 chauffeurs Uber dans le pays, près de la moitié déclarent avoir été temporairement ou définitivement verrouillés sur leurs comptes en raison de problèmes avec leur selfie. Beaucoup soupçonnaient qu'un changement dans leur apparence, comme une pilosité faciale, une tête rasée ou une coupe de cheveux, était à blâmer. Un autre quart d'entre eux pensent que cela est dû à un faible éclairage.

L'Inde compte environ [600 000](https://economictimes.indiatimes.com/industry/auto/auto-news/indian-economy-saw-rs-44600-crore-worth-of-value-generated-by-uber-in -2021-says-report/articleshow/93756824.cms?from=mdr) Les chauffeurs Uber, mais beaucoup d'autres travaillent pour la plate-forme locale de covoiturage Ola et pour des startups telles que [Swiggy](https://bytes.swiggy.com /real-time-mask-and-gear-compliance-check-for-swiggy-delivery-partners-adf804b7b902), Zomato, et Entreprise urbaine. Tous demandent à leurs employés de plateforme de télécharger des selfies pour les connexions ou les vérifications.

Uber vérifie que le visage d'un conducteur correspond à ce que l'entreprise a dans ses dossiers grâce à un programme appelé "Vérification d'identité en temps réel". Il a été déployé aux États-Unis en 2016, en Inde en 2017, puis sur d'autres marchés. "Cela empêche la fraude et protège les comptes des chauffeurs contre la compromission. Cela protège également les passagers en créant une autre couche de responsabilité dans l'application pour s'assurer que la bonne personne est au volant", a déclaré Joe Sullivan, responsable de la sécurité d'Uber, a déclaré dans un communiqué  en 2017.

Mais les procédures de vérification des conducteurs de l'entreprise sont loin d'être transparentes. Adnan Taqi, un chauffeur Uber à Mumbai, a eu des problèmes avec elle lorsque l'application l'a incité à prendre un selfie au crépuscule. Il a été mis en lock-out pendant 48 heures, une grosse brèche dans son horaire de travail - il dit qu'il conduit 18 heures d'affilée, parfois jusqu'à 24 heures, pour pouvoir gagner sa vie. Quelques jours plus tard, il a pris un selfie qui l'a de nouveau exclu de son compte, cette fois pendant une semaine entière. Cette fois, soupçonne Taqi, il s'agissait de cheveux : "Je ne m'étais pas rasé depuis quelques jours et mes cheveux avaient aussi un peu poussé", dit-il.

D'autres disent avoir lutté contre les rayures sur leurs appareils photo et leurs smartphones à petit budget. Le problème n'est pas propre à Uber. Les pilotes avec Ola, qui est soutenu par SoftBank, sont confrontés à des problèmes similaires.

Uber n'a pas initialement répondu à une série de questions du MIT Technology Review sur sa technologie et les expériences des conducteurs. Après la publication, la société a déclaré qu'aucune désactivation ne pouvait avoir lieu sur la seule base de la reconnaissance faciale. Il a déclaré que la vérification d'identité en temps réel fonctionne en transmettant les non-correspondances signalées à au moins deux personnes qui vérifient ensuite les photos manuellement. Ce processus prend moins de 25 secondes. Il dit que son outil peut gérer les changements de cheveux.

Néanmoins, plus d'une douzaine de conducteurs interrogés pour cette histoire ont détaillé des exemples de devoir trouver un meilleur éclairage pour éviter d'être bloqués sur leurs comptes Uber. "Chaque fois qu'Uber demande un selfie le soir ou la nuit, je dois m'arrêter et passer sous un lampadaire pour cliquer sur une image claire, sinon il y a des chances d'être rejeté", a déclaré Santosh Kumar, un chauffeur Uber d'Hyderabad. .

La vérification d'identité en temps réel fonctionne en convertissant votre visage en un ensemble de points, explique Jernej Kavka, un consultant indépendant en technologie ayant accès à l'API Face de Microsoft, qui est ce qu'Uber utilise pour alimenter la vérification d'identité en temps réel.

"Avec une pilosité faciale excessive, les points changent et il se peut qu'il ne reconnaisse pas où se trouve le menton", explique Kavka. La même chose se produit lorsque l'éclairage est faible ou que l'appareil photo du téléphone n'a pas un bon contraste. "Cela rend difficile pour l'ordinateur de détecter les contours", explique-t-il.

Le logiciel peut être particulièrement fragile en Inde. En décembre 2021, les chercheurs en politique technologique Smriti Parsheera (boursier du projet CyberBRICS) et Gaurav Jain (économiste à la Société financière internationale) ont publié un article préimprimé qui a audité quatre outils commerciaux de traitement du visage - Rekognition d'Amazon, Face, Face++ et FaceX de Microsoft Azure - pour leurs performances sur les visages indiens. Lorsque le logiciel a été appliqué à une base de données de 32 184 candidats aux élections, Microsoft's Face n'a même pas réussi à détecter la présence d'un visage dans plus de 1 000 images, ce qui a généré un taux d'erreur de plus de 3 %, le pire parmi les quatre.

Il se peut que l'application Uber fasse échouer les pilotes parce que son logiciel n'a pas été formé sur un large éventail de visages indiens, dit Parsheera. Mais elle dit qu'il peut aussi y avoir d'autres problèmes en jeu. "Il pourrait y avoir un certain nombre d'autres facteurs contributifs comme l'éclairage, l'angle, les effets du vieillissement, etc.", a-t-elle expliqué par écrit. "Mais le manque de transparence entourant l'utilisation de tels systèmes rend difficile de fournir une explication plus concrète."

Uber a déclaré qu'il effectuait régulièrement des tests d'équité (à la fois en interne et en partenariat avec Microsoft) pour comprendre les performances de ce produit pour les utilisateurs avec différents teints de peau et identifier les opportunités d'amélioration de l'efficacité et de la précision. Microsoft a refusé de commenter en réponse aux questions envoyées par MIT Technology Review.

Les problèmes ne s'arrêtent pas à la décision de l'algorithme. Les chauffeurs disent que le mécanisme de règlement des griefs suivi par Uber est fastidieux, chronophage, frustrant et surtout inutile. Ils disent qu'ils passent parfois des semaines à essayer de résoudre leurs problèmes. "Nous devons continuer à appeler leur ligne d'assistance sans cesse avant qu'ils ne déverrouillent nos comptes, nous disant constamment que le serveur est en panne", a déclaré Taqi, avec un ton de frustration - mais surtout un sentiment de défaite - dans la voix. "C'est comme si leur serveur était toujours en panne."

Uber a déclaré qu'il donnait aux conducteurs la possibilité de faire appel des désactivations.

Si les problèmes persistent et que les protections restent limitées, ils pourraient avoir un effet démesuré, et pas seulement sur le travail. "Les plateformes de travail en Inde commencent à devenir une interface clé entre le travailleur, le marché et le gouvernement - elles permettent des prêts pour des voitures ou même des crédits pour des dépenses domestiques plus importantes", explique Aditi Surie, chercheur principal à l'Indian Institute for Human Settlements, qui a fait des recherches sur le travail à la demande en Inde. Dans un pays où un tel travail peut propulser quelqu'un de la précarité à une existence de classe moyenne (en particulier lorsque les estimations suggèrent que la [majorité des personnes](https://openknowledge.worldbank.org/bitstream/handle/10986/37739/9781464818936. pdf) dans le monde entier qui sont tombés dans la pauvreté pendant la pandémie vivent en Inde), être bloqué ou expulsé d'une plate-forme peut avoir des conséquences dévastatrices.

Sur d'autres marchés, les travailleurs à la demande ont riposté contre la reconnaissance faciale. Au Royaume-Uni, par exemple, au moins 35 chauffeurs Uber ont affirmé l'année dernière que leurs comptes avaient été résiliés à tort. L'Independent Workers' Union of Great Britain a blâmé un ["algorithme raciste".](https://www.theguardian.com/technology/2021/oct/05/ex-uber-driver-takes-legal-action-over -racist-face-recognition-software) Uber a fait l'objet d'au moins deux poursuites judiciaires au Royaume-Uni à cause du logiciel. Uber a déclaré qu'au Royaume-Uni et dans l'UE, les conducteurs peuvent choisir si leur selfie est vérifié par une technologie de vérification ou par des examinateurs humains.

Certains pays et régions ont pris des mesures pour offrir de meilleures protections aux travailleurs à la demande. L'UE a proposé l'année dernière une directive pour améliorer les conditions de travail et assurer la transparence algorithmique. Et en septembre 2021, un tribunal californien a annulé Proposition 22, une initiative de vote qui excluait les travailleurs à la demande des avantages sociaux en vertu de la loi de l'État. Ces réglementations reconnaissent que les systèmes algorithmiques peuvent "avoir un impact négatif sur les droits des travailleurs", déclare Divij Joshi, avocat et doctorant à l'University College London. Mais l'Inde a actuellement peu de protections juridiques en place pour les travailleurs des concerts, déclare Joshi : "Ces mêmes efforts de transparence ne sont pas vus en Inde sous un angle politique ou réglementaire."

Elizabeth Anne Watkins, une sociologue organisationnelle de l'Université de Princeton qui a étudié en profondeur l'impact de la reconnaissance faciale sur les chauffeurs Uber aux États-Unis, trouverait probablement ce modèle familier. "Sujet à des dysfonctionnements dans des conditions variables, le système impose un lourd fardeau aux travailleurs qui se retrouvent avec peu de soutien organisationnel lorsque la reconnaissance faciale échoue", a écrit Hawkins, qui est maintenant chercheur scientifique chez Intel Labs, dans [un article de 2020](https ://dl.acm.org/doi/10.1145/3406865.3418383). "En outre, la responsabilité de la vérification de l'identité est transférée aux travailleurs, qui supportent les conséquences des défaillances systémiques."

Samantha Dalal, qui étudie la façon dont les travailleurs comprennent les systèmes algorithmiques, affirme qu'il pourrait y avoir plus de transparence sur la façon dont l'IA a pris une décision. "Inclure une explication qui va au-delà de" Vous êtes désactivé "" aiderait, déclare Dalal, doctorant à l'Université du Colorado à Boulder. "De telles capacités existent."

En l'absence de toute idée de ce que veut le patron mercuriel et non humain, les travailleurs de chantier tentent beaucoup d'essais et d'erreurs tout en interagissant avec les applications, dit Dalal. Dans un e-mail, Uber a déclaré qu'il envoyait plusieurs avertissements clairs avant la désactivation du compte.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd