Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1427

Incidents associés

Incident 1115 Rapports
Amazon Flex Drivers Allegedly Fired via Automated Employee Evaluations

Loading...
Licencié par Bot sur Amazon : "C'est vous contre la machine"
bloomberg.com · 2021

Les conducteurs sous contrat disent que les algorithmes les résilient par e-mail, même lorsqu'ils n'ont rien fait de mal. Stephen Normandin a passé près de quatre ans à parcourir Phoenix à livrer des colis en tant que chauffeur sous contrat pour Amazon.com Inc. Puis, un jour, il a reçu un e-mail automatisé. Les algorithmes qui le suivaient avaient décidé qu'il ne faisait pas son travail correctement. Le vétéran de l'armée de 63 ans était stupéfait. Il avait été viré par une machine. Normandin dit qu'Amazon l'a puni pour des choses indépendantes de sa volonté qui l'ont empêché de terminer ses livraisons, comme des complexes d'appartements verrouillés. Il a dit qu'il avait pris le licenciement durement et, fier d'une solide éthique de travail, a rappelé qu'au cours de sa carrière militaire, il avait aidé à cuisiner pour 250 000 réfugiés vietnamiens à Fort Chaffee dans l'Arkansas. "Je suis un gars de la vieille école et je donne 110% à chaque travail", a-t-il déclaré. "Cela m'a vraiment bouleversé parce que nous parlons de ma réputation. Ils disent que je n'ai pas fait le travail alors que je sais très bien que je l'ai fait. L'expérience de Normandin est une variante de la prédiction vieille de plusieurs décennies selon laquelle les robots remplaceront les travailleurs. Chez Amazon, les machines sont souvent le patron, embauchant, notant et licenciant des millions de personnes avec peu ou pas de surveillance humaine. Amazon est devenu le plus grand détaillant en ligne au monde en partie en externalisant ses opérations tentaculaires vers des algorithmes - des ensembles d'instructions informatiques conçues pour résoudre des problèmes spécifiques. Pendant des années, la société a utilisé des algorithmes pour gérer les millions de marchands tiers sur son marché en ligne, attirant des plaintes selon lesquelles les vendeurs ont été expulsés après avoir été faussement accusés de vendre des produits contrefaits et d'augmenter les prix. De plus en plus, l'entreprise cède également ses opérations de ressources humaines aux machines, utilisant des logiciels non seulement pour gérer les travailleurs dans ses entrepôts, mais aussi pour superviser les chauffeurs contractuels, les sociétés de livraison indépendantes et même les performances de ses employés de bureau. Les personnes familières avec la stratégie disent que le PDG Jeff Bezos pense que les machines prennent des décisions plus rapidement et plus précisément que les gens, réduisant les coûts et donnant à Amazon un avantage concurrentiel. Amazon a lancé son service de livraison Flex de style concert en 2015, et l'armée de chauffeurs contractuels est rapidement devenue un élément essentiel de la machine de livraison de l'entreprise. En règle générale, les chauffeurs Flex gèrent les colis qui n'ont pas été chargés sur une camionnette Amazon avant le départ du chauffeur. Plutôt que de faire attendre le client, les chauffeurs Flex s'assurent que les colis sont livrés le jour même. Ils gèrent également un grand nombre de livraisons d'épicerie le jour même de la chaîne Whole Foods Market d'Amazon. Les chauffeurs Flex ont aidé Amazon à continuer de fredonner pendant la pandémie et n'étaient que trop heureux de gagner environ 25 $ l'heure de forfaits de navette après la fin de leurs concerts Uber et Lyft. Mais dès qu'ils s'inscrivent, les chauffeurs Flex découvrent que des algorithmes surveillent chacun de leurs mouvements. Sont-ils arrivés au poste de livraison quand ils ont dit qu'ils le feraient ? Ont-ils terminé leur parcours dans la fenêtre prescrite ? Ont-ils laissé un colis à la vue des pirates du porche au lieu de se cacher derrière une jardinière comme demandé ? Les algorithmes d'Amazon analysent le jaillissement des données entrantes à la recherche de modèles de performances et décident quels conducteurs obtiennent plus d'itinéraires et lesquels sont désactivés. Les retours humains sont rares. Les conducteurs reçoivent occasionnellement des e-mails automatisés, mais la plupart du temps, ils sont obsédés par leurs notes, qui comprennent quatre catégories : Fantastique, Excellent, Juste ou À risque. Bloomberg a interrogé 15 conducteurs Flex, dont quatre qui ont déclaré avoir été licenciés à tort, ainsi que d'anciens responsables d'Amazon qui ont déclaré que le système largement automatisé n'était pas suffisamment adapté aux défis du monde réel auxquels les conducteurs sont confrontés chaque jour. Amazon savait que déléguer du travail à des machines conduirait à des erreurs et à des gros titres dommageables, ont déclaré ces anciens responsables, mais ont décidé qu'il était moins cher de faire confiance aux algorithmes que de payer des gens pour enquêter sur les licenciements erronés tant que les pilotes pouvaient être remplacés facilement. Jusqu'à présent, Amazon n'a eu aucun mal à trouver des sous-traitants Flex. Dans le monde, quelque 4 millions de conducteurs ont téléchargé l'application, dont 2,9 millions aux États-Unis, selon App Annie. Et plus de 660 000 personnes aux États-Unis l'ont téléchargée au cours des cinq premiers mois de cette année, en hausse de 21 % par rapport à la même période il y a un an, selon SensorTower, un autre tracker d'application. Au sein d'Amazon, le programme Flex est considéré comme un grand succès, dont les avantages l'emportent largement sur les dommages collatéraux, a déclaré un ancien ingénieur qui a aidé à concevoir le système. "Les cadres savaient que ça allait chier le lit", a déclaré cette personne. "C'est en fait comme ça qu'ils le présentent dans les réunions. La seule question était de savoir combien de caca nous voulions qu'il y ait. Dans un communiqué, la porte-parole d'Amazon, Kate Kudrna, a qualifié d'anecdotiques les plaintes des chauffeurs pour mauvais traitement et licenciement abusif et a déclaré qu'elles ne représentaient pas l'expérience de la grande majorité des chauffeurs Flex. "Nous avons investi massivement dans la technologie et les ressources pour fournir aux chauffeurs une visibilité sur leur statut et leur admissibilité à continuer à livrer, et enquêter sur tous les appels des chauffeurs", a-t-elle déclaré. En tant qu'entrepreneurs indépendants, les chauffeurs Flex ont peu de recours lorsqu'ils pensent avoir été désactivés injustement. Il n'y a pas de congé administratif payé pendant un appel. Les conducteurs peuvent payer 200 $ pour porter leur différend en arbitrage, mais peu le font, y voyant une perte de temps et d'argent. Lorsque Ryan Cope a été désactivé en 2019, il n'a pas pris la peine de se disputer ni d'envisager de payer pour l'arbitrage. À ce moment-là, Cope avait déjà décidé qu'il n'y avait aucun moyen de répondre aux exigences des algorithmes. Conduisant des kilomètres sur des routes de terre sinueuses à l'extérieur de Denver dans la neige, il secouait souvent la tête, incrédule qu'Amazon s'attendait à ce que le client reçoive le colis dans les deux heures. "Chaque fois qu'il y a un problème, il n'y a pas de soutien", a déclaré Cope, qui a 29 ans. "C'est vous contre la machine, donc vous n'essayez même pas." Lorsque les conducteurs contestent les mauvaises notes, ils ne peuvent pas dire s'ils communiquent avec de vraies personnes. Les réponses incluent souvent un prénom ou pas de nom du tout, et les réponses s'appliquent généralement à une variété de situations plutôt qu'à un problème spécifique. Même si un nom est joint, une machine a très probablement généré les premières réponses par e-mail, selon des personnes familières avec le sujet. Lorsque des responsables humains s'impliquent, ils procèdent généralement à un examen hâtif - s'ils en font un du tout - car ils doivent respecter leurs propres normes de performance. Un ancien employé d'un centre d'appels d'assistance aux chauffeurs a déclaré que des dizaines de travailleurs saisonniers à temps partiel avec peu de formation avaient été chargés de superviser les problèmes de millions de chauffeurs. "Amazon s'en fiche", a déclaré l'ancien employé d'Amazon. "Ils savent que la plupart des gens recevront leurs colis et que les 2 ou 3 % qui n'en recevront pas finiront par obtenir quelque chose." Amazon a automatisé ses opérations de ressources humaines plus que la plupart des entreprises. Mais l'utilisation d'algorithmes pour prendre des décisions affectant la vie des gens est de plus en plus courante. Les machines peuvent approuver les demandes de prêt et même décider si quelqu'un mérite une libération conditionnelle ou doit rester derrière les barreaux. Les experts en informatique ont appelé à des réglementations obligeant les entreprises à être transparentes sur la façon dont les algorithmes affectent les gens, en leur donnant les informations dont ils ont besoin pour signaler et corriger les erreurs. Les législateurs ont étudié la question mais ont été lents à promulguer des règles pour prévenir les dommages. En décembre, le sénateur Chris Coons, démocrate du Delaware, a présenté l'Algorithmic Fairness Act. Cela obligerait la Federal Trade Commission à créer des règles garantissant que les algorithmes sont utilisés équitablement et que les personnes concernées par leurs décisions sont informées et ont la possibilité d'inverser les erreurs. Jusqu'à présent, sa proposition n'a abouti à rien. Neddra Lira, d'Arlington, au Texas, a commencé à effectuer des livraisons via l'application Amazon Flex en 2017. Conductrice d'autobus scolaire de 42 ans et mère de trois enfants, elle a pris le travail secondaire pendant les vacances et les étés pour gagner de l'argent supplémentaire, ce qui elle payait les cours de gymnastique de sa fille. Lorsque la pandémie a frappé et que les écoles ont fermé, Lira s'est tournée vers Flex comme principale source de revenus, livrant des colis ainsi que des produits d'épicerie de Whole Foods. Elle a aimé la flexibilité et la possibilité d'empocher environ 80 $ pour un trajet de quatre heures, après avoir soustrait l'essence pour son multisegment Chevrolet Trax. Lira estime qu'elle a livré environ 8 000 colis et qu'elle a obtenu une « excellente » note de performance la plupart du temps. Les algorithmes d'Amazon évaluent les chauffeurs en fonction de leur fiabilité et de la qualité de la livraison, principalement mesurées en fonction de leur arrivée pour récupérer les colis à temps, s'ils ont effectué les livraisons dans la fenêtre prévue et ont suivi les demandes spéciales des clients. Les métriques flexibles se concentrent principalement sur la ponctualité, contrairement aux services de covoiturage tels qu'Uber et Lyft, qui donnent également la priorité à des éléments tels que la propreté d'une voiture ou la courtoisie du conducteur. De plus, les passagers d'Uber et de Lyft savent quand ils sont coincés dans la circulation, de sorte que les conducteurs sont moins susceptibles d'être pénalisés pour des circonstances indépendantes de leur volonté. Un client Amazon n'a aucune idée des obstacles rencontrés par les conducteurs Flex sur le chemin de leur résidence, et les algorithmes qui les chronomètrent non plus. Lira dit que parfois, il y avait tellement de chauffeurs alignés devant la station de livraison qu'elle a attendu jusqu'à une heure pour récupérer ses colis, ce qui l'a retardée avant même de commencer son itinéraire. Lorsqu'elle a repéré un clou dans son pneu, Amazon n'a pas proposé de venir récupérer les colis mais lui a demandé de les rapporter au poste de livraison. Lira avait peur que le pneu ne se dégonfle mais s'est conformée pour protéger sa position. Malgré l'explication de la situation, sa note est passée de "à risque" à "excellent" pour avoir abandonné l'itinéraire et a mis plusieurs semaines à se rétablir. Maintes et maintes fois, Lira a été rassurée que sa note était bonne. Un e-mail typique est arrivé le 1er octobre. "Votre position est actuellement excellente, ce qui signifie que vous êtes l'un de nos meilleurs partenaires de livraison", indique le message signé "Madhu S". Mais dès le lendemain, "Bhanu Prakash" a envoyé un e-mail pour dire qu'elle avait violé les conditions d'utilisation de Flex. "Par conséquent, vous n'êtes plus éligible pour participer au programme Amazon Flex et ne pourrez pas vous connecter à l'application Amazon Flex." Lira a reçu une adresse e-mail et a été invitée à faire appel de la résiliation dans les 10 jours. Elle l'a fait et a demandé pourquoi elle avait été désactivée afin qu'elle puisse dire à l'assistance aux conducteurs Flex ce qui n'allait pas. Elle n'a jamais eu plus de précisions. Elle a suivi le 18 octobre, expliquant qu'elle était une mère célibataire licenciée de son travail régulier en raison de la pandémie et que Flex était la seule chose qui la maintenait à flot. Lira a reçu ce qui semble être une réponse automatisée de "The Amazon Flex Team" s'excusant pour le retard et l'assurant que sa situation serait étudiée par l'équipe appropriée. Trois jours plus tard, le 21 octobre, elle a reçu un message de "Margaret" disant "nous examinons toujours votre appel". Puis une semaine plus tard, le 28 octobre, un e-mail signé « SYAM » disait : « Nous avons examiné vos informations et revu votre historique. Notre position n'a pas changé et nous ne rétablirons pas votre accès au programme Amazon Flex… Nous vous souhaitons du succès dans vos projets futurs. Sans le concert de conduite, Lira a commencé à avoir des difficultés financières. Elle a cessé de payer son hypothèque et sa voiture a été reprise deux jours après Noël avec des cadeaux donnés pour ses enfants toujours à l'intérieur. Lira a été forcée de prendre une aumône du gouvernement pour payer ses factures d'électricité, de gaz et d'eau. Finalement, elle a recommencé à conduire le bus scolaire et a utilisé la majeure partie d'un chèque de relance pandémique pour récupérer sa voiture, payant 2 800 $ en paiements manqués, en frais de reprise de possession et de stockage. "Ce n'était tout simplement pas juste", a déclaré Lira. "J'ai failli perdre ma maison" Les ingénieurs informaticiens qui ont conçu Flex ont travaillé dur pour le rendre équitable et prendre en compte des variables telles que les embouteillages et les problèmes d'accès aux appartements que le système ne peut pas détecter, ont déclaré d'anciens employés. Mais aucun algorithme n'est parfait, et à la taille d'Amazon, même une petite marge d'erreur peut être considérée comme un énorme succès en interne et infliger encore beaucoup de douleur aux conducteurs. Les pilotes Amazon Flex livrent environ 95 % de tous les colis à temps et sans problème, selon une personne familière avec le programme. Les algorithmes examinent les 5 % restants pour les modèles problématiques. Les algorithmes Flex ont commencé comme des instruments contondants et ont été affinés au fil du temps. Au début, selon une personne familière avec la situation, les concepteurs ont fixé un délai trop serré pour que les chauffeurs se rendent au poste de livraison. Ils n'avaient pas tenu compte de la nature humaine. Les conducteurs avides de travail promettaient d'arriver à une certaine heure alors qu'ils étaient trop loin pour le faire. La faille a mis les bons conducteurs en échec, a déclaré la personne, et n'a été corrigée qu'après une chute généralisée des notes. Le système utilise également le GPS pour décider du temps qu'il faut pour atteindre une adresse spécifique, mais ne tient parfois pas compte du fait que la navigation sur une route rurale dans la neige prend beaucoup plus de temps que de traverser une rue de banlieue par une journée ensoleillée. Le système a bien fonctionné pour Normandin pendant des années. Originaire de l'Arizona, qui livrait auparavant des pizzas le soir et des journaux le matin, il connaissait tous les raccourcis et les points d'étranglement de la circulation. Il a également conduit pour Uber et Lyft, mais a effectué plus de travail Flex pendant la pandémie lorsque la demande de trajets a chuté et qu'il est devenu plus risqué de transporter des passagers que de transporter des colis. Normandin a bénéficié d'excellentes cotes d'écoute et on lui a même demandé s'il aimerait former d'autres conducteurs. Il avait un système bien rodé : trier les colis avant de quitter la station, placer ses premières livraisons sur le siège avant, les suivants sur le siège arrière et ranger le dernier lot au fond de sa Toyota Corolla 2002. Normandin est invalide pour des raisons médicales depuis plus d'une décennie en raison de maux d'estomac et de problèmes de dos qui l'empêchent de rester assis ou debout au même endroit pendant de longues périodes. Il aimait le boulot parce qu'il pouvait travailler quelques heures à la fois. Puis, à partir d'août dernier, Normandin a connu une série de déboires qu'il maintient hors de son contrôle. Amazon lui a confié des livraisons avant l'aube dans des complexes d'appartements alors que leurs portes étaient encore verrouillées, une plainte courante parmi les chauffeurs Flex. L'algorithme demande aux chauffeurs dans de tels cas de livrer les colis au bureau principal, mais ce n'était pas ouvert non plus. Normandin a appelé le client selon les instructions, ce qui est long car la plupart des gens ne répondent pas aux appels provenant de numéros inconnus, surtout tôt le matin. Il a appelé l'assistance chauffeur, qui n'a pas pu joindre le client non plus. Pendant ce temps, l'horloge tournait et l'algorithme prenait note. "Il y a beaucoup de choses que les algorithmes ne prennent pas en considération et la main droite ne sait pas ce que fait la main gauche", a déclaré Normandin. À peu près au même moment, on lui a demandé de livrer des colis dans un casier Amazon dans un complexe d'appartements, mais il n'a pas pu l'ouvrir. Après 30 minutes au téléphone avec l'assistance, on lui a dit de retourner les colis au poste de livraison. Puis sa cote s'est effondrée. Normandin a de nouveau appelé le support pour expliquer qu'un casier défectueux était responsable et dit qu'on lui a dit que le problème serait corrigé. "Ils ne l'ont jamais réparé", a-t-il dit, "et il a fallu six semaines pour que ma note remonte." Le 2 octobre, Normandin s'est réveillé à 3 heures du matin, s'est douché et a attrapé son téléphone pour trouver un itinéraire Flex, mais n'a pas pu se connecter. Il a vérifié son courrier électronique et a trouvé un message générique d'Amazon signé par "Gangardhar M." Il a déclaré que la position de Normandin était « tombée en dessous d'un niveau acceptable » et qu'il était licencié. Commence alors un processus familier à quiconque s'est retrouvé piégé dans une boucle automatisée de service à la clientèle, sauf que dans ce cas, Normandin ne demandait pas de remboursement pour un produit endommagé. Il se battait pour récupérer son travail. Offert aux 10 jours standard d'Amazon pour faire appel, Normandin a envoyé un e-mail à l'assistance Flex et a demandé que sa résiliation soit annulée. Il a expliqué qu'il avait déjà signalé à Amazon des circonstances indépendantes de sa volonté et qu'on lui avait promis que les infractions ne seraient pas retenues contre lui. Normandin a reçu une réponse le lendemain de "Pavani G", le remerciant d'avoir "fourni plus de contexte sur votre histoire avec Amazonflex. Normandin a répondu à cet e-mail avec des informations supplémentaires et a reçu la même réponse exacte promettant d'examiner le problème, mais cette fois, il a été signé par "Bitan Banerjee". L'e-mail s'est engagé à fournir une réponse dans les six jours. Sept jours plus tard, "Arnab" a envoyé un e-mail pour s'excuser du retard et a promis une mise à jour dès que possible. Pendant ce temps, Normandin ne gagnait pas d'argent. Il comptait sur la vente annuelle Prime Day d'Amazon, qui avait été repoussée à octobre, pour gagner l'argent dont il avait besoin pour payer ses factures. Sans réponse le 19 octobre, Normandin a de nouveau envoyé un message à Amazon, cette fois en copiant Bezos. "Je demande des détails précis sur la manière dont cette décision de désactivation de mon compte a été prise", a-t-il écrit. "Je suis convaincu qu'après un examen approfondi de l'ensemble de mon historique de livraison en tant que chauffeur Amazon Flex, je montrerai un historique cohérent de performances au plus haut niveau, d'une personne raisonnable et prudente." Environ 12 heures plus tard, il a reçu une réponse l'informant que Bezos avait reçu l'e-mail et a demandé à "Taylor F" de rechercher le problème et de répondre en son nom. Le 23 octobre, Normandin a reçu un e-mail de "Raquel" de l'équipe d'assistance Amazon Flex pour lui dire qu'ils étaient toujours en train d'examiner son appel. Les anciens employés d'Amazon qui ont travaillé sur Flex ont déclaré que l'escalade vers Bezos est une tactique courante chez les conducteurs désactivés, mais les aide rarement. Le verdict est arrivé le 28 octobre de « SYAM », le même nom dans le message final à Lira. Le courriel ne répondait pas directement aux réclamations de Normandin, mais reconnaissait les défis du travail en disant : « Nous comprenons que chaque partenaire de livraison a des jours difficiles et que vous pouvez parfois subir des retards, et nous en avons déjà tenu compte. Mais Normandin ne récupérait toujours pas son concert. Une fois le choc passé, il a essayé quelques autres services de livraison, mais a plutôt décidé d'utiliser son argent de relance pandémique pour démarrer une entreprise de réparation de petits moteurs. Il était temps de traiter à nouveau directement avec les êtres humains. Parmi les personnes qui ont conçu les algorithmes qui l'ont suivi, évalué et finalement renvoyé, Normandin a déclaré : "Il semble qu'ils n'aient aucun bon sens sur la façon dont le monde réel fonctionne."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd