Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1441

Incidents associés

Incident 1162 Rapports
Amazon's AI Cameras Incorrectly Penalized Delivery Drivers for Mistakes They Did Not Make

Loading...
Les caméras AI d'Amazon punissent les conducteurs pour des erreurs qu'ils n'ont pas commises
vice.com · 2021

"Maintenez une distance de sécurité", disait la caméra installée au-dessus de son siège lorsqu'une voiture le coupait. Ces données seraient envoyées à Amazon et seraient utilisées pour évaluer ses performances cette semaine-là et déterminer s'il avait obtenu un bonus.

Début 2021, Amazon a installé des caméras alimentées par l'IA dans les camionnettes de livraison de l'un de ses dépôts à Los Angeles. Derek, un chauffeur-livreur de l'établissement, a déclaré que la caméra de sa camionnette commençait à le pénaliser à tort chaque fois que les voitures le coupaient, un événement quotidien dans la circulation à Los Angeles.

On the Clock est le reportage de Motherboard sur le mouvement ouvrier organisé, le travail à la demande, l'automatisation et l'avenir du travail.

La caméra Netradyne, qui oblige les conducteurs d'Amazon à signer des formulaires de consentement pour divulguer leurs données biométriques, dispose de quatre lentilles qui enregistrent les conducteurs lorsqu'ils détectent des «événements» tels que suivre un autre véhicule de trop près, les violations des panneaux d'arrêt et de l'éclairage public et la conduite distraite.

Motherboard s'est entretenu avec six chauffeurs-livreurs Amazon en Californie, au Texas, au Kansas, en Alabama et en Oklahoma, et le propriétaire d'une société de livraison Amazon à Washington qui a déclaré qu'au lieu d'encourager une conduite sûre, les caméras Netradyne punissaient régulièrement les chauffeurs pour de soi-disant "événements". qui échappent à leur contrôle ou ne constituent pas une conduite dangereuse. Les caméras les puniront pour avoir regardé un rétroviseur latéral ou manipulé la radio, s'être arrêté devant un panneau d'arrêt à une intersection aveugle ou avoir été coupé par une autre voiture dans un trafic dense, ont-ils déclaré.

En février, Amazon a annoncé qu'il installerait des caméras fabriquées par la startup de technologie IA Netradyne dans ses camionnettes de livraison de marque Amazon comme une "innovation" pour "assurer la sécurité des conducteurs". Ce mois-ci, Amazon avait équipé plus de la moitié de sa flotte de livraison à l'échelle nationale de cette technologie, a déclaré un porte-parole d'Amazon à Motherboard.

«Chaque fois que je dois faire un virage à droite, cela arrive inévitablement. Une voiture me coupe pour me déplacer dans ma voie, et la caméra, dans cette voix sombre et robotique vraiment dystopique, me crie dessus ", a déclaré Derek, qui a demandé à rester anonyme parce qu'il craignait les représailles d'Amazon. " C'est tellement déconcertant . C'est bouleversant, quand je n'ai rien fait.

"Avant que je ne puisse gagner des prix et d'autres choses, dès que les caméras sont arrivées, tout s'est dégradé", a déclaré Gomez.

Jamie Gomez, un ancien chauffeur-livreur d'Amazon à Sugar Land, au Texas, a déclaré que la caméra Netradyne dans sa camionnette avait également détecté des "événements" qui ne se sont pas réellement produits, mais qui ont eu un impact sur son score de performance chez Amazon, qui a déterminé s'il avait reçu des prix, tels que comme vestes de pluie, de sa société de livraison.

"Quand je reçois mon score chaque semaine, je demande à mon entreprise de me dire ce que j'ai fait de mal", a déclaré le chauffeur à Motherboard. "Mon [entreprise de livraison] enverra un e-mail à Amazon et me mettra en copie, et dira : "Hé, nous avons [des chauffeurs] qui aimeraient voir les photos signalées comme des événements, mais ils ne répondent pas". Il n'y a pas de place pour la discussion sur la possibilité que les données de la caméra ne soient pas propres.

Le chauffeur de Los Angeles a déclaré à Motherboard qu'il avait tenté de contester des événements avec Amazon sans succès.

Chaque fois que la caméra enregistre un événement, les images sont téléchargées dans un système, enregistrées et affectent un score que les conducteurs reçoivent à la fin de la semaine pour une conduite sûre.

Lorsque la caméra détecte un "événement", elle télécharge les images sur une interface Netradyne accessible à Amazon et à ses sociétés de livraison, et dans certains cas, une voix robotique s'adresse au conducteur : "conduite distraite" ou "maintenir une distance de sécurité".

"La plupart des faux positifs que nous obtenons sont des violations des panneaux d'arrêt", a-t-il déclaré. « Soit on s'arrête après le panneau d'arrêt pour voir autour d'un buisson ou d'un arbre et ça nous sonne pour ça, soit on capte les panneaux de cession comme des panneaux d'arrêt. Quelques fois, nous sommes allés à la campagne sur un chemin de terre, où il n'y a pas de panneau d'arrêt, mais la caméra signale un panneau d'arrêt.

Un chauffeur-livreur actuel d'Amazon dans l'Oklahoma, qui a demandé à rester anonyme parce qu'il craignait des représailles d'Amazon et de sa société de livraison, a déclaré à Motherboard que le plus gros problème avec les caméras Netradyne est la fréquence à laquelle elles détectent les fausses violations des panneaux d'arrêt.

"Les caméras Netradyne qu'Amazon a installées dans nos camionnettes n'ont été qu'un cauchemar", a déclaré à Motherboard un ancien chauffeur-livreur d'Amazon à Mobile, en Alabama. « Ils surveillent chacun de nos mouvements. J'ai été « cinglé » pour avoir suivi de trop près quand quelqu'un m'a interrompu. Si je regarde dans mes rétroviseurs pour m'assurer que je peux changer de voie en toute sécurité, cela me distrait parce que mon visage est tourné pour regarder dans mon miroir. Personnellement, je ne me sentais plus en sécurité avec une caméra surveillant chacun de mes mouvements.

"Il sonne constamment aux conducteurs toute la journée. Cela crée une énorme distraction pour les conducteurs sur la route, et cela crée une charge de travail énorme pour les entreprises de livraison pour revoir la vidéo.

Les conducteurs d'Amazon pensent que les caméras de surveillance alimentées par l'IA ont permis à l'entreprise de réduire ses coûts. Les chauffeurs-livreurs d'Amazon et les sociétés de livraison, connus sous le nom de "partenaires de services de livraison", qui passent un contrat avec Amazon et emploient des chauffeurs, ont signalé une perte de revenus à cause de citations erronées enregistrées par Netradyne.

Plusieurs conducteurs ont déclaré que cela signifiait qu'ils avaient commencé à s'arrêter deux fois aux panneaux d'arrêt, une fois avant un panneau d'arrêt pour la caméra Netradyne et une autre fois pour la visibilité avant de traverser une intersection. Les chauffeurs-livreurs d'Amazon sont souvent soumis à une forte pression pour respecter les quotas de livraison le plus rapidement possible afin de se qualifier pour les bonus d'Amazon.

Les sociétés de livraison Amazon à travers le pays sont à différentes étapes du déploiement de cette technologie et regroupées en cohortes, mais Miller a déclaré que ces données sont complètes depuis la version pilote de Netradyne.

Depuis qu'Amazon a installé des caméras Netradyne dans ses camionnettes, Miller affirme que les accidents ont diminué de 48 % et que les violations des panneaux d'arrêt et des signaux ont diminué de 77 %. La conduite sans ceinture de sécurité a diminué de 60 %, la distance parcourue a diminué de 50 % et la distraction au volant a diminué de 75 %.

"L'une des améliorations de sécurité que nous avons apportées cette année est le déploiement de la télématique de pointe et de la technologie de sécurité basée sur les caméras dans notre flotte de livraison", a déclaré Alexandra Miller, porte-parole d'Amazon à Motherboard. "Cette technologie fournit aux conducteurs des alertes en temps réel pour les aider à rester en sécurité lorsqu'ils sont sur la route."

Miller, le porte-parole d'Amazon, a déclaré que "chaque partenaire de service de livraison est formé sur la technologie de sécurité et est tenu de communiquer à ses équipes l'impact des événements sur le tableau de bord DSP".

"Amazon utilise ces caméras prétendument pour s'assurer qu'ils ont une main-d'œuvre plus sûre, mais ils ne les utilisent pas pour payer les sociétés de livraison", a déclaré à Motherboard le propriétaire d'une société de livraison Amazon à Washington. Le propriétaire a déclaré qu'il n'avait reçu aucune formation sur l'utilisation des caméras Netradyne. "Ils prennent juste notre argent et s'attendent à ce que cela nous motive à le comprendre."

Chaque semaine, Amazon attribue à chaque chauffeur-livreur une note de niveau, qui va de "fantastique" à "bon" à "passable" à "médiocre" sur la base d'une série de mesures, y compris les événements Netradyne. Chaque entreprise de livraison Amazon reçoit un tableau de bord qui combine tous les scores de ses chauffeurs, selon un tableau de bord examiné par Motherboard.

Pour les sociétés de livraison Amazon, qui reçoivent des bonus en obtenant des scores "fantastiques" sur un tableau de bord hebdomadaire, les "événements" Netradyne peuvent ruiner un tableau de bord, ce qui signifie que la société de livraison ne reçoit pas les revenus dont elle a besoin pour payer les réparations du véhicule, les consommables, les dommages, le support personnel et primes pour les chauffeurs.

En juin, Motherboard a signalé que les sociétés de livraison d'Amazon encourageaient les chauffeurs à fermer l'application Mentor qui surveille la sécurité afin d'atteindre les quotas de livraison d'Amazon.

Selon un document interne obtenu par Motherboard, qui explique comment Amazon évalue un ensemble de mesures qui composent le tableau de bord de la société de livraison, «la sécurité et la conformité» représentent 40% du score d'un partenaire de service de livraison. Cela comprend une « métrique de conduite sûre » calculée par une application pour smartphone connue sous le nom de Mentor, un « taux de détachement de la ceinture de sécurité », un « taux d'excès de vitesse », un « taux d'infractions aux panneaux/signaux », un « taux de distractions » et une « distance de suivi ». évaluer."

"Chaque fois qu'un [chauffeur] ne laisse pas assez de distance de suivi, Netradyne enregistre 1 événement, et le score hebdomadaire de [la société de livraison] est la somme de tous les événements de distance de suivi divisés par le nombre de trajets", poursuit le document. "[ Les entreprises de livraison] qui reçoivent un score fantastique réalisent généralement 5 événements pour 100 voyages ou moins.

Chacune de ces mesures a une définition spécifique. Selon le document, la distance de suivi, par exemple, « mesure la performance des DSP en termes de distance de suivi suffisante par rapport au véhicule qui précède. Netradyne créera un événement Distance de suivi si un [conducteur] a 0,6 seconde ou moins de distance de suivi du véhicule qui le précède.

"Si votre cote de sécurité n'est pas fantastique, vous n'obtenez pas de bonus", a déclaré le propriétaire de la société de livraison Amazon à Washington à Motherboard. "Ils disent" nous sommes obsédés par la sécurité "ou n'importe quoi, mais cette caméra coûte aux entreprises de livraison des centaines de dollars de revenus chaque semaine dont elles ont besoin pour former les chauffeurs et survivre. Sans le bonus, vous ne survivez pas, vous faites faillite.

Chaque violation de feu rouge compte comme 10 événements de violation de panneau d'arrêt. Afin d'obtenir un score «fantastique», les entreprises de livraison doivent gagner 50 événements par 100 voyages ou moins.

Amazon définit actuellement les violations des panneaux d'arrêt et des lampadaires comme "à chaque fois qu'un DA [delivery associate] traverse/passe devant un panneau d'arrêt sans s'arrêter complètement, des demi-tours illégaux… et des violations des lampadaires, qui sont déclenchées à tout moment un [driver ] traverse une intersection lorsque le feu est rouge.

"Si nous soulevions des problèmes avec les caméras, les managers passeraient sous la table, ils ne s'inquiètent que de sortir les colis", a-t-il déclaré. «Alors nous les couvrons. Ils ne nous le disent pas, mais c'est un peu comme "ne demandez pas, ne dites pas".

"La plupart des chauffeurs de mon entreprise recouvrent les caméras d'autocollants, car les caméras deviennent gênantes", a déclaré à Motherboard un chauffeur-livreur Amazon qui travaille dans une station de livraison Amazon à Shepherdsville, dans le Kentucky. "Ils cinglent toute la journée et les gens obtiennent des scores horribles, mais c'est un mensonge. Ils n'ont rien fait de mal. Il est impossible de s'arrêter aux panneaux d'arrêt à chaque fois comme ils le souhaitent.

Selon un document interne obtenu par Motherboard, Amazon recueille trois types de distraction, notamment lorsqu'un conducteur baisse les yeux, lorsqu'un conducteur regarde son téléphone et lorsqu'un conducteur parle au téléphone. Afin de gagner des scores "fantastiques" et de recevoir des bonus, les sociétés de livraison Amazon doivent enregistrer moins de cinq "événements de distraction" pour 100 itinéraires de livraison.

"Avant que je puisse gagner des prix et tout ça, dès que les caméras sont arrivées, ça s'est détérioré."

Agacé par, et dans de nombreux cas, craignant la surveillance, certains conducteurs ont commencé à placer des autocollants sur les caméras pour éviter que la caméra n'enregistre des images d'eux.

Sur Reddit, un chauffeur-livreur d'Amazon a récemment publié une capture d'écran d'une série de messages du propriétaire de sa société de services de livraison, affirmant que les chauffeurs qui avaient enregistré un seul événement sur "Netradyne" ne seraient pas éligibles aux bonus, car la société avait perdu des milliers de dollars à cause de violations de la ceinture de sécurité.

"Bonjour l'équipe : je viens de regarder environ 12 vidéos de quelqu'un ici dans l'équipe sans ceinture de sécurité", lisent les textes. "Cela va nuire à mes revenus et à notre tableau de bord pour la semaine prochaine. Plusieurs milliers de dollars GONE. Si vous vous présentez à un événement sur NETRADYNE, votre prime disparaîtra automatiquement. »

Les conducteurs disent qu'avec leurs quotas de livraison élevés et le fait qu'ils entrent et sortent souvent du camion, boucler et déboucler leur ceinture de sécurité des dizaines de fois dans un même quartier peut ralentir considérablement le processus de livraison.

Le score de sécurité global des entreprises de livraison détermine si les entreprises de livraison gagnent des bonus d'Amazon pour la semaine, ce qui peut représenter des milliers de dollars pour une entreprise qui livre des dizaines de milliers de colis par semaine - et peut faire la différence entre survivre et faire faillite pour une entreprise de livraison, qui emploie entre 15 et 40 chauffeurs. Un propriétaire partenaire de service de livraison d'Amazon a déclaré qu'Amazon payait 15 cents supplémentaires par colis si sa flotte recevait un score "fantastique".

"Ils disent" nous sommes obsédés par la sécurité "ou n'importe quoi, mais cette caméra coûte aux entreprises de livraison des centaines de dollars de revenus chaque semaine dont elles ont besoin pour former les chauffeurs et survivre."

Selon un tableau de bord du partenaire de service de livraison Amazon obtenu par Motherboard, les sociétés de livraison disposent de quatre semaines d'entraînement avec les caméras Netradyne avant que ses mesures n'aient un impact sur leurs scores, mais aucun des chauffeurs avec lesquels Motherboard s'est entretenu n'a déclaré avoir reçu une formation formelle sur la façon dont les "événements" Netradyne peuvent influer sur leurs tableaux de bord.

En juillet, Motherboard a rapporté que deux sociétés de livraison d'Amazon à Portland avaient résilié leurs contrats avec Amazon, dans un rare acte de protestation contre Amazon pour leur avoir imposé un modèle commercial financièrement insoutenable. Dans une lettre à Amazon, leur avocat a cité les caméras Netradyne comme un moyen pour Amazon d'exercer un contrôle déraisonnable sur leurs opérations commerciales.

Le programme de partenaires de services de livraison d'Amazon s'appuie sur 2 000 petites entreprises de livraison qui emploient 115 000 chauffeurs aux États-Unis pour livrer des milliards de colis chaque année. Amazon contourne la responsabilité de ces chauffeurs grâce à ce modèle de contrat, mais oblige les sociétés de livraison à respecter un ensemble de règles concernant l'embauche, les apparitions des chauffeurs et l'activité sur les réseaux sociaux, la rémunération, les itinéraires et les mécanismes de sécurité, y compris les caméras Netradyne.

Motherboard s'est entretenu avec quatre chauffeurs et le propriétaire d'une société de livraison Amazon qui ont déclaré qu'il n'est pas possible dans la plupart des circonstances pour une société de livraison Amazon de faire appel de violations erronées auprès d'Amazon, bien qu'Amazon dispose d'un portail automatisé pour le processus d'appel où les sociétés de livraison peuvent soumettez un ticket de commentaires à Amazon et contestez les « événements ».

« Si vous organisez un événement dans notre entreprise, vous recevez un appel téléphonique. C'est un cul à mâcher. Nous ne pouvons pas nous adresser au responsable ou au propriétaire [delivery service partner] pour faire appel », a déclaré le chauffeur de l'Oklahoma. "Nous serions ravis, mais ils ne s'en soucieront pas, à moins que vous n'ayez déjà des preuves claires."

Les experts en intelligence artificielle ont noté qu'Amazon et d'autres entreprises s'appuient sur des algorithmes, tels que les systèmes de surveillance des travailleurs, qui augmentent leurs bénéfices et réduisent les salaires. "La capacité des plateformes de gestion automatisées à manipuler (et à réduire arbitrairement) les salaires a été au cœur des griefs des travailleurs", a déclaré un rapport de 2019 de l'AI Now Institute de l'Université de New York. "L'IA menace non seulement de déplacer de manière disproportionnée les bas salaires, mais aussi de réduire les salaires, la sécurité de l'emploi et d'autres protections pour ceux qui en ont le plus besoin."

Un porte-parole d'Amazon a déclaré à Motherboard qu'une équipe d'employés d'Amazon examine manuellement tous les événements faisant l'objet d'un appel pour s'assurer que les événements erronés n'affectent pas les chauffeurs ou les sociétés de livraison d'Amazon.

Le propriétaire de la société de livraison à Washington a déclaré que le nombre d'événements enregistrés par Netradyne par semaine, la quantité de travail nécessaire pour les examiner et la faible probabilité qu'un «événement» soit annulé rendaient le processus d'appel futile.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 1d52523