Incidents associés
Les inquiétudes concernant l'intelligence artificielle et son impact sur le travail ne sont pas nouvelles, mais à mesure que de plus en plus d'entreprises déploient ces solutions, nous constatons des problèmes décisifs dans le processus. Un point que beaucoup de ces conversations tiennent pour acquis est que les outils alimentés par l'IA fonctionnent. Que se passe-t-il s'ils ne le font pas ?
La pandémie a alimenté une explosion des ventes de semi-conducteurs et une augmentation significative du nombre d'employés surveillés par leurs employeurs. Dans certains cas, les gens ne sont pas seulement surveillés, ils sont notés. Cela pourrait ne pas être un problème si les outils d'IA en question étaient suffisamment robustes pour faire le travail, mais toutes les preuves disponibles suggèrent qu'ils ne le sont pas du tout.
Une nouvelle histoire chez Motherboard détaille les résultats de La dernière poussée d'Amazon pour introduire la technologie de l'IA sur le lieu de travail. En février dernier, Amazon a commencé à installer des caméras de la société de caméras de flotte Netradyne, dans le but supposé d'assurer la sécurité des conducteurs. Le site Web de Netradyne présente la technologie de l'entreprise exactement dans ces termes, soulignant qu'elle peut garder les conducteurs concentrés sur la route. Le système vérifie si les conducteurs maintiennent une distance de suivi appropriée, respectent les panneaux d'arrêt et les feux de rue et maintiennent leur attention sur la route.
Il est difficile de contester l'idée que les personnes qui conduisent pour gagner leur vie devraient être tenues de faire ces choses. Mais selon les chauffeurs qui livrent réellement les colis d'Amazon, le système est un cauchemar. Le problème n'est pas que les gens sont obligés de suivre la loi. Le problème est que le système Netradyne n'est pas très bon pour décider quand un conducteur enfreint ou non la loi et Amazon n'offre aucune méthode aux conducteurs pour contester les événements.
"J'ai été" cinglé "pour avoir suivi de trop près quand quelqu'un m'a coupé", a déclaré un conducteur à Motherboard. "Si je regarde dans mes rétroviseurs pour m'assurer que je peux changer de voie en toute sécurité, cela me distrait parce que mon visage est tourné pour regarder dans mon miroir. Personnellement, je ne me sentais plus en sécurité avec une caméra surveillant chacun de mes mouvements.
Un autre conducteur a indiqué que le système Netradyne AI a un problème majeur avec les faux arrêts. Apparemment, le système a la mauvaise habitude de signaler les panneaux de cession comme des panneaux d'arrêt (et de pénaliser les conducteurs qui ne s'arrêtent pas), tout en pénalisant simultanément les conducteurs s'ils s'arrêtent à un panneau d'arrêt, puis avancent lentement pour regarder autour d'une courbe aveugle. Quiconque a conduit pendant un certain temps est conscient que les quartiers et les entreprises ne maintiennent pas toujours des lignes de vue appropriées. Il peut être dangereux d'accélérer loin d'un panneau d'arrêt sans vérifier autour d'un coin obscurci par les broussailles.
"La plupart des faux positifs que nous obtenons sont des violations des panneaux d'arrêt", a-t-il déclaré. « Soit on s'arrête après le panneau d'arrêt pour voir autour d'un buisson ou d'un arbre et ça nous sonne pour ça, soit on capte les panneaux de cession comme des panneaux d'arrêt. Quelques fois, nous avons été dans le pays sur un chemin de terre, où il n'y a pas de panneau d'arrêt, mais la caméra signale un panneau d'arrêt.
Un conducteur humain qui observe un autre humain prendre une intersection avec prudence analysera par réflexe la situation à la recherche d'indices contextuels sur la raison pour laquelle cela se produit. L'IA de Netradyne est incapable de ce genre d'évaluation. Il "voit" seulement si le véhicule fonctionne selon sa propre logique inflexible.
Les porte-parole d'Amazon insistent sur le fait que le système Netradyne a donné des résultats positifs, avec des accidents en baisse de 48 %, des violations des panneaux d'arrêt et des signaux en baisse de 77 %, la conduite sans ceinture de sécurité réduite de 60 %, les violations de distance consécutives en baisse de 50 % et la conduite distraite en baisse de 75 %. . Ce sont des chiffres impressionnants, c'est certain. Mais ils ne nous disent pas grand-chose et Amazon n'est pas connu pour son honnêteté lorsqu'il traite avec la presse.
C'est moi qui ai trouvé le pipi dans la bouteille. Croyez-moi, c'est arrivé. https://t.co/U76UlDRWSO
— James Bloodworth (@J_Bloodworth) 25 mars 2021
Pour commencer, nous ne savons pas comment ces informations ont été recueillies avant l'installation du système Netradyne, nous ne savons donc pas comment comparer les chiffres avant et après. La réduction de 77% des violations des panneaux d'arrêt et des signaux peut refléter le fait que les chauffeurs-livreurs d'Amazon sont plus diligents, ou cela pourrait indiquer que les chauffeurs évitent les faux positifs aux panneaux d'arrêt en se comportant d'une manière moins sûre qui est également moins susceptible de causer un ding sur leur dossier de conduite.
Une partie du problème est que ces mesures sont utilisées pour déterminer combien les partenaires de livraison d'Amazon sont payés. Trop d'événements Netradyne peuvent ruiner le score d'une entreprise, réduisant ses revenus d'Amazon ce mois-là. Le concept selon lequel cela incite une entreprise à embaucher de bons chauffeurs est probablement valable, mais la capacité de ces mesures à atteindre leurs objectifs repose sur l'idée qu'elles mesurent correctement en premier lieu.
Amazon presse les entreprises d'apporter des changements pro-sécurité tout en poussant simultanément les entreprises à adopter des horaires de livraison si punitifs que certains chauffeurs transportent des bouteilles en plastique au lieu d'essayer de se rendre aux toilettes. Plus tôt cette année, deux entreprises de l'Oregon [se sont effectivement fermées](https://www.oregonlive.com/silicon-forest/2021/06/amazon-delivery-contractors-quit-portland-routes-citing-unsafe-conditions. html) plutôt que de continuer à transporter des colis pour Amazon. Les rapports d'enquête ont révélé à plusieurs reprises que la culture d'entrepôt d'Amazon est un environnement de travail brutalement difficile, il n'est donc pas surprenant de voir l'entreprise pousser le même modèle vers l'extérieur dans son modèle commercial.
Diverses sociétés de livraison pensent qu'Amazon a mis en place ces pratiques afin d'éviter de les payer. Amazon insiste sur le fait qu'il essaie seulement de protéger la sécurité. Selon Motherboard, diverses entreprises disent aux conducteurs comment contourner ces systèmes de suivi, car les activer signifie donner à Amazon une excuse pour ne pas payer. Pourquoi les conducteurs ne portent-ils pas leur ceinture de sécurité ? Parce qu'Amazon insiste sur des horaires de livraison si exigeants, les chauffeurs disent qu'ils n'ont pas le temps de les porter. Indépendamment de ce que l'on pense des intentions d'Amazon, il est évident que ses méthodes ont des conséquences imprévues qui vont à l'encontre de l'objectif d'améliorer les dossiers de sécurité des conducteurs.
L'aspect peut-être le plus exaspérant de toute la situation est qu'il n'y a pas de véritable processus d'appel. Alors que les sociétés de livraison peuvent apparemment soumettre des tickets de commentaires pour des événements spécifiques, le système Netradyne enregistre des centaines d'événements par semaine et Amazon n'infirme presque jamais une décision précédente. Les entreprises n'essaient généralement pas de contester ces décisions, car les contester ne fonctionne presque jamais.
Ce genre de problème devrait sonner plus d'alarmes qu'il ne le fera probablement. Malgré tout le bien que l'IA peut faire dans les bonnes circonstances, des outils comme Netradyne ne sont pas prêts à être déployés s'ils génèrent des faux positifs à ce rythme. Si Netradyne ne peut pas proposer un produit qui détecte correctement le comportement du conducteur en toutes circonstances, il n'a pas à prétendre le contraire.
Il est possible qu'Amazon ait vraiment vu le genre d'améliorations de sécurité qu'il prétend, mais une sécurité accrue n'est pas la seule variable qui compte ici. Un système de sécurité dont les systèmes de détection inappropriés amènent les conducteurs à agir de manière dangereuse est par définition moins sûr qu'un système qui ne le fait pas. C'est bien beau de prétendre que les avantages représentent une amélioration nette, mais cela ne profite pas aux personnes qui sont injustement pénalisées ou même mises au chômage parce qu'un logiciel aléatoire a décidé qu'elles étaient un conducteur problématique sans surveillance humaine ni examen.