Un algorithme utilisé par la populaire application européenne de livraison de nourriture Deliveroo pour classer et proposer des changements aux passagers est discriminatoire, a déclaré un tribunal italien à la fin de la semaine dernière, dans ce que certains experts appellent une décision historique pour l'économie des concerts. L'affaire a été portée par un groupe de coureurs Deliveroo soutenus par la CGIL, le plus grand syndicat italien.
Une ordonnance très détaillée rédigée par la juge présidente Chiara Zompi donne un aperçu intime de l'un des nombreux algorithmes souvent secrets utilisés par les plateformes de concerts pour microgérer les travailleurs et qui peuvent avoir de profonds impacts sur leurs moyens de subsistance.
Alors que les algorithmes d'apprentissage automatique sont au cœur de l'ensemble du modèle commercial de Deliveroo, l'algorithme particulier examiné par le tribunal aurait été utilisé pour déterminer la "fiabilité" d'un coureur. Selon l'ordonnance, si un coureur n'annulait pas un quart de travail pré-réservé via l'application au moins 24 heures avant son début, son « indice de fiabilité » serait affecté négativement. Étant donné que les coureurs jugés plus fiables par l'algorithme ont été les premiers à se voir proposer des quarts de travail dans des plages horaires plus chargées, cela signifiait en fait que les coureurs qui ne peuvent pas effectuer leurs quarts de travail, même si c'est à cause d'une urgence ou d'une maladie grave, auraient moins d'opportunités d'emploi à l'avenir. .
Selon le tribunal, le fait que l'algorithme ne tienne pas compte des raisons d'une annulation constitue une discrimination et pénalise injustement les coureurs ayant des raisons légalement légitimes de ne pas travailler. Deliveroo a été condamné à payer 50 000 € (~ 61 400 $) aux parties poursuivantes.
Les experts juridiques avec lesquels Motherboard s'est entretenu ont décrit la décision comme un tournant possible. Surtout, ont-ils déclaré, le tribunal a déterminé que même si un algorithme discrimine involontairement un groupe protégé, une entreprise peut toujours être tenue responsable et être contrainte de payer des dommages et intérêts.
"Il s'agit d'une affaire historique", a déclaré Valerio De Stefano, professeur de droit du travail à la KU Leuven, spécialisé dans l'IA et la réglementation du travail, à Motherboard par téléphone. "Ce que cela montre, en gros, c'est que sur le plan juridique, vous pouvez avoir une discrimination indirecte par le biais d'algorithmes et que les algorithmes sont donc soumis à un contrôle judiciaire, que vous pouvez légalement remettre en question le fonctionnement de ces types d'algorithmes. Je pense que c'est important, car les gens peuvent souvent penser que les algorithmes sont objectivement neutres, alors qu'en fait, il y a toujours la possibilité d'une discrimination.
Dans une déclaration à Motherboard, un porte-parole de Deliveroo a affirmé que l'entreprise n'utilisait plus le même système de réservation de quarts que celui décrit dans l'affaire.
"Ce jugement fait référence à un modèle de réservation optionnel historique qui n'est pas utilisé par Deliveroo en Italie ou sur d'autres marchés", a écrit le porte-parole. "Les passagers ont une flexibilité totale pour choisir quand travailler, où travailler, pour peu ou aussi longtemps qu'ils le souhaitent. Cela signifie qu'il n'y a pas de système de réservation et aucune obligation d'accepter du travail.
"Nous proposons le travail indépendant parce que cela offre la flexibilité que les passagers recherchent", ont-ils poursuivi. "Chaque enquête montre que les passagers apprécient massivement la flexibilité par-dessus tout - plus de 80 % dans la dernière enquête. Actuellement, Deliveroo reçoit des milliers de demandes pour travailler en tant qu'indépendant. - un coureur employé chaque semaine et nous avons doublé le nombre de coureurs au Royaume-Uni - nous travaillons maintenant avec 50 000 coureurs au Royaume-Uni, contre 25 000 l'année dernière."
Mais les ramifications de la décision du tribunal pourraient aller bien au-delà d'un système ou d'un algorithme de réservation unique, explique Ivana Bartoletti, co-fondatrice du réseau Women Leading in AI et auteur de "An Artificial Revolution".
"Même si ce système particulier de réservation de quarts de travail n'est plus en place, je pense que cette décision indiquera aux entreprises telles que Deliveroo, mais bien sûr à d'autres aussi, qu'elles doivent être plus conscientes de la résolution et de la compréhension des problèmes et inégalités potentiels de leur les algorithmes créent, ou ils pourraient faire face à des conséquences juridiques », a déclaré Bartoletti. « Bien sûr, cela ne suffit pas en soi, nous avons également besoin de solutions réglementaires et législatives. Mais, la combinaison de toutes ces choses pourrait être un grand pas en avant.
L'affaire est également révélatrice d'une volonté accrue de la part des régulateurs, du système judiciaire, des syndicats et des travailleurs de tout le continent de s'attaquer aux algorithmes de la boîte noire, et d'une prise de conscience accrue de la façon dont ces algorithmes peuvent potentiellement être abusés pour contourner les protections traditionnelles du travail. En juillet 2020, par exemple, quatre chauffeurs britanniques soutenus par l'App Drivers and Couriers Union ont poursuivi Uber pour avoir accès à des algorithmes similaires utilisés par Uber. Et, trois mois plus tard, un autre groupe de chauffeurs Uber a intenté une action en justice contre l'entreprise pour avoir prétendument été licencié par un algorithme automatisé utilisé par la plateforme sans avoir eu la possibilité de faire appel.