Incidents associés
En 1964, la loi sur les droits civils interdisait aux humains qui prenaient des décisions d'embauche de faire de la discrimination fondée sur le sexe ou la race. Désormais, les logiciels contribuent souvent à ces décisions d'embauche, en aidant les responsables à filtrer les CV ou à interpréter les entretiens vidéo.
Cela inquiète certains experts en technologie et groupes de défense des droits civiques, qui citent des preuves que les algorithmes peuvent reproduire ou amplifier les préjugés manifestés par les gens. En 2018, Reuters a rapporté qu'[Amazon a abandonné un outil](https://www.Reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that -showed-bias-against-women-idUSKCN1MK08G) qui a filtré les CV en fonction des modèles d'embauche passés parce qu'il était discriminatoire à l'égard des femmes.
La législation proposée au Conseil municipal de New York vise à mettre à jour les règles de discrimination à l'embauche pour l'ère des algorithmes. Le projet de loi obligerait les entreprises à divulguer aux candidats lorsqu'ils ont été évalués avec l'aide d'un logiciel. Les entreprises qui vendent de tels outils devraient effectuer des audits annuels pour vérifier que leur technologie de tri des personnes ne fait pas de discrimination.
La proposition fait partie d'un mouvement récent à tous les niveaux de gouvernement visant à imposer des contraintes juridiques aux algorithmes et aux logiciels qui façonnent les décisions qui changent la vie, et qui peuvent passer à la vitesse supérieure lorsque les démocrates prendront le contrôle de la Maison Blanche et des deux chambres du Congrès.
Plus d'une douzaine de villes américaines ont interdit l'utilisation par le gouvernement de la reconnaissance faciale, et l'État de New York a récemment adopté un [moratoire de deux ans](https: //www.governor.ny.gov/news/governor-cuomo-signs-legislation-suspending-use-and-directing-study-facial-recognition#:~:text=The%20legislation%20places%20a%20moratorium,schools %20in%20New%20York%20State.) sur l'utilisation de la technologie dans les écoles. Certains législateurs fédéraux ont proposé une législation pour réglementer les algorithmes faciaux et les outils de décision automatisés utilisés par les entreprises, y compris pour l'embauche. En décembre, 10 sénateurs ont demandé la Commission pour l'égalité des chances en matière d'emploi à la police biais dans les outils d'embauche d'IA, affirmant qu'ils craignaient que la technologie n'aggrave les disparités raciales dans l'emploi et ne nuise à la reprise économique de COVID-19 dans les communautés marginalisées. L'année dernière également, une nouvelle loi est entrée en vigueur dans l'Illinois, exigeant le consentement avant d'utiliser l'analyse vidéo sur les candidats à un emploi ; une loi similaire du Maryland restreint l'utilisation de la technologie d'analyse faciale lors de l'embauche.
Les législateurs sont plus habitués à parler de réglementation de nouveaux algorithmes et outils d'IA qu'à mettre en œuvre de telles règles. Des mois après que San Francisco a interdit la reconnaissance faciale en 2019, elle a dû modifier l'ordonnance car elle [avait par inadvertance rendu les iPhones appartenant à la ville illégaux](https://www.wired.com/story/hard-ban-facial-recognition-tech- iphone/).
La proposition de la ville de New York lancée par le membre du conseil démocrate Laurie Cumbo obligerait les entreprises à utiliser ce que l'on appelle des outils automatisés de décision d'emploi pour aider à sélectionner les candidats ou à décider des conditions telles que la rémunération pour divulguer l'utilisation de la technologie. Les vendeurs de ces logiciels seraient tenus de procéder chaque année à un « audit des biais » de leurs produits et de mettre les résultats à la disposition des clients.
Étranges compagnons de lit
La proposition se heurte à la résistance de certains alliés inhabituels, ainsi qu'à des questions non résolues sur son fonctionnement. Eric Ellman, vice-président principal des politiques publiques à la Consumer Data Industry Association, qui représente les entreprises de vérification du crédit et des antécédents, a déclaré que le projet de loi pourrait rendre l'embauche moins équitable en imposant de nouvelles charges aux entreprises qui effectuent des vérifications des antécédents au nom des employeurs. Il soutient que de telles vérifications peuvent aider les gestionnaires à surmonter leur réticence à embaucher des personnes de certains groupes démographiques.
Certains groupes de défense des droits civiques et experts en intelligence artificielle s'opposent également au projet de loi, pour différentes raisons. Albert Fox Cahn, fondateur du Surveillance Technology Oversight Project, a organisé une lettre de 12 groupes, dont la NAACP et l'AI Now Institute de l'Université de New York, s'opposant au projet de loi. Cahn veut réglementer l'embauche de technologies, mais il dit que la proposition de New York pourrait permettre aux logiciels qui perpétuent la discrimination d'être approuvés comme ayant passé un audit d'équité.
Cahn veut que toute loi définisse la technologie couverte plus largement, ne laisse pas les fournisseurs décider comment auditer leur propre technologie et permette aux individus de poursuivre en justice pour faire appliquer la loi. "Nous n'avons vu aucune forme significative d'application contre la discrimination qui nous préoccupe", dit-il.
Partisans
D'autres ont des inquiétudes mais soutiennent toujours la proposition de New York. "J'espère que le projet de loi ira de l'avant", déclare Julia Stoyanovich, directrice du Center for Responsible AI de l'Université de New York. "J'espère aussi qu'il sera révisé."
Comme Cahn, Stoyanovich craint que l'exigence d'audit du projet de loi ne soit pas bien définie. Elle pense toujours que cela vaut la peine de passer, en partie parce que lorsqu'elle a organisé des réunions publiques sur la technologie d'embauche à la bibliothèque publique de Queens, de nombreux citoyens ont été surpris d'apprendre que les outils automatisés étaient largement utilisés. "La raison pour laquelle je suis en faveur, c'est que cela obligera à révéler aux gens qu'ils ont été évalués en partie par une machine ainsi que par un humain", déclare Stoyanovich. "Cela aidera à faire participer les membres du public à la conversation."
Deux startups basées à New York dont les outils de recrutement seraient réglementés par les nouvelles règles disent les accueillir favorablement. Les fondateurs de HiredScore, qui tente de mettre en évidence les candidats prometteurs sur la base de CV et d'autres sources de données, et Pymetrics, qui propose des évaluations en ligne basées sur la psychologie cognitive à l'aide de l'apprentissage automatique, ont tous deux soutenu le projet de loi lors d'une audition virtuelle du comité du conseil municipal. sur la technologie en novembre.
Frida Polli, PDG et cofondatrice de Pymetrics, commercialise la technologie de l'entreprise comme fournissant un signal plus juste sur les candidats que les mesures traditionnelles comme les CV, qui, selon elle, peuvent désavantager les personnes issues de milieux moins privilégiés. L'entreprise a récemment fait auditer sa technologie (https://evijit.github.io/docs/pymetrics_audit_FAccT.pdf) par des chercheurs de la Northeastern University. Elle reconnaît que l'exigence d'audit du projet de loi pourrait être plus stricte, mais dit qu'il n'est pas clair comment le faire de manière pratique, et qu'il serait préférable d'obtenir quelque chose dans les livres. "La facture est modérée, mais de manière puissante", dit-elle.
"Comme le Far West là-bas"
Robert Holden, président du comité sur la technologie du conseil municipal, a ses propres inquiétudes quant à la capacité du gouvernement municipal à court d'argent à définir comment examiner les logiciels d'embauche. Il a également entendu des émissaires d'entreprises dont les logiciels seraient soumis aux règles proposées, ce qui a suscité plus d'engagement de l'industrie que d'habitude pour les affaires du conseil municipal. Certains lui ont assuré que l'on peut faire confiance à l'industrie pour s'autoréglementer. Holden dit que ce qu'il a appris jusqu'à présent montre clairement qu'une plus grande transparence est nécessaire. "C'est presque comme le Far West là-bas maintenant", dit Holden. "Nous devons vraiment assurer une certaine transparence."
Holden dit que le projet de loi fait probablement l'objet de négociations et de réécritures, ainsi que d'une éventuelle opposition de la part du bureau du maire, avant qu'il ne puisse être programmé pour un vote final par le conseil. S'il est adopté, il entrera en vigueur en janvier 2022.