Incidents associés
Rite Aid a « utilisé la technologie de reconnaissance faciale dans ses magasins de détail sans prendre de mesures raisonnables pour faire face aux risques que son déploiement d’une telle technologie soit susceptible de nuire aux consommateurs en raison d’alertes de correspondance de reconnaissance faciale faussement positives ». C’est le langage juridique de l’action que la FTC vient de déposer contre la chaîne de pharmacies Rite Aid et une filiale. En termes plus courants, [la FTC allègue que Rite Aid a lancé un programme de surveillance secrète insuffisamment testé et opérationnellement déficient contre ses clients](https://www.ftc.gov/news-events/news/press-releases/2023/ 12/rite-aid-banned-using-ai-facial-recognition-after-ftc-dits-retailer-deployed-technology-without) sans considérer l'impact que sa technologie de reconnaissance faciale inexacte aurait sur les personnes identifiées à tort comme « correspondantes » quelqu'un sur la base de données de la liste de surveillance de l'entreprise. Entre autres choses, un règlement proposé dans cette affaire interdirait à Rite Aid d'utiliser tout système de reconnaissance faciale à des fins de sécurité ou de surveillance pendant cinq ans.
Depuis au moins 2012 jusqu’en 2020, Rite Aid a utilisé la technologie de reconnaissance faciale dans des centaines de ses points de vente pour « chasser et éloigner les personnes d’intérêt des magasins [de Rite Aid] ». La plupart de ces magasins se trouvaient dans les grandes zones urbaines. De plus, la plainte allègue que Rite Aid n'a pas dit aux consommateurs que il a utilisé la technologie de reconnaissance faciale et a spécifiquement demandé aux employés de ne pas révéler ce fait aux consommateurs ou aux médias.
Comment fonctionnait le système de reconnaissance faciale de Rite Aid ? Rite Aid a supervisé la création d'une « base de données de liste de surveillance » d'images de personnes qui, selon la société, s'étaient livrées à des activités criminelles ou à des tentatives d'activités criminelles dans l'un de ses magasins. Appelées « inscriptions », ces entrées comprenaient – dans la mesure où elles sont connues – les noms et prénoms, les années de naissance et une description du comportement que Rite Aid prétendait que la personne sur la photo avait adopté. Téléchargées par les employés de Rite Aid en magasin, les images étaient souvent de mauvaise qualité – parfois des captures d'écran de télévision en circuit fermé ou des photos prises avec les téléphones portables des employés. Selon la plainte, Rite Aid a ordonné à la sécurité du magasin de « faire pression pour obtenir autant d'inscriptions que possible », ce qui a abouti à une base de données de liste de surveillance comprenant des dizaines de milliers de personnes.
Si une personne entrant dans le magasin était censée « correspondre » à une image figurant dans la base de données de surveillance de Rite Aid, les employés recevaient une alerte sur le téléphone portable de leur entreprise. Sur la base en tout ou en partie de cette alerte, le personnel de Rite Aid a été invité à passer à l’action en fonction des catégories de la base de données qui ont informé la réponse du personnel. Selon la plainte, « la majorité des inscriptions à la reconnaissance faciale de Rite Aid se sont vu attribuer l'instruction d'alerte de correspondance « Approche et identification », ce qui signifiait que les employés devaient s'approcher de la personne, lui demander de partir et, si la personne refusait, appeler la police. .» Mais selon la plainte, dans de nombreux cas, les alertes de correspondance qui ont conduit à ces actions étaient de faux positifs – en d’autres termes, la technologie a identifié à tort les clients de Rite Aid comme des personnes figurant dans la base de données de la liste de surveillance.
Vous voudrez lire la plainte pour les allégations concernant les conséquences considérables – et préjudiciable – les inexactitudes du système, mais voici juste un exemple. Au cours d'une période de cinq jours, Rite Aid a généré plus de 900 alertes distinctes dans plus de 130 magasins de New York à Seattle, prétendant toutes correspondre à une seule image de la base de données. En d’autres termes, la technologie de reconnaissance faciale de Rite Aid a indiqué aux employés qu’une seule personne photographiée était entrée dans plus de 130 sites Rite Aid d’un océan à l’autre plus de 900 fois en moins d’une semaine. Donnant un tout nouveau sens à l’expression « facialement inexact », Rite Aid aurait utilisé cette information pour expulser les consommateurs de ses magasins.
Les entreprises qui envisagent d’utiliser des technologies de surveillance par IA ou d’autres systèmes de surveillance biométrique en prennent note. La FTC affirme qu'en déployant la technologie de reconnaissance faciale dans certains de ses sites, Rite Aid n'a pas pris de mesures raisonnables pour éviter tout préjudice aux consommateurs. Voici quelques-unes des allégations contenues dans la plainte
- Rite Aid n'a pas pris en compte les risques que les faux positifs présentaient pour les consommateurs, y compris les risques d'identification erronée basée sur la race ou le sexe. Pour une multitude de raisons évoquées dans la plainte, la FTC allègue que les personnes noires, asiatiques, latino-américaines et Les consommatrices couraient un risque accru d'être incorrectement « correspondantes » à une image figurant dans la base de données de la liste de surveillance de l'entreprise, ce qui entraînait des conséquences humiliantes et préjudiciables. Comme le précise la plainte, « En raison des échecs de Rite Aid, les consommateurs noirs, asiatiques, latino-américains et féminins étaient particulièrement susceptibles d'être lésés par l'utilisation de la technologie de reconnaissance faciale par Rite Aid. »
- Rite Aid n'a pas réussi à tester l'exactitude du système. Selon la FTC, Rite Aid n'a pas pris la peine de demander à son premier fournisseur de technologie de reconnaissance faciale si l'exactitude du système avait été testée. En fait, Rite Aid a déployé la technologie malgré la déclaration expresse du fournisseur selon laquelle :
NE FAIT AUCUNE DÉCLARATION OU GARANTIE QUANT À L'EXACTITUDE ET À LA FIABILITÉ DU PRODUIT DANS L'EXÉCUTION DE SES CAPACITÉS DE RECONNAISSANCE FACIALE. [VENDEUR] DÉCLINE TOUTE RESPONSABILITÉ OU GARANTIE, EXPRESSE OU IMPLICITE, CONCERNANT TOUTE FAUSSE IDENTIFICATION OU MAUVAISE IDENTIFICATION RÉSULTANT DE L'UTILISATION DU PRODUIT.
Avant de s’adresser à un deuxième fournisseur, Rite Aid aurait été conscient du problème des faux positifs et, encore une fois, n’aurait pas demandé les résultats des tests sur l’exactitude du système de ce fournisseur.
Rite Aid n'a pas réussi à appliquer les contrôles de qualité d'image. Comme l'a expliqué un fournisseur à Rite Aid : « La qualité des photos utilisées pour la [technologie de reconnaissance faciale] est extrêmement importante. . . Sans photos de bonne qualité, une inscription n’est pas utile. Conscient de cet avertissement, Rite Aid a affirmé établir des normes de qualité d’image. Mais selon la FTC, Rite Aid a bafoué ses propres politiques en utilisant régulièrement des images floues et de mauvaise qualité prises dans des conditions de faible luminosité, augmentant ainsi le risque de faux positifs.
Rite Aid n'a pas réussi à former son personnel. La formation de Rite Aid s’est concentrée sur la navigation sur le site Web pour utiliser la technologie et télécharger de nouvelles inscriptions. La plainte allègue que les supports de formation de Rite Aid ne traitaient pas du risque de faux positifs ou n’abordaient que brièvement le sujet. Même lorsque l’entreprise avait des preuves du problème des faux positifs, la FTC affirme que Rite Aid n’a pas pris de mesures raisonnables pour améliorer sa formation.
Rite Aid n'a pas réussi à surveiller, tester ou suivre l'exactitude des résultats. Même après que le problème des correspondances faussement positives soit devenu apparent, la FTC affirme que Rite Aid n'a pas résolu le problème de manière adéquate. Comme le prétend la plainte : « En partie à cause de l’incapacité de Rite Aid à suivre, surveiller, évaluer ou tester sa technologie de reconnaissance faciale, Rite Aid n’avait aucune base raisonnable pour croire qu’une alerte de correspondance donnée était susceptible d’être exacte. Néanmoins, Rite Aid a continué à demander aux employés des magasins de prendre des mesures contre les consommateurs sur la base d'alertes de correspondance par reconnaissance faciale. En outre, la FTC affirme que Rite Aid n’a pas tenu de registres précis des résultats des alertes et n’a pas suivi les faux positifs.
La plainte comprend d’autres exemples de l’impact des échecs de Rite Aid sur les personnes qui faisaient leurs achats dans ses magasins. Pour ne citer qu’un exemple, en mai 2020, le personnel de Rite Aid dans le Bronx a téléchargé une image dans la base de données de la liste de surveillance. Au cours des mois suivants, la technologie de reconnaissance faciale de Rite Aid a généré plus de 1 000 alertes de match pour cette seule photo, soit près de 5 % de toutes les alertes de match générées par le système de Rite Aid au cours de cette période. De plus, 99 % de ces alertes de match provenaient de la région de Los Angeles. En fait, quatre des alertes de match ont indiqué au personnel de Rite Aid que la seule personne avait été repérée dans des magasins de New York et de Californie au cours de la même période de 24 heures.
Comment les consommateurs ont-ils été blessés par les alertes de correspondance faussement positives générées par la technologie de reconnaissance faciale de Rite Aid ? Selon la FTC, de nombreux consommateurs ont été identifiés à tort comme des voleurs à l'étalage ou des malfaiteurs. En conséquence, la plainte accuse Rite Aid de les avoir surveillés et suivis dans le magasin ; leur a dit de partir sans faire d'achats, y compris pour des médicaments sur ordonnance ou en vente libre ; les a fouillés; les ont publiquement accusés d'être des voleurs à l'étalage et les ont humiliés devant leurs employeurs, leurs collègues et les membres de leur famille, y compris leurs enfants ; et a appelé la police pour les confronter ou les expulser – le tout basé sur une technologie de reconnaissance faciale connue pour produire des faux positifs et particulièrement susceptible d'aboutir à des correspondances inexactes pour les consommateurs noirs, latinos, asiatiques et féminins.
La FTC a déposé une plainte contre Rite Aid devant un tribunal fédéral de Pennsylvanie. Le chef d’accusation I de cette plainte allègue que Rite Aid a utilisé la technologie de reconnaissance faciale dans ses magasins sans prendre de mesures raisonnables pour faire face aux risques que son utilisation puisse nuire aux consommateurs en raison d’alertes de correspondance faussement positives, en particulier les consommatrices et les consommatrices de couleur. Le chef d’accusation II découle d’une ordonnance de 2010 sous laquelle Rite Aid est déjà soumise et qui l’oblige à maintenir un programme complet de sécurité des informations pour protéger les informations personnelles des consommateurs. Ce chef d’accusation allègue que l’incapacité de Rite Aid à maintenir ce programme requis est une pratique déloyale, en violation de la loi FTC.
La FTC affirme que les échecs du programme de sécurité des informations de Rite Aid étaient importants. La plainte fait état d’un certain nombre de déficiences et de lacunes spécifiques, notamment :
Rite Aid n'a pas réussi à contrôler correctement les fournisseurs qui avaient accès aux informations personnelles des consommateurs. La réalisation d'une évaluation précise et vérifiable des capacités de sécurité des données des fournisseurs est une partie essentielle de tout programme complet de sécurité des informations. Selon la FTC, Rite Aid a confié des données sensibles sur les consommateurs à des fournisseurs, y compris celles que l'entreprise considérait comme « à haut risque », sur la seule base de conversations, plutôt que d'une évaluation approfondie des documents écrits et autres documents. Bien sûr, discuter de sujets peut faire partie d’un programme de sécurité de l’information, mais cela ne devrait pas constituer l’intégralité du processus d’évaluation.
Rite Aid n'a pas réévalué périodiquement les pratiques de sécurité des données des fournisseurs de services. Les procédures et les capacités peuvent changer. Ainsi, lorsque des données sensibles sont en jeu, l’évaluation des prestataires de services n’est pas une tâche unique. La FTC affirme que Rite Aid n’a pas procédé à une réévaluation périodique pour garantir que les informations des consommateurs étaient en sécurité entre les mains des prestataires de services – un élément clé de tout programme complet de sécurité de l’information.
** Rite Aid n'a pas inclus d'exigences suffisantes en matière de sécurité des informations dans les contrats avec les prestataires de services.** La FTC allègue que les contrats de Rite Aid avec les fournisseurs manquaient de normes de sécurité des informations ou ne comportaient que des exigences minimales. Les clauses contractuelles exécutoires contribuent à protéger les informations des consommateurs lorsqu’elles sont entre les mains de fournisseurs ou d’autres tiers.
Le règlement proposé interdirait à Rite Aid d'utiliser tout système de reconnaissance ou d'analyse faciale. à des fins de sécurité ou de surveillance dans ses magasins de détail ou en ligne pendant cinq ans. De plus, l’entreprise devrait supprimer les photos ou vidéos collectées dans le cadre du système de reconnaissance faciale qu’elle exploitait entre 2012 et 2020, ainsi que toutes données, modèles ou algorithmes dérivés de ces visuels.
Le règlement proposé couvre l’utilisation par l’entreprise de tous les systèmes automatiques de sécurité ou de surveillance biométriques, et pas seulement des systèmes de reconnaissance et d’analyse faciales. Si l'entreprise utilise un tel système automatisé à l'avenir, elle doit mettre en œuvre un programme de surveillance qui nécessite des contrôles techniques et organisationnels solides. Entre autres choses, le programme de surveillance doit tenir compte des risques potentiels pour les consommateurs posés par tout système biométrique automatique que l'entreprise pourrait mettre en œuvre. Vous voudrez lire le nouvel ordre proposé pour plus de détails, mais il mettrait en place des dispositions générales pour garantir une formation, des tests et une évaluation appropriés. Avant de déployer un système de sécurité ou de surveillance biométrique automatique, Rite Aid aura besoin de preuves solides de son exactitude. Et si Rite Aid a des raisons de croire, à un moment donné, que les inexactitudes du système contribuent à un risque de préjudice pour les consommateurs, l’entreprise doit fermer le système.
De plus, si Rite Aid dispose à l'avenir d'un système de sécurité ou de surveillance biométrique automatique, en vertu de l'ordonnance proposée, elle doit donner un avis écrit individualisé à tout consommateur que l'entreprise ajoute à son système et à toute personne contre laquelle elle prend des mesures en conséquence. . Rite Aid devrait également mettre en œuvre une solide procédure de réclamation des consommateurs. En outre, l’entreprise devrait indiquer clairement aux consommateurs dans les points de vente et en ligne si elle utilise une sécurité et une surveillance biométriques automatiques et les avis doivent être placés là où les consommateurs peuvent les lire à temps pour éviter la collecte de leurs informations biométriques.
De plus, Rite Aid doit mettre en œuvre un programme complet de sécurité des informations, obtenir des évaluations biennales de ce programme auprès d'un évaluateur tiers et fournir une certification annuelle à la FTC de la part de son PDG attestant que Rite Aid est en conformité avec l'ordonnance proposée. Vous voudrez lire la commande proposée pour en savoir plus sur les exigences spécifiques.
Rite Aid étant actuellement en faillite, le règlement proposé est soumis à l’approbation du tribunal des faillites.
Votre entreprise utilise-t-elle l’IA ou d’autres technologies de surveillance biométrique automatisée ? L'action de la FTC contre Rite Aid démontre la nécessité de tester, d'évaluer et de surveiller le fonctionnement de ces systèmes et de garantir que leurs performances dans des contextes réels sont conformes aux normes de protection des consommateurs.