Incidents associés
Le 19 décembre 2023, la Federal Trade Commission (FTC) [annoncé](https://www.ftc.gov/news-events/news/press-releases/2023/12/rite-aid-banned-using-ai -facial-recognition-after-ftc-dits-retailer-deployed-technology-without) une mesure coercitive contre la pharmacie de détail Rite Aid pour pratiques déloyales associées à son utilisation d'un système de surveillance de technologie de reconnaissance faciale (FRT) pour dissuader le vol dans son magasins de détail et pour violations d’une ordonnance FTC antérieure. La plainte de 54 pages de la FTC allègue que Rite Aid (1) n'a pas pris de mesures raisonnables pour éviter que son utilisation de la technologie de reconnaissance faciale ne nuise aux consommateurs et (2) a violé les dispositions de l'ordonnance de 2010 qui exigeaient un programme complet de sécurité des informations et la conservation des documents. pour la gestion des fournisseurs.
Cette action marque un moment important dans l’histoire de la réglementation de l’IA, car c’est la première fois que la FTC prend des mesures coercitives contre une entreprise pour avoir utilisé l’IA d’une manière prétendument biaisée et injuste. Cela poursuit également une tendance que nous observons dans les mesures d'application de la FTC en ce qui concerne l'agence qui s'appuie sur la restitution des données et des algorithmes comme remède : Rite Aid (et tous les tiers avec lesquels ils ont partagé des informations couvertes) doivent supprimer toutes les données biométriques de Rite Aid. qui ont été traitées injustement, ainsi que tous les modèles ou algorithmes d’IA associés à ces données.
Cette décision d'application sert également d'avertissement et de guide pour les entreprises qui utilisent et développent des systèmes d'IA, en particulier si ces systèmes d'IA utilisent la technologie de reconnaissance faciale afin d'identifier des individus et de prendre des décisions automatisées à leur sujet qui pourraient entraîner un préjudice potentiel. La mesure coercitive de la FTC dans cette affaire est conforme aux critères d'injustice définis par l'agence dans sa [Déclaration de politique de mai 2023](https://www.ftc.gov/news-events/news/press-releases/2023/05/ftc -avertissement-sur-l'utilisation abusive-des-informations-biométriques-préjudice-aux-consommateurs) avertissement concernant les utilisations abusives des informations biométriques et les dommages causés aux consommateurs. De plus, cette mesure coercitive souligne l'importance de mener des évaluations des risques pour comprendre les impacts potentiels sur les consommateurs, de mettre en œuvre des stratégies d'atténuation des préjugés, de superviser les fournisseurs, de former les employés et de se conformer aux normes de sécurité de l'entreprise à chaque étape de l'approvisionnement et du déploiement d'un système d'IA (sélection des fournisseurs). , développement de modèles, maintenance de modèles et surveillance post-déploiement).
Dans cet article, nous résumons la plainte de la FTC, y compris ses chefs d'accusation formels contre Rite Aid et les allégations à l'appui. Nous présentons également une évaluation consolidée de son ordre stipulé et quelques points clés à retenir que les entreprises déployant actuellement ou intéressées à déployer la technologie de l'IA devraient noter. Pour rester informé des derniers développements impliquant la FTC et d'autres régulateurs de la vie privée, veuillez [s'abonner](https://www.wilmerha Telecommunications.com/12/50/landing-pages/subscribe.asp?_ga=2.267978762. 564827722.1704654939-62741373.1698293922) sur le blog WilmerHale sur le droit de la confidentialité et de la cybersécurité.
La plainte
La plainte détails comment Rite Aid a déployé un système de surveillance FRT dans des centaines de ses pharmacies de détail, principalement dans les zones urbaines à faible revenu. revenus et communautés racialement diverses, d'octobre 2012 à juillet 2020. L'entreprise a passé un contrat avec deux fournisseurs tiers différents pour développer le système d'IA, ce qui impliquait la création d'une base de données d'images de « personnes d'intérêt » composée de (1) individus qui Les employés de Rite Aid se sont inscrits dans le système pour des activités criminelles suspectées ou réelles dans un magasin Rite Aid, et (2) les individus qui avaient été signalés par les forces de l'ordre dans les alertes « Soyez à l'affût ». Rite Aid a encouragé ses employés en magasin à inscrire autant de personnes que possible. La base de données FRT contenait des informations personnelles et des images, souvent des images fixes de mauvaise qualité provenant de caméras de vidéosurveillance ou de photos de téléphones portables, de « dizaines de milliers » d'individus. Rite Aid n'avait aucune politique de conservation des données : la base de données FRT stockait ces images indéfiniment.
Le système de surveillance FRT de Rite Aid a capturé des images de tous les clients entrant dans le magasin de détail et a comparé les images à la base de données pour identifier les correspondances potentielles. Si la correspondance atteignait un score de confiance spécifique, le système alerterait les employés du magasin et leur fournirait des instructions (par exemple « observer et fournir un service client » ou « avertir la police ») en fonction des informations de correspondance. Ces alertes de correspondance ne donnaient généralement pas le score de confiance réel aux employés du magasin. Cependant, comme le note longuement la FTC dans sa plainte, le système générait fréquemment des correspondances faussement positives qui « soumettaient les consommateurs à la surveillance, au retrait des magasins et à des préjudices émotionnels et de réputation », entre autres préjudices. Rite Aid a demandé aux employés de ses magasins de ne pas informer les acheteurs ou les médias de l'utilisation de ce FRT.
Les allégations de la FTC se résument en deux lourdes accusations contre Rite Aid, les allégations étant résumées ci-dessous. Notamment, malgré le fait que la FTC aurait pu obtenir des sanctions pécuniaires contre Rite Aid compte tenu de la décision de l'agence d'exécuter une ordonnance antérieure, l'ordonnance par consentement n'obligeait pas Rite Aid à payer de l'argent (vraisemblablement parce que l'entreprise est en procédure de faillite).
1. Pratiques déloyales en matière de technologie de reconnaissance faciale
La FTC affirme que Rite Aid n’a pas réussi :
- Évaluer, surveiller ou atténuer tout risque d'identification incorrecte des consommateurs, ces erreurs se produisant plus fréquemment en fonction de la race ou du sexe. En conséquence, les consommateurs noirs, asiatiques, latinos et féminins couraient un risque plus élevé d'être identifiés à tort et de générer un faux positif par le FRT de Rite Aid.
- Évaluer raisonnablement ou même se renseigner sur l'exactitude du FRT avant de déployer la technologie. En fait, les contrats de ses deux fournisseurs déclinaient expressément toute garantie quant à l'exactitude ou à la fiabilité des résultats.
- Appliquez des contrôles de qualité d'image, augmentant ainsi la probabilité d'alertes de correspondance faussement positives. La FTC allègue que les politiques de qualité d'image de Rite Aid ont démontré qu'elle comprenait comment une mauvaise qualité d'image pouvait conduire à de fausses alertes, et pourtant, Rite Aid n'a mis en place aucun contrôle ou surveillance pour garantir que les photos d'inscription étaient conformes à la politique.
- Former ou superviser de manière appropriée les employés du magasin responsables du fonctionnement du FRT, y compris sur la façon d'interpréter et d'agir sur les alertes de match. Les supports de formation disponibles ne traitaient pas non plus de manière adéquate de la possibilité de correspondances faussement positives. Surveillez ou testez régulièrement l’exactitude de la technologie après le déploiement. Selon la plainte, Rite Aid n'a pas examiné de manière adéquate l'exactitude des alertes de correspondance, n'a pas documenté les résultats, n'a pas surveillé la fréquence des correspondances faussement positives et n'a pas résolu les problèmes liés aux inscriptions problématiques.
2. Défaut injuste de mettre en œuvre ou de maintenir un programme complet de sécurité des informations mandaté par une précédente ordonnance de la FTC en 2010
La FTC a également affirmé que Rite Aid avait violé l'ordonnance de 2010, qui exigeait la mise en œuvre et le maintien d'un programme complet de sécurité de l'information et la documentation de sa conformité. Cette violation comprenait des manquements à :
- Prendre des mesures raisonnables pour évaluer et sélectionner les prestataires de services susceptibles de répondre aux normes de sécurité pour les informations personnelles partagées par Rite Aid. (Rite Aid n'a pas non plus réussi à conserver la documentation d'évaluation des risques pour ces prestataires de services.)
- Effectuer des évaluations de sécurité périodiques de ses prestataires de services pour s'assurer qu'ils continuent de respecter les normes de sécurité de l'entreprise.
- Exiger contractuellement de leurs prestataires de services qu'ils établissent des garanties appropriées pour les informations personnelles partagées par Rite Aid.
L'ordre stipulé
La commande contient 16 stipulations que Rite Aid accepte afin de régler l'affaire. En plus de soumettre une certification annuelle de conformité, de signaler tout « incident couvert » (tel que les violations de données) à la FTC et de tenir des registres précis, Rite Aid :
1. Ne peut utiliser aucun système de reconnaissance ou d'analyse faciale (défini au sens large comme « un système automatisé de sécurité ou de surveillance biométrique qui analyse ou utilise des représentations ou des images, des descriptions, des enregistrements, des copies, des mesures ou la géométrie du visage d'un individu ou liés à celui-ci pour générer un résultat » ) pendant 5 ans.
2. Doit supprimer les informations biométriques couvertes et détruire tous les modèles d'IA ou algorithmes dérivés de ces informations (également appelé dégorgement de modèle). Rite Aid doit également informer les tiers de ces données ou modèles et leur demander de faire de même.
3. Doit établir et mettre en œuvre un programme de surveillance du système de sécurité ou de surveillance biométrique automatisé si Rite Aid continue d'utiliser le système de surveillance FRT dans ses magasins après l'interdiction de 5 ans ou s'il souhaite utiliser un autre système de sécurité ou de surveillance biométrique automatisé non soumis à l'interdiction. .. (Les exigences relatives au programme de surveillance commencent à la page 7 de l'arrêté.)
4. Doit établir et mettre en œuvre des procédures pour fournir aux consommateurs un préavis et un moyen de déposer des plaintes liées aux résultats du système d'IA si Rite Aid continue d'utiliser le système de surveillance FRT dans ses magasins après l'interdiction de 5 ans ou s'ils souhaitent en utiliser un autre. Système automatisé de sécurité ou de surveillance biométrique non soumis à l'interdiction. (Les exigences relatives aux procédures de notification et de plainte commencent à la p. 13 de l'ordonnance.)
5. Doit avoir des limites de conservation pour ses données biométriques avant de mettre en œuvre un système automatisé de sécurité ou de surveillance biométrique.
6. Doit afficher des avis clairs et visibles dans les points de vente et sur les plateformes en ligne révélant l'utilisation par l'entreprise de tout système de sécurité ou de surveillance biométrique automatisé qui utilise les informations biométriques collectées auprès des consommateurs. Les avis doivent contenir des informations sur :
un. Les types spécifiques d'informations biométriques collectées,
b. Les types de sorties générées par l'IA,
c. Toutes les fins pour lesquelles Rite-Aid utilise le FRT et ses sorties, y compris toutes les actions que les employés du magasin peuvent entreprendre en tenant compte des sorties, et
d. Le délai de suppression de chaque type d’informations biométriques utilisées, tel qu’établi dans les politiques (également obligatoires) de conservation des données.
7. Ne peut pas déformer sa conformité à ces ordonnances.
8. Doit établir et maintenir un programme complet de sécurité des informations pour les fournisseurs qui protège les informations personnelles partagées par Rite Aid. (Les exigences relatives au programme de sécurité commencent à la page 17 de l'ordonnance.)
9 et 10. Soumettez-vous périodiquement à une évaluation de sécurité par un tiers indépendant, signalez les résultats à la FTC et coopérez avec l'évaluateur.
Points clés à retenir
Dans une déclaration accompagnant la mesure d'application, le commissaire Alvaro Bedoya a déclaré : "L'article 5 de la loi FTC exige que les entreprises utilisant la technologie pour automatiser les décisions importantes concernant la vie des gens... pour prendre des mesures raisonnables pour identifier et prévenir les préjudices prévisibles", a-t-il expliqué. L'accord avec Rite Aid "offre une base solide pour ce à quoi devrait ressembler un programme d'équité algorithmique".
Les entreprises qui cherchent à garantir la conformité et à éviter l'attention des régulateurs sur les systèmes d'IA destinés aux consommateurs - en particulier celles qui s'engagent dans des applications d'IA à haut risque qui utilisent des informations personnelles et/ou biométriques pour prendre des décisions automatisées concernant un individu - devraient examiner cet ordre à titre indicatif. Il met en évidence certaines des priorités de la FTC en matière de confidentialité des données et d'application de la gouvernance de l'IA, et propose des mesures concrètes que les entreprises peuvent prendre pour éviter les biais liés à l'IA et protéger les informations personnelles. Voici quelques points à retenir de cette mesure coercitive :
Tenez compte du quoi, du comment et du où, c'est-à-dire du contexte, lors du déploiement de l'IA. Comme la FTC et d'autres régulateurs [ont averti les entreprises en 2023](https://www.ftc.gov/legal-library/browse/cases-proceedings/public-statements/joint-statement-enforcement-efforts-against-discrimination-bias -systèmes-automatisés), les lois et autorités existantes qui protègent contre la discrimination s'appliquent aux nouvelles technologies, comme l'IA, tout comme elles s'appliquent à d'autres pratiques. En plus d’évaluer l’IA elle-même pour détecter d’éventuels résultats disparates basés sur la race, l’origine ethnique ou le sexe, les entreprises doivent être conscientes du contexte dans lequel l’IA est déployée. Ici, la FTC a noté que Rite Aid non seulement n'avait pas réussi à évaluer les taux de faux positifs selon la race et le sexe, mais qu'elle n'avait pas non plus pris en compte la manière dont les endroits qu'elle ciblait pour déployer son système de surveillance par IA - des endroits considérés comme « urbains » et « le long de les itinéraires de transport public »---auraient des impacts disproportionnés sur les communautés minoritaires raciales et ethniques.
Les sanctions de la FTC en cas de non-conformité dans les cas d'IA peuvent inclure la suppression des données et la restitution algorithmique. Nous avons déjà vu la FTC ordonner la restitution algorithmique (ou la suppression ou la destruction d'algorithmes ou de modèles), comme dans ses mesures coercitives contre [Everalbum](https://www.ftc.gov/legal-library/browse/cases- procédures/192-3172-everalbum-inc-matter), Cambridge Analytica , et Ring. L'action coercitive de Rite Aid démontre que la restitution continue d'être une solution recherchée activement par la FTC, qui peut avoir des effets significatifs pour les entreprises.
Il est important de procéder régulièrement à des évaluations des risques pour l’IA à haut risque qui produit des résultats susceptibles de nuire aux consommateurs. La disposition 3 de l'ordre stipulé peut servir de liste de contrôle de conformité pour les entreprises cherchant à mettre en œuvre des « systèmes automatisés de sécurité ou de surveillance biométriques » ou une technologie d'IA similaire qui prend des décisions automatisées concernant les consommateurs. En particulier, la FTC est préoccupée par les risques de « préjudice physique, financier ou à la réputation des consommateurs » (y compris la stigmatisation et la détresse émotionnelle grave) et déclare que ces évaluations des risques devraient non seulement identifier et traiter les risques, mais également déterminer s'il y aura avoir un impact disproportionné sur les consommateurs en fonction de la race, de l'origine ethnique, du genre, du sexe, de l'âge ou du handicap, seuls ou en combinaison.
Assurez-vous que votre entreprise dispose d'un solide programme de formation pour les employés exploitant des systèmes d'IA à haut risque. Les employés chargés d'exploiter et/ou d'agir sur les résultats de l'IA, comme le système de surveillance FRT de Rite Aid, doivent suivre une formation régulière et comprendre les limites de la technologie. La plainte de la FTC détaille comment les employés en magasin auraient dû être formés sur :
- comment évaluer la qualité des images inscrites dans le modèle,
- comment comparer visuellement les images (en tant qu'opérateur humain) pour voir si leur évaluation est en accord avec le résultat de l'IA, et
- comment comprendre les effets de biais qui pourraient être inhérents aux données et au modèle.
Les entreprises doivent faire preuve de transparence quant à toute utilisation de l’IA impliquant des informations personnelles des consommateurs, en particulier des données biométriques. La disposition 4 de l'ordonnance explique quels détails doivent figurer dans un avis au consommateur et comment Rite Aid peut mettre en place une procédure formelle de plainte pour les consommateurs concernés. Par exemple, l'avis doit inclure les types spécifiques d'informations biométriques collectées, le type de résultats générés, le but de la collecte et de l'utilisation des données, ainsi que la politique de conservation des données. Ces exigences soulignent l’importance de la transparence et de la communication avec les consommateurs lors du déploiement d’outils d’IA tels que des systèmes automatisés de sécurité biométrique ou de surveillance.
Les entreprises doivent examiner les contrats avec les fournisseurs traitant des données biométriques ou d'autres informations personnelles. La FTC souligne l'importance de la surveillance et de la diligence raisonnable des fournisseurs à chaque étape du processus d'approvisionnement, de la sélection initiale à la rétention continue. Mener des évaluations périodiques de la capacité des fournisseurs à protéger les informations personnelles des consommateurs et conserver la documentation de ces efforts peut aider une entreprise à rester en conformité avec les directives politiques de la FTC.