Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1336

Incidents associés

Incident 7411 Rapports
Detroit Police Wrongfully Arrested Black Man Due To Faulty FRT

Loading...
Accusé à tort par un algorithme
nytimes.com · 2020

"Remarque : en réponse à cet article, le bureau du procureur du comté de Wayne a déclaré que Robert Julian-Borchak Williams pourrait faire effacer l'affaire et ses données d'empreintes digitales. "Nous nous excusons", a déclaré le procureur, Kym L. Worthy, dans un communiqué, ajoutant , "Cela ne compense en rien les heures que M. Williams a passées en prison."

Un jeudi après-midi de janvier, Robert Julian-Borchak Williams se trouvait dans son bureau d'une entreprise de fournitures automobiles lorsqu'il a reçu un appel du département de police de Detroit lui disant de venir au poste pour être arrêté. Il a d'abord cru que c'était une farce.

Une heure plus tard, lorsqu'il s'est arrêté dans son allée dans un lotissement calme de Farmington Hills, dans le Michigan, une voiture de police s'est arrêtée derrière lui, le bloquant. Deux agents sont sortis et ont menotté M. Williams sur sa pelouse, devant son femme et ses deux jeunes filles, qui étaient bouleversées. La police n'a pas voulu dire pourquoi il était arrêté, lui montrant seulement un morceau de papier avec sa photo et les mots "mandat pour crime" et "vol".

Sa femme, Melissa, a demandé où il était emmené. "Google", se souvient-elle d'un officier qui a répondu.

La police a conduit M. Williams dans un centre de détention. Il a fait prendre sa photo d'identité, ses empreintes digitales et son ADN, et a été détenu toute la nuit. Vers midi vendredi, deux détectives l'ont emmené dans une salle d'interrogatoire et ont placé trois morceaux de papier sur la table, face cachée.

« À quand remonte la dernière fois que vous êtes allé dans un magasin Shinola ? demanda l'un des détectives, dans le souvenir de M. Williams. Shinola est une boutique haut de gamme qui vend des montres, des vélos et des articles en cuir dans le quartier branché de Midtown à Detroit. M. Williams a déclaré que lui et sa femme l'avaient vérifié lors de l'ouverture du magasin en 2014.

Le détective retourna le premier morceau de papier. C'était une image fixe d'une vidéo de surveillance, montrant un homme corpulent, vêtu de noir et portant une casquette rouge des Cardinals de Saint-Louis, debout devant un affichage de montre. Cinq garde-temps, d'une valeur de 3 800 $, ont été volés à l'étalage.

"Est-ce toi?" demanda le détective.

Le deuxième morceau de papier était un gros plan. La photo était floue, mais ce n'était clairement pas M. Williams. Il ramassa l'image et la tint près de son visage.

"Non, ce n'est pas moi", a déclaré M. Williams. "Vous pensez que tous les hommes noirs se ressemblent?"

M. Williams savait qu'il n'avait pas commis le crime en question. Ce qu'il ne pouvait pas savoir, alors qu'il était assis dans la salle d'interrogatoire, c'est que son cas pourrait être le premier récit connu d'un Américain arrêté à tort sur la base d'une correspondance erronée d'un algorithme de reconnaissance faciale, selon des experts en technologie et en droit. .

Un système défaillant

Un débat national fait rage sur le racisme dans les forces de l'ordre. Dans tout le pays, des millions de personnes protestent non seulement contre les actions d'agents individuels, mais contre les préjugés dans les systèmes utilisés pour surveiller les communautés et identifier les personnes à poursuivre.

Les systèmes de reconnaissance faciale sont utilisés par les forces de police depuis plus de deux décennies. Des études récentes du M.I.T. et le National Institute of Standards and Technology, ou NIST, ont constaté que si la technologie fonctionne relativement bien sur les hommes blancs, les résultats sont moins précis pour d'autres données démographiques, en partie à cause d'un manque de diversité dans les images utilisées pour développer le sous-jacent bases de données.

L'année dernière, lors d'une audience publique sur l'utilisation de la reconnaissance faciale à Détroit, un chef de police adjoint faisait partie de ceux qui ont soulevé des inquiétudes. "Sur la question des faux positifs – c'est absolument factuel, et c'est bien documenté", a déclaré James White. "Donc, cela me concerne en tant qu'homme afro-américain."

Ce mois-ci, Amazon, Microsoft et IBM ont annoncé qu'ils arrêteraient ou suspendraient leurs offres de reconnaissance faciale pour les forces de l'ordre. Les gestes étaient largement symboliques, étant donné que les entreprises ne sont pas de grands acteurs de l'industrie. La technologie utilisée par les services de police est fournie par des entreprises qui ne sont pas connues, telles que Vigilant Solutions, Cognitec, NEC, Rank One Computing et Clearview AI.

Clare Garvie, avocate au Centre sur la confidentialité et la technologie de l'Université de Georgetown, a écrit sur les problèmes liés à l'utilisation de la reconnaissance faciale par le gouvernement. Elle soutient que les images de recherche de mauvaise qualité - telles qu'une image fixe d'une vidéo de surveillance granuleuse - devraient être interdites et que les systèmes actuellement utilisés devraient être rigoureusement testés pour leur précision et leur biais.

"Il existe des algorithmes médiocres et il y en a de bons, et les forces de l'ordre ne devraient acheter que les bons", a déclaré Mme Garvie.

À propos de l'expérience de M. Williams dans le Michigan, elle a ajouté: «Je soupçonne fortement que ce n'est pas le premier cas à mal identifier quelqu'un pour l'arrêter pour un crime qu'il n'a pas commis. Ce n'est que la première fois que nous le savons. »

Dans une programmation perpétuelle

Le cas de M. Williams combine une technologie défectueuse avec un travail policier médiocre, illustrant comment la reconnaissance faciale peut mal tourner.

Le vol à l'étalage de Shinola a eu lieu en octobre 2018. Katherine Johnston, enquêteuse chez Mackinac Partners, une entreprise de prévention des pertes, a examiné la vidéo de surveillance du magasin et en a envoyé une copie à la police de Detroit, selon leur rapport.

Cinq mois plus tard, en mars 2019, Jennifer Coulson, examinatrice d'images numériques pour la police de l'État du Michigan, a téléchargé une "image de sonde" - une image fixe de la vidéo, montrant l'homme à la casquette des Cardinals - dans la base de données de reconnaissance faciale de l'État. Le système aurait cartographié le visage de l'homme et recherché des photos similaires dans une collection de 49 millions de photos.

La technologie de l'État est fournie pour 5,5 millions de dollars par une société appelée DataWorks Plus. Fondée en Caroline du Sud en 2000, la société a d'abord proposé un logiciel de gestion des clichés, a déclaré Todd Pastorini, directeur général. En 2005, l'entreprise a commencé à développer le produit, en ajoutant des outils de reconnaissance faciale développés par des fournisseurs externes.

Lorsque l'un de ces sous-traitants développe un algorithme de reconnaissance des visages, DataWorks tente de juger de son efficacité en effectuant des recherches à l'aide d'images de faible qualité d'individus dont il sait qu'ils sont présents dans un système. "Nous avons testé beaucoup de déchets là-bas", a déclaré M. Pastorini. Ces vérifications, a-t-il ajouté, ne sont pas "scientifiques" - DataWorks ne mesure pas formellement l'exactitude ou le biais des systèmes.

"Nous sommes devenus un pseudo-expert de la technologie", a déclaré M. Pastorini.

Dans le Michigan, le logiciel DataWorks utilisé par la police d'État intègre des composants développés par le géant technologique japonais NEC et par Rank One Computing, basé dans le Colorado, selon M. Pastorini et une porte-parole de la police d'État. En 2019, les algorithmes des deux sociétés ont été inclus dans une étude fédérale de plus de 100 systèmes de reconnaissance faciale qui ont révélé qu'ils étaient biaisés, identifiant à tort les visages afro-américains et asiatiques 10 fois à 100 fois plus que les visages caucasiens.

Le directeur général de Rank One, Brendan Klare, a déclaré que la société avait développé un nouvel algorithme pour le NIST à examiner qui "resserre les différences de précision entre les différentes cohortes démographiques".

Après que Mme Coulson, de la police d'État, ait effectué sa recherche sur l'image de la sonde, le système aurait fourni une rangée de résultats générés par NEC et une rangée de rang un, ainsi que des scores de confiance. La photo du permis de conduire de M. Williams figurait parmi les correspondances. Mme Coulson l'a envoyé à la police de Detroit en tant que «rapport de piste d'enquête».

"Ce document n'est pas une identification positive", indique le dossier en majuscules et en gras en haut. "Il s'agit uniquement d'une piste d'enquête et ce n'est pas une cause probable d'arrestation."

C'est ce sur quoi les fournisseurs de technologies et les forces de l'ordre insistent toujours lorsqu'ils défendent la reconnaissance faciale : ce n'est censé être qu'un indice dans l'affaire, pas une preuve irréfutable. Avant d'arrêter M. Williams, les enquêteurs auraient pu rechercher d'autres preuves qu'il avait commis le vol, comme le témoignage d'un témoin oculaire, les données de localisation de son téléphone ou la preuve qu'il possédait les vêtements que le suspect portait.

Dans ce cas, cependant, selon le rapport de la police de Detroit, les enquêteurs ont simplement inclus la photo de M. Williams dans une "gamme de photos de 6" qu'ils ont créée et montrée à Mme Johnston, l'entrepreneur de prévention des pertes de Shinola, et elle l'a identifié. (Mme Johnston a refusé de commenter.)

"Je suppose que l'ordinateur s'est trompé"

M. Pastorini a été surpris lorsqu'on lui a décrit le processus. "Cela semble mince tout autour", a-t-il déclaré.

M. Klare, de rang un, a critiqué le rôle de Mme Johnston dans le processus. "Je ne sais pas si cela les qualifie de témoin oculaire ou donne à leur expérience plus de poids que d'autres personnes qui ont pu visionner la même vidéo après coup", a-t-il déclaré. John Wise, un porte-parole de NEC, a déclaré: "Une correspondance utilisant uniquement la reconnaissance faciale n'est pas un moyen d'identification positive."

Le vendredi où M. Williams s'est assis dans une salle d'interrogatoire de la police de Detroit était la veille de son 42e anniversaire. Ce matin-là, sa femme a envoyé un e-mail à son patron pour lui dire qu'il s'absenterait du travail en raison d'une urgence familiale. il a battu son record de quatre ans d'assiduité parfaite.

Dans le souvenir de M. Williams, après avoir tenu la vidéo de surveillance toujours à côté de son visage, les deux détectives se sont penchés en arrière sur leurs chaises et se sont regardés. Un détective, semblant chagriné, a dit à son partenaire : "Je suppose que l'ordinateur s'est trompé."

Ils ont remis un troisième morceau de papier, qui était une autre photo de l'homme du magasin Shinola à côté du permis de conduire de M. Williams. M. Williams a de nouveau souligné qu'il ne s'agissait pas de la même personne.

M. Williams a demandé s'il était libre de partir. "Malheureusement non", a déclaré un détective.

M. Williams a été gardé en détention jusqu'à ce soir-là, 30 heures après son arrestation, et libéré moyennant une caution personnelle de 1 000 $. Il a attendu dehors sous la pluie pendant 30 minutes jusqu'à ce que sa femme puisse venir le chercher. Lorsqu'il est rentré à 22 heures, sa fille de cinq ans était encore éveillée. Elle a dit qu'elle l'attendait parce qu'il avait dit, lors de son arrestation, qu'il reviendrait tout de suite.

Depuis, elle s'est mise à jouer aux "flics et voleurs" et accuse son père de voler des choses, insistant pour "l'enfermer" dans le salon.

Obtenir de l'aide

La famille Williams a contacté des avocats de la défense, dont la plupart, ont-ils dit, ont supposé que M. Williams était coupable du crime et ont proposé des prix d'environ 7 000 $ pour le représenter. Mme Williams, directrice du marketing immobilier et blogueuse culinaire, a également tweeté à l'American Civil Liberties Union du Michigan, qui s'est immédiatement intéressée.

"Nous avons essayé activement de tirer la sonnette d'alarme autour de la reconnaissance faciale, à la fois comme une menace pour la vie privée quand cela fonctionne et comme une menace raciste pour tout le monde quand ce n'est pas le cas", a déclaré Phil Mayor, avocat de l'organisation. "Nous savons que ces histoires existent, mais elles sont difficiles à entendre car les gens ne réalisent généralement pas qu'ils ont été victimes d'une mauvaise recherche de reconnaissance faciale."

Deux semaines après son arrestation, M. Williams a pris un jour de vacances pour comparaître devant un tribunal du comté de Wayne pour une mise en accusation. Lorsque l'affaire a été appelée, le procureur a décidé de rejeter, mais "sans préjudice", ce qui signifie que M. Williams pourrait plus tard être inculpé à nouveau.

Maria Miller, porte-parole du procureur, a déclaré qu'un deuxième témoin s'était trouvé dans le magasin en 2018 lorsque le vol à l'étalage s'est produit, mais qu'il n'avait pas été invité à regarder une série de photos. Si l'individu fait une identification à l'avenir, a-t-elle dit, le bureau décidera s'il y a lieu d'émettre des accusations.

Une porte-parole de la police de Detroit, Nicole Kirkwood, a déclaré que pour l'instant, le département "acceptait la décision du procureur de classer l'affaire". Elle a également déclaré que le département avait mis à jour sa politique de reconnaissance faciale en juillet 2019 afin qu'elle ne soit utilisée que pour enquêter sur les crimes violents.

Le département, a-t-elle déclaré dans un autre communiqué, « ne procède pas à des arrestations basées uniquement sur la reconnaissance faciale. L'enquêteur a examiné la vidéo, interrogé des témoins, effectué une série de photos. »

Mercredi, l'A.C.L.U. du Michigan a déposé une plainte auprès de la ville, demandant un rejet absolu de l'affaire, des excuses et la suppression des informations de M. Williams des bases de données criminelles de Detroit.

Le département de police de Detroit « devrait cesser d'utiliser la technologie de reconnaissance faciale comme outil d'enquête », a écrit M. Mayor dans la plainte, ajoutant : « car les faits de l'affaire de M. Williams prouvent à la fois que la technologie est défectueuse et que les enquêteurs du DPD ne sont pas compétents. dans l'utilisation de cette technologie.

L'avocate de M. Williams, Victoria Burton-Harris, a déclaré que son client avait de la "chance", malgré ce qu'il a vécu.

"Il est vivant", a déclaré Mme Burton-Harris. "C'est un très grand homme. Mon expérience a été, en tant qu'avocat de la défense, lorsque des officiers interagissent avec de très grands hommes, de très grands hommes noirs, ils agissent immédiatement par peur. Ils ne savent pas comment désamorcer une situation.

"C'était humiliant"

M. Williams et sa femme n'ont pas parlé à leurs voisins de ce qui s'est passé. Ils se demandent s'ils doivent mettre leurs filles en thérapie. Le patron de M. Williams lui a conseillé de ne le dire à personne au travail.

« Ma mère n'est pas au courant. Ce n'est pas quelque chose dont je suis fier », a déclaré M. Williams. "C'est humiliant."

Depuis, il a compris ce qu'il faisait le soir du vol à l'étalage. Il rentrait du travail en voiture et avait posté une vidéo sur son compte Instagram privé parce qu'une chanson qu'il adorait était apparue - "We Are One" de 1983, de Maze et Frankie Beverly. Les paroles vont:

je ne peux pas comprendre

Pourquoi nous nous traitons ainsi

Prendre du temps

Avec les jeux stupides et stupides auxquels nous jouons

Il avait un alibi, la police de Detroit en a fait vérifier un."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd