Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2422

Incidents associés

Incident 4339 Rapports
Chicago Police's Strategic Subject List Reportedly Biased Along Racial Lines

Loading...
Les contradictions de la liste secrète de la police de Chicago
chicagomag.com · 2017

Chicago est un chef de file dans l'utilisation de la police prédictive, l'utilisation de données et d'algorithmes pour éclairer sa stratégie globale et sa prise de décision sur le terrain. L'un de ces outils qui est utilisé depuis 2012 est la liste des sujets stratégiques, un modèle informatique qui prétend identifier les habitants de Chicago les plus susceptibles d'être impliqués dans la violence, que ce soit en tant que victime ou auteur.

Selon les responsables de la ville, l'idée du SSL est d'utiliser les données et la technologie pour résoudre certains des problèmes les plus insolubles de la ville. La violence armée en fait partie. En juillet, 76 morts par arme à feu ont été enregistrées, ce qui a mis la ville en bonne voie pour dépasser le nombre d'homicides de l'année dernière. Les utilisations officielles connues du SSL, qui attribue aux individus un score de 1 à 500, sont de connecter les individus aux services sociaux et de servir de ["ressource d'enquête" pour la police](http://directives.chicagopolice.org/directives /data/a7a57b85-155e9f4b-50c15-5e9f-7742e3ac8b0ab2d3.html?hl=true)[ce](http://directives.chicagopolice.org/directives/data/a7a57b85-155e9f4b-50c15-5e9f-7742e3ac8b0ab2d3.html?hl = vrai).

Si tout cela semble vague, c'est parce qu'il y a très peu d'informations disponibles sur la façon dont la police utilise la liste. Invités à fournir des détails sur les services sociaux offerts et comment, ou comment le SSL pourrait aider aux enquêtes, les responsables de la ville et de la police ont refusé de commenter ou ont renvoyé les journalistes à d'autres personnes qui ne pouvaient pas répondre. Dans une analyse du magazine Chicago, les documents officiels de la police contredisent les multiples affirmations des responsables de la ville, et certains responsables se contredisent ou contredisent le peu de données publiques disponibles.

Le service de police de Chicago s'est battu pour garder la liste secrète jusqu'à cet été, lorsqu'il a perdu un long différend juridique avec le Sun-Times et [a été contraint de publier une version de la base de données](//chicago.suntimes.com/politics/what -gets-people-on-watch-list-chicago-police-fought-to-keep-secret-watchdogs/) sur la base des enregistrements d'arrestations d'août 2012 à juillet 2016. Parmi les principaux points à retenir : seulement 3,6 % des personnes sur le SSL ont participé à la violence, c'est-à-dire qu'ils ont été impliqués dans une fusillade ou un meurtre en tant que victime ou agresseur.

Jusqu'à présent, une seule analyse indépendante du SSL a été entreprise ; dans une étude publiée plus tôt cette année, la RAND Corporation a déclaré que le programme avait peu d'impact sur la violence. À l'époque, les responsables de la police ont déclaré que la version du SSL utilisée par la police avait considérablement changé depuis la version de 2013 analysée par RAND, mais [n'a pas fourni de détails] (http://4abpn833c0nr1zvwp7447f2b.wpengine.netdna-cdn.com/wp- content/uploads/2016/08/RAND_Response-1.pdf) sur comment.

Ce secret est l'une des raisons pour lesquelles l'outil a fait la une des journaux nationaux et a établi des comparaisons avec le film dystopique de Tom Cruise Minority Report, où la police utilise la technologie pour prédire les crimes et arrêter les gens avant qu'ils ne les commettent. "Il s'agit essentiellement de la prise de décision gouvernementale confiée à un algorithme sans aucune transparence à ce sujet", déclare Karen Sheley, directrice du projet sur les pratiques policières de l'American Civil Liberties Union of Illinois.

Dans le passé, [le commissaire de police Eddie Johnson a déclaré que le SSL avait aidé le CPD](http://chicago.suntimes.com/chicago-politics/what-gets-people-on-watch-list-chicago-police-fought -to-keep-secret-watchdogs/) sont devenus "très bons pour prédire qui seront les auteurs ou les victimes de la violence armée", et les responsables ont doublé la mise en disant que le SSL n'est qu'un outil d'évaluation des risques.

Le magazine Chicago s'est penché sur cinq conclusions concernant la liste.

1. La police affirme qu'elle n'utilise pas la liste pour interroger ou arrêter des personnes, mais des documents officiels montrent le contraire

Frank Giancamilli, porte-parole du CPD, a déclaré dans une réponse par e-mail le 4 août que la liste était "simplement un outil qui calcule le risque" et "n'est pas utilisée pour l'application et n'établit pas la cause probable de l'arrestation ou même de l'interrogatoire".

Mais des documents montrent que cela aura un impact significatif sur les actions de la police sur le terrain. Dans un contrat approuvé en février dernier pour accroître l'utilisation par CPD de stratégies basées sur les données dans l'application, "l'analyse prédictive et le SSL" sont décrits comme le moteur d'une "révision totale" planifiée des affectations de mission pour un programme pilote dans deux districts de police. Cela pourrait inclure, par exemple, les sergents de district [décidant quelles zones reçoivent des unités spécialisées ou des voitures d'intervention rapide](http://directives.chicagopolice.org/directives/data/a7a57b38-15222aad-43715-222a-b7992e268d4f91ae.html?hl= vrai).

Avant même la signature de ce contrat, le département a utilisé plusieurs communiqués de presse pour mettre en évidence les arrestations de personnes sur le SSL, une position qui est contraire aux déclarations selon lesquelles la liste est utilisée pour aider à réhabiliter les gens, les décourager de l'activité criminelle et les connecter avec les réseaux sociaux. prestations de service. Les communiqués de presse répertorient régulièrement le nombre de personnes arrêtées, la nature des accusations et le nombre de personnes arrêtées avec des scores SSL. Bien que le département ait insisté sur le fait que la liste n'est pas utilisée dans l'application de la loi, il a refusé une demande de documents publics du Sun-Times pour la liste, [affirmant que "les criminels pourraient toujours utiliser la liste pour 'contrecarrer' la police."](http:/ /chicago.suntimes.com/chicago-politics/what-gets-people-on-watch-list-chicago-police-fought-to-keep-secret-watchdogs/) Comment les criminels pourraient « contrecarrer » la police dans son utilisation d'un l'outil qu'ils ont déclaré être uniquement destiné à la sensibilisation des services sociaux n'a pas été précisé.

Depuis fin juin, le service de police de Chicago et un porte-parole de la ville de Chicago n'ont pas répondu aux demandes répétées de commentaires par e-mail, ainsi qu'à plusieurs appels téléphoniques, sur la manière dont ils déploieront les ressources basées sur le SSL.

2. Les données suggèrent que plus de personnes sur le SSL sont arrêtées que sollicitées pour les services sociaux

La sensibilisation des services sociaux basée sur SSL est gérée par le programme de notifications personnalisées du John Jay College. Le programme est sous l'égide de la Chicago Violence Reduction Strategy, un modèle d'intervention contre la violence similaire à celui utilisé par CeaseFire (CeaseFire lui-même et son groupe parent Cure Violence ne sont pas affiliés au SSL), qui emploie quatre membres du personnel de John Jay College pour appliquer le cadre d'intervention du groupe sur le terrain à Chicago.

Selon le directeur exécutif du programme Chicago Violence Reduction Strategy, Chris Mallette, le programme envoie des policiers, des membres de la communauté et des amis personnels pour convaincre une personne (généralement affiliée à un gang) qu'elle risque sa vie ou sa liberté en s'impliquant. dans les violences. "L'objectif principal est de savoir qui sont les personnes les plus en vogue en ce moment et qui, selon nous, sera en vogue à l'avenir", dit-il, notant que le SSL n'est qu'une partie de cette équation, mais que "tout le monde à qui nous parlons a un score décent ou élevé dans la liste des sujets stratégiques. »

Dans un ministère de la Justice rapport décrivant les stratégies de notifications personnalisées, le programme de Chicago est cité comme exemple d'utilisation de [l'analyse des réseaux sociaux](https://www. chicagomag.com/city-life/May-2017/How-Violence-Cascades-Through-Chicago/) pour déterminer les « acteurs de l'impact » (les personnes les plus responsables de la conduite de la violence) comme cibles d'intervention. Cependant, l'évaluation RAND du programme a trouvé cette stratégie inefficace. Dans une réponse à l'évaluation RAND, CPD a déclaré que le modèle SSL avait changé, s'éloigner des réseaux sociaux pour ne regarder que les interactions d'un individu avec les forces de l'ordre.

Quoi qu'il en soit, la police a refusé de divulguer des données sur le nombre de personnes impliquées dans le programme de notifications personnalisées. Une demande d'accès à l'information de Freddy Martinez, un activiste des données qui dirige l'organisation à but non lucratif Lucy Parsons Labs, a révélé qu'en 2016, 1 024 notifications ont été tentées, 558 ont été complétées et seulement 26 personnes ont assisté à un appel, où des policiers, des travailleurs sociaux , et d'autres proposent des services d'assistance. (Chacune des tentatives de notification, dit Mallette, pourrait impliquer une visite à la maison de quelqu'un. Une notification complétée, quant à elle, inclurait une réunion en face à face.) Le département indique clairement que pour ceux qui ont interagi avec les notifications personnalisées programme et sont ensuite accusés d'un crime, ["les accusations les plus élevées possibles seront poursuivies."] (http://directives.chicagopolice.org/directives/data/a7a57bf0-1456faf9-bfa14-570a-a2deebf33c56ae59.html)

Pour mettre cela en perspective, le CPD a déclaré que 280 personnes avec des scores SSL ont été arrêtées lors de quatre raids de gangs au cours d'une période de six mois en 2016.

3. 56 % des hommes noirs de la ville âgés de 20 à 29 ans ont un score SSL

La dernière publication de données sur le SSL a montré que près de 400 000 personnes se sont vu attribuer des scores sur la liste, en utilisant principalement huit variables : l'âge, le nombre de fois qu'un individu s'est fait tirer dessus, le nombre de fois qu'il a été victime d'agression ou de coups et blessures, les gangs affiliation, arrestations pour délits violents, drogues ou armes, et si quelqu'un est arrêté plus fréquemment au fil du temps.

(Alors que l'affiliation à un gang était un facteur dans les données originales publiées par le Sun-Times en mai, le bureau du maire a déclaré que la version la plus récente de cet été ne l'était apparemment pas. D'autre part, en août, CPD a confirmé par e-mail à Chicago que la base de données des gangs était l'un des huit facteurs utilisés dans l'algorithme.)

Le service de police de Chicago a déclaré que les entrées n'incluent pas la race, le sexe ou le lieu, et que les scores obtenus ne surestiment ni ne sous-estiment le risque pour des données démographiques spécifiques. Pourtant, les sorties montrent des modèles définis. La majorité des hommes noirs de Chicago âgés de 20 à 29 ans ont un score SSL, ce qui signifie que 56 % d'entre eux sont considérés comme à risque de participer à la violence d'une manière ou d'une autre.

Kade Crockford, directeur du programme Technology for Liberty à l'American Civil Liberties Union du Massachusetts et blogueur régulier sur la police et la technologie, dit que l'ACLU est sceptique quant aux affirmations de la police selon lesquelles la liste est impartiale. «À Chicago, comme dans d'autres grandes régions métropolitaines des États-Unis, la police a accordé une attention particulière aux jeunes hommes noirs», explique Crockford. "Le danger avec l'ajout de la technologie est que certaines personnes pensent que parce qu'un ordinateur vous a dit de profiler un groupe de jeunes hommes noirs, c'est neutre sur le plan racial et ne peut pas être un programme discriminatoire sur le plan racial."

Crockford dit que les programmes informatiques et les algorithmes sont aussi biaisés que les personnes qui les créent, citant des exemples comme les programmes de reconnaissance faciale créés par des programmeurs blancs [qui ne peuvent pas reconnaître les Noirs et](https://www.recode.net/2017/ 1/18/14304964/data-facial-recognition-trouble-recognizing-black-white-faces-diversity) comment [les algorithmes de Facebook qui déterminent le discours de haine favorisent les hommes blancs par rapport aux enfants noirs.](https://www.propublica.org /article/facebook-haine-speech-censorship-internal-documents-algorithms)

La ville a refusé plusieurs demandes pour clarifier ce qui arrive aux personnes qui sont inscrites sur la liste ou qui ont un numéro SSL élevé, bien que les documents référencés ci-dessus indiquent que davantage de policiers pourraient être déployés dans des zones où les individus ont des scores SSL élevés.

4. La liste est basée sur les arrestations et non sur les condamnations

La liste utilise les quatre années les plus récentes des dossiers d'arrestation du CPD - plutôt que les condamnations - comme entrée pour le SSL, ce qui signifie que des personnes peuvent se retrouver sur la liste pour des crimes qu'elles n'ont pas commis.

Convicted in Cook, un projet du Smart Chicago Collaborative's Civic Works Project, a examiné les affaires de crime déposées devant le tribunal du comté de Cook entre 2005 et 2009 et a constaté qu'environ 6 % des affaires de crime déposées ne se sont jamais soldées par une condamnation. Le nombre est relativement faible mais toujours significatif. En outre, à l'échelle nationale, environ 90 % des condamnations pour crime résultent d'un accord de plaidoyer, [un sujet de discorde] (http://www.nybooks.com/articles/2014/11/20/why-innocent-people-plead-guilty/ ) parmi les réformateurs de la justice pénale.

En outre, Crockford et d'autres militants craignent que les personnes qui ont purgé leur peine continuent d'être soupçonnées. « Même lorsque les gens ont purgé leur peine et purgé leur peine », dit Crockford, la liste montre que « vous ne pouvez jamais vraiment échapper aux conséquences collatérales. Il est vraiment difficile d'imaginer comment quelqu'un peut échapper au système criminel.

Nous savons également qu'il existe des préjugés raciaux dans les taux d'arrestation. Par exemple, alors que les Blancs et les Noirs consomment de la drogue à un rythme similaire, [ces derniers sont arrêtés et incarcérés à des taux beaucoup plus élevés pour des délits liés à la drogue](https://www.themarshallproject.org/2016/02/25/highlights -from-our-justice-talk-on-predictive-policing#.nLw0E7yTc), même à Chicago où les politiciens ont [tenté de freiner les arrestations de drogue à bas niveau](https://www.chicagoreader.com/chicago/marijuana- décriminalisation-arrestations-billetterie-race-investigation/Content?oid=26258364).

5. Les arrestations se concentrent dans des zones déjà fortement surveillées

Le modèle général d'application à Chicago est que plus d'officiers patrouiller la minorité de la ville et les côtés sud et ouest à très faible revenu que les autres quartiers de la ville.

Bien que les informations géographiques ne soient pas directement incluses dans la liste des sujets stratégiques, les données montrent que les arrestations les plus récentes de personnes disposant d'une carte de score SSL directement sur les zones fortement surveillées, comme en témoignent les «cartes de contact», les formulaires que la police remplir après un arrêt de rue.

Cela crée un cycle troublant : la police utilise-t-elle les scores SSL pour déterminer où les agents sont affectés, ce qui conduit ensuite à davantage d'arrestations et à des scores SSL plus élevés ? Sans plus d'informations du service de police sur la façon dont la police utilise les données, nous ne pouvons pas savoir.

Alors que la police prédictive gagne du terrain dans tout le pays, Chicago reste à l'avant-garde. Le SSL est un exemple complexe de ce qui se passe lorsque des données sont utilisées pour évaluer le comportement humain et si le public peut déterminer comment la police utilise ces informations.

Pour Miles Wernick, le chef de l'équipe de chercheurs basée à l'Illinois Institute of Technology qui a créé l'algorithme sur lequel le SSL est basé, il est important que les gens comprennent que l'intérêt initial de la liste était dans la sensibilisation des services sociaux plus que dans n'importe quel mesures punitives. "Il est vraiment essentiel que lorsque les gens utilisent ce type d'outils, ils les utilisent de manière appropriée", déclare Wernick. "Il ne devrait jamais être utilisé pour arrêter des personnes, harceler des personnes ou prendre des mesures punitives basées sur un algorithme informatique."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd