Incidents associés
Fin 2013, Robert McDaniel – un homme noir de 22 ans qui vit dans le quartier sud de Chicago – a reçu la visite inopinée d'un commandant du département de police de Chicago pour l'avertir de ne plus commettre d'autres crimes. La visite a pris McDaniel par surprise. Il n'avait commis aucun crime, n'avait pas de casier judiciaire violent et n'avait eu aucun contact récent avec les forces de l'ordre. Alors pourquoi la police est-elle venue frapper ? Il s'avère que McDaniel était l'une des quelque 400 personnes à avoir été placées sur la «liste de chaleur» du département de police de Chicago. Selon les prévisions, ces personnes seraient toutes potentiellement impliquées dans des crimes violents, sur la base d'une analyse de l'emplacement géographique et des données sur les arrestations. La liste de chaleur fait partie d'une suite croissante de systèmes prédictifs de « Big Data » utilisés dans les services de police à travers les États-Unis et en Europe pour tenter ce qui était auparavant considéré comme impossible : arrêter le crime avant qu'il ne se produise.1 Cela semble être le genre de chose que les citoyens voudraient que leur police fasse. Mais les logiciels de police prédictive – et les tactiques policières qui en découlent – ont soulevé de sérieuses inquiétudes parmi les militants communautaires, les juristes et les chefs de police sceptiques. Ces préoccupations comprennent : le conflit apparent avec les protections contre les perquisitions et saisies illégales et le concept de suspicion raisonnable ; le manque de transparence des services de police et des entreprises privées concernant la manière dont les modèles de police prédictive sont construits ; comment les départements utilisent leurs données ; et si les programmes ciblent inutilement des groupes spécifiques plus que d'autres. Mais on craint également que les ensembles de données enregistrés par la police ne soient entachés de biais systématiques. Les logiciels de police prédictive sont conçus pour apprendre et reproduire des modèles dans les données, mais si des données biaisées sont utilisées pour former ces modèles prédictifs, les modèles reproduiront et dans certains cas amplifieront ces mêmes biais. Au mieux, cela rend les modèles prédictifs inefficaces. Au pire, cela se traduit par une police discriminatoire. Biais dans les données enregistrées par la police Des décennies de recherche criminologique, remontant au moins au XIXe siècle, ont montré que les bases de données policières ne constituent pas un recensement complet de toutes les infractions pénales, ni ne constituent un échantillon aléatoire représentatif.2-5 Des preuves empiriques suggèrent que les policiers – implicitement ou explicitement – tiennent compte de la race et de l'ethnicité pour déterminer quelles personnes détenir et fouiller et quels quartiers patrouiller.6, 7 Si la police concentre son attention sur certains groupes ethniques et certains quartiers, il est probable que les dossiers de police surreprésentent systématiquement ces groupes et ces quartiers. Autrement dit, les crimes commis dans des endroits fréquentés par la police sont plus susceptibles d'apparaître dans la base de données simplement parce que c'est là que la police patrouille. Les biais dans les dossiers de police peuvent également être attribués aux niveaux de confiance de la communauté dans la police et au nombre souhaité de services de police locaux - ces deux éléments pouvant varier en fonction de l'emplacement géographique et de la composition démographique des communautés. Ces effets se manifestent par des taux de signalement des crimes inégaux dans une circonscription. Étant donné que de nombreux crimes répertoriés dans les bases de données de la police sont signalés par les citoyens, une source majeure de biais peut en fait être axée sur la communauté plutôt que sur la police. La façon dont ces deux facteurs s'équilibrent est inconnue et est susceptible de varier selon le type de crime. Néanmoins, il est clair que les dossiers de police ne mesurent pas la criminalité. Ils mesurent certaines interactions complexes entre la criminalité, la stratégie policière et les relations entre la communauté et la police. Qu'est-ce que la police prédictive ? Selon la RAND Corporation, la police prédictive est définie comme « l'application de techniques analytiques - en particulier de techniques quantitatives - pour identifier les cibles probables d'une intervention policière et prévenir le crime ou résoudre des crimes passés en faisant des prédictions statistiques ».13 Tout comme Amazon et Facebook utilisent données sur les consommateurs pour proposer des publicités ou des produits pertinents aux consommateurs, les services de police des États-Unis et d'Europe utilisent de plus en plus les logiciels d'entreprises technologiques, telles que PredPol, Palantir, HunchLabs et IBM pour identifier les futurs délinquants, mettre en évidence les tendances des activités criminelles, et même prévoir les lieux des futurs crimes. Qu'est-ce qu'une population synthétique ? Une population synthétique est une représentation démographiquement précise au niveau individuel d'une population réelle - dans ce cas, les habitants de la ville d'Oakland. Ici, les individus de la population synthétique sont étiquetés avec leur sexe, le revenu du ménage, l'âge, la race et les coordonnées géographiques de leur domicile. Ces caractéristiques sont attribuées de manière à ce que les caractéristiques démographiques de la population synthétique correspondent aux données du recensement américain avec la résolution géographique la plus élevée possible. Comment estimer le nombre d'usagers de drogue ? Afin de combiner l'enquête NSDUH avec notre population synthétique, nous avons d'abord ajusté un modèle aux données NSDUH qui prédit la probabilité de consommation de drogue d'un individu au cours du mois précédent en fonction de ses caractéristiques démographiques (c'est-à-dire le sexe, le revenu du ménage, l'âge et la race) . Ensuite, nous appliquons ce modèle à chaque individu de la population synthétique pour obtenir une probabilité estimée de consommation de drogue pour chaque personne synthétique à Oakland. Ces estimations sont basées sur l'hypothèse que la relation entre la consommation de drogues et les caractéristiques démographiques est la même au niveau national qu'à Oakland. Bien que ce ne soit probablement pas tout à fait vrai, les connaissances contextuelles sur la culture locale à Oakland nous amènent à croire que la consommation de drogue est encore plus largement et uniformément répandue que ne l'indiquent les données au niveau national. Bien que certains « points chauds » très localisés de consommation de drogues puissent être omis par cette approche, nous n'avons aucune raison de croire que l'emplacement de ceux-ci devrait être en corrélation avec les emplacements indiqués par les données de la police. Les algorithmes d'apprentissage automatique du type sur lequel s'appuient les logiciels de police prédictive sont conçus pour apprendre et reproduire des modèles dans les données qui leur sont fournies, que les données représentent ou non ce que les créateurs du modèle croient ou ont l'intention de faire. Un exemple récent de biais intentionnel d'apprentissage automatique est Tay, le chatbot automatisé de Microsoft lancé plus tôt cette année. Un effort coordonné des utilisateurs de 4chan – un babillard en ligne réputé pour ses farces numériques grossières – a inondé Tay de tweets misogynes et autrement offensants, qui ont ensuite fait partie du corpus de données utilisé pour former les algorithmes de Tay. Les données d'entraînement de Tay sont rapidement devenues non représentatives du type de discours que ses créateurs avaient prévu. En l'espace d'une journée, le compte Twitter de Tay a été suspendu car il générait des tweets tout aussi peu recommandables. Un cas important de données involontairement non représentatives peut être observé dans Google Flu Trends - un service en temps quasi réel qui prétend déduire l'intensité et l'emplacement des épidémies de grippe en appliquant des modèles d'apprentissage automatique pour rechercher des données de volume. Malgré un certain succès initial, les modèles ont complètement raté la pandémie de grippe A–H1N1 de 2009 et ont constamment surestimé les cas de grippe de 2011 à 2014. Beaucoup attribuent l'échec de Google Flu Trends aux changements internes des systèmes de recommandation de Google, qui ont commencé à suggérer des questions aux personnes qui n'avaient pas la grippe.8 Dans ce cas, la cause des données biaisées était auto‐induite plutôt que le hooliganisme sur Internet. Le propre système de Google avait ensemencé les données avec un excès de requêtes liées à la grippe et, par conséquent, Google Flu Trends a commencé à déduire des cas de grippe là où il n'y en avait pas. Dans les deux exemples, le problème réside dans les données, pas dans l'algorithme. Les algorithmes se comportaient exactement comme prévu - ils reproduisaient les modèles dans les données utilisées pour les entraîner. De la même manière, même les meilleurs algorithmes d'apprentissage automatique formés sur les données de la police reproduiront les modèles et les biais inconnus dans les données de la police. Étant donné que ces données sont recueillies en tant que sous-produit de l'activité policière, les prédictions faites sur la base des modèles tirés de ces données ne concernent pas les futurs cas de criminalité dans l'ensemble. Ils se rapportent à de futurs cas de crime qui deviennent connus de la police. En ce sens, la police prédictive (voir « Qu'est-ce que la police prédictive ? ») porte bien son nom : il s'agit de prédire la police future, pas la criminalité future. Pour aggraver les choses, la présence de biais dans les données de formation initiales peut être encore aggravée, car les services de police utilisent des prédictions biaisées pour prendre des décisions policières tactiques. Étant donné que ces prédictions sont susceptibles de surreprésenter des zones déjà connues de la police, les agents sont de plus en plus susceptibles de patrouiller dans ces mêmes zones et d'observer de nouveaux actes criminels qui confirment leurs croyances antérieures concernant la répartition des activités criminelles. Les actes criminels nouvellement observés que la police documente à la suite de ces patrouilles ciblées alimentent ensuite l'algorithme de police prédictive les jours suivants, générant des prédictions de plus en plus biaisées. Cela crée une boucle de rétroaction où le modèle devient de plus en plus confiant que les endroits les plus susceptibles de subir d'autres activités criminelles sont exactement les endroits qu'ils croyaient auparavant être à forte criminalité : le biais de sélection rencontre le biais de confirmation. Étude de cas sur la police prédictive Dans quelle mesure les ensembles de données policières sont-ils biaisés ? Pour répondre à cette question, il faudrait comparer les crimes enregistrés par la police à un dossier complet de tous les crimes qui se produisent, qu'ils soient signalés ou non. Des efforts tels que l'enquête nationale sur les victimes de la criminalité fournissent des estimations nationales des crimes de diverses sortes, y compris les crimes non signalés. Mais bien que ces enquêtes offrent un aperçu de la quantité de crimes non enregistrés à l'échelle nationale, il est encore difficile d'évaluer tout biais dans les données de la police au niveau local car il n'y a pas d'ensemble de données de «vérité de terrain» contenant un échantillon représentatif de crimes locaux auxquels nous peut comparer les bases de données de la police. Nous devions surmonter cet obstacle particulier pour évaluer si nos affirmations concernant les effets de la partialité des données et de la rétroaction dans la police prédictive étaient fondées sur la réalité. Notre solution consistait à combiner une population synthétique démographiquement représentative d'Oakland, en Californie (voir « Qu'est-ce qu'une population synthétique ? ») avec les données d'enquête de l'Enquête nationale sur la consommation de drogues et la santé (NSDUH) de 2011. Cette approche nous a permis d'obtenir des estimations à haute résolution de la consommation de drogues illicites à partir d'une source de données non pénale basée sur la population (voir « Comment est‐ce que nous estimons le nombre de consommateurs de drogues ? ») que nous avons ensuite pu comparer avec les dossiers de la police. Ce faisant, nous constatons que les crimes liés à la drogue connus de la police ne constituent pas un échantillon représentatif de tous les crimes liés à la drogue. Bien qu'il soit probable que les estimations dérivées des données au niveau national ne représentent pas parfaitement la consommation de drogue au niveau local, nous pensons toujours que ces estimations brossent un tableau plus précis de la consommation de drogue à Oakland que les données sur les arrestations pour plusieurs raisons. Premièrement, le Bureau of Justice Statistics des États-Unis – l'organisme gouvernemental chargé de compiler et d'analyser les données de justice pénale – a utilisé les données du NSDUH comme une mesure plus représentative de la consommation de drogue que les rapports de police. ‐produit de l'activité policière, le NSDUH est une enquête bien financée conçue à l'aide des meilleures pratiques pour obtenir un échantillon statistiquement représentatif. Et enfin, bien qu'il existe des preuves que certains consommateurs de drogues dissimulent l'usage de drogues illégales dans les enquêtes de santé publique, nous pensons que toute incitation à une telle dissimulation s'applique beaucoup plus fortement aux dossiers de police sur l'usage de drogues qu'aux enquêtes de santé publique, car les responsables de la santé publique sont pas habilités (ni enclins) à arrêter ceux qui admettent avoir consommé des drogues illicites. Pour ces raisons, notre analyse se poursuit en supposant que nos estimations de la santé publique sur les crimes liés à la drogue représentent une vérité de terrain à des fins de comparaison. La figure 1(a) montre le nombre d'arrestations liées à la drogue en 2010 sur la base des données obtenues auprès du département de police d'Oakland ; La figure 1(b) montre le nombre estimé d'usagers de drogues par carré de grille. En comparant ces chiffres, il est clair que les bases de données de la police et les estimations dérivées de la santé publique racontent des histoires radicalement différentes sur le modèle de consommation de drogue à Oakland. Dans la figure 1 (a), nous voyons que les arrestations pour drogue dans la base de données de la police semblent concentrées dans les quartiers autour de West Oakland (1) et d'International Boulevard (2), deux zones avec des populations en grande partie non blanches et à faible revenu. Ces quartiers connaissent environ 200 fois plus d'arrestations liées à la drogue que les zones en dehors de ces grappes. En revanche, nos estimations (dans la figure 1 (b)) suggèrent que les crimes liés à la drogue sont beaucoup plus uniformément répartis dans la ville. Les variations de notre nombre estimé d'usagers de drogues sont principalement dues aux différences de densité de population, car le taux estimé de consommation de drogues est relativement uniforme dans toute la ville. Cela suggère que si les crimes liés à la drogue existent partout, les arrestations liées à la drogue ont tendance à ne se produire que dans des endroits très spécifiques - les données de la police semblent représenter de manière disproportionnée les crimes commis dans des zones à forte population de résidents non blancs et à faible revenu. Pour étudier l'effet des données enregistrées par la police sur les modèles de police prédictive, nous appliquons un algorithme de police prédictive récemment publié aux dossiers de crimes liés à la drogue à Oakland.9 Cet algorithme a été développé par PredPol, l'un des plus grands fournisseurs de systèmes de police prédictifs aux États-Unis. et l'une des rares entreprises à publier publiquement son algorithme dans une revue à comité de lecture. Il a été décrit par ses fondateurs comme un système parcimonieux et neutre sur le plan racial qui n'utilise « que trois points de données pour faire des prédictions : le type de crime passé, le lieu du crime et l'heure du crime. Il n'utilise aucune information personnelle sur des individus ou des groupes d'individus, éliminant ainsi toute liberté personnelle et tout problème de profilage. Bien que nous utilisions l'algorithme PredPol dans la démonstration suivante, les conclusions générales que nous tirons sont applicables à tout algorithme de police prédictive qui utilise des dossiers de police non ajustés pour prédire la criminalité future. L'algorithme PredPol, basé à l'origine sur des modèles d'activité sismographique, utilise une approche de fenêtre glissante pour produire une prévision d'un jour à l'avance du taux de criminalité à travers les emplacements d'une ville, en utilisant uniquement les crimes précédemment enregistrés. Les zones avec les taux de criminalité prévus les plus élevés sont signalées comme des «points chauds» et reçoivent une attention supplémentaire de la police le jour suivant. Nous appliquons cet algorithme à la base de données de la police d'Oakland pour obtenir un taux prévu de criminalité liée à la drogue pour chaque carré de la grille de la ville pour chaque jour en 2011. Nous enregistrons combien de fois chaque carré de la grille aurait été signalé par PredPol pour une police ciblée. Ceci est illustré à la figure 2(a). Nous constatons qu'au lieu de corriger les biais apparents dans les données de la police, le modèle renforce ces biais. Les emplacements signalés pour le maintien de l'ordre ciblé sont ceux qui, selon nos estimations, étaient déjà surreprésentés dans les données policières historiques. La figure 2 (b) montre le pourcentage de la population faisant l'objet d'un service de police ciblé pour les crimes liés à la drogue, ventilé par race. En utilisant PredPol à Oakland, les Noirs seraient ciblés par la police prédictive à environ deux fois le taux des Blancs. Les personnes classées dans une race autre que blanche ou noire recevraient des services de police ciblés à un taux 1,5 fois supérieur à celui des Blancs. Cela contraste avec le modèle estimé de consommation de drogues par race, illustré à la figure 2 (c), où la consommation de drogues est à peu près équivalente dans toutes les classifications raciales. Nous trouvons des résultats similaires lors de l'analyse du taux de maintien de l'ordre ciblé par groupe de revenu, les ménages à faible revenu subissant un maintien de l'ordre ciblé à des taux disproportionnellement élevés. Ainsi, permettre à un algorithme de police prédictive d'allouer des ressources policières entraînerait une surveillance disproportionnée des communautés à faible revenu et des communautés de couleur. Jusqu'à présent, les résultats reposent sur une hypothèse implicite : la présence de services de police supplémentaires dans un lieu ne modifie pas le nombre de crimes découverts à cet endroit. Mais que se passe-t-il si les policiers sont incités à augmenter leur productivité en raison de demandes internes ou externes ? Si c'est vrai, ils pourraient chercher des occasions supplémentaires de procéder à des arrestations pendant les patrouilles. Il est alors plausible que plus la police passe de temps dans un endroit, plus elle trouvera de crimes à cet endroit. Nous pouvons étudier les conséquences de ce scénario par simulation. Pour chaque jour de 2011, nous attribuons une police ciblée selon l'algorithme PredPol. Dans chaque endroit où une police ciblée est envoyée, nous augmentons de 20 % le nombre de crimes observés. Ces crimes simulés supplémentaires font ensuite partie de l'ensemble de données qui est introduit dans PredPol les jours suivants et sont pris en compte dans les prévisions futures. Nous étudions ce phénomène en considérant le rapport entre le taux de criminalité quotidien prévu pour les emplacements ciblés et celui pour les emplacements non ciblés. Ceci est illustré à la figure 3, où des valeurs élevées indiquent que beaucoup plus de crimes sont prévus dans les emplacements ciblés par rapport aux emplacements non ciblés. Ceci est montré séparément pour les données d'origine (ligne de base) et la simulation décrite. Si les crimes supplémentaires qui ont été trouvés à la suite de la police ciblée n'affectaient pas les prévisions futures, les lignes pour les deux scénarios suivraient la même trajectoire. Au lieu de cela, nous constatons que ce processus amène l'algorithme PredPol à devenir de plus en plus confiant que la plupart des crimes sont contenus dans les bacs ciblés. Cela illustre la boucle de rétroaction que nous avons décrite précédemment. Discussion Nous avons démontré que la police prédictive des crimes liés à la drogue entraîne une surveillance de plus en plus disproportionnée des communautés historiquement surpolicées. La sur-police impose des coûts réels à ces communautés. Le contrôle et la surveillance accrus de la police ont été associés à une détérioration de la santé mentale et physique 10, 11 et, à l'extrême, des contacts supplémentaires avec la police créeront des opportunités supplémentaires de violence policière dans les zones surpolicées12. Lorsque les coûts des services de police sont disproportionnés par rapport à la niveau de criminalité, cela équivaut à une politique discriminatoire. Dans le passé, la police s'est appuyée sur des analystes humains pour allouer les ressources policières, en utilisant souvent les mêmes données qui seraient utilisées pour former des modèles de police prédictive. Dans de nombreux cas, cela a également entraîné une police inégale ou discriminatoire. Alors qu'auparavant, on pouvait raisonnablement s'attendre à ce qu'un chef de police justifie les décisions policières, l'utilisation d'un ordinateur pour répartir l'attention de la police déplace la responsabilité des décideurs ministériels vers une machinerie de boîte noire qui prétend être scientifique, fondée sur des preuves et neutre sur le plan racial. Bien que la police prédictive reproduise et amplifie simplement les mêmes préjugés que la police a toujours eus, filtrer ce processus décisionnel à l'aide de logiciels sophistiqués que peu de gens comprennent confère une légitimité injustifiée aux stratégies policières biaisées. L'impact de données médiocres sur l'analyse et la prévision n'est pas une préoccupation nouvelle. Chaque étudiant qui a suivi un cours sur les statistiques ou l'analyse de données a entendu le vieil adage « Garbage in, garbage out ». problèmes mondiaux, nous ne devons pas oublier cette leçon fondamentale, surtout lorsque cela peut entraîner des conséquences négatives importantes pour la société.