Incidents associés
C'était en fin d'après-midi. Après avoir quitté le travail, l'adjoint administratif Davi attendait le dernier trajet de la journée avec un ami à un arrêt de bus sur l'Avenida Paralela, à Salvador, lorsqu'il a été approché par une garnison de la police militaire. "J'ai remis ma carte d'identité, il a pris son téléphone portable et comparait, regardait mon visage et regardait la carte d'identité", se souvient-il. Ensuite, la police l'a informé qu'en passant devant la station de métro Lapa, les caméras de reconnaissance faciale ont trouvé des similitudes de son visage avec celui d'un recherché par la justice qui a enregistré ses données dans la base de données du Secrétariat à la Sécurité publique. Une fois détecté par le système, Davi a été surveillé par 15 stations, de Lapa à Mussurunga, jusqu'à ce qu'il soit approché par la police. Davi était innocent, mais pas pour les caméras qui le suivaient le long du parcours de 22 kilomètres. Il a été libéré après avoir été identifié par des policiers, qui ont découvert qu'il n'était pas celui que les caméras et l'intelligence artificielle avaient désigné. Mais il est entré dans les statistiques comme un énième cas d'un jeune homme noir mal identifié par les technologies de reconnaissance faciale adoptées par la police. Le taux de succès est faible : dans la Micareta da Feira de Santana en 2019, par exemple, seulement 3,6 % des 903 alertes générées sont devenues des [mandats d'arrêt] (http://www.ssp.ba.gov.br/2019/04 /5613/Facial-Recognition-results-in-33-people-prisons.html). Malgré cela, le gouvernement de Bahia continue de traiter la reconnaissance faciale [comme une vitrine de ses politiques de sécurité publique](https://www.bnews.com.br/noticias/politica/315549,rui-costa-anuncia-investimento-de -r-900-million-in-technology-on-public-security.html). En deux ans et demi, 215 recherchés ont été capturés à l'aide de la technologie. En juillet de cette année, le gouverneur Rui Costa, du PT, a décidé [d'étendre le système](http://www.bahia.ba.gov.br/2021/07/area-de-imprensa/rui-assina- ordem-de-servico-para-amplir-recognition-facial-e-de-plates-na-bahia/) et a conclu un partenariat de 665 millions de reais avec le conglomérat Oi et Avantia, spécialisé dans les technologies de sécurité. Ainsi, en plus de Salvador, 77 autres villes [gagneront 4 095 caméras connectées](http://www.ssp.ba.gov.br/2021/07/10138/Governador-autoriza-expansao-de-tecnologia-a- mais- 77-cidades-baianas.html) en l'état. « Avant, l'identification était faite par la police, visuellement. Désormais, le système lui-même identifie les criminels, les suspects, les armes et les plaques d'immatriculation », a déclaré le gouverneur, sans cacher son enthousiasme pour la technologie. Plus : le gouvernement bahianais souhaite également que le secteur privé intègre le système de surveillance et de reconnaissance faciale. Les agences bancaires, les centres commerciaux et les copropriétés, par exemple, pourraient connecter leurs caméras et livrer aux autorités les mouvements et les visages de ceux qui passent. "[Avec cela,] nous pouvons multiplier les regards de la sécurité publique à Bahia", [célébré Costa](https://bahia.ba/bahia/rui-quer-iniciativa-privada-acessando-sistema-de-vigilancia - pour-lutter-contre-le-crime-a-bahia/). La capitale, Salvador, a été choisie pour accueillir le projet pilote du nouveau système, fourni par l'espagnol Iecisa en partenariat avec Huawei pour 18 millions de reais. Au Brésil, Huawei était également chargé de fournir la technologie à Rio de Janeiro. Le terme de service qui clôturait les détails du système acheté par le gouvernement bahianais précise qu'il doit reconnaître les gens même s'ils portent des lunettes ou une barbe - même s'ils n'ont pas de poils sur le visage ou d'accessoires dans les enregistrements précédents. Vous devez également regrouper les photos d'un même visage "pour consultation ultérieure". Les images doivent être classées avec la date, l'heure et le lieu et peuvent être recherchées par nom, dates ou même à partir d'une image du visage lui-même. Ainsi, en quelques clics – du moins techniquement – les forces de sécurité de Bahia seraient en mesure de savoir non seulement qui est passé par un lieu, mais aussi où cette personne s'est rendue auparavant. Le système utilise l'intelligence artificielle pour comparer les visages obtenus par les caméras avec les images disponibles dans la base de données recherchée du Secrétariat de la sécurité publique, le SSP, alimentée par la Superintendance du renseignement. "Si la personne a des restrictions, comme un mandat d'arrêt ou des personnes disparues, l'outil envoie une alerte au Centre de télécommunications intégré, ce qui déclenche une équipe de police plus proche du lieu pour effectuer une approche", a expliqué le SSP en réponse à une demande formulée via la loi sur l'accès à l'information, la LAI. Mais dans un rapport complémentaire de Fantástico, les autorités bahianaises ont prétendu aller au-delà des bases de données officielles. "Je suis arrivé à Bahia et suis-je ici identifié par votre système ?", a demandé le journaliste Murilo Salviano, au colonel Marcos Oliveira. « Absolument », lui assura-t-il. Dans la démonstration, les images de Salviano sont comparées sur le moniteur à des photos de lui postées sur les réseaux sociaux. À Intercept, le colonel a confirmé que la police utilise "des images publiques des réseaux sociaux" pour enquêter sur un crime. Le Secrétariat à la sécurité a déclaré que le rapport ne parle que de la "possibilité d'utiliser des photos extraites de médias sociaux, tels que Facebook, qui a une source ouverte". Par l'intermédiaire de son bureau de presse, il a assuré que la ressource "jusqu'à présent" n'est utilisée que pour localiser les personnes disparues. Lorsque l'algorithme identifie 90% de similarité du visage détecté avec un suspect de la base de données, une alerte est émise et il y a une "analyse humaine", précise le SSP. S'ils confirment la similitude, une garnison proche du lieu est chargée d'effectuer l'approche. Dans les rues, les policiers utilisent encore une application appelée Mobility System in Police Operations pour recueillir des informations auprès des citoyens. Le MOP, comme on l'appelle, s'installe directement sur les téléphones portables des agents et permet la consultation des données sur les conducteurs, les véhicules, les casiers judiciaires et les rapports de police. Il peut même être utilisé sur des téléphones portables privés. Le MOP a accès aux données du véhicule, aux empreintes digitales et aux casiers judiciaires, aux données démographiques, au sexe et à la localisation, y compris celles des enfants et des adolescents – si le but est la «sécurité publique», indique la politique de confidentialité. Avec un gouvernement élu pour un discours fortement lié à la lutte contre la violence, Costa avait fait des dispositifs de surveillance technologique l'une de ses promesses de campagne. Les caméras de reconnaissance faciale, qui ont commencé à être installées en décembre 2018, ont été présentées comme des outils efficaces pour lutter contre la criminalité. L'arrestation d'un [criminel hors-la-loi](https://noticias.uol.com.br/cotidiano/ultimas-noticias/2019/03/05/cameras-de-reconhecimento-facial-acham-criminoso-no-carnaval-de -salvador.htm) pendant le Carnaval de cette année-là a contribué à stimuler l'opinion publique en faveur de l'investissement. Les nouvelles dépenses du gouvernement bahianais en technologie pour la sécurité publique dépassent les 900 millions BRL, ce qui est annoncé comme « le plus gros investissement dans la sécurité publique de l'histoire de Bahia ». Mais malgré l'annonce massive du gouvernement, les dépenses de l'État pour la sécurité publique ont diminué d'année en année. Bahia est l'un des États brésiliens avec les dépenses les plus faibles dans ce secteur par habitant : R$ 289, [moins de la moitié](https://forumseguranca.org.br/wp-content/uploads/2021/07/anuario-2021 - complete-v6-bx.pdf) de, par exemple, Mato Grosso, Minas Gerais ou Tocantins. De plus, les données sur la violence d'État remettent en cause le pari du gouvernement. En 2019 et 2020, Bahia était l'unité fédérative qui a enregistré [le plus grand nombre de morts violentes](https://g1.globo.com/ba/bahia/noticia/2021/02/12/monitor-da-violencia- bahia -enregistre-le-nombre-le-plus-eleve-de-deces-violents-pour-la-deuxieme-annee-consecutive.ghtml) dans le pays. Au premier semestre 2021, [cet indice a augmenté](https://g1.globo.com/ba/bahia/noticia/2021/08/20/monitor-da-violencia-assassinos-aumentam-71percent-no-primeiro - semestre-de-2021-na-ba.ghtml) plus 7,1 %. Comme l'emplacement exact des caméras de reconnaissance faciale n'est pas révélé, il n'est pas possible de faire des passages pour piétons pour voir leur impact sur les taux de violence. Mais les données des régions où des caméras communes ont été installées peuvent fournir des indices. Dans la région de Lobato, avec 10 caméras, les crimes contre les biens ont augmenté de 144 % entre 2012, année du démarrage du système de surveillance dans la capitale, et 2019. Dans la région de Cajazeiras, avec 22 caméras, l'augmentation était de 71,3 % et , dans la région de Sussuarana, avec neuf caméras, il était supérieur de 50,8 %. La réduction a en fait eu lieu à Barra, un quartier haut de gamme avec 34 caméras, où le taux a chuté de 84 % sur la période. Mais pas dans la région de Liberdade et Cidade Nova : malgré les 34 caméras installées, l'indice a augmenté de 12,7 % sur la période analysée. Le secrétaire à la Sécurité publique n'a pas commenté les chiffres. Pour le gouvernement, l'utilisation des technologies de reconnaissance faciale est "saine pour lutter contre la criminalité" et "un instrument d'agrégation dans le mécanisme de prévention de la criminalité lorsqu'elle est utilisée conjointement avec des processus et des pratiques policières efficaces". ### Quand le robot se trompe Dans un pays dont [la sélectivité criminelle est notoire envers les noirs et les pauvres](https://apublica.org/2019/05/negros-sao-mais-condenados-por-trafico-e -com -menos-drogas-em-sao-paulo/) et dans un état de [où 97% des victimes de violences policières sont noires](https://atarde.uol.com.br/bahia/noticias/2149421- bahia-97-des-personnes-tuées-par-la-police-sont-des-points-noirs-rapport), il n'est pas difficile d'imaginer qui sont les principales cibles des opérations policières alimentées par le système de chasse aux suspects alimenté par la technologie. Une enquête du Security Observatories Network dans cinq États a déjà montré que [90,5 % des détenus pour reconnaissance faciale au Brésil étaient noirs](https://theintercept.com/2019/11/21/presos-monitoramento-facial- brazil- noirs/). Les algorithmes reproduisent les préjugés racistes de la société, et leur utilisation à grande échelle est particulièrement inquiétante à Bahia, un État qui compte [le pourcentage le plus élevé de Noirs au Brésil](https://g1.globo.com/ba/bahia/noticia/ 2019/ 22/05/une-personne-sur-5-en-bahia-se-déclare-points-noirs-ibge.ghtml). Un rapport produit en 2019 par le Bureau du Défenseur public de Bahia a montré que 98,8 % des personnes arrêtées en flagrant délit à Salvador sont noires. Si la sélectivité pénale existe déjà dans le monde analogique, l'utilisation de la technologie peut aggraver ce scénario. En plus d'amplifier les préjugés raciaux déjà présents dans les forces de sécurité, elles sont également sujettes à des erreurs - dans le cas de Davi. Plusieurs [études](https://ieeexplore.ieee.org/document/6327355/citations?tabFilter=papers#citations .) ont déjà montré que [les Noirs et les Asiatiques](https://nvlpubs.nist.gov/nistpubs / ir/2019/NIST.IR.8280.pdf) sont le plus souvent mal identifiés par les systèmes de reconnaissance faciale - en particulier [les femmes noires] (http://gendershades.org/). L'informaticienne et chercheuse au Massachusetts Institute of Technology Joy Buolamwini, qui a la peau noire, a identifié la difficulté qu'a le système à reconnaître les visages des personnes noires lorsqu'elle se positionne devant une caméra et n'a pas fait identifier son visage immédiatement .par l'intelligence artificielle. Cela ne s'est produit que lorsqu'il a placé un masque blanc devant lui. Ces erreurs sont déjà inacceptables à des fins commerciales – mais, utilisées pour la sécurité publique, elles ont un potentiel dévastateur. "La population noire souffre déjà quotidiennement du stéréotype des criminels, des microagressions qui impliquent une surveillance excessive dans les établissements commerciaux, dont l'intentionnalité est facilement niée, aux cas d'arrestations indues et injustes", ont écrit Rosane Leal da Silva et Fernanda dos Santos Rodrigues de Silva , chercheurs en droit à l'Université fédérale de Santa Maria, dans article académique publié en 2019. "Avec une technologie dans laquelle l'algorithme lui-même remplira ce rôle d'indiquer par erreur les Noirs comme suspects potentiels d'un crime, encore une fois ils seront "soumis à l'automatisation des contraintes et de la violence, telles que les approches policières inappropriées et l'attribution erronée de casiers judiciaires" » . Selon Luciano Oliveira, docteur en génie électrique et informatique de l'Université de Coimbra, au Portugal, et spécialiste dans le domaine de la vision par ordinateur, c'est la phase de comparaison des images avec la base de données qui est le plus grand défi d'un système de cette taper. "S'il entraîne l'algorithme avec plus de visages de Blancs, il aura peut-être plus de mal à trouver des Noirs", explique Oliveira. Dans le cas de Bahia, comme la majeure partie de la base de données suspecte est composée de personnes noires, l'algorithme doit être entraîné précisément sur cette population afin de ne pas se tromper. "S'il ne s'entraîne pas, il ne trouvera pas de visages, ou il trouvera peu de visages", explique le chercheur. Comme la majorité de la population de Salvador est noire, il est probable que le plus grand nombre d'erreurs se produisent avec cette partie de la population. C'est là qu'intervient un autre problème : les bases de données très suspectes utilisées dans la comparaison sont problématiques et racistes. "Nous devons nous demander quelles garanties nous avons que cette banque de mandats dispose de données correctes", m'a dit Pedro Diogo, un avocat qui étudie les technologies de surveillance et la terreur raciale d'État à l'Université fédérale de Bahia. Selon lui, il existe un grand nombre de mandats d'arrêt qui restent ouverts, bien qu'ils n'aient plus de fonctionnalité - les erreurs de noms, par exemple, sont courantes. Il y a donc de grandes chances que quelqu'un soit identifié à cause d'une erreur dans la propre base de données du Secrétariat de la sécurité publique. "L'un des plus grands risques de l'installation de ces systèmes est la manière dont ils permettent de combiner les problèmes spécifiques de ces technologies, tels que les préjugés raciaux, avec les problèmes traditionnels du système pénal brésilien", explique Diogo. Selon lui, le nombre d'identifications erronées dans le système, comme celle qui est arrivée à Davi, n'est même pas compté. Si le PM identifie l'erreur système, l'action est terminée sur place sans enregistrement d'occurrence. "Les institutions policières du pays ont été organisées dès le début pour persécuter les Noirs, à la fois asservis et libérés, en faveur de l'expropriation du travail, du capital, de la terre et de la production pour l'accumulation de biens dans un projet eugéniste", explique le chercheur Tarcizio Silva, qui étudie le soi-disant racisme algorithmique et travaille à promouvoir la sécurité numérique et à se défendre contre les dommages algorithmiques à la Fondation Mozilla. Comme les algorithmes sont programmés par une structure raciste, la tendance est qu'ils reproduisent, sans retenue, le parti pris de penser que tout Noir est un criminel potentiel. « La police qui utilise ce système commet des massacres, des meurtres et des disparitions, soit officiellement, soit par le biais de milices et d'escadrons de la mort. Et voici le système de reconnaissance faciale à installer et à étendre la capacité de l'État à promouvoir la terreur face à la population noire de ce pays », déclare Diogo. Bien qu'il ait été libéré peu de temps après l'approche de la police, les séquelles restent dans la vie de Davi. « J'avais vraiment peur, car je prends le métro depuis longtemps et je prends toujours le même trajet. Les caméras m'ont toujours filmé et ce jour-là m'a dérouté », m'a-t-il dit. L'approche policière est toujours à l'affût - maintenant, alimentée par des caméras et des renseignements policiers.