Incidents associés
Dans une base de données nationale en Argentine, des dizaines de milliers d'entrées détaillent les noms, les anniversaires et les cartes d'identité nationales des personnes soupçonnées de crimes. La base de données, connue sous le nom de Consulta Nacional de Rebeldías y Capturas (Registre national des fugitifs et des arrestations), ou CONARC, a débuté en 2009 dans le cadre d'un effort visant à améliorer l'application de la loi pour les crimes graves.
Mais il y a plusieurs choses à propos de CONARC. D'une part, il s'agit d'un fichier de feuille de calcul en texte brut sans protection par mot de passe, qui peut être facilement trouvé via la recherche Google et téléchargé par n'importe qui. D'autre part, bon nombre des crimes présumés, comme les petits larcins, ne sont pas si graves, tandis que d'autres ne sont pas du tout spécifiés.
Le plus alarmant, cependant, est l'âge du plus jeune contrevenant présumé, identifié uniquement comme M.G., qui est cité pour "crimes contre les personnes (malveillants) - blessures graves". MG est apparemment né le 17 octobre 2016, ce qui signifie qu'il a une semaine de moins que quatre ans.
Maintenant, une nouvelle enquête de Human Rights Watch a révélé que non seulement des enfants sont régulièrement ajoutés à CONARC, mais que la base de données alimente également un système de reconnaissance faciale en direct à Buenos Aires déployé par le gouvernement de la ville. Cela rend le système probablement le premier exemple connu de ce type utilisé pour traquer les enfants soupçonnés d'activités criminelles.
"C'est complètement scandaleux", déclare Hye Jung Han, défenseur des droits de l'enfant à Human Rights Watch, qui a dirigé la recherche.
Buenos Aires a commencé à tester la reconnaissance faciale en direct le 24 avril 2019. Mis en œuvre sans aucune consultation publique, le système a suscité une résistance immédiate. En octobre, une organisation nationale de défense des droits civiques a intenté une action en justice pour la contester. En réponse, le gouvernement a rédigé un nouveau projet de loi, actuellement en cours de processus législatifs, qui légaliserait la reconnaissance faciale dans les espaces publics.
Le système a été conçu pour être relié à la CONARC dès le départ. Bien que la CONARC elle-même ne contienne aucune photo de ses auteurs présumés, elle est associée à des pièces d'identité avec photo du registre national. Le logiciel utilise les tirs à la tête des suspects pour rechercher des correspondances en temps réel via les caméras du métro de la ville. Une fois que le système signale une personne, il alerte la police pour procéder à une arrestation.
Le système a depuis conduit à de nombreuses fausses arrestations (liens en espagnol), que la police n'a pas de protocole établi pour gérer. Un homme qui a été identifié par erreur a été détenu pendant six jours et sur le point d'être transféré dans une prison à sécurité maximale avant de finalement clarifier son identité. On a dit à un autre qu'il devrait s'attendre à être signalé à plusieurs reprises à l'avenir, même s'il avait prouvé qu'il n'était pas celui que la police recherchait. Pour aider à résoudre la confusion, ils lui ont donné un laissez-passer à montrer au prochain officier qui pourrait l'arrêter.
"Il ne semble pas y avoir de mécanisme permettant de corriger les erreurs dans l'algorithme ou la base de données", déclare Han. "C'est un signal pour nous que voici un gouvernement qui a acheté une technologie qu'il ne comprend pas très bien en termes de toutes les implications techniques et des droits de l'homme."
Tout cela est déjà profondément préoccupant, mais ajouter des enfants à l'équation rend les choses bien pires. Bien que le gouvernement ait publiquement nié (lien en espagnol) que la CONARC inclue des mineurs, Human Rights Watch a trouvé au moins 166 enfants répertoriés dans diverses versions de la base de données entre mai 2017 et mai 2020. Contrairement à M.G., la plupart d'entre eux sont identifiés par leur nom complet, qui est illégal. En vertu du droit international des droits de l'homme, les enfants accusés d'un crime doivent voir leur vie privée protégée tout au long de la procédure.
Contrairement à M.G., la plupart avaient 16 ou 17 ans au moment de l'entrée, bien que, mystérieusement, il y ait eu quelques enfants de un à trois ans. Les âges ne sont pas les seules erreurs apparentes dans les entrées des enfants. Il y a des fautes de frappe flagrantes, des détails contradictoires et parfois plusieurs identifiants nationaux répertoriés pour le même individu. Parce que les enfants changent physiquement plus rapidement que les adultes, leurs pièces d'identité avec photo risquent davantage d'être obsolètes.
En plus de cela, les systèmes de reconnaissance faciale, même dans des conditions de laboratoire idéales, sont notoirement mauvais pour manipuler les enfants car ils sont formés et testés principalement sur des adultes. Le système de Buenos Aires n'est pas différent. Selon des documents officiels (lien en espagnol), il n'a été testé que sur les visages adultes des employés de l'administration municipale avant l'achat. Des tests antérieurs du gouvernement américain sur l'algorithme spécifique qu'il est censé utiliser suggèrent également qu'il fonctionne moins bien d'un facteur six sur les enfants (âgés de 10 à 16 ans) que sur les adultes (âgés de 24 à 40 ans).
Tous ces facteurs exposent les enfants à un risque accru d'être mal identifiés et faussement arrêtés. Cela pourrait créer un casier judiciaire injustifié, avec des répercussions potentiellement durables sur leurs possibilités d'éducation et d'emploi. Cela pourrait aussi avoir un impact sur leur comportement.
"L'argument selon lequel la reconnaissance faciale produit un effet dissuasif sur la liberté d'expression est plus amplifié pour les enfants", déclare Han. « Vous pouvez simplement imaginer qu'un enfant [qui a été faussement arrêté] serait extrêmement autocensuré ou prudent quant à la façon dont il se comporte en public. Et il est encore trop tôt pour essayer de comprendre les impacts psychologiques à long terme – comment cela pourrait également façonner leur vision du monde et leur état d'esprit.
Alors que Buenos Aires est la première ville que Han a identifiée en utilisant la reconnaissance faciale en direct pour suivre les enfants, elle craint que de nombreux autres exemples ne soient cachés. En janvier, Londres a annoncé qu'elle intégrerait la reconnaissance faciale en direct dans ses opérations de police. En quelques jours, Moscou a déclaré avoir déployé un système similaire dans toute la ville.
Bien que l'on ne sache pas encore si ces systèmes essaient activement de faire correspondre les enfants, les enfants sont déjà touchés. Dans le documentaire de 2020 Coded Bias , un garçon est faussement détenu par la police de Londres après que la reconnaissance faciale en direct l'ait pris pour quelqu'un d'autre. On ne sait pas si la police recherchait effectivement un mineur ou une personne plus âgée.
Même ceux qui ne sont pas détenus perdent leur droit à la vie privée, dit Han : "Il y a tous les enfants qui passent devant une caméra à reconnaissance faciale juste pour accéder au système de métro."
Il est souvent facile d'oublier dans les débats sur ces systèmes que les enfants ont besoin d'une attention particulière. Mais ce n'est pas la seule raison de s'inquiéter, ajoute Han. "Le fait que ces enfants soient soumis à ce type de surveillance invasive - les droits de l'homme et les implications sociétales de cette technologie sont encore inconnus." Autrement dit : ce qui est mauvais pour les enfants est finalement mauvais pour tout le monde.