Incidents associés
Dans le passé, l’utilisation de l’intelligence artificielle (IA) dans les services publics a suscité un tollé. Aux Pays-Bas, par exemple, les autorités fiscales ont utilisé la technologie pour détecter les fraudes, mais ont commis de nombreuses erreurs. Cela a abouti à une lourde amende de 3,7 millions d’euros, plongeant des milliers de familles dans la pauvreté.
Une enquête récente menée par [The Guardian](https://www.theguardian.com/technology/2023/oct/23/uk-officials-use-ai-to-decide-on-issues-from-benefits-to -marriage-licences?CMP=Share_iOSApp_Other "The Guardian") a révélé que des représentants du gouvernement et des fonctionnaires d'au moins huit départements de Whitehall et certaines forces de police du Royaume-Uni utilisaient l'IA pour prendre des décisions importantes concernant l'attribution des prestations.
Ils ont utilisé l'IA et [des algorithmes complexes](https://interestingengineering.com/science/top-ai-researchers-and-ceos-unite-in-warning-risk-of-extinction-posed-by-ai-demands-global -attention# "algorithmes complexes") pour prendre des décisions en matière de protection sociale, d'immigration et de justice pénale. Les outils sont utilisés pour déterminer les avantages, approuver les licences de mariage, identifier les fraudes potentielles et signaler les faux mariages, entre autres tâches.
### IA victime de discrimination raciale
The Guardian a démontré que des outils particuliers, tels qu'un algorithme du ministère du Travail et des Retraites, réduisaient de manière inexacte les prestations pour de nombreuses personnes. En outre, le logiciel de reconnaissance faciale de la police métropolitaine présentait des préjugés raciaux, favorisant les visages blancs par rapport aux noirs dans des conditions spécifiques.
L'algorithme du ministère de l'Intérieur conçu pour détecter les faux mariages a ciblé de manière disproportionnée des personnes de nationalités spécifiques.
Habituellement, l’IA comprend de grands ensembles de données existantes. Cependant, ses créateurs ne comprennent peut-être pas pleinement comment il traite les informations. Si la source des données à partir desquelles elle apprend est biaisée, l'IA pourrait prendre des [décisions biaisées](https://interestingengineering.com/innovation/racially-biased-ai-can-lead-to-false-arrests-warns-expert " décisions biaisées »), préviennent les experts.
Shameem Ahmad, directeur général du Public Law Project en faveur de cette technologie, a déclaré que l’IA avait un énorme potentiel pour le bien social.
"Par exemple, nous pouvons rendre les choses plus efficaces. Mais nous ne pouvons pas ignorer les risques sérieux", a ajouté Ahmad. "Sans action urgente, nous pourrions nous retrouver endormis dans une situation dans laquelle des systèmes automatisés opaques sont régulièrement, voire illégalement, utilisés de manière à modifier la vie, et où les gens ne pourront pas demander réparation lorsque ces processus tournent mal."
Technologie identifiant les faux mariages
Le ministère de l'Intérieur a déclaré qu'il utilisait l'IA dans les portes électroniques des aéroports pour scanner les passeports, faciliter les demandes de passeport, et dans son « outil de triage des mariages fictifs » pour identifier les faux mariages potentiels en vue d'un examen plus approfondi.
Cependant, l'enquête de The Guardian a révélé que l'outil signale de manière disproportionnée des personnes originaires d'Albanie, de Grèce, de Roumanie et de Bulgarie.
En outre, le ministère du Travail et des Retraites (DWP) gère un « service intégré de gestion des risques et du renseignement » qui utilise un algorithme pour identifier les fraudes et les erreurs dans les demandes de prestations.
Selon la députée travailliste Kate Osamor, cet algorithme aurait pu conduire une myriade de Bulgares à suspendre à tort leurs prestations et à être faussement accusés de fraude potentielle ces dernières années.
Le DWP a souligné que l'algorithme ne prend pas en compte la nationalité dans ses calculs. Un porte-parole a ajouté :
"Nous réprimons ceux qui tentent d'exploiter le système et de voler sans vergogne ceux qui en ont le plus besoin, tout en poursuivant nos efforts pour économiser 1,3 milliard de livres sterling aux contribuables l'année prochaine."