Incidents associés
Selon un [rapport](https://www.hrw.org/report/ 2023/06/13/automated-neglect/how-world-banks-push-allocate-cash-assistance-using-algorithms#_ftn102) par Human Rights Watch. Mais un algorithme utilisé par un gouvernement jordanien, qui classait les ménages sur 57 facteurs socio-économiques afin de distribuer les fonds de la Banque mondiale, s'est avéré inexact et biaisé, indique le rapport.
Un programme de transfert en espèces pour les ménages à faible revenu en Jordanie, appelé Takaful, utilise un algorithme pour suivre des indicateurs tels que la propriété, la propriété d'une voiture et d'une entreprise, le nombre de membres dans un ménage et la consommation d'électricité et d'eau pour évaluer quelles familles peuvent bénéficier d'une aide. Le programme, lancé par le National Aid Fund (NAF) en Jordanie en 2019, était responsable de l'allocation d'environ 1 milliard de dollars fourni par la Banque mondiale et compte 220 000 familles inscrites comme bénéficiaires. Human Rights Watch, une organisation à but non lucratif qui défend et étudie les droits de l'homme, a constaté que l'algorithme ne tenait pas compte des complexités économiques auxquelles sont confrontés les Jordaniens qui vivent sous le seuil de pauvreté, ce qui a conduit à l'exclusion de certaines personnes dans le besoin.
Le chercheur principal Amos Toh, dont l'équipe a mené 70 entretiens avec des familles et des propriétaires d'entreprises en Jordanie depuis fin 2021, affirme que certains facteurs ont pris en compte les réalités sociales du pays. Par exemple, parce que les femmes représentent une petite partie de la main-d'œuvre jordanienne, les ménages dirigés par une femme étaient plus susceptibles de bénéficier du programme. Mais d'autres indicateurs qui influencent l'algorithme, tels que la possession d'actifs et la consommation d'électricité, ne sont pas des mesures appropriées de la pauvreté et peuvent faire ressembler le programme à une «loterie», dit-il.
"Ces indicateurs et mesures rigides qui composent l'algorithme entraînent une perte de nuance et ne sont pas en mesure de saisir ce que traverse une famille à un moment donné." Amos Toh, chercheur à Human Rights Watch
L'étude a révélé que certaines familles disqualifiées avaient récemment hérité d'une propriété mais n'avaient pas les moyens financiers de joindre les deux bouts. Les autres candidats qui possédaient une voiture de moins de cinq ans ou une entreprise d'une valeur de plus de 4300 $ ont été automatiquement exclus par l'algorithme, même si le propriétaire de la voiture n'avait pas les moyens d'acheter de l'essence ou si l'entreprise était en faillite.
Mariam, une femme qui vit avec sa famille en dehors de la ville et qui a besoin d'une voiture pour se déplacer et transporter de l'eau, a été retirée du programme Takaful en 2022, selon son entretien avec Human Rights Watch. Elle dit que posséder une voiture, qui est l'un des critères pris en compte dans l'algorithme, a affecté ses chances d'obtenir une aide financière. « La voiture nous a détruits », a-t-elle déclaré à Human Right Watch.
La Jordanie n'est pas le premier pays dont le gouvernement a utilisé un algorithme pour prendre des décisions cruciales concernant la vie des gens. Un algorithme utilisé par Rotterdam qui classait les personnes qui recevaient des prestations sociales en fonction de leur risque de fraude s'est avéré biaisé et défectueux. [Prédiction du crime](https://themarkup.org/prediction-bias/2021/12/02/crime-prediction-software-promised-to-be-free-of-biases-new-data-shows-it-perpetuates -eux) les logiciels utilisés par les services de police aux États-Unis se sont révélés à plusieurs reprises être racistes et problématiques. En 2016, le Australien le gouvernement a utilisé un système automatisé pour calculer les paiements en trop et émettre des avis de dette aux bénéficiaires de l'aide sociale, ce qui a accusé à tort environ 400 000 personnes.
"Lorsque nous étions en Jordanie et que nous interviewions des gens, ils n'arrêtaient pas de parler de la façon dont l'algorithme les privait de soutien", a déclaré Toh Forbes. "Ces indicateurs et mesures rigides qui composent l'algorithme entraînent une perte de nuance et ne sont pas en mesure de saisir ce que traverse une famille candidate à un moment donné."
L'algorithme a été développé par le National Aid Fund, une agence de protection sociale en Jordanie. Il extrait 80% des données de candidature du Registre national unifié, une base de données d'informations sur les candidats qui comprend leur revenu, leur emploi et leur éducation. La Banque mondiale a accordé un prêt de 2,5 millions de dollars pour créer le registre avec le l'aide d'un sous-traitant tiers appelé Optimiza. Également connue sous le nom d'Al-Faris National Investment Company, Optimiza est un fournisseur de logiciels et un cabinet de conseil en technologie basé à Amman qui traite les données et gère la base de données. La société, qui a déclaré que la NAF était un client, a refusé de commenter.
"La voiture nous a détruits." Mariam, candidate du programme Takaful
Toh dit que les inexactitudes et les incohérences induites par l'homme dans la compilation des données pourraient affecter le classement des individus dans l'algorithme. Les données recueillies à partir d'enquêtes et d'exercices d'enregistrement de masse sont souvent effectuées de manière peu fréquente et dans des zones limitées, selon l'étude. Un autre défaut du programme était qu'il n'acceptait pas les demandes lorsque les dépenses d'un individu étaient supérieures de 20% à ses revenus. Pour contourner ce problème, les candidats devaient arbitrairement gonfler leurs revenus ou réduire leurs dépenses, explique Toh.
Dans une réponse détaillée à Human Rights Watch, le National Aid Fund a déclaré que chacun des 57 les indicateurs avaient un certain poids et les indicateurs ont été élaborés sur la base du concept de « pauvreté multidimensionnelle ». La NAF a déclaré qu'elle effectuait des visites à domicile pour vérifier les données recueillies dans le formulaire et qu'elle disposait d'un processus de plainte et d'appel pour les citoyens. La Banque mondiale a répondu que le ciblage par le biais d'algorithmes et de formules est un "outil efficace... pour tirer le meilleur parti d'un espace budgétaire limité" et réduire la pauvreté.
La Banque mondiale a également accordé des prêts pour des projets similaires visant à mettre à niveau les technologies et les bases de données dans sept autres pays de la région, dont l'Égypte, l'Irak, le Liban, le Maroc, le Yémen et la Tunisie. HRW a découvert que la Banque mondiale avait prêté 100 millions de dollars à la Tunisie pour développer et intégrer [l'apprentissage automatique](https://documents1.worldbank.org/curated/en/831811560823331664/pdf/Tunisia-GovTech-Digital-Transformation-for-User -Centric-Public-Services-Project.pdf) et un modèle d'IA de ciblage dans le registre social du pays pour détecter la fraude et améliorer la conformité.
"En fin de compte, l'algorithme génère un classement brut de la pauvreté des personnes qui oppose essentiellement les besoins d'un ménage à un autre pour le soutien et génère des tensions sociales", explique Toh.