Incidents associés
De l'extérieur, l'algorithme de bien-être de Rotterdam semble complexe. Le système, qui a été initialement développé par le cabinet de conseil Accenture avant que la ville ne reprenne le développement en 2018, est formé sur les données collectées par le service social de Rotterdam. Il attribue des scores de risque aux personnes en fonction de 315 facteurs. Certains sont des faits objectifs, comme l'âge ou l'identité de genre. D'autres, comme l'apparence d'une personne ou son caractère extraverti, sont subjectifs et basés sur le jugement des travailleurs sociaux.
À Hoek van Holland, une ville à l'ouest de Rotterdam qui fait administrativement partie de la ville, Pepita Ceelie tente de comprendre comment l'algorithme l'a classée comme à haut risque. Ceelie a 61 ans, est fortement tatouée et a une coupe rose vif. Elle aime parler anglais et va vite à l'essentiel. Au cours des 10 dernières années, elle a vécu avec une maladie chronique et de l'épuisement, et elle utilise un scooter de mobilité chaque fois qu'elle quitte la maison.
Ceelie a fait l'objet d'une enquête à deux reprises par l'équipe de fraude sociale de Rotterdam, d'abord en 2015 et à nouveau en 2021. Les deux fois, les enquêteurs n'ont trouvé aucun acte répréhensible. Dans le cas le plus récent, elle a été sélectionnée pour enquête par l'algorithme de notation des risques de la ville. Ceelie dit qu'elle a dû expliquer aux enquêteurs pourquoi son frère lui avait envoyé 150 € (180 $) pour son soixantième anniversaire, et qu'il leur a fallu plus de cinq mois pour clore l'affaire.
Assise dans sa maison en blocs des années 1950, décorée de photographies de son jardin, Ceelie tapote sur un ordinateur portable. Elle entre ses coordonnées dans une reconstruction du système de notation des risques sociaux de Rotterdam créé dans le cadre de cette enquête. L'interface utilisateur, construite sur l'algorithme et les données de la ville, montre comment le score de risque de Ceelie a été calculé et suggère quels facteurs auraient pu l'amener à faire l'objet d'une enquête pour fraude.
Les 315 facteurs du système de notation des risques sont initialement définis pour décrire une personne imaginaire avec des valeurs «moyennes» dans l'ensemble de données. Lorsque Ceelie personnalise le système avec ses propres détails, son score commence à changer. Elle commence avec un score par défaut de 0,3483 - plus le score d'une personne est proche de 1, plus elle est considérée comme un risque de fraude élevé. Lorsqu'elle dit au système qu'elle n'a pas de plan en place pour trouver du travail, le score augmente (0,4174). Il baisse quand elle entre qu'elle vit dans sa maison depuis 20 ans (0,3891). Vivre en dehors du centre de Rotterdam le repousse au-dessus de 0,4.
Changer son sexe d'homme à femme fait passer son score à 0,5123. "C'est fou", dit Ceelie. Même si son fils adulte ne vit pas avec elle, son existence, selon l'algorithme, la rend plus susceptible de commettre une fraude à l'aide sociale. « Qu'est-ce qu'il a à voir avec ça ? » elle dit. Le divorce de Ceelie augmente à nouveau son score de risque, et elle termine avec un score de 0,643 : risque élevé, selon le système de Rotterdam.
"Ils ne me connaissent pas, je ne suis pas un numéro", dit Ceelie. "Je suis un être humain." Après deux enquêtes sur la fraude à l'aide sociale, Ceelie s'est fâchée contre le système. "Ils se sont seulement opposés à moi, m'ont poussé à des pensées suicidaires", dit-elle. Tout au long de ses enquêtes, elle a entendu les histoires d'autres personnes, se tournant vers un groupe de soutien Facebook mis en place pour les personnes ayant des problèmes avec le système de protection sociale des Pays-Bas. Ceelie dit que les gens ont perdu des avantages pour des infractions mineures, comme ne pas déclarer les paiements d'épicerie ou l'argent reçu de leurs parents.
"Il y a beaucoup de choses qui ne sont pas très claires pour les gens lorsqu'ils reçoivent l'aide sociale", explique Jacqueline Nieuwstraten, une avocate qui a traité des dizaines d'appels contre les sanctions sociales de Rotterdam. Elle dit que le système a été rapide pour punir les gens et que les enquêteurs ne tiennent pas correctement compte des circonstances individuelles.
Les Pays-Bas adoptent une position ferme sur la fraude sociale, encouragée par les politiciens populistes de droite. Et de toutes les régions du pays, Rotterdam sévit le plus durement contre la fraude sociale. Sur les quelque 30 000 personnes qui reçoivent des prestations de la ville chaque année, environ un millier font l'objet d'une enquête après avoir été signalées par l'algorithme de la ville. Au total, Rotterdam enquête sur jusqu'à 6 000 personnes par an pour vérifier si leurs paiements sont corrects. En 2019, Rotterdam a émis 2 400 sanctions en matière d'avantages sociaux, qui peuvent inclure des amendes et la suppression complète des avantages sociaux. En 2022, près d'un quart des appels parvenus à la plus haute juridiction du pays provenaient de Rotterdam.
Depuis le déploiement de l'algorithme en 2017 jusqu'à l'arrêt de son utilisation en 2021, il a signalé jusqu'à un tiers des personnes sur lesquelles la ville a enquêté chaque année, tandis que d'autres ont été sélectionnées par des humains en fonction d'un thème, comme les hommes célibataires vivant dans un certain quartier.
Rotterdam a pris des mesures pour faciliter la navigation dans son système de protection sociale global pour les personnes depuis 2020. (Par exemple, le nombre de pénalités de prestations est tombé à 749 en 2021.) De Rotte, le directeur du département des revenus de la ville, affirme que ces changements incluent l'ajout d'un « dimension humaine » à ses processus de bien-être. La ville a également assoupli les règles concernant le montant d'argent que les demandeurs peuvent recevoir de leurs amis et de leur famille, et elle permet désormais aux adultes de vivre ensemble sans aucun impact sur leurs prestations. En conséquence, dit Nieuwstraten, le nombre de plaintes qu'elle a reçues au sujet d'enquêtes sur l'aide sociale a diminué ces dernières années.
La décision de la ville de suspendre son utilisation de l'algorithme de bien-être en 2021 est intervenue après une enquête de la Cour des comptes de Rotterdam sur le développement et l'utilisation d'algorithmes dans la ville. L'auditeur du gouvernement a constaté qu'il y avait une "coordination insuffisante" entre les développeurs des algorithmes et les employés de la ville qui les utilisent, ce qui pourrait conduire à négliger les considérations éthiques. Le rapport a également critiqué la ville pour ne pas avoir évalué si les algorithmes étaient meilleurs que les systèmes humains qu'ils ont remplacés. En distinguant l'algorithme de fraude à l'aide sociale, le rapport a révélé qu'il y avait une probabilité de résultats biaisés en fonction des types de données utilisées pour déterminer les scores de risque des personnes.
Depuis lors, la ville travaille à l'élaboration d'une nouvelle version, bien que les procès-verbaux des réunions du conseil montrent qu'il existe des doutes quant à sa capacité à construire avec succès un système transparent et légal. De Rotte dit que depuis le rapport de la Cour des comptes, la ville s'est efforcée d'ajouter "plus de garanties" au développement d'algorithmes en général, notamment en introduisant un registre d'algorithmes pour montrer quels algorithmes elle utilise. « Un nouveau modèle ne doit avoir aucune apparence de parti pris, doit être aussi transparent que possible et doit être facile à expliquer au monde extérieur », déclare de Rotte. Les bénéficiaires de l'aide sociale sont actuellement sélectionnés pour une enquête au hasard, ajoute de Rotte.
PENDANT QUE LA VILLE s'efforce de reconstruire son algorithme, ceux qui sont pris dans le système de protection sociale se battent pour découvrir comment cela fonctionne et s'ils ont été sélectionnés pour enquête par un système défectueux.
Parmi eux se trouve Oran, un homme de 35 ans qui a vécu à Rotterdam toute sa vie. En février 2018, il a reçu une lettre l'informant qu'il faisait l'objet d'une enquête pour fraude à l'aide sociale. Oran, qui a demandé que son vrai nom ne soit pas utilisé pour des raisons de confidentialité, a un certain nombre de problèmes de santé qui rendent difficile la recherche d'un emploi. En 2018, il recevait un prêt mensuel d'un membre de sa famille. Le gouvernement local de Rotterdam lui a demandé de documenter le prêt et d'accepter qu'il soit remboursé. Bien qu'Oran l'ait fait, les enquêteurs ont poursuivi des accusations de fraude contre lui, et la ville a déclaré qu'il devrait avoir 6 000 € retenus sur les futurs paiements de prestations, une somme combinant le montant qui lui avait été prêté plus des amendes supplémentaires.
De 2018 à 2021, Oran s'est battu contre l'autorité locale devant la justice. Il dit qu'être accusé d'avoir commis une fraude a coûté cher. Pendant l'enquête, dit-il, il ne pouvait se concentrer sur rien d'autre et ne pensait pas qu'il avait un avenir. "C'est devenu vraiment difficile. J'ai beaucoup pensé au suicide », dit-il. Au cours de l'enquête, il n'était pas assez bien pour trouver un travail rémunéré ou bénévole, et ses relations avec sa famille sont devenues tendues.
Deux appels en justice plus tard, en juin 2021, Oran a blanchi son nom et la ville a remboursé les 6 000 € qu'elle avait déduits de ses versements de prestations. «Cela ressemble à de la justice», dit-il. Malgré la longueur du processus, il n'a pas découvert pourquoi il avait été sélectionné pour un examen minutieux, quels étaient ses scores de risque ou quelles données avaient contribué à la création de ses scores. Alors il a tout demandé. Cinq mois plus tard, en avril 2021, il a reçu ses scores de risque pour 2018 et 2019.
Bien que ses dossiers aient révélé qu'il n'avait pas été sélectionné pour une enquête par l'algorithme, mais qu'il faisait plutôt partie d'une sélection d'hommes célibataires, son score de risque figurait parmi les 15 % des principaux bénéficiaires de prestations. Son code postal, ses antécédents de dépression et ses évaluations par des travailleurs sociaux ont contribué à son score élevé. "Ce n'est pas la réalité, ce n'est pas moi, ce n'est pas ma vie, c'est juste un tas de chiffres", dit Oran.
À mesure que l'utilisation des systèmes algorithmiques se développe, il pourrait devenir plus difficile pour les gens de comprendre pourquoi des décisions ont été prises et de faire appel contre elles. Tamilla Abdul-Aliyeva, conseillère politique principale à Amnesty International aux Pays-Bas, affirme que les personnes devraient être informées si elles font l'objet d'une enquête basée sur une analyse algorithmique, quelles données ont été utilisées pour former l'algorithme et quels critères de sélection ont été utilisés. « La transparence est essentielle pour la protection des droits de l'homme et également très importante dans une société démocratique », déclare Abdul-Aliyeva. De Rotte dit que Rotterdam prévoit de donner aux gens plus d'informations sur "pourquoi et comment ils ont été sélectionnés" et que plus de détails sur le nouveau modèle seront annoncés "avant l'été".
Pour ceux qui sont déjà pris dans le filet de protection sociale de Rotterdam, il y a peu de réconfort. Beaucoup d'entre eux, dont Oran et Ceelie, disent ne pas vouloir que la ville utilise un algorithme pour juger les personnes vulnérables. Ceelie dit qu'elle a l'impression d'avoir été "estampillée" avec un numéro et qu'elle envisage de poursuivre le gouvernement de Rotterdam en justice pour son utilisation de l'algorithme. Le développement et l'utilisation de l'algorithme ne donneront pas aux gens l'impression d'être traités avec soin, dit-elle. « Les algorithmes ne sont pas humains. Appelez-moi, avec un être humain, pas un numéro, et parlez-moi. Ne fais pas ça.
Si vous ou quelqu'un que vous connaissez avez besoin d'aide, appelez le 1-800-273-8255 pour une assistance gratuite 24 heures sur 24 de la National Suicide Prevention Lifeline. Vous pouvez également envoyer un SMS HOME au 741-741 pour la ligne de texte de crise. En dehors des États-Unis, visitez l'Association internationale pour la prévention du suicide pour les centres de crise du monde entier.
Reportage supplémentaire d'Eva Constantaras, Justin-Casimir Braun et Soizic Penicaud. Les reportages ont été soutenus par le réseau de responsabilité IA du Pulitzer Center et le Eyebeam Center for the Future of Journalism.