Incidents associés
Chaque année, la ville de Rotterdam aux Pays-Bas verse à quelque 30 000 personnes des prestations sociales pour les aider à payer leur loyer, à acheter de la nourriture et à payer les factures essentielles. Et chaque année, des milliers de ces personnes font l'objet d'une enquête car elles sont soupçonnées d'avoir commis une fraude aux prestations. Mais ces dernières années, la façon dont les gens ont été signalés comme suspects a changé. En 2017, la ville a déployé un algorithme d'apprentissage automatique construit par le cabinet de conseil Accenture. L'algorithme, qui génère un score de risque pour toutes les personnes bénéficiant de l'aide sociale, a été formé pour attraper les contrevenants à l'aide de données sur des personnes ayant fait l'objet d'une enquête pour fraude dans le passé. Ce score de risque est dicté par des attributs tels que l'âge, le sexe et la maîtrise du néerlandais. Et plutôt que d'utiliser ces données pour déterminer le montant de l'aide sociale que les personnes devraient recevoir, la ville les a utilisées pour déterminer qui devrait faire l'objet d'une enquête pour fraude. Lorsque le système de Rotterdam a été déployé, Accenture a salué son "approche sophistiquée basée sur les données" comme un exemple pour d'autres villes. Rotterdam a repris le développement de l'algorithme en 2018. Mais en 2021, la ville a suspendu l'utilisation du système après avoir reçu un examen éthique externe critique commandé par le gouvernement néerlandais, bien que Rotterdam continue de développer une alternative. Lighthouse Reports et WIRED ont obtenu l'algorithme de fraude sociale de Rotterdam et les données utilisées pour le former, donnant un aperçu sans précédent du fonctionnement de ces systèmes. Ce niveau d'accès, négocié dans le cadre des lois sur la liberté d'information, nous a permis d'examiner les données personnelles introduites dans l'algorithme, le fonctionnement interne du traitement des données et les scores qu'il génère. En reconstruisant le système et en testant son fonctionnement, nous avons constaté qu'il discriminait en fonction de l'ethnicité et du sexe. Il a également révélé des preuves de failles fondamentales qui rendaient le système à la fois inexact et injuste. L'algorithme de Rotterdam est mieux considéré comme une machine à soupçons. Il juge les gens sur de nombreuses caractéristiques qu'ils ne peuvent pas contrôler (comme le sexe et l'origine ethnique). Ce qui pourrait apparaître à un travailleur social comme une vulnérabilité, comme une personne montrant des signes de faible estime de soi, est traité par la machine comme un motif de suspicion lorsque le travailleur social entre un commentaire dans le système. Les données introduites dans l'algorithme vont d'invasives (la durée de la dernière relation amoureuse de quelqu'un) et subjectives (la capacité de quelqu'un à convaincre et à influencer les autres) à banales (combien de fois quelqu'un a envoyé un e-mail à la ville) et apparemment non pertinentes (si quelqu'un fait du sport) . Malgré l'échelle des données utilisées pour calculer les scores de risque, elle n'est guère plus performante que la sélection aléatoire. Des algorithmes d'apprentissage automatique comme celui de Rotterdam sont utilisés pour prendre de plus en plus de décisions concernant la vie des gens, y compris les écoles que fréquentent leurs enfants, qui est interviewé pour un emploi et quelle famille obtient un prêt. Des millions de personnes sont notées et classées dans leur vie quotidienne, avec de profondes implications. La diffusion des modèles de notation des risques est présentée comme un progrès, promettant objectivité mathématique et équité. Pourtant, les citoyens n'ont aucun moyen réel de comprendre ou de remettre en question les décisions prises par ces systèmes. Les gouvernements refusent généralement de fournir des détails techniques pour étayer les affirmations d'exactitude et de neutralité. Dans les rares cas où les chiens de garde ont surmonté les blocages officiels, ils ont trouvé que les systèmes étaient tout sauf impartiaux. Des rapports ont révélé des modèles discriminatoires dans la notation du crédit, la justice pénale et les pratiques d'embauche, entre autres. Être signalé pour enquête peut ruiner la vie de quelqu'un, et l'opacité du système rend presque impossible de contester le fait d'être sélectionné pour une enquête, et encore moins d'en arrêter une qui est déjà en cours. Une mère mise en examen à Rotterdam a fait face à une descente de contrôleurs de la fraude qui ont fouillé sa lessive, compté les brosses à dents et posé des questions intimes sur sa vie devant ses enfants. Sa plainte contre les enquêteurs a ensuite été étayée par un examen officiel. Mais comment l'algorithme a-t-il décidé sur qui enquêter ? Et comment a-t-il pris ces décisions ? Pour résoudre ce problème, nous avons créé deux personnes hypothétiques, ou archétypes : "Sara", une mère célibataire, et "Yusef", qui est né en dehors des Pays-Bas. Leurs caractéristiques et la façon dont ils interagissent avec l'algorithme de Rotterdam montrent à quel point il est discriminatoire lors de la notation de personnes réelles. Un graphique à barres montrant que les non-parents, les personnes de plus de 60 ans et les hommes ont un risque moindre d'être signalés pour fraude, tandis que les parents, les personnes dans la trentaine et les femmes ont un risque accru. Nourrir la machine ------------------- Voici comment l'algorithme de bien-être de la ville réduit la vie complexe d'une mère en difficulté en données simplifiées. Imaginez "Sara", une hypothétique mère célibataire de deux enfants. Elle a récemment ** rompu avec son partenaire **. Lorsqu'un de ses fils est tombé malade il y a quatre mois, elle a quitté son travail pour s'occuper de lui. Elle n'a plus d'argent pour payer ses factures avant la fin de chaque mois. Lors de leur dernière rencontre, l'assistante sociale de Sara a noté dans son dossier que "les vêtements, le maquillage et/ou la coiffure ne conviennent pas à une candidature" et qu'elle avait du mal à faire face aux revers en raison d'un manque de flexibilité . Même ces observations subjectives influencent l'algorithme de fraude. La discrimination à l'égard des personnes en fonction de leur sexe et de leur origine ethnique est illégale aux Pays-Bas, mais la conversion de ces informations en points de données à alimenter dans un algorithme peut ne pas l'être. Cette zone grise, en partie le résultat d'une large marge de manœuvre juridique accordée au nom de la lutte contre la fraude à l'aide sociale, permet aux fonctionnaires de traiter et de profiler les bénéficiaires de l'aide sociale en fonction de caractéristiques sensibles d'une manière qui serait autrement illégale. Les tribunaux néerlandais examinent actuellement la question. L'algorithme de Rotterdam n'inclut pas explicitement la race, l'origine ethnique ou le lieu de naissance parmi les 315 attributs ou variables qu'il utilise pour calculer le score de risque d'une personne. Plus de la moitié des habitants de la ville sont des migrants de première ou de deuxième génération. Certaines de ces variables peuvent être des substituts de l'ethnicité. La directrice des revenus de Rotterdam, Annemarie de Rotte, explique que la ville a tenté de supprimer certaines variables indirectes liées à l'appartenance ethnique à la suite de l'audit externe, mais que certaines sont restées dans le système. Par exemple, toute personne qui bénéficie de l'aide sociale aux Pays-Bas doit parler néerlandais ou être en mesure de prouver qu'elle fait un effort pour le faire. Cette exigence linguistique, ainsi que quelqu'un ayant une langue maternelle autre que le néerlandais, peut être un indicateur de l'ethnicité. Avoir des problèmes financiers et plusieurs colocataires peuvent également être des indicateurs de pauvreté. C'est ainsi que fonctionnent les procurations dans le cas de Yusef. Imaginez maintenant un autre résident hypothétique de Rotterdam, "Yusef", qui a immigré aux Pays-Bas depuis l'Irak. Il vit actuellement dans un quartier de Rotterdam avec une importante population migrante. Il partage un appartement avec d'autres Irakiens qu'il a rencontrés depuis son arrivée dans la ville. La première langue de Yusuf est l'arabe et il n'a pas réussi son examen de néerlandais. Yusef était enseignant en Irak, mais son assistant social doute qu'il puisse faire reconnaître son diplôme universitaire aux Pays-Bas. Elle pense qu'il devrait plutôt essayer de trouver un emploi de docker. Dans son dossier, le travailleur social de Yusef note qu'il « ne montre aucun désir d'obtenir des résultats » et qu'il semble découragé. Le gouvernement néerlandais reconnaît que les compétences linguistiques peuvent être un indicateur de l'appartenance ethnique. Dans son analyse des variables utilisées par l'algorithme de Rotterdam, la Cour des comptes des Pays-Bas, un organisme indépendant nommé par le gouvernement néerlandais, a cité la "maîtrise de la langue néerlandaise" comme un exemple de variable qui pourrait "entraîner une discrimination indésirable". .” L'algorithme juge également les personnes en fonction de leur langue maternelle, différentes langues recevant des nombres différents, chacune ayant un impact différent sur le score de risque final d'une personne. Lorsqu'on lui a demandé ce qu'un « 0 » signifiait pour cette variable, c'est-à-dire ce que la moitié des personnes dans les données ont pour ce domaine, de Rotte a répondu que la ville ne le savait pas. Les algorithmes de score de risque, comme celui utilisé à Rotterdam, sont souvent accusés de coder les préjugés humains, mais le prouver est difficile. Cependant, une fois que vous avez le code et les données qui l'alimentent, vous pouvez commencer à décompresser le fonctionnement de ce processus. Par exemple, l'algorithme de Rotterdam comporte 54 variables basées sur des évaluations subjectives faites par des travailleurs sociaux. Cela représente 17 % du total des variables, chacune ayant des impacts variables sur le score. L'utilisation de ces évaluations subjectives soulève des signaux d'alarme éthiques pour de nombreux universitaires et défenseurs des droits de l'homme. "Même lorsque l'utilisation de la variable ne conduit pas à un score de risque plus élevé, le fait qu'elle ait été utilisée pour sélectionner des personnes suffit à conclure qu'il y a eu discrimination", explique Tamilla Abdul-Aliyeva, chercheuse sur la technologie et les droits de l'homme à Amnesty International. Et ce n'est pas seulement l'inclusion d'évaluations subjectives qui est préoccupante - ces systèmes prennent également des informations nuancées et les aplatissent. Le champ de commentaire dans le système de Rotterdam, par exemple, où les assistants sociaux sont invités à faire des observations générales, est binaire. Tout commentaire est converti en "1", tandis qu'un champ vide est converti en "0". Cela signifie que les commentaires négatifs et positifs affectent le score de la même manière. Si, par exemple, un travailleur social ajoute un commentaire indiquant « ne montre aucun désir d'obtenir des résultats », cela a le même effet sur le score de risque qu'un commentaire indiquant « montre un désir d'obtenir des résultats ». Le manuel remis aux assistants sociaux pour l'évaluation des bénéficiaires ne mentionne pas que leurs notes seront introduites dans l'algorithme de notation des risques, ni que les commentaires positifs et négatifs seront lus de la même manière. Sur les 30 000 bénéficiaires de l'aide sociale à Rotterdam, environ les 10 % les plus riches, soit tous ceux classés au-dessus de 27 000 sur la liste, risquent de faire l'objet d'une enquête. Imaginez un homme typique de 30 ans né à Rotterdam qui reçoit l'aide sociale pour joindre les deux bouts. Il se classe ** 16 815 ** sur la liste, avec plus de 10 000 personnes entre lui et une enquête potentielle sur la fraude aux avantages sociaux. Comparons sa probabilité de faire l'objet d'une enquête à celle de Sara en ajustant des attributs clés à son sujet jusqu'à ce que, selon l'algorithme, il devienne Sara. Si notre homme typique de Rotterdam était ** une femme **, elle gagnerait ** 4 542 ** places plus près d'une éventuelle enquête. Si elle avait deux enfants, elle déplacerait encore 2 134 places vers le haut de la liste. Si elle était célibataire, mais sortant d'une relation à long terme, c'est encore 3 267 places. Vous avez du mal à payer vos factures ? C'est encore ** 1 959 lieux ** plus proches d'une enquête potentielle. Pour la machine à soupçonner, l'allocataire masculin typique de Rotterdam est désormais identique à Sara et fera probablement l'objet d'une enquête pour fraude aux allocations. Selon l'algorithme, Sara diffère de l'homme moyen sur la base de seulement huit des 315 variables sur lesquelles chaque personne est jugée, mais elle est près de trois fois plus susceptible d'être signalée comme un fraudeur potentiel. L'écart entre leurs deux scores, bien qu'ils aient des données qui se chevauchent pour la plupart, découle de la façon dont la machine établit des liens entre certains traits. Alors que se passe-t-il si nous ajustons les attributs de notre Rotterdamois moyen pour qu'il ressemble davantage à Yusef ? N'oubliez pas qu'il y a plus de 10 000 personnes entre l'homme moyen et une enquête pour fraude pour commencer. S'il était un migrant qui, comme Yusef, parlait arabe et non néerlandais, il gagnerait 3 396 places sur la liste des risques. S'il vit lui aussi dans un quartier majoritairement migrant dans un appartement avec des colocataires, il déplacerait 5 245 places plus près d'une éventuelle enquête. Si son assistant social est sceptique, il va trouver un emploi à Rotterdam, il gagnerait encore 3 290 places. Avec seulement cinq changements, il est maintenant susceptible d'être signalé pour enquête. Du logiciel de reconnaissance faciale qui fonctionne mal sur les personnes de couleur aux algorithmes d'embauche qui éliminent women, des données de formation médiocres peuvent créer des modèles d'apprentissage automatique qui perpétuent les biais. Et les données de formation de Rotterdam ne sont apparemment pas différentes. Il contenait des informations sur 12 707 personnes qui avaient déjà fait l'objet d'une enquête par la ville, dont la moitié se sont avérées avoir enfreint la loi. À partir de ces données, l'algorithme essaie de déterminer ce qui distingue quelqu'un qui commet une fraude à l'aide sociale de quelqu'un qui ne le fait pas. Mais un algorithme n'est aussi bon que les données sur lesquelles il est formé - et les données de Rotterdam étaient erronées. Disons, à titre d'exemple théorique, que la plupart des hommes dans les données de formation ont été sélectionnés au hasard, tandis que la plupart des femmes ont été étudiées en suivant les conseils des voisins ou les intuitions des travailleurs sociaux. Dans ce scénario, les données pourraient montrer que les femmes bénéficiant de l'aide sociale sont beaucoup plus susceptibles de commettre des fraudes que les hommes, sans tenir compte du fait que les femmes, en général, sont plus susceptibles de commettre des fraudes. Sans avoir une vue d'ensemble, l'algorithme apprendrait à associer les femmes à la fraude. Rotterdam utilise une sélection aléatoire, des conseils anonymes et des vérifications de catégorie qui changent chaque année (vérification de tous les hommes dans un code postal particulier, par exemple) pour lancer des enquêtes, avec des données des trois approches utilisées pour former l'algorithme. De Rotte de Rotterdam a refusé de fournir des informations détaillées sur la manière dont les individus figurant dans les données de formation ont été sélectionnés pour l'enquête. Bien que la ville utilisait l'algorithme, elle a continué à utiliser la sélection aléatoire et les vérifications de catégorie parallèlement aux scores de risque pour choisir qui enquêter et quoi alimenter dans les données de formation. "Si un ensemble de données d'entraînement [contient] des biais systémiques, alors la sortie algorithmique recréera toujours ces inégalités", explique Julia Dressel, experte dans l'utilisation de la technologie dans les systèmes de justice pénale. Certains groupes apparaissent à peine dans les données de formation de Rotterdam. Il aurait dû y avoir environ 880 jeunes dans les données pour refléter la proportion réelle de personnes de moins de 27 ans qui reçoivent l'aide sociale dans la ville. Au lieu de cela, il n'y en avait que 52. Dans nos tests de l'algorithme, c'était l'âge, en particulier la jeunesse, qui était l'attribut le plus important dans l'augmentation des scores de risque. Pour l'algorithme, il semblait que les jeunes étaient plus susceptibles de commettre une fraude à l'aide sociale, mais il a tiré cette conclusion sur la base d'un échantillon si petit qu'il était effectivement inutile. Bifurcation sur la route ---------------- Les scientifiques des données construisent des modèles de risque pour parcourir de grandes quantités de données afin de découvrir des modèles cachés. Alors que l'algorithme d'apprentissage automatique utilisé dans le système de Rotterdam, appelé machine d'amplification de gradient, s'appuyait sur des mathématiques complexes pour découvrir ces modèles, son élément de base est un arbre de décision. L'algorithme de Rotterdam est composé de 500 arbres de décision. Ces arbres catégorisent les individus en fonction d'une série de questions oui-non. À chaque question, une personne peut descendre la branche gauche ou droite jusqu'à ce qu'elle atteigne le bas de l'arbre. Sans aucune question, l'arbre de décision donne une valeur à cette personne. Les valeurs de tous les 500 arbres alimentant l'algorithme de Rotterdam sont combinées pour calculer le score de risque d'une personne. Les arbres de décision réels du modèle contiennent de nombreuses variables et branches. Pour comprendre comment les scores de Sara et Yusef sont générés, Sara va parcourir un arbre de décision simplifié. Sara est mère de deux enfants. Elle a récemment emménagé dans un nouvel appartement après s'être séparée de son partenaire de longue date. Vous pouvez voir comment ces attributs envoient Sara vers une branche spécifique d'un arbre de décision. Mais que se passe-t-il si Sara est un homme plutôt qu'une femme ? En tant que femme, Sara est interrogée sur son statut relationnel, ses enfants et sa situation de vie. En tant qu'homme, Sara est envoyée dans une branche entièrement différente avec des questions entièrement différentes. Deux personnes, deux parcours différents et deux séries de questions différentes. Mais nous n'avons changé qu'un seul attribut : le sexe. L'utilisation d'arbres de décision rend difficile la compréhension de l'incidence d'une seule variable sur la façon dont les personnes sont notées. Prenons le sexe dans l'exemple ci-dessus : les hommes et les femmes descendent dans des branches distinctes de l'arbre de décision, et différentes variables sont utilisées pour évaluer leur risque. Les hommes, par exemple, peuvent être évalués pour leurs compétences linguistiques et leur situation financière, tandis que les femmes peuvent être notées selon qu'elles ont des enfants ou si elles sont en couple. Par conséquent, être un homme peut augmenter le score de risque pour certains et le diminuer pour d'autres. Changer ne serait-ce que quelques variables peut modifier radicalement le score d'un bénéficiaire moyen de l'aide sociale. Vous pouvez basculer les bascules sur le profil de cas pour voir comment cela fonctionne. Changer certains paramètres, tels que l'âge et le sexe, a un impact considérable sur le classement des risques d'une personne et peut la pousser au-delà de la ligne rouge, déclenchant une enquête potentielle sur une fraude. L'algorithme de fraude à l'aide sociale de Rotterdam est formé sur des millions de points de données, mais il est aveugle à ce qui se passe réellement dans le monde réel. En réalité, différentes personnes commettent différents types de violations, des erreurs de bonne foi en remplissant un formulaire au crime organisé. Rotterdam elle-même affirme que de nombreuses violations de la loi découlent d'une loi qui exige que de petits changements dans la situation de vie et les finances d'un bénéficiaire soient signalés immédiatement par le biais d'un processus que de nombreux bénéficiaires ne comprennent pas. Mais l'algorithme apprend à faire ses prédictions sur la base d'un modèle qu'il extrapole à partir des données de formation qui regroupe les erreurs honnêtes et la fraude délibérée en une seule catégorie : la fraude. Il essaie de trouver des points communs entre les personnes qui font des erreurs de paperasse et les personnes qui tentent délibérément de tromper le système. La conséquence est qu'il n'est pas non plus très bon pour prédire. "L'algorithme convertit les" erreurs honnêtes "en associations apprises entre de faibles compétences en néerlandais et une propension à la fraude, permettant aux responsables de l'aide sociale de prétendre que les migrants qui ne parlent pas le néerlandais ne sont scientifiquement pas dignes de confiance", explique Dressel. Les défauts dans les données de formation et la conception de l'algorithme se combinent pour créer un système d'une imprécision alarmante, affirment les experts. "Ce n'est pas utile dans le monde réel", déclare Margaret Mitchell, scientifique en chef de l'éthique à la société d'IA Hugging Face et ancienne éthicienne de l'IA chez Google. Selon Mitchell, la propre évaluation des performances de Rotterdam indique que le modèle est « essentiellement une supposition aléatoire ». Évaluer un algorithme signifie regarder non seulement s'il est précis, mais aussi s'il est discriminatoire. Sara était-elle la seule à obtenir un score plus élevé pour être une mère célibataire, ou les mères célibataires en tant que groupe obtenaient-elles des scores plus élevés ? Était-ce seulement le pauvre néerlandais de Yusef qui le rendait méfiant, ou est-ce que la plupart des mauvais locuteurs du néerlandais obtenaient des scores plus élevés ? Il est possible de déterminer si l'algorithme a discriminé certains groupes sur la base de la propre définition interne de la discrimination de Rotterdam. Le code de l'algorithme de notation des risques de la ville comprend un test pour savoir si les personnes d'un sexe, d'un âge, d'un quartier ou d'un statut relationnel spécifique sont signalées à des taux plus élevés que les autres groupes. De Rotte, directeur des revenus de Rotterdam, affirme que la ville n'a jamais appliqué ce code particulier, mais qu'elle a effectué des tests similaires pour voir si certains groupes étaient surreprésentés ou sous-représentés parmi les individus les plus à risque et a constaté qu'ils l'étaient. Nous avons effectué un test similaire à celui de Rotterdam et avons constaté une discrimination généralisée contre plusieurs groupes vulnérables. En d'autres termes, ce ne sont pas seulement Sara et Yusef qui sont victimes de discrimination, ce sont aussi des gens comme eux. Nous avons utilisé l'algorithme de fraude de Rotterdam pour calculer les scores de risque pour Sara et Yusef ainsi que pour plus de 12 700 bénéficiaires réels de l'aide sociale provenant des propres données de formation de la ville. Rotterdam considère que les 10 % des bénéficiaires de l'aide sociale les plus élevés dans cet ensemble de données sont à « risque élevé ». Ce graphique montre la distribution des scores pour une sélection aléatoire de 1 000 bénéficiaires de l'aide sociale. Chaque point représente le score de risque d'une personne. La langue a à la fois un grand influence sur le score des gens et est le proxy le plus évident de l'ethnicité utilisé par l'algorithme. L'algorithme de Rotterdam essaie de déterminer dans quelle mesure quelqu'un peut parler le néerlandais sur la base de 20 variables. Il est alimenté en données sur la façon dont quelqu'un peut parler, écrire et comprendre le néerlandais, ainsi que le nombre de rendez-vous qu'ils ont eu avec un travailleur social au sujet de l'exigence linguistique. Si une personne est considérée comme ayant des difficultés avec le néerlandais à travers ces variables, elle est deux fois plus susceptible d'être signalée pour une enquête sur une fraude à l'aide sociale qu'une personne qui parle couramment le néerlandais Néerlandais. L'attribution de scores de risque élevés sur la base de la maîtrise du néerlandais signifie que les personnes qui ne sont pas des immigrants blancs sont plus susceptibles de faire l'objet d'une enquête. Ce type de discrimination ethnique par un algorithms a été surnommé digital stop and frisk. Les documents d'évaluation interne de Rotterdam révèlent que son système de notation des risques est si imprécis que, selon certaines mesures, il ne fait guère mieux que l'échantillonnage aléatoire. Notre expérience révèle également qu'elle discrimine les personnes vulnérables en les évaluant plus fortement en raison de leurs vulnérabilités, telles que le fait d'avoir des enfants ou des difficultés financières. Mais les femmes, les personnes qui ne parlent pas néerlandais ou les parents commettent-ils plus souvent des fraudes à l'aide sociale que les personnes appartenant à d'autres groupes ? Pour le savoir, Rotterdam doit partager plus d'informations. Nous avons demandé à la ville des données qui nous permettraient de voir si les enquêteurs avaient trouvé plus de cas de fraude parmi des groupes spécifiques, mais les responsables ont refusé de nous fournir ces détails pour des motifs juridiques non précisés. Pour l'instant, seul Rotterdam sait si les groupes vulnérables que son algorithme a jugés suspects ont vraiment enfreint la loi plus souvent que les autres groupes. Sur la base de sa propre évaluation, Rotterdam savait qui était signalé à des taux plus élevés et a supprimé certaines variables indirectes, mais a continué à utiliser le système jusqu'à ce qu'il suspende finalement l'utilisation de l'algorithme fin 2021. Pourtant, cette même année, le conseiller municipal de Rotterdam, Richard Moti, a insisté sur le fait qu'il y avait " pas de biais à la fois dans l'entrée et la sortie" de l'algorithme. Mais quels que soient les ajustements apportés, une équation mathématique ne peut pas faire grand-chose pour repérer avec précision la fraude dans la réalité désordonnée de la vie des gens. "Les modèles seront toujours de mauvais estimateurs du risque réel", déclare Mitchell, ajoutant que les algorithmes sont susceptibles d'exclure des détails personnels potentiellement importants. "Si vous preniez des situations au cas par cas, les prédictions faites par un modèle mathématique ne saisiraient jamais toutes les variables en jeu dans chaque cas individuel." Du soleil dans une boîte noire ----------------------- Rotterdam n'est pas la seule ville à utiliser des algorithmes pour interroger les bénéficiaires de l'aide sociale. Mais c'est, à ce jour, le plus transparent sur ce qu'il fait. Rotterdam a été choisie pour cette histoire non pas parce que son système est particulièrement nouveau, mais parce que sur des dizaines de villes que nous avons contactées, c'était la seule à vouloir partager le code derrière son algorithme. Parallèlement, la ville a également remis la liste des variables qui l'alimentent, les évaluations des performances du modèle et le manuel utilisé par ses data scientists. Et face à la perspective d'une éventuelle action en justice en vertu des lois sur la liberté d'information - équivalents européens aux lois américaines sur le soleil -, il a également partagé le modèle d'apprentissage automatique lui-même, offrant un accès sans précédent. Cette transparence a révélé un système inadapté à l'usage auquel il était destiné. En 2017, Accenture, le partenaire technologique de la ville sur une première version du projet, a promis que "l'analyse avancée" serait combinée à l'apprentissage automatique pour créer des "résultats citoyens impartiaux". Dans une présentation réalisée à l'époque, la société de conseil affirmait qu'un tel système aiderait Rotterdam à s'assurer que les personnes ayant besoin d'aide la recevaient et qu'il y aurait "une répartition équitable de l'aide sociale". La réalité de la machine à suspicion de Rotterdam est radicalement différente. Il s'agit d'un algorithme qui échoue au propre test d'équité de la ville - et bien qu'Accenture le présente comme une "solution éthique", il est si opaque qu'il refuse une procédure régulière aux personnes qui y sont prises. "Nous avons livré un modèle de startup et l'avons transféré dans la ville lorsque notre contrat a pris fin en 2018", a déclaré le porte-parole d'Accenture, Chinedu Udezue. La société a refusé de commenter le manque historique de transparence autour de l'utilisation de l'algorithme. Dans le monde réel, des milliers de personnes comme Sara et Yusef ont subi les conséquences d'un algorithme défectueux basé sur des données erronées. Les personnes signalées par l'algorithme comme des fraudeurs potentiels peuvent, en théorie, demander toutes les données que la ville a collectées à leur sujet. Ils peuvent demander leur score de risque. Ils peuvent demander leur rang. Ils peuvent essayer de demander à un travailleur social de la ville, à un avocat ou à un juge comment la machine à suspicion a décidé que ces chiffres constituaient un schéma de comportement illégal. Jusqu'à présent, ils n'avaient aucun moyen de donner un sens à ces réponses. Rotterdam défend son droit de faire appliquer la loi mais affirme que notre enquête a montré la nécessité d'une plus grande transparence partout où des systèmes similaires sont déployés. "[Nous] considérons qu'il est très important que les autres gouvernements et organisations soient conscients des risques liés à l'utilisation d'algorithmes", déclare de Rotte de Rotterdam. "Nous avons décidé de vous donner un aperçu maximal du modèle, non seulement en raison de notre désir d'être une organisation ouverte et transparente, mais aussi de pouvoir apprendre des idées des autres."