Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1403

Incidents associés

Incident 1001 Rapport
How French welfare services are creating ‘robo-debt’

Loading...
Comment les services sociaux français créent une "robo-dette"
algorithmwatch.org · 2021

Je vis seul et, comme beaucoup de ma génération, je fais partie de la précarité. A ce titre, je perçois plusieurs avantages sociaux. Le bureau d'aide sociale paie une partie de mon loyer et me verse une allocation mensuelle, qui s'élève à environ 500 € par mois. Je travaille en tant qu'employé depuis 2007 et je me suis en plus inscrit comme travailleur indépendant en 2020. Je n'ai jamais eu de problème avec le bureau d'aide sociale. Je leur envoie généralement une déclaration tous les trimestres. Je sais que mon dossier peut être contrôlé, soit par les services sociaux, soit par le fisc.

Le 17 mars 2021, l'office social m'envoie un mail me demandant de nouvelles informations, suite à la dernière réforme des allocations sociales. Bien que je doive envoyer une année de documents sur mes revenus, je me conforme à la demande. Je leur envoie les documents ainsi qu'une explication écrite de ma situation.

Le lendemain, je reçois deux e-mails me demandant de remettre, à nouveau, les mêmes documents. De plus, le bureau d'aide sociale m'indique que je leur dois 542 euros et que le montant sera prélevé automatiquement sur mes prochains versements, à hauteur de 60 euros chaque mois. Ce n'est pas le genre de somme que je peux me permettre d'épargner. Malgré ma surprise et, soyons honnêtes, ma rage, je remarque ce qui ne va pas. Le bureau d'aide sociale n'a tenu compte que de mon statut de travailleur indépendant et a ignoré mon travail salarié. Cela change la façon dont mes prestations sont calculées, à mon grand détriment. J'explique l'erreur au bureau d'aide sociale par e-mail et prends un rendez-vous téléphonique avec mon assistante sociale pour le 26 mars.

Quelques heures plus tard, quelqu'un du bureau d'aide sociale laisse un message sur ma boîte aux lettres. Elle dit qu'elle a lu mon e-mail, annulé ma dette et fermé le problème. Je me suis sentie soulagée après ces montagnes russes émotionnelles, mais je voulais savoir comment une telle erreur pouvait arriver.

Lors de mon rendez-vous téléphonique du 26 mars, mon assistante sociale me confirme que « le logiciel » a analysé mon dossier automatiquement, à l'aide de « paramètres ». Mon cas est apparemment devenu « trop complexe » lorsque je les ai informés que j'avais commencé à travailler en tant qu'indépendant. Il a été entièrement réinitialisé, d'où l'e-mail me demandant de télécharger l'équivalent d'un an de documents.

Malgré les réponses de mon assistante sociale, je ne comprends toujours pas pourquoi le logiciel ne prenait en compte que mon activité de travailleur indépendant. D'autant plus que j'ai envoyé tous les documents nécessaires comme demandé. Ma dette a été notifiée dès que l'algorithme a trouvé une erreur dans mon dossier. La machine menace d'abord, les humains vérifient ensuite. Seul l'e-mail que j'ai envoyé a informé le bureau d'aide sociale de leur erreur. Leurs outils automatisés m'ont mis dans une position difficile en premier lieu.

Le bureau d'aide sociale propose des explications – en quelque sorte – sur son site Internet. Sous le titre « remettre les faits au clair », une page publiée en septembre 2020 affirme que les contrôles profitent en réalité aux allocataires sociaux. Ils utilisent des "contrôles automatisés" ainsi qu'"un modèle statistique dit de 'datamining' (sic), qui cible automatiquement les cas à risque". Malgré le jargon obscur, il est difficile pour un profane de comprendre ce qu'ils signifient. La page indique également que "vous pouvez éviter de contracter des dettes envers le bureau d'aide sociale en déclarant toujours sans délai tout changement de votre situation". Sauf que dans mon cas, j'ai été notifié de ma dette justement parce que j'ai fait ça.

Les offices sociaux, qui relèvent des régions françaises, utilisent le datamining depuis 2012. La méthode est à l'origine de trois contrôles sur quatre. L'avantage le plus contrôlé en 2021 est celui qui aide les bénéficiaires à payer le loyer, que je perçois.

J'ai parlé à Vincent Dubois, sociologue à l'Université de Strasbourg qui a récemment publié un livre sur le sujet, « Controlling Welfare Queens ». "Techniquement, les contrôles basés sur l'exploration de données n'utilisent pas de caractéristiques sociales mais des "facteurs de risque". Ils n'identifient pas des individus ou des groupes spécifiques, mais des cas », a-t-il déclaré. « Un tel ciblage n'est pas socialement neutre. Les facteurs de risque ne sont pas distribués au hasard parmi la population, ne serait-ce que parce que les critères et le processus d'attribution varient selon les prestations, et que les bénéficiaires sont socialement et économiquement différents. Bien qu'il n'ait aucune preuve définitive, M. Dubois pense que les femmes, en particulier les femmes célibataires comme moi, sont considérées comme "à plus haut risque". D'autres facteurs de risque incluent le fait de vivre à l'étranger ou de ne pas parler d'un nouvel emploi, selon le bureau d'aide sociale.

La politique de confidentialité de l’office social précise que l’autorité française de protection des données contrôle régulièrement la manière dont elle traite les données personnelles. Mais selon l'article 22 du Règlement général sur la protection des données, tout traitement automatisé ayant une « portée juridique » est interdit. La loi française va plus loin et précise que toute décision algorithmique est nulle si le fait qu'elle a été prise d'office n'est pas clairement mentionné au destinataire. Inutile de dire que l'e-mail du bureau d'aide sociale notifiant ma dette ne faisait aucune mention d'un processus automatisé. L'autorité française de protection des données a refusé de répondre à mes questions.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd