Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2119

Incidents associés

Incident 3364 Rapports
UK Home Office's Sham Marriage Detection Algorithm Reportedly Flagged Certain Nationalities Disproportionately

Loading...
Le ministère de l'Intérieur refuse d'expliquer l'algorithme secret du faux mariage
freemovement.org.uk · 2021

Le ministère de l'Intérieur a repoussé la dernière tentative du Public Law Project (PLP) d'en savoir plus sur les critères algorithmiques secrets utilisés pour décider si un projet de mariage doit faire l'objet d'une enquête en tant que "simulacre".

Les enquêtes sur les faux mariages peuvent être envahissantes et désagréables et il semble qu'elles ciblent certaines nationalités plus que d'autres. PLP est préoccupé par le manque de transparence et la possible discrimination impliquée dans le système de triage automatisé, et nous aimerions prendre contact avec les personnes qui pourraient être concernées, ainsi qu'avec les organisations qui les soutiennent. Si vous connaissez quelqu'un faisant l'objet d'une enquête ou risquant de faire l'objet d'une enquête, veuillez nous contacter.

L'algorithme du faux mariage

Les documents précédemment obtenus par PLP en vertu de la Freedom of Information Act 2000 indiquent que un système de triage entre en jeu si l'un ou les deux d'un couple qui a notifié l'officier d'état civil vient de l'extérieur de l'Espace économique européen, n'est pas installé au Royaume-Uni ou n'a pas de visa valide. Si l'une de ces conditions est remplie, le couple est orienté vers le système de triage.

Un algorithme traite les données du couple, applique des critères secrets et attribue au couple un feu vert ou rouge. Un voyant rouge indique qu'une enquête est nécessaire pour identifier ou exclure une activité fictive. Le couple est invité à fournir plus d'informations et, souvent, à assister à un entretien et à coopérer avec des visites à domicile. Cela peut être un processus très intrusif, auquel de nombreux couples peuvent être réticents à accepter.

S'ils refusent, le couple ne sera pas autorisé à se marier. S'ils se conforment, les agents d'immigration utiliseront les nouvelles informations pour déterminer si le mariage est une imposture. Si la décision va à l'encontre du couple, ils peuvent toujours se marier, mais leur statut d'immigration sera menacé et l'une ou l'autre des parties pourrait être expulsée du Royaume-Uni.

Malgré les demandes répétées de PLP, le ministère de l'Intérieur a refusé de divulguer les critères utilisés par l'algorithme.

Pourquoi s'inquiéter?

Selon notre compréhension actuelle, le système suscite trois préoccupations majeures.

Premièrement, parce que les critères utilisés par l'algorithme restent secrets, l'équité procédurale suscite des inquiétudes. Le ministère de l'Intérieur insiste sur le fait que la publication des critères serait susceptible de nuire à sa capacité à enquêter sur d'éventuels mariages fictifs et ne serait pas dans l'intérêt public. Nous considérons que les normes de droit public exigent la divulgation du fonctionnement du système et qu'il est peu probable que le refus de publier soit justifiable pour des raisons d'intérêt public. Lorsque les décisions sont prises par un algorithme, il doit y avoir transparence et responsabilité.

Deuxièmement, on craint que l'algorithme ne soit discriminatoire. En effet, certaines nationalités - notamment les Bulgares, les Grecs, les Roumains et les Albanais - semblent plus susceptibles d'être ciblées par une enquête que d'autres.

Il se peut que la nationalité soit incluse dans les critères de l'algorithme. Si tel est le cas, l'algorithme peut être directement discriminatoire, contrairement aux articles 13 et 29 de la loi de 2010 sur l'égalité. Même si les critères n'incluent pas la nationalité, l'algorithme peut néanmoins être indirectement discriminatoire s'il a un impact systémique négatif. sur les personnes d'une nationalité particulière, contrairement aux articles 19 et 29 de la loi de 2010 sur l'égalité.

Une troisième préoccupation est que la prise de décision au stade de l'enquête peut être faussée en raison d'un « biais d'automatisation », c'est-à-dire d'une dépendance excessive à l'égard des systèmes automatisés d'aide à la décision. Si le fonctionnaire qui mène une enquête sur un mariage fictif sait que le couple a reçu un feu rouge de l'algorithme, il peut être prédisposé à conclure que la relation est une imposture. En d'autres termes, le système peut encourager le recours à des considérations non pertinentes.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd