Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1590

Incidents associés

Incident 1867 Rapports
Algorithm Assessing Risk Faced by Victims of Gender Violence Misclassified Low-Risk Cases, Allegedly Leading to Homicide of Women and Children in Spain

Loading...
En Espagne, l'algorithme VioGén tente de prévoir les violences de genre
algorithmwatch.org · 2020

Dans le cadre d'un programme de lutte contre les féminicides, l'Espagne a construit VioGén, un algorithme qui évalue le risque encouru par les victimes de violences de genre. Cela reste un travail en cours.

Au petit matin du 24 février 2018, Itziar P., une psychologue vivant dans la ville espagnole de Castellón, s'est rendue dans un poste de police pour signaler des menaces de la part de son mari, Ricardo C..

Dans les enregistrements audio qu'elle a réalisés avec son portable, on pouvait entendre le mari dire : "Nous finirons tous morts et moi en prison", ou "Je vais t'enlever ce que tu aimes le plus".

Selon Itziar P., Ricardo C. avait également mis en pièces la poussette de leur plus jeune enfant (Martina, 2 ans) et giflé l'aînée (Nerea, 6 ans), alors que les deux étaient sous sa garde.

Le policier a posé à Itziar P. une série de questions et a transmis les réponses à VioGén, un logiciel qui aide la police espagnole à estimer le risque de récidive dans les violences de genre. L'agent a émis un rapport dans lequel ce risque était jugé faible.

Échec critique

Dans les jours qui ont suivi, Itziar P. et Ricardo C. ont été appelés à se déclarer devant le tribunal. Elle a demandé qu'il lui soit interdit de rendre visite à leurs enfants, mais le juge a rejeté la demande, sur la base de l'estimation du faible risque faite par la police, entre autres raisons.

Sept mois plus tard, le 25 septembre 2018, Nerea et Martina dormaient chez Ricardo C.. Au petit matin, il les a tués « avec cruauté » et s'est jeté par la fenêtre.

L'histoire d'Itziar P. était choquante. Pourquoi le cas a-t-il été jugé à faible risque ? VioGén avait manqué son objectif d'accompagner le personnel policier dans l'évaluation du risque de nouvelles agressions, et ainsi d'attribuer le bon niveau de protection. Depuis que le logiciel a été déployé pour la première fois en 2007, il y a eu une série de cas « à faible risque » qui se sont soldés par des homicides de femmes ou d'enfants.

Mieux que rien

Le programme est de loin le plus complexe du genre au monde. Il a des indices de performance raisonnables. Personne ne croit que les choses iraient mieux sans cela - à l'exception de l'extrême droite, qui prétend à tort que cela aide les femmes à dénoncer les hommes innocents.

Mais les critiques pointent quelques défauts. Peu de policiers sont sensibilisés à la violence sexiste. Certains des autres comptent aveuglément sur le résultat du logiciel. De plus, le programme peut avoir systématiquement sous-estimé le risque. Certaines organisations de victimes pensent que la possibilité d'un score de risque faible est un non-sens. Le signalement à la police est une situation à haut risque en soi, disent-ils, parce que les agresseurs la perçoivent comme un défi.

En janvier 2020, 600 000 cas étaient passés par VioGén. Environ 61 000 d'entre elles étaient considérées comme actives, ce qui signifie qu'elles étaient suivies par la police (le système est conçu pour contrôler périodiquement les femmes jusqu'à ce qu'elles soient considérées comme sûres).

Signaler une agression

Lorsqu'une femme va signaler une agression d'un partenaire intime, elle déclenche un processus qui prend au moins quelques heures. Dans un premier temps, l'agent de police parcourt avec elle un formulaire en ligne. L'agent coche chacune des rubriques du formulaire VPR (des initiales espagnoles de « Police Risk Assessment ») comme « présent » ou « non présent ». Il y a 39 éléments dans la dernière version publiée du formulaire (le VPR4.0). Les agents peuvent également s'appuyer sur les bases de données de la police, les témoins et les preuves matérielles.

Les questions explorent la gravité des agressions précédentes (par exemple, si des armes ont déjà été utilisées) ; les caractéristiques de l'agresseur (jaloux, intimidateur, abuseur sexuel, chômeur, toxicomane, etc.) ; la vulnérabilité de la victime (enceinte, étrangère, économiquement dépendante, etc.) ; et les facteurs aggravants (comme les agressions par d'autres hommes).

Les réponses sont jetées automatiquement dans une formule mathématique qui calcule un score, mesurant le risque que l'agresseur répète des actions violentes. Cette approche quantitative est différente de celle utilisée dans DAS-H, l'équivalent britannique de VioGén. Ce dernier est essentiellement une liste de contrôle papier qui aide les agents à se faire une idée de la situation.

Garder le score

En théorie, les agents espagnols peuvent augmenter le score à la main, s'ils apprécient un risque plus élevé. Mais une étude de 2014 a révélé qu'ils s'en tenaient au résultat automatique dans 95% des cas.

La formule utilisée dans VioGén est un « algorithme simple », selon Juan José López Ossorio, un psychologue qui a été en charge de VioGén depuis ses débuts, dans une déclaration écrite à AlgorithmWatch. L'algorithme donne plus de poids aux éléments que les études empiriques ont montré comme étant plus liés à la récidive, a écrit M. López Ossorio. Il a refusé de divulguer la formule exacte.

Une fois le score d'un cas établi, l'agent décide d'un ensemble de mesures de protection associées à ce niveau de risque . Pour les scores les plus bas, les agents vérifieront discrètement la femme de temps en temps. Pour le plus élevé, la police donnera à la victime un bouton d'alarme, suivra les mouvements de l'agresseur ou gardera sa maison. L'agent envoie également le formulaire et le score de risque aux procureurs et aux juges qui verront le cas de la femme.

Après le premier signalement, la police rencontre à nouveau la femme pour remplir un deuxième formulaire, afin d'évaluer si la situation s'est aggravée ou améliorée. Cela se produit périodiquement, plus ou moins fréquemment selon le niveau de risque. La police n'interrompt le suivi que si les mesures judiciaires ne sont pas poursuivies et que le niveau de risque tombe en dessous de moyen.

VioGén est l'un des résultats d'une loi pionnière sur la violence sexiste que l'Espagne a approuvée en 2004, dix ans avant que le Conseil de l'Europe n'adopte un cadre commun sur le sujet, la Convention d'Istanbul. Aujourd'hui, le logiciel est utilisé par les principales forces de police espagnoles (Policía Nacional et Guardia Civil) et par des centaines de polices locales (sauf en Catalogne et au Pays basque qui ont des corps de police indépendants).

Le meilleur système disponible

VioGén est le meilleur dispositif disponible pour protéger la vie des femmes, selon Ángeles Carmona, présidente de l'Observatoire de la violence domestique et sexiste du Conseil général du pouvoir judiciaire espagnol (CGPJ).

Elle se souvient d'un cas qu'elle a vu devant un tribunal de Séville, d'un agresseur qui présentait un risque élevé de récidive, selon VioGén. Un bracelet de contrôle a été appliqué à l'homme. Un jour, la police a vu que le signal du bracelet se dirigeait rapidement vers le domicile de la victime. Ils y ont fait irruption juste à temps pour l'empêcher de l'étouffer avec un oreiller.

Il est impossible de savoir combien de vies ont été sauvées grâce à VioGén, selon Antonio Pueyo, professeur de psychologie à l'Université de Barcelone qui conseille VioGén depuis le début.

Cependant, une étude réalisée en 2017 par M. López Ossorio et son équipe a tenté de mesurer la qualité du protocole. Ils ont constaté que l'aire sous la courbe (AUC) de VioGén, une mesure de performance largement utilisée pour les modèles prédictifs, se situait entre 0,658 et 0,8. Une AUC de 0,5 est aussi bonne qu'un tirage au sort et une AUC de 1 signifie que le modèle n'échoue jamais. Les tests de dépistage du cancer sont considérés comme bons lorsque leur ASC est comprise entre 0,7 et 0,9. En d'autres termes, VioGén fonctionne.

"En comparant avec ce qui existe autour et dans les limites existantes, VioGén est parmi les meilleures choses disponibles", déclare Juanjo Medina, professeur de criminologie quantitative à l'Université de Manchester qui a comparé des instruments d'évaluation du risque de violence conjugale.

L'Espagne est le seul endroit où les victimes peuvent être suivies dans différentes régions. Près de 30 000 policiers et autres agents à travers le pays ont eu accès à VioGén en 2018.

Cependant, les cas qui sont passés entre les mailles du filet de VioGén ont suscité des inquiétudes. Le dernier en date s'est produit en février 2020, lorsqu'une femme de 36 ans et mère de deux enfants s'est fait trancher la gorge par son ancien partenaire, qui a ensuite jeté son corps dans un conteneur dans la ville de Moraira. Les deux avaient été enregistrés dans le système VioGén après que la police l'ait signalé pour l'avoir agressée, mais l'affaire était devenue inactive après qu'un juge l'ait innocenté.

Faux négatifs

En 2014, le journal El Mundo a publié un document divulgué du Conseil général du pouvoir judiciaire qui montrait que 14 femmes sur 15 tuées cette année-là, ayant signalé leur agresseur auparavant, présentaient un risque faible ou non spécifique (la classification utilisée pour toute personne signalant une menace à la police).

Certains critiques disent que le faible risque ne devrait même pas être une option. Le signalement est un moment à risque maximum pour une femme, selon Carme Vidal Estruel, porte-parole de Tamaia, une association qui vient en aide aux victimes à Barcelone. Elle dit que la situation s'apparente à un divorce ou à une grossesse, deux moments où l'agresseur se rend compte qu'il perd son emprise sur la victime.

Une autre critique répandue est que peu d'agents parmi ceux qui doivent valider les résultats de l'ordinateur reçoivent une formation suffisante sur les questions de genre. Certains articles de VioGén sont gênants, comme ceux liés à la violence sexuelle, à l'humiliation ou aux messages intimes sur les téléphones portables.

Les agents devraient poser des questions circulaires (au lieu de questions franches et directes) et éviter de transmettre le sentiment que l'objet de l'enquête est la femme, selon Chelo Álvarez, président d'Alanna, une association d'anciennes victimes à Valence. Mme Carmona du Conseil général du pouvoir judiciaire se souvient d'une femme qui a dénoncé son mari pour avoir volé les clés de sa voiture. Elle avait tellement peur qu'elle ne pouvait rien dire d'autre. Le lendemain, l'homme l'a tuée.

Peu d'agents sont conscients de ces nuances. En 2017, il y avait un total de 654 agents dans toute l'Espagne appartenant aux Équipes Femmes-Enfants (EMUME) de la Guardia Civil. C'est beaucoup moins qu'un pour chaque poste de police.

Exigences ignorées

C'est très différent de ce qu'exigeait la loi de 2004 qui a créé VioGén. Selon elle, les cas doivent être traités par une équipe interdisciplinaire comprenant des psychologues, des travailleurs sociaux et des médecins légistes.

Cette équipe devrait aborder des aspects psychologiques que la forme VioGén ne couvre pas. De plus, il devrait procéder à une expertise médico-légale directement sur l'agresseur. Le système actuel revient à évaluer la dangerosité d'une personne sans jamais lui parler, soulignent les critiques. Plusieurs équipes ont été créées après l'adoption de la loi en 2004, mais le processus a été fortement interrompu par l'austérité qui a suivi la crise financière de 2008.

M. Pueyo, le professeur de psychologie, reconnaît certaines des critiques, mais estime que VioGén devrait être jugé pour sa capacité à prédire de nouvelles agressions, et non des homicides, car ces événements sont très rares. La probabilité qu'une femme soit tuée après un signalement est d'environ une sur dix mille, selon M. López Ossorio.

Or, la Convention d'Istanbul exige justement de réduire le risque de décès. Et pas seulement des femmes, mais aussi de leurs enfants. Négliger le risque pour les enfants est une autre critique à laquelle VioGén est confronté.

La convention est entrée en vigueur en Espagne en 2014, mais les formulaires VioGén n'ont pas été modifiés en conséquence jusqu'à ce que le cas d'Itziar P. se produise en 2018, selon son avocat.

VioGén 5.0

Un nouveau protocole a été mis en place en mars 2019, le cinquième grand changement que VioGén a connu depuis son premier déploiement en 2007. Désormais, le programme identifie les cas "particulièrement pertinents", dans lesquels le danger est élevé, et les cas "avec des mineurs". à risque ».

Cela se fait par le biais de la "procédure d'évaluation double" du nouveau formulaire VPR (VPR5.0-H), explique M. López-Ossorio. Deux calculs sont menés en parallèle : un lié à la récidive et un nouveau lié aux voies de fait mortelles.

En fonction du résultat de cette dernière (appelée « H-scale »), le score de risque peut être augmenté automatiquement. De plus, l'affaire peut être signalée aux procureurs et aux juges comme étant « d'une importance particulière ».

M. López-Ossorio a refusé de divulguer comment l'échelle H a été construite, mais a écrit qu'elle était basée sur une étude que son groupe a menée pendant quatre ans, pour déterminer quels facteurs étaient spécifiquement liés aux cas qui aboutissent à des homicides.

Le nouveau protocole semble avoir déclenché un changement majeur dans les scores de risque de VioGén. En passant de VPR4.0 à VPR5.0-H, le nombre de cas à risque extrême a augmenté et ceux à haut risque ont presque doublé, selon M. López Ossorio.

Comme le dit la présidente de l'association des anciennes victimes de Valence, Mme Álvarez : "Les choses s'améliorent, mais elles devraient aller plus vite, car on nous tue".

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd