Manque de transparence, sous-estimation de la violence psychologique, questions « rigides » qui ne permettent pas d'explications ou d'évaluations prenant en compte les ressources policières disponibles pour attribuer un niveau de risque à la victime. Ce sont quelques-uns des "problèmes" qu'un audit externe a trouvés dans l'algorithme VioGén, un système automatique utilisé dans les commissariats de police pour évaluer le risque personnel que chaque plaignant de violence de genre a.
"L'une des principales préoccupations concernant l'algorithme VioGén est qu'environ 45 % des cas reçoivent une cote de risque 'non appréciée'. Dans le cadre des violences de genre, la catégorie des "sans risque" est déjà une question très controversée, puisque seul le fait de franchir le pas de la dénonciation peut entraîner des réactions violentes de la part de l'agresseur", détaille l'enquête, préparée par la Ethics Foundation, spécialisée dans l'audit algorithmique, et la Ana Bella Foundation, un réseau de femmes victimes de violences sexistes. "Ce manque d'appréciation du risque nous amène à penser qu'il y a des facteurs qui ne sont pas encore pris en compte", préviennent-ils.
L'audit comprend une analyse des données publiques du ministère de l'Intérieur , que VioGén mène depuis 2007. A cela s'ajoute une étude qualitative avec des entretiens avec 31 lanceurs d'alerte et 7 avocats spécialisés, ainsi qu'une approche quantitative qui approfondit les cotes de risque de VioGén auprès de 126 femmes assassinées après avoir porté plainte contre leur agresseur.
Cette deuxième partie de l'enquête a été menée en externe compte tenu du refus de l'Intérieur de donner accès aux bases de données de VioGén pour effectuer un audit interne, ce qu'Eticas souligne avoir proposé de faire gratuitement "à plusieurs reprises depuis 2018". Des sources du ministère ont confirmé à elDiario.es que ces demandes ont été refusées et affirment que le rapport « manque de rigueur académique en fondant son étude et ses conclusions sur un univers statistique insignifiant de seulement 31 entretiens contre plus de cinq millions d'évaluations de risque ». réalisées depuis 2007 ».
Évaluation du risque de violence sexiste
VioGén (acronyme de Comprehensive Monitoring System in Cases of Gender Violence) entre en action lorsqu'une victime de violence sexiste se rend au commissariat pour porter plainte. Il est basé sur un questionnaire prédéterminé que les agents remplissent avec les réponses du plaignant. Sur cette base, l'algorithme évalue le risque que son agresseur l'attaque, en le classant comme "inapprécié", "faible", "moyen", "élevé" ou "extrême". A partir du risque « moyen », le plaignant a droit à la protection policière. Les agents peuvent modifier le niveau de risque attribué, mais uniquement pour l'augmenter. Cependant, l'audit montre que dans 95 % des cas, ils ne le font pas.
C'est dans cette première évaluation que l'enquête détecte de nombreux problèmes du système. « 80 % des personnes interrogées ont signalé différents problèmes avec le questionnaire VioGén. Cela signifie que la qualité des données saisies dans le système algorithmique pourrait être compromise à ce moment, générant des sources de biais et de fausses représentations au sein du système. Parmi les manquements pointés par les plaignants figure le manque de transparence, puisque beaucoup n'ont pas été informés de l'évaluation des risques que VioGén leur a confiée.
Le contexte entourant le remplissage du questionnaire est également problématique. L'une des participantes s'en souvient comme "d'un moment trouble avec des questions absurdes où des erreurs sont commises en remplissant le questionnaire", qualifiant la situation qu'elle a vécue de "surréaliste". Les répondants déclarent qu'il leur a été difficile de se souvenir de tout ce qui s'est passé au moment de l'entrevue, d'organiser leurs pensées et de fournir des réponses détaillées aux questions de VioGén. Les fondations rappellent que "beaucoup de femmes qui subissent des violences de genre arrivent au commissariat et portent plainte juste après un incident violent", donc "elles sont en état de choc".
De plus, le système ne prend en charge que les réponses binaires. Si le plaignant n'est pas en mesure d'en proposer une, ce sont les agents qui doivent interpréter ce qu'ils doivent entrer dans le système. Les avocates interrogées spécialisées dans les violences de genre s'accordent à dire que les questions sont « rigides » et ne permettent pas d'explications. L'un d'eux a souligné que la manière dont ils sont formulés fait que le niveau d'instruction de la plaignante est également déterminant : « Le niveau d'instruction permet de comprendre plus facilement ce qui est demandé et d'expliquer ce qu'elle ressent et souffre, pour autant que ce n'est pas un abus grave et il est bloqué ou terrifié.
Sur les 31 femmes interrogées pour la recherche, 15 ont évalué négativement leur expérience avec vioGén ; 10 ont indiqué à la fois des aspects négatifs et positifs et 6 ont évalué positivement leur expérience globale. Un autre point sur lequel les victimes et les avocats s'accordent est que "VioGén sous-estime la violence psychologique et les nouvelles formes de violence non physique (comme le harcèlement via les réseaux sociaux), en mettant l'accent sur la violence physique". « Il n'y a pas besoin d'un passage à tabac, ou d'une agression, pour que le risque existe. Il semble que les paramètres aient oublié la violence psychologique", explique un autre des avocats.
Interior nie que le questionnaire présente des problèmes et rappelle qu'il est en constante amélioration. « Le système policier d'évaluation des risques (VPR) dans le domaine VioGén est un instrument d'appui important dans la lutte contre les violences basées sur le genre qui a prouvé son utilité depuis sa mise en place il y a 15 ans, grâce à la validation scientifique de chacun de ses indicateurs » , des sources du ministère exposent à ce média. "Il faut préciser qu'il s'agit d'un appui au travail d'évaluation policière effectué par un expert en la matière, également basé sur un autre ensemble de facteurs et de critères", ajoutent-ils.
Protection insuffisante dans 55 cas
L'analyse quantitative des 126 cas de femmes assassinées a détecté que 55 d'entre elles « ont reçu une ordonnance de protection qui s'est avérée insuffisante » par VioGén. À ce stade, l'enquête détecte un biais dans ses paramètres, puisque "les femmes assassinées qui n'avaient pas d'enfants se sont automatiquement vues attribuer un niveau de risque inférieur à celles qui en avaient".
L'audit de la partie automatique du système a également révélé que VioGén adapte le risque estimé pour chaque victime en fonction des moyens policiers disponibles. "Cela signifie que le système ne donne que le nombre d'évaluations des risques "extrêmes" qu'il peut se permettre, de sorte que les réductions de financement ont un impact direct et mesurable sur les chances que les femmes reçoivent une protection efficace après avoir demandé la protection de la police." .
Le système ne donne que le nombre d'évaluations des risques « extrêmes » qu'il peut se permettre, de sorte que les réductions de financement ont un impact direct et mesurable sur les chances des femmes de bénéficier d'une protection efficace
Les fondations soulignent que malgré les cas actifs de VioGén qui augmentent d'année en année, en 2021, "seulement 1 femme sur 7 qui s'est rendue à la police en quête de protection l'a obtenue". Depuis 2015, seulement 3 % des victimes ont obtenu un score de risque « moyen » ou supérieur et donc une protection policière.
Transparence algorithmique
VioGén a été développé en 2007 par le ministère de l'Intérieur et a été affiné depuis. Il s'agissait d'un système pionnier pour intégrer toutes les informations sur les victimes de violences sexistes dans une plateforme unique, ainsi que pour unifier leur protection sur tout le territoire. Cela en a fait "le système d'évaluation des risques avec le plus de cas enregistrés au monde" avec plus de 3 millions, recueille l'audit.
Cependant, les détails sur son fonctionnement ou la raison pour laquelle il attribue un niveau de protection et pas un autre sont opaques. Cette situation passe souvent inaperçue en raison de l'apparente neutralité mathématique de l'Intelligence Artificielle, malgré les mises en garde des experts : "Les algorithmes donnent parfois une fausse impression d'objectivité qui écrase les droits des personnes", [a-t-il expliqué dans une interview avec ce médium Carlos Preciado](https: //www.eldiario.es/tecnologia/algoritmo-maquinas-impresion-objetividad-liberties_128_1159467.html), magistrat du TSJ de Catalogne. "La plupart des études VioGén ont été menées par les mêmes chercheurs qui ont contribué à son développement et par des personnes qui travaillent et/ou ont des intérêts particuliers au ministère et aux forces de police", souligne Eticas dans ce cas.
La plupart des études VioGén ont été réalisées par les mêmes chercheurs qui ont contribué à son développement et par des personnes qui travaillent et/ou ont des intérêts particuliers au Ministère
Le Gouvernement s'est engagé à promouvoir la transparence de ce type de systèmes d'Intelligence Artificielle utilisés dans l'administration. « La qualité des données fournies et leur accessibilité seront améliorées, en promouvant une culture axée sur les données, en utilisant des algorithmes transparents et explicables, en renforçant la relation entre l'administration et les citoyens », indique-t-il dans la Stratégie nationale sur l'intelligence artificielle approuvée en 2020 . Les budgets généraux pour 2022 comprennent un poste de 5 millions d'euros pour la création d'une [agence spécialisée dans la supervision des algorithmes](https://www.eldiario.es/tecnologia/espana-vigilara-inteligencia-artificial-farmacos-alimentos_1_8615818 .html ) et ses éventuels biais.
Cependant, le fonctionnement de la plupart des algorithmes qu'il utilise reste secret. Outre VioGén, un autre exemple est BOSCO, qui réglemente l'accès à l'aide sociale pour payer l'électricité aux utilisateurs en situation de vulnérabilité. Dans cette affaire, le gouvernement poursuit la fondation Civio pro-transparence après [avoir refusé de donner accès à son code source](https://civio.es/novedades/2022/02/10/la-justicia-impide-la- apertura-du-code-source-de-l-application-qui-accorde-le-bonus-social/) après une résolution du Conseil de la transparence qui l'a exhorté à en révéler les détails.