Nous présentons les résultats de 7 mois de travail d'Eticas et de la Fondation Ana Bella avec les données disponibles et les femmes et autres parties prenantes concernées. Comme mentionné ci-dessus, cela fait partie d'un projet d'audit externe plus large dans lequel Eticas, en collaboration avec d'autres organisations de la société civile, procède à l'ingénierie inverse et évalue l'impact des algorithmes dans différents domaines. Avec ce projet d'audit externe, nous visons à développer des outils méthodologiques pour auditer en externe les systèmes automatisés d'évaluation des risques en l'absence d'accès au code, aux données d'entrée, de sortie et administratives afin de fournir des outils méthodologiques aux organisations communautaires pour l'audit externe des algorithmes à impact social et la promotion pour un changement de politique. De cette manière, nous cherchons à soutenir les mouvements d'audit algorithmique ascendants menés par des organisations tierces et des groupes d'utilisateurs finaux.
Lorsque nous avons lancé l'audit externe de VioGén, nous avions des inquiétudes concernant la transparence, la surveillance indépendante, la responsabilité, l'engagement des utilisateurs finaux et la transition vers le ML. Après avoir effectué l'audit, nous pouvons confirmer que :
VioGén n'est pas transparent. Nous n'avons pu accéder à aucune donnée ou information du système au-delà de ce qui a été produit par les experts impliqués dans la définition du système. Ni les auditeurs externes ni les groupes de femmes n'ont accès aux données VioGén. Pour un système financé par l'État et à fort impact comme VioGén, c'est inacceptable.
VioGén n'a pas été évalué ou audité de manière indépendante. Les ressources et enquêtes accessibles au public concernant la validité et l'opportunité de VioGén ont été menées par des personnes qui travaillent ou ont des intérêts dans le ministère et les forces de police. Les auditeurs externes ou les chercheurs n'ont pas de voie officielle ou publique pour accéder aux données, et l'accès semble être fourni par le ministère à leur discrétion.
VioGén n'est pas responsable. Alors que le ministère de l'Intérieur considère VioGén comme un système de recommandation, les taux élevés d'acceptation prima facie des résultats algorithmiques (95 %) indiquent un système automatisé, qui devrait être soumis à un examen plus approfondi conformément au Régimen Jurídico de la Función Pública .
VioGén n'engage pas les utilisateurs finaux. Dans notre travail de terrain, nous avons constaté que les femmes et les organisations de femmes n'ont jamais été approchées à propos du système, ni dans sa phase de conception ni plus tard lors des différentes décisions sur la manière de modifier le système VioGén. De plus, nous avons constaté que 80 % des femmes qui ont utilisé le système ont des commentaires négatifs à son sujet. Ils ne sont pas informés de ce qu'il fait ou de son fonctionnement, ce qui conduit à la méfiance.
La transition de VioGén vers ML soulève de nouvelles questions. Même si la littérature explore le processus de transition vers une version ML pour VioGén, la nature et l'étendue de la collaboration entre SAS et le ministère n'ont pas été divulguées publiquement. Alors que l'absence d'un débat public et ouvert sur ce processus serait en soi préoccupante, le fait que l'évolution technique du système soit dissociée de la recherche et de la surveillance de pointe ne peut qu'entraîner d'autres problèmes.
Le processus d'audit nous a également permis d'aller au-delà de nos préoccupations initiales pour identifier de nouveaux problèmes qui méritent notre attention.
Tout d'abord, nous tenons à souligner qu'à travers cet audit, nous avons constaté que le système VioGén adapte le regroupement des évaluations des risques aux ressources disponibles. Cela signifie que le système ne donne que le nombre de scores de risque «extrêmes» qu'il peut se permettre, et donc les coupes budgétaires ont un impact direct et quantifiable sur les chances que les femmes reçoivent une protection efficace après avoir demandé la protection de la police. Comme le nombre de cas de VioGén augmente chaque année, de plus en plus de femmes bénéficient d'une protection policière. Alors qu'en 2015, environ 3 000 femmes bénéficiaient d'une protection policière - avec des scores de risque moyens, élevés et extrêmes -, en 2021, ce nombre est passé à près de 9 000 femmes. Pourtant, il existe toujours un grand écart entre les femmes qui bénéficient d'une protection policière et celles qui n'en bénéficient pas, malgré le signalement des cas de violence sexiste à la police. En termes de calibrage, nous sommes préoccupés par le nombre de cas que le système VioGén "écarte" en leur attribuant un score de risque "non apprécié". Tel qu'il est actuellement conçu, le score de risque donné par VioGén n'est pas seulement déterminé par les faits objectifs que le questionnaire vise à mettre au jour, mais également par la répartition globale des cas de violence de genre, qui est déterminée par les ressources disponibles. Par conséquent, en 2021, seule 1 femme sur 7 qui a contacté la police pour obtenir une protection l'a effectivement reçue.
C'est encore plus grave si l'on tient compte des obstacles que nous avons identifiés à l'accès au VioGén, qui sont l'une des raisons pour lesquelles seulement 21,7 % des femmes victimes de violence domestique demandent une protection. Ces chiffres signifient que seulement 3 % des femmes victimes de violence de genre reçoivent un score de risque « moyen » ou supérieur et, par conséquent, une protection policière efficace.
Deuxièmement, nous avons identifié que le fait de ne pas avoir d'enfants a un impact négatif important sur la façon dont les cas à risque extrême sont perçus. Notre analyse des données montre que les femmes qui ont été tuées par leur partenaire et qui n'ont pas eu d'enfants se sont systématiquement vu attribuer des scores de risque plus faibles que celles qui en ont eu, avec une différence de rappel entre les groupes de 44 %.
Nous aimerions également remettre en question la représentativité de la valeur AUC de l'échelle H revendiquée par les chercheurs principaux de VioGén. S'il est vrai qu'avec les données disponibles, l'échelle H est capable d'identifier les cas à risque extrême pouvant conduire à un homicide, le fait que seulement 1 cas d'homicide sur 4 se produise après un rapport de police précédent indique comment la majorité des victimes d'homicide restent non protégés, même avec le déploiement de VPR5.0-H. Cela signifie que même si VioGén est désormais mieux équipé pour identifier certains cas à risque extrême, la plupart des cas d'homicide resteront sans réponse.
Quatrièmement, nous avons observé que VioGén est, en pratique, un système automatisé avec une surveillance humaine minimale et incohérente. Les policiers n'augmentent le risque observé que dans 5 % des cas, un chiffre qui diminue lorsqu'ils se sentent débordés. Ceci est très problématique, car une mise en œuvre non responsable de la surveillance humaine (« humain dans la boucle ») peut entraîner des problèmes d'explicabilité et de transparence. Si les policiers n'ont pas d'instructions claires sur le moment et la manière d'intervenir, leur rôle peut réintroduire des préjugés dans le système, et les femmes peuvent recevoir des scores différents selon la personne qui dépose leur affaire. L'évaluation du rôle de la surveillance humaine dans le temps devrait faire partie de tout effort d'audit et de transparence.
Bien que notre échantillon ne soit pas représentatif de la population plus large de victimes et d'avocats et que nos conclusions ne soient donc pas généralisables, notre travail de terrain soulève des questions importantes qui doivent être étudiées de manière plus systématique et idéalement traitées au niveau institutionnel.