Incidentes Asociados
Presentamos los resultados de 7 meses de trabajo de Eticas y Fundación Ana Bella con los datos disponibles y las mujeres afectadas y otros stakeholders. Como se mencionó anteriormente, es parte de un proyecto de auditoría externa más amplio donde Eticas, en colaboración con otras organizaciones de la sociedad civil, realiza ingeniería inversa y evalúa el impacto de los algoritmos en diferentes campos. Con este proyecto de Auditoría Externa, nuestro objetivo es desarrollar herramientas metodológicas para auditar externamente los sistemas automatizados de evaluación de riesgos en ausencia de acceso al código, entrada, salida y datos administrativos para proporcionar herramientas metodológicas a las organizaciones comunitarias para auditar externamente algoritmos con impacto social y defensa. para el cambio de política. De esta manera, buscamos apoyar los movimientos de auditoría algorítmica de abajo hacia arriba realizados por organizaciones de terceros y grupos de usuarios finales.
Cuando comenzamos la auditoría externa de VioGén, teníamos preocupaciones sobre la transparencia, la supervisión independiente, la responsabilidad, la participación del usuario final y la transición a ML. Después de realizar la auditoría, podemos confirmar que:
VioGén no es transparente. No pudimos acceder a ningún dato o información del sistema más allá de lo producido por los expertos involucrados en la definición del sistema. Ni los auditores externos ni los grupos de mujeres tienen ningún tipo de acceso a los datos de VioGén. Para un sistema de alto impacto financiado con fondos públicos como VioGén, esto es inaceptable.
VioGén no ha sido evaluado ni auditado de forma independiente. Los recursos disponibles públicamente y las encuestas sobre la validez y conveniencia de VioGén han sido realizados por personas que trabajan para el ministerio y las fuerzas policiales o tienen intereses creados en ellos. Los auditores o investigadores externos no tienen un camino oficial o público para acceder a los datos, y el acceso parece ser proporcionado por el Ministerio a su discreción.
VioGén no se hace responsable. Si bien el Ministerio del Interior ve a VioGén como un sistema de recomendación, las altas tasas de aceptación prima facie de los resultados algorítmicos (95 %) apuntan a un sistema automatizado, que debe someterse a un mayor escrutinio según el Régimen Jurídico de la Función Pública. .
VioGén no involucra a los usuarios finales. En nuestro trabajo de campo hemos encontrado que las mujeres y las organizaciones de mujeres nunca han sido abordadas sobre el sistema, ni en su fase de diseño ni posteriormente durante las diferentes decisiones sobre cómo alterar el sistema VioGén. Además, hemos encontrado que el 80% de las mujeres que han utilizado el sistema tienen comentarios negativos al respecto. No están informados de lo que hace o cómo funciona, lo que genera desconfianza.
La transición de VioGén a ML plantea nuevas preguntas. Aunque la literatura explora el proceso de transición a una versión ML para VioGén, la naturaleza y el alcance de la colaboración entre SAS y el ministerio no se han revelado públicamente. Si bien la falta de un debate público y abierto sobre este proceso sería en sí mismo preocupante, el hecho de que la evolución técnica del sistema se esté desvinculando de la investigación y la supervisión de vanguardia seguramente generará más problemas.
El proceso de auditoría también nos ha permitido ir más allá de nuestras preocupaciones iniciales para identificar nuevos temas que merecen atención.
En primer lugar, queremos destacar que a través de esta auditoría hemos comprobado que el sistema VioGén adapta la agrupación de evaluaciones de riesgo a los recursos disponibles. Esto significa que el sistema solo da la cantidad de puntajes de riesgo “extremo” que puede permitirse, por lo que los recortes de fondos tienen un impacto directo y cuantificable en las posibilidades de que las mujeres reciban protección efectiva después de buscar protección policial. Como el número de casos de VioGén crece cada año, hay más mujeres que reciben protección policial. Mientras que en 2015 unas 3.000 mujeres recibieron protección policial -con puntajes de riesgo medio, alto y extremo-, en 2021 esta cifra ascendió a casi 9.000 mujeres. Sin embargo, todavía existe una gran brecha entre las mujeres que reciben protección policial sobre las que no, a pesar de denunciar el caso de violencia de género a la policía. En términos de calibración, nos preocupa la cantidad de casos que el sistema VioGén “descarta” al otorgarles una puntuación de riesgo “no apreciada”. Tal y como está diseñado actualmente, la puntuación de riesgo otorgada por VioGén no sólo está determinada por los hechos objetivos que pretende descubrir el cuestionario, sino también por la distribución global de los casos de violencia de género, que está determinada por los recursos disponibles. Por lo tanto, en 2021, solo 1 de cada 7 mujeres que se acercaron a la policía en busca de protección la recibieron.
Esto es aún más grave si tenemos en cuenta las barreras que hemos identificado para acceder a VioGén, que son una de las razones por las que solo el 21,7% de las mujeres víctimas de violencia doméstica buscan protección. Estas cifras hacen que solo el 3% de las mujeres víctimas de violencia de género reciban una calificación de riesgo “medio” o superior y, por tanto, protección policial efectiva.
En segundo lugar, hemos identificado que no tener hijos tiene un impacto negativo significativo en cómo se perciben los casos de riesgo extremo. Nuestro análisis de datos muestra que a las mujeres que fueron asesinadas por sus parejas y que no tenían hijos se les asignó sistemáticamente puntajes de riesgo más bajos que a las que sí los tuvieron, con una diferencia de recuerdo entre los grupos del 44 %.
También nos gustaría cuestionar la representatividad del valor AUC de la escala H que afirman los investigadores principales de VioGén. Si bien es cierto que con los datos disponibles la escala H es capaz de identificar casos de riesgo extremo que pueden derivar en homicidio, el hecho de que solo 1 de cada 4 casos de homicidio ocurra después de un informe policial previo indica cómo la mayoría de las víctimas de homicidio permanecen desprotegidos, incluso con el despliegue de VPR5.0-H. Esto significa que, aunque VioGén ahora está mejor equipado para identificar ciertos casos de riesgo extremo, la mayoría de los casos de homicidio seguirán sin resolverse.
En cuarto lugar, hemos observado que VioGén es, en la práctica, un sistema automatizado con supervisión humana mínima e inconsistente. Los policías solo aumentan el riesgo observado en un 5% de los casos, cifra que desciende cuando se sienten sobrecargados de trabajo. Esto es muy problemático, ya que una implementación no responsable de la supervisión humana ("humano en el circuito") puede conducir a problemas de explicabilidad y transparencia. Si los agentes de policía no tienen instrucciones claras sobre cuándo y cómo intervenir, su función puede volver a introducir sesgos en el sistema y las mujeres pueden recibir diferentes puntajes según quién presente su caso. La evaluación del papel de la supervisión humana a lo largo del tiempo debe ser parte de cualquier esfuerzo de auditoría y transparencia.
Si bien nuestra muestra no es representativa de la población más amplia de víctimas y abogados y, por lo tanto, nuestros hallazgos no son generalizables, nuestro trabajo de campo plantea preguntas importantes que deben estudiarse de manera más sistemática e, idealmente, abordarse a nivel institucional.