Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1593

Incidentes Asociados

Incidente 1867 Reportes
Algorithm Assessing Risk Faced by Victims of Gender Violence Misclassified Low-Risk Cases, Allegedly Leading to Homicide of Women and Children in Spain

AI: Decodificado: el algoritmo defectuoso de abuso doméstico de España - Se calienta el debate sobre la prohibición - Hacer que la policía rinda cuentas
politico.eu · 2022

Algoritmo español deja indiferentes a las víctimas de violencia doméstica: Durante los últimos 15 años, España ha estado utilizando un sistema algorítmico llamado VioGén para ayudar a la policía a evaluar el riesgo que enfrentan las mujeres cuando presentan denuncias de abuso. Pero el sistema tiene graves fallas que llevan a que el riesgo de las mujeres sea clasificado demasiado bajo y sin la respuesta adecuada de las autoridades, según un nuevo informe de Eticas Consulting, una empresa de auditoría algorítmica, y la Fundación Ana Bella, una organización que lucha contra la violencia de género. .

Conoce VioGén: Lanzado en 2007, el sistema fue creado por el Ministerio del Interior español. El “Sistema de Seguimiento Integral en Casos de Violencia de Género” (Sistema VioGén) es una aplicación web diseñada para ayudar a las autoridades a coordinar acciones para proteger a las mujeres y sus hijos de la violencia de género. La idea era estandarizar un conjunto de preguntas que las autoridades hacen a las mujeres cuando presentan una denuncia oficial en un esfuerzo por tratarlas de manera justa y ofrecerles un mejor trato.

Cómo funciona: VioGén utiliza modelos estadísticos clásicos para realizar una evaluación de riesgo y ofrece a las mujeres una puntuación de riesgo, que determina cuánta ayuda recibirán.

Aquí es donde sale todo mal: “Pudimos ver en los medios que de vez en cuando hay una mujer que fue asesinada y su riesgo de VioGén se había clasificado bajo”, dijo Gemma Galdon-Clavell, directora ejecutiva de Eticas Consulting. Su auditoría encontró que en 2021, solo 1 de cada 7 mujeres que acudieron a la policía en busca de protección recibió ayuda, y solo una pequeña minoría de mujeres recibió una puntuación de riesgo de "medio" o superior, lo que las calificaría para protección policial. “Si no tiene hijos, puede obtener un puntaje de riesgo más bajo, lo cual también es preocupante”, agregó Galdon-Clavell.

Una barra alta: la proporción de mujeres que denuncian a sus parejas por abuso es probablemente solo la punta del iceberg de todos los casos de abuso doméstico y violencia de pareja íntima. Las mujeres se arriesgan mucho al acudir a las autoridades y, a menudo, lo hacen en situaciones de extrema coacción. “Estaba temblando, no encontraba las palabras para explicar años de abuso, burla, desprecio y desprecio por parte de él, no fue fácil y el policía que me tomó declaración no estaba capacitado para tratar con una persona que había sufrido violencia de género”, dijo una mujer que participó en la auditoría de Eticas.

El cuestionario VioGén fue una experiencia desconcertante. “Estaba totalmente perdido en estos cuestionarios entre los nervios y el llanto. No había nadie conmigo para explicar los cuestionarios. El policía me dio el papel y me dejó sola y de vez en cuando venía a presionarme para que terminara rápido”, dijo la mujer.

Escenario de ‘Pesadilla’: “Es como un mal sueño. Una pesadilla. Y hasta el día de hoy no recuerdo esas preguntas, solo recuerdo que me sentía muy mal y desprotegida. Ni siquiera sabía que había un puntaje”, dijo otra mujer que participó en la auditoría.

Los humanos no están al tanto: la auditoría de Etica encontró que VioGén no es muy transparente y tiene muy poca supervisión o responsabilidad humana. En el 95 por ciento de los casos, los agentes de policía se apegaron a la puntuación de riesgo que ofrecía el sistema.

Bandera roja de aprendizaje automático: el ministerio ha dicho que está considerando introducir el aprendizaje automático en VioGén. Esta es una gran bandera roja para Galdon-Clavell. “Está bastante claro que la supervisión humana no está funcionando”, dijo. El uso del aprendizaje automático llevaría a que los patrones de discriminación “empeoren aún más sin ningún tipo de supervisión”, agregó.

El Ministerio del Interior responde: El sistema de evaluación de riesgos “se basa en el estudio de 600.000 casos reales y ha sido objeto de un proceso constante y permanente de evaluación y mejora desde 2007, con la colaboración de universidades y centros de estudio de reconocido prestigio académico”. dijo un portavoz del Ministerio del Interior español. El informe de Eticas “carece de rigor académico al basar su estudio y sus conclusiones en un universo estadístico insignificante de tan solo 31 entrevistas frente a los más de cinco millones de valoraciones de riesgo realizadas desde 2007”, prosigue.

Cómo arreglar el sistema: Involucrar a las mujeres en el proceso y explicar cómo funciona el sistema sería un buen comienzo. Las mujeres que usaron el sistema dijeron a Decoded que les hubiera gustado el apoyo de un especialista en violencia de género, psicólogos o médicos. “Dar seguridad a la víctima. Dar empatía. No juzgues. Sé amable y solidario”, dijo una segunda mujer. Lea más de mí aquí.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • a9df9cf