Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1403

Incidentes Asociados

Incidente 1001 Reporte
How French welfare services are creating ‘robo-debt’

Loading...
Cómo los servicios de asistencia social franceses están creando 'robo-deuda'
algorithmwatch.org · 2021

Vivo solo y, como muchos de mi generación, soy parte del precariado. Como tal, recibo varios beneficios sociales. La oficina de asistencia social paga parte de mi alquiler y me da un estipendio mensual, que asciende a unos 500€ al mes. He estado trabajando como empleado desde 2007 y, además, me registré como trabajador independiente en 2020. Nunca tuve ningún problema con la oficina de asistencia social. Normalmente les envío una declaración cada trimestre. Sé que mi caso puede ser revisado, ya sea por los servicios sociales o por las autoridades fiscales.

El 17 de marzo de 2021, la oficina de asistencia social me envía un correo electrónico solicitando nueva información, a raíz de la última reforma en las prestaciones sociales. Aunque tengo que enviar documentos de un año sobre mis ingresos, cumplo con la solicitud. Les envío los documentos así como una explicación escrita de mi situación.

Al día siguiente, recibo dos correos electrónicos, pidiéndome que presente, nuevamente, los mismos documentos. Además, la oficina de asistencia social me dice que les debo 542 euros y que la cantidad se descontará automáticamente de mis próximos pagos, por una suma de 60 euros cada mes. No es el tipo de cantidad que puedo permitirme gastar. A pesar de mi sorpresa y, seamos honestos, de mi rabia, me doy cuenta de lo que salió mal. La oficina de asistencia social solo tuvo en cuenta mi condición de trabajador independiente e ignoró mi trabajo asalariado. Esto cambia la forma en que se calculan mis beneficios, en detrimento mío. Le explico el error a la oficina de asistencia social en un correo electrónico y reservo una cita telefónica con mi asistente social para el 26 de marzo.

Unas horas más tarde, alguien de la oficina de asistencia social deja un mensaje en mi buzón. Ella dice que leyó mi correo electrónico, canceló mi deuda y cerró el problema. Me sentí aliviado después de esta montaña rusa emocional, pero quería saber cómo pudo ocurrir tal error.

Durante mi reunión telefónica el 26 de marzo, mi asistente social confirma que "el software" analizó mi archivo automáticamente, usando "parámetros". Mi caso aparentemente se volvió “demasiado complejo” cuando les informé que comencé a trabajar como autónomo. Se restableció por completo, de ahí el correo electrónico que me pide que cargue los documentos de un año.

A pesar de las respuestas de mi asistente social, todavía no puedo entender por qué el software solo tuvo en cuenta mi actividad como trabajador independiente. Más aún porque envié todos los documentos necesarios según lo requerido. Mi deuda fue notificada tan pronto como el algoritmo encontró un error en mi archivo. La máquina amenaza primero, los humanos verifican después. Solo el correo electrónico que envié le informó a la oficina de asistencia social sobre su error. Sus herramientas automatizadas me pusieron en una posición difícil en primer lugar.

La oficina de asistencia social ofrece explicaciones, más o menos, en su sitio web. Bajo el título “corrección de los hechos”, una página publicada en septiembre de 2020 dice que los controles en realidad benefician a los beneficiarios de la asistencia social. Utilizan "controles automatizados", así como "un modelo estadístico conocido como 'datamining' (sic), que se dirige automáticamente a los casos de riesgo". A pesar de la jerga oscura, es difícil para cualquier laico entender lo que significan. La página también dice que “puede evitar incurrir en deudas con la oficina de asistencia social declarando siempre cualquier cambio en su situación sin demora”. Excepto que en mi caso, fui notificado de mi deuda precisamente porque hice eso.

Las oficinas de bienestar, que están a cargo de las regiones francesas, han estado utilizando la minería de datos desde 2012. El método es responsable de tres de cada cuatro controles. El beneficio más controlado en 2021 es el que ayuda a los beneficiarios a pagar el alquiler, que recibo.

Hablé con Vincent Dubois, un sociólogo de la Universidad de Estrasburgo que recientemente publicó un libro sobre el tema, “Controlling Welfare Queens” (Contrôler les assistés). “Técnicamente, los controles que se basan en la minería de datos no utilizan características sociales sino 'factores de riesgo'. No identifican individuos o grupos específicos, sino casos”, dijo. “Tal focalización no es socialmente neutral. Los factores de riesgo no se distribuyen al azar entre la población, sino solo porque los criterios y el proceso de atribución varían según los beneficios, y los beneficiarios son social y económicamente diferentes”. Aunque no tiene pruebas definitivas, el Sr. Dubois cree que las mujeres, especialmente las solteras como yo, se consideran de "mayor riesgo". Otros factores de riesgo incluyen vivir en el extranjero o no informar sobre un nuevo trabajo, según la oficina de asistencia social.

La política de privacidad de la oficina de bienestar establece que la autoridad francesa de protección de datos controla regularmente cómo maneja los datos personales. Pero según el artículo 22 del Reglamento General de Protección de Datos, queda prohibido cualquier tratamiento automatizado que tenga ‘impacto jurídico’. La ley francesa va más allá y establece que cualquier decisión algorítmica es nula si no se menciona claramente al destinatario el hecho de que se tomó automáticamente. No hace falta decir que el correo electrónico de la oficina de asistencia social notificando mi deuda no mencionaba ningún proceso automatizado. La autoridad francesa de protección de datos se negó a responder a mis preguntas.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd