Incidentes Asociados
Resumen
Esta presentación examina las implicaciones para los derechos humanos de la Inteligencia Artificial (IA) y otras tecnologías basadas en datos en los programas de beneficios sociales, como los programas de asistencia alimentaria y en efectivo. A través de una serie de estudios de casos, esta presentación explica cómo los estados delegan funciones clave de bienestar, como la determinación de la elegibilidad y los niveles de beneficios, a modelos automatizados de toma de decisiones, algunos de los cuales se basan en la extracción de datos, el aprendizaje automático y otros procesos o tecnologías típicamente asociados. con el campo de la IA. También evalúa cómo la toma de decisiones automatizada interfiere con los derechos a la privacidad y la seguridad social, y las obligaciones de los Estados de garantizar el ejercicio de estos derechos sin discriminación e injerencia privada indebida.
Detección, Investigación y Castigo del Fraude de Bienestar
Sistema Automatizado de Datos Integrados de Michigan (Michigan, Estados Unidos)
En octubre de 2013, la Agencia de Seguro de Desempleo de Michigan (UIA) lanzó el Sistema Automatizado de Datos Integrados de Michigan (MiDAS) para adjudicar e imponer sanciones por fraude de beneficios de desempleo. Entre octubre de 2013 y agosto de 2015, MiDAS fue programado para tratar automáticamente las diferencias entre las cifras de ingresos reportadas por los beneficiarios y sus empleadores como evidencia de fraude. El sistema no fue capaz de investigar si existen razones legítimas para estas discrepancias, como errores del empleador o disputas salariales. Al igual que OCI, MiDAS tampoco pudo determinar si estas discrepancias son atribuibles a fluctuaciones en los ingresos de un beneficiario.
Con base en sus evaluaciones iniciales, MiDAS envió a los beneficiarios sospechosos de fraude en línea cuestionarios de opción múltiple preguntando si están "proporcionando[d] información falsa intencionalmente para obtener beneficios a los que no tenían derecho[d]" y "\ [por qué... cree que tenía derecho a los beneficios”. La falta de respuesta en diez días, o una respuesta que MiDAS consideró insatisfactoria, desencadenaría automáticamente determinaciones concluyentes de fraude. Con base en estas determinaciones, MiDAS terminaría los beneficios de los beneficiarios afectados e iniciaría procedimientos para embargar sus reembolsos de impuestos o embargar sus salarios.
Posteriormente, la UIA descubrió que, entre octubre de 2013 y agosto de 2015, alrededor de 44 000 de las 62 784 determinaciones de fraude que generó MiDAS fueron erróneas. En una demanda que un grupo de beneficiarios presentó contra UIA, la Corte Federal de Apelaciones de los EE. UU. para la región concluyó que MiDAS “no permitió una adjudicación basada en hechos ni le dio al reclamante la oportunidad de presentar evidencia para probar que él o ella no no incurrir en conducta descalificante”.
A pesar de estas fallas, UIA continúa operando MiDAS. Se ha comprometido a realizar análisis de datos adicionales para detectar los pagos de beneficios que necesitan una "revisión adicional" y para mejorar el proceso de apelación. Sin embargo, no está claro si UIA ha realizado algún cambio en el algoritmo de comparación de datos subyacente o si ha incorporado una revisión humana significativa en las funciones de detección de fraude del sistema.