Incidentes Asociados
Tal vez el mes que viene, esas más de 34.000 personas acusadas injustamente de fraude por desempleo en Michigan desde octubre de 2013 hasta septiembre de 2015 finalmente sepan que recibirán una remuneración bien merecida por el duro trato que les dio el Sistema Automatizado de Datos Integrados de Michigan (MiDAS). Los legisladores de Michigan han prometido pedir al menos 30 millones de dólares estadounidenses en compensación para los acusados falsamente.
Esto es miserable, teniendo en cuenta la cantidad de personas que experimentaron un trauma personal punitivo, contrataron abogados para defenderse, vieron su crédito y reputación arruinados, se declararon en quiebra, tuvieron sus casas embargadas o se quedaron sin hogar. Una suma cercana a los $100 millones, como algunos defienden probablemente esté justificada.
El fiasco es demasiado conocido: una agencia gubernamental quiere reemplazar un sistema de TI heredado para ganar eficiencia operativa y de costos, pero, por desgracia, el esfuerzo sale terriblemente mal debido a una mala gestión de riesgos.
Esta vez, fue la Agencia de Seguro de Desempleo de Michigan (UIA) la que quería reemplazar un sistema mainframe de 30 años de antigüedad que ejecutaba COBOL. Los objetivos del nuevo sistema eran triples y razonables. Primero, garantizar que los cheques de desempleo se destinaran solo a las personas que los merecían. Segundo, aumentar la eficiencia y la capacidad de respuesta de la UIA a las solicitudes de desempleo. Y tercero, a través de esas ganancias de eficiencia, reducir los costos operativos de la UIA eliminando más de 400 trabajadores, o aproximadamente un tercio del personal de la agencia. Después de gastar $ 44,400,558 y 26 meses en el esfuerzo, la UIA lanzó MiDAS, y pronto lo proclamó un gran éxito [PDF], cumpliendo con el presupuesto y a tiempo, y descubriendo solicitudes de desempleo fraudulentas que anteriormente no se habían presentado.
Encontrando fraudes falsos
Poco después de que se pusiera en funcionamiento MiDAS, el número de personas sospechosas de fraude por desempleo se quintuplicó en comparación con el número promedio detectado utilizando el sistema anterior [PDF]. El fraude recién descubierto y las multas impuestas generaron enormes cantidades de dinero para la UIA, aumentando sus arcas de alrededor de $3 millones a más de $69 millones en poco más de un año.
Una revisión encontró que MiDAS resolvió, solo mediante algoritmos, 40.195 casos de fraude, y el 85 por ciento de ellos resultaron en determinaciones de fraude incorrectas.
La ganancia inesperada de dinero se debió en parte a las duras sanciones impuestas a los acusados, como la imposición de una multa del 400 por ciento sobre el monto reclamado por fraude [PDF], la más alta del país.
Además, una vez que se corroboraba una reclamación, el estado podía ir inmediatamente a buscar los salarios de una persona y los reembolsos de impuestos federales y estatales sobre la renta, y hacer una derivación penal si no se recibían los pagos.
Mientras la UIA se felicitaba a sí misma por un trabajo bien hecho, los abogados y defensores del desempleo notaron un gran aumento en las apelaciones por parte de los acusados de fraude. En un caso tras otro, las acusaciones de fraude fueron posteriormente desestimadas en apelación. Al investigar más a fondo, los abogados y defensores descubrieron que MiDAS estaba generando algorítmicamente una gran cantidad de acusaciones de fraude, sin que fuera posible la intervención humana ni la revisión de la acusación, como lo exigía el sistema anterior.
Además, los avisos de fraude generados por MiDAS a los que los solicitantes tenían que responder estaban diseñados de tal manera que casi garantizaban que alguien admitiera el fraude sin darse cuenta. MiDAS también acusó a algunas personas de fraude a pesar de que nunca habían recibido ningún subsidio por desempleo. Además, MiDAS aparentemente basaba algunos de sus hallazgos en datos faltantes o corruptos. En efecto, MiDAS se construyó sobre la suposición de que cualquiera que reclamara el seguro de desempleo estaba tratando de defraudar a la UIA, y que dependía de los solicitantes demostrar lo contrario.
Todos los fallos de MiDAS son demasiado numerosos para repetirlos aquí; Le sugiero que lea las excelentes historias publicadas, como estas (aquí y aquí) del Detroit MetroTimes y aquí del Center of Michigan para obtener más detalles y enlaces a otros artículos que lo dejarán sacudiendo la cabeza con incredulidad ante la insensibilidad demostrada por la UIA.
Lo que también es inexcusable es que, aunque el 64 por ciento de los reclamos por fraude estaban en proceso de revisión o anulación en apelaciones en el tribunal administrativo, la UIA defendió obstinadamente a MiDAS (y todo el "dinero excedente" que estaba generando para cubrir el gasto estatal) contra [advertencias internas de que algo estaba Error con la forma en que MiDAS determinaba el fraude. Sin embargo, la protesta pública y política finalmente obligó a la UIA a admitir que tal vez sí había un problema significativo con MiDAS, especialmente su proceso de “adjudicación robótica” y la falta de revisión humana. La UIA decidió dejar de usar MiDAS para la evaluación de fraude puramente automatizada en septiembre de 2015, después de la presión del gobierno federal y la presentación de una demanda federal contra la agencia ese mismo mes.
La demanda federal contra el estado concluyó en enero de 2017 y la UIA finalmente se disculpó por las falsas reclamaciones de fraude por desempleo. Una revisión exhaustiva descubrió que, de octubre de 2013 a septiembre de 2015, MiDAS resolvió (solo mediante algoritmos) 40 195 casos de fraude, de los cuales el 85 por ciento resultó en determinaciones de fraude incorrectas. Otros 22 589 casos en los que hubo algún nivel de interacción humana en una determinación de fraude arrojaron una tasa de reclamaciones falsas por fraude del 44 por ciento, lo que fue una “mejora”, pero aún así un resultado increíblemente pobre. Curiosamente, aunque no resulta sorprendente, la UIA se ha negado obstinadamente a explicar exactamente por qué MiDAS fracasó de forma tan espectacular o por qué ignoró todas las señales de advertencia tempranas de que algo iba radicalmente mal.
Si bien la UIA dice que simpatiza con aquellos a quienes acusó falsamente de fraude y que supuestamente ha devuelto todas las multas que había cobrado, la UIA también ha luchado enérgicamente contra la demanda colectiva interpuesta en su contra por los daños personales y financieros que esas acusaciones falsas crearon. La UIA elogió enérgicamente un fallo de un tribunal de apelaciones estatal en julio de 2017 que desestimó la demanda porque los acusados injustamente no cumplieron con el plazo para presentar sus reclamos de compensación.
Dado que la UIA obstaculizó todos los intentos de descubrir la profundidad, la amplitud y las razones detrás de las acusaciones fraudulentas de fraude, el fallo puede ser legalmente correcto, pero es moralmente ridículo. El fallo, que está siendo apelado ante la Corte Suprema de Michigan, avergonzó tanto a los legisladores y al gobernador del estado que aceptaron cambios en la ley de desempleo del estado y, al menos, en principio, la creación de un fondo de compensación para las víctimas de MiDAS. Veremos el próximo mes si realmente se crea uno.
Michigan no está solo
El fiasco de MiDAS no es el único caso en el que se ha utilizado la adjudicación robótica para buscar un posible fraude en las prestaciones. Está vigente en Australia, donde el programa gubernamental Centrelink [https://en.wikipedia.org/wiki/Centrelink] implementó un enfoque similar en 2016 con resultados similares. Decenas de miles de beneficiarios de beneficios han recibido cartas de Centrelink indicando que tienen que demostrar que no han solicitado beneficios que no merecían, y más del 20 por ciento recibieron los avisos por error o con montos de deuda significativamente superiores a lo que realmente debían. El gobierno australiano ha insistido desde el principio en que el sistema automatizado Centrelink funciona como está previsto, que según al menos un informe, funciona mal por diseño como una forma de reducir los costos operativos, si no de generar dinero que legalmente no se debe. Cuando un grupo parlamentario recomendó que se detuviera el proceso de adjudicación robótica, el gobierno se negó a recibir noticias al respecto.
A medida que los algoritmos toman más decisiones, es imperativo que los afectados puedan comprender y cuestionar cómo se toman estas decisiones.
En un artículo reflexivo del juez de la Corte Suprema de California Mariano-Florentino Cuéllar llamado “Cyberdelegation and the Administrative State”, señala que un problema real con las decisiones burocráticas tomadas puramente por algoritmos es la vacilación de los supervisores humanos para cuestionar los resultados generados por el algoritmo. El juez Cuéllar cita el caso de la implementación por parte de la Administración de Veteranos de los EE. UU. de un sistema automatizado de calificación de discapacidad para reducir el papeleo y los costos de personal y aumentar la productividad que sobreestimó significativamente los beneficios por discapacidad que los veteranos deberían haber recibido en comparación con lo que un evaluador humano habría aprobado. De hecho, de 1,4 millones de evaluaciones de calificación realizadas mediante algoritmos, solo el 2 por ciento fueron posteriormente anuladas. La misma vacilación a la hora de ver algo malo en las decisiones automatizadas se produjo tanto con MiDAS como con Centrelink.
A medida que los algoritmos toman cada vez más decisiones en el sistema de justicia penal, en las contrataciones corporativas y gubernamentales, en la aprobación de créditos y similares, es imperativo que los afectados puedan comprender y cuestionar cómo se toman esas decisiones. Es de esperar que la Iniciativa Global IEEE sobre Ética de Sistemas Autónomos e Inteligentes ayude a garantizar que los riesgos de los sistemas de toma de decisiones automatizada no se pasen por alto en la búsqueda de sus beneficios, que potencialmente pueden ser inmensos. No creo que ninguno de nosotros quisiera terminar en el mismo tipo de proceso de arbitraje automático y de pesadilla como lamentablemente sufrieron quienes se vieron envueltos en la situación de MiDAS.
Esta publicación se actualizó el 16 de febrero de 2018 para brindar cifras actuales y aclarar el porcentaje de reclamos anulados. Una versión abreviada aparece en la edición impresa de marzo de 2018 con el título “Abastecimiento automático y denuncias de fraude falsas”.