Incidentes Asociados
En 2014, Carmelita Colvin vivía al norte de Detroit y tomaba clases en una universidad local cuando recibió una carta de la Agencia de Seguro de Desempleo de Michigan. La carta decía que había cometido fraude de desempleo y que debía más de $13,000 en pagos de beneficios y multas. La reacción de Colvin, recordó, fue: “Esto tiene que ser imposible. Simplemente no lo creo”. Había cobrado beneficios de desempleo en 2013 después de que la empresa de limpieza para la que trabajaba la dejara ir, pero había sido elegible. No podía entender por qué estaba siendo acusada de fraude. Lo que Colvin no se dio cuenta en ese momento fue que miles de personas en todo el estado estaban experimentando lo mismo. La agencia había introducido un nuevo programa informático, el Sistema Automatizado de Datos Integrados de Michigan, o MiDAS, no solo para detectar el fraude, sino también para acusar automáticamente a las personas por tergiversación y exigir el reembolso. Si bien la agencia aún no ha publicado detalles sobre el algoritmo, las demandas colectivas alegan que el sistema buscó conjuntos de datos de desempleo y utilizó suposiciones defectuosas para señalar a las personas por fraude, como diferir a un empleador que dijo que un empleado había renunciado y, por lo tanto, estaba inelegibles para los beneficios, cuando en realidad fueron despedidos. Durante un período de dos años, la agencia cobró a más de 40.000 personas, facturándoles unas cinco veces los beneficios originales, que incluían pagos y multas del 400 por ciento más intereses. En medio de protestas posteriores, la agencia realizó una auditoría parcial y admitió que el 93 por ciento de los cambios habían sido erróneos; sin embargo, la agencia ya había tomado millones de personas y no los había pagado durante años. Hasta el momento, la agencia no ha hecho declaraciones públicas explicando qué salió mal exactamente. (Lynda Robinson, una representante de la agencia, rechazó la solicitud de entrevista de Undark por correo electrónico y escribió: "No podemos comentar debido a un litigio pendiente"). El uso de sistemas automatizados por parte del gobierno está aumentando en muchos dominios, desde la justicia penal y la atención médica hasta la evaluación de maestros. a la contratación laboral. Pero las personas que usan los algoritmos no siempre entienden cómo funcionan, y las funciones son aún más confusas para el público. “Este tipo de herramientas se pueden usar para informar el juicio humano, pero nunca deberían reemplazar a los seres humanos”, dijo Frank Pasquale, profesor de derecho en la Universidad de Maryland que estudia la responsabilidad en el uso de estos algoritmos opacos. Uno de los grandes peligros, dijo, es que los sistemas no otorgan a las personas los derechos al debido proceso. Si el gobierno "utiliza un algoritmo, debe haber total transparencia", agregó, tanto en la forma en que funciona el software como en los datos que utiliza, "para las personas afectadas, como mínimo". En casos como el de Michigan, los sistemas automatizados defectuosos castigan a las personas a quienes se supone que las agencias deben ayudar, dijo Michele Gilman, profesora de derecho de la Universidad de Baltimore que dirige una clínica legal que representa a clientes con casos de beneficios públicos. Ella señaló otros ejemplos, incluidos algoritmos adoptados en estados como Arkansas e Idaho que las agencias utilizaron para recortar los beneficios de Medicaid, a veces erróneamente. Y los problemas se extienden más allá de los Estados Unidos: en 2019, un tribunal holandés [encontró](https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-system-violates-human-rights-dutch -dictamen de la corte) que un algoritmo utilizado para detectar el fraude de asistencia social violaba los derechos humanos y ordenó al gobierno que dejara de usarlo. En Michigan, mientras que la agencia dice que reembolsó $21 millones, los abogados en las demandas colectivas argumentan que esto no representa todos los daños. Personas como Colvin sufrieron daños a largo plazo: muchos salieron con crédito dañado y perdieron oportunidades de trabajo y hogares. Más de mil se declararon en bancarrota. Casi la mitad de los estados de EE. UU. han modernizado la infraestructura de software y tecnología de la información para sus sistemas de seguro de desempleo. En muchos casos, estas actualizaciones son cruciales para mantener los sistemas funcionando sin problemas y muchas realmente ayudan a los reclamantes a solicitar beneficios más fácilmente. Pero este no siempre es el caso: en Florida, por ejemplo, el nuevo sistema adoptado hace unos cinco años lo hizo mucho [más difícil] (https://www.nytimes.com/2014/01/11/us/floridas-site -said-to-delay-millions-in-aid-to-jobless.html)) para que las personas presenten su solicitud. Gilman y otros investigadores con los que habló Undark también están preocupados de que en los próximos años, los estados puedan adoptar algoritmos que conduzcan a problemas similares a los de Michigan, particularmente si eliminan la revisión humana de los cargos de fraude, en violación de los requisitos del debido proceso federal. Con un aumento sin precedentes en las solicitudes de desempleo durante la pandemia de Covid-19 (más de 40 millones de estadounidenses han presentado solicitudes desde mediados de marzo), los problemas podrían amplificarse. El sistema automatizado en Michigan es “un caso de estudio en todas las formas en que un algoritmo puede fallar”, agregó Gilman. “Los ciudadanos no deberían ser los conejillos de indias al probar si los sistemas funcionan”. El sistema automatizado de Michigan apareció justo después de la Gran Recesión de 2007 a 2009, cuando la industria automotriz y otras industrias manufactureras fueron [golpeadas](http://www.npc.umich.edu/publications/policy_briefs/brief30/NPC%20Policy%20Brief %20-%2030.pdf) duro y los trabajadores solicitaron prestaciones por desempleo a tasas elevadas. Dichos beneficios están destinados a ayudar a quienes han perdido un trabajo sin culpa propia, y están financiados por fondos federales y estatales. impuestos sobre la nómina. Los beneficios suelen durar 26 semanas, aunque el gobierno federal cubre [beneficios extendidos](https://www.epi.org/publication/how-low-can-we-go-state-unemployment-insurance-programs-exclude-record- número-de-trabajadores-desempleados/) durante las recesiones económicas, incluida la crisis actual de Covid-19. En marzo de 2011, Rick Snyder, el gobernador republicano recién elegido de Michigan, firmó un [proyecto de ley] (http://www.legislature.mi.gov/documents/2011-2012/publicact/pdf/2011-PA-0014.pdf ) acortar las prestaciones estatales de desempleo de 26 a 20 semanas. El proyecto de ley también asignó fondos para software para detectar el fraude de desempleo. La agencia de desempleo del estado contrató a tres empresas privadas para desarrollar MiDAS, así como software adicional. El nuevo sistema tenía la intención de reemplazar uno que tenía 30 años y consolidar los datos y las funciones que antes se distribuían en varias plataformas, según la autonominación de la agencia en 2013 para un [premio] (https://web.archive.org /web/20150401113325/http:/www.nascio.org/awards/nominations2014/2014/2014MI7-NASCIO%20Nomination%20-%20Michigan%20Integrated%20Data%20Automated%20System%20(MiDAS)%20&%20Unemployment%20Insurance% 20Modernization%20Project3.pdf) con la Asociación Nacional de Oficiales Principales de Información del Estado. El contrato para construir el sistema fue por más de $47 millones. Al mismo tiempo que la actualización, la agencia también despidió a cientos de empleados que anteriormente investigó las denuncias de fraude. Si bien el proceso exacto de MiDAS no es público, las entrevistas con los abogados y los documentos judiciales de las demandas colectivas brindan algo de contexto. Parte del sistema buscó registros de empleadores y solicitantes en su base de datos, luego marcó a las personas por posible fraude de desempleo. Luego, MiDAS envió cuestionarios a un buzón electrónico en el sitio web de beneficios que los destinatarios pueden no haber tenido motivos para monitorear, les dio 10 días para responder y luego les envió una carta informándoles que habían sido acusados de fraude. Después de un período de apelación de 30 días, el sistema comenzó a embargar salarios y reembolsos de impuestos. La agencia reconoció más tarde que en la mayoría de los casos entre 2013 y 2015, el sistema funcionó de principio a fin sin ninguna revisión humana. El uso de sistemas automatizados de toma de decisiones para detectar el fraude es un problema porque hay mucho en juego, dijo Julia Simon-Mishel, abogada de Asistencia Legal de Filadelfia que formó parte del comité asesor para la modernización de los beneficios de compensación por desempleo de Pensilvania durante los últimos dos años. Los sistemas automatizados no siempre recopilan información clave ni permiten "un intercambio que exigen las [directrices federales] (https://oui.doleta.gov/dmstree/uipl/uipl2k16/uipl_0116.pdf), en términos de las conversaciones que los estados necesitan tener con un empleador y un trabajador”, dijo. “Si solo está utilizando análisis para marcar automáticamente el fraude sin nada más, tiene un problema de basura que entra, basura que sale”, agregó. “¿Quién sabe si los datos que está utilizando para construir su análisis predictivo son correctos?” Algunos de los datos incorrectos provienen de errores de aplicación simples e involuntarios. Las solicitudes de beneficios públicos a menudo son complicadas, dijo Gilman, quien las llamó “el código tributario para los pobres”. Debido a esta complejidad, la mayoría de los sobrepagos se deben a que el empleado o el empleador cometieron un error en un formulario, dijo Gilman. Pero, agregó, “un error no es un fraude intencional”. En octubre de 2013, MiDAS comenzó a señalar a las personas por fraude. Poco después, los abogados de todo el estado recibieron una avalancha de llamadas de personas que estaban desconcertadas por los presuntos cargos de fraude. Aquellos que no podían pagar un abogado enfrentaron otro obstáculo: en ese momento, Michigan no extendió el derecho a representación legal gratuita a los acusados. fraude de desempleo (El estado amplió este derecho a través de la legislación en 2017). Algunas recurrieron a organizaciones sin fines de lucro, incluida la Clínica de Seguro de Desempleo de la Facultad de Derecho de la Universidad de Michigan (rebautizada como Clínica de Derechos de los Trabajadores en 2019) y el Centro de Derecho Maurice y Jane Sugar para Economic and Social Justice, una organización de defensa legal sin fines de lucro en Detroit. Anthony Paris, abogado del Sugar Law Center, le dijo a Undark que él y sus colegas ayudaron a cientos de clientes acusados de fraude entre 2013 y 2015, incluido Colvin. Con el tiempo, el equipo legal logró comprender la fuente del aumento de los cargos por fraude: el nuevo sistema informático había buscado en la base de datos de desempleo desde hace seis años y marcó a las personas por fraude según reglas propensas a errores. Una regla llevó a la agencia a acusar incorrectamente a las personas de trabajar mientras reclamaban beneficios de desempleo. Aquí, el sistema asumió, como se describe en una demanda colectiva federal presentada en 2015 por Sugar Law Center y otros , que los ingresos declarados de una parte del año se obtuvieron realmente durante un período más largo. Por ejemplo, un demandante llamado Kevin Grifka había reportado $9,407.13 en ganancias en 2015 antes de que lo despidieran a principios de febrero de ese año y reclamara beneficios de desempleo. Más tarde, la agencia afirmó que había ganado $723,62 cada semana durante todo el primer trimestre del año, incluido el período en el que dijo que estaba desempleado. Como describe la demanda, esto se basó en dividir sus ingresos antes de ser despedido por las 13 semanas de todo el trimestre, y se utilizó el mismo cálculo erróneo para cobrar a otros demandantes. El sistema también acusó automáticamente a las personas de fraude intencional cuando su historia no coincidía con la de su empleador. En lugar de asignar a un miembro del personal para investigar las discrepancias entre lo que informaron el empleador y el empleado, dijo Paris, el sistema fue programado “para asumir automáticamente que el empleador tenía razón”. Esto es lo que condujo al cargo de fraude de Colvin, según documentos judiciales revisados por Undark. El empleador de Colvin informó que ella había renunciado. Colvin dijo que su empleador le había dicho que fue suspendida del trabajo debido a un problema informado en una casa que ella y otro empleado limpiaron. Colvin nunca recibió respuesta y asumió que la habían despedido. A fines de 2019, cuando Paris representó a Colvin en una audiencia judicial, se llamó a su empleador para que testificara. La empleadora reconoció que había basado su suposición de que Colvin había renunciado en relatos de segunda mano de otros dos trabajadores. El caso de Colvin destacó otro problema con MiDAS: fue diseñado con poca atención al derecho al debido proceso. Es un problema común en los sistemas automatizados, dijo Jason Schultz, profesor de derecho en la Universidad de Nueva York e investigador legal y de políticas para el Instituto AI Now de la escuela. “Aunque los sistemas afirman notificar a las personas, por lo general solo les notifican el resultado final”, agregó. “Normalmente no les dan ninguna información sobre cómo entender realmente lo que sucedió, por qué se tomó una decisión, cuál es la evidencia en su contra, cuál fue el fundamento, cuáles fueron los criterios y cómo arreglar las cosas si están mal. equivocado." Aunque MiDAS tenía varios pasos para la notificación, los formularios eran confusos, lo que llevó a algunas personas inocentes a autoincriminarse, según Steve Gray, entonces director de la clínica de la Universidad de Michigan, quien describió el problema en una [carta] en coautoría (http ://www.uiafraudclassaction.com/wp-content/uploads/2017/08/bauserman-u-of-m-memo-to-dol-1.pdf) al Departamento de Trabajo. Además, muchas personas nunca recibieron los mensajes. El primero, el cuestionario, apareció en una cuenta en línea que la mayoría de las personas solo consultaban cuando recibían beneficios. Y cuando llegó la segunda notificación por carta, muchas personas se habían mudado a una nueva dirección, según un [informe] de 2016 (https://adgen.michigan.gov/finalpdfs/15_16/r641031814.pdf) del auditor de Michigan general. Brian Russell, un electricista de Zealand, Michigan, solo se enteró de su presunto fraude después de que el estado tomó $11,000 de su reembolso de impuestos de 2015. Visitó una oficina de la agencia estatal de desempleo y se sorprendió al saber que aceptarían aún más: “Me estaban cobrando $22,000 y no tenía idea de lo que estaba pasando”. Russell dijo que hizo todo lo que se le ocurrió para averiguar por qué le estaban cobrando: visitó la oficina de desempleo más cercana y llamó a la agencia “probablemente cientos de veces”, pero el sistema telefónico estaba sobrecargado. Esperaba durante horas en espera. (El [informe] del auditor estatal (https://audgen.michigan.gov/finalpdfs/15_16/r641031814.pdf) encontró que de las más de 260,000 llamadas realizadas a la línea durante el horario comercial en un período de un mes en 2014, alrededor de 90 por ciento quedó sin respuesta). Una vez que Russell finalmente consiguió una persona en la línea, dijo que le dijeron que había perdido el período de 30 días para apelar. Russell finalmente obtuvo representación de la clínica de derecho de la Universidad de Michigan, que apeló su caso ante un juez de derecho administrativo. Un juez desestimó el cargo de Russell y la agencia devolvió la mayor parte del dinero. (Russell dijo que todavía le deben unos $1,500). Pero mientras tanto, dijo que tuvo que declararse en bancarrota, lo que afectó su puntaje crediticio. Y como no tenía dinero para las necesidades básicas, tuvo que renunciar a algunos de sus tratamientos para la diabetes y mudarse al sótano de un amigo. Si bien Michigan es un caso sorprendente de un sistema automatizado que funciona mal, no es la única área en la que los gobiernos utilizan sistemas de inteligencia artificial para la toma de decisiones. Dichos sistemas se utilizan en [justicia penal] (https://undark.org/2018/09/26/a-calculating-look-at-criminal-justice/), [vigilancia] (https://www.theatlantic. com/politics/archive/2019/09/do-algorithms-have-place-policing/596851/), [servicios de protección infantil](https://undark.org/2018/09/20/new-algorithms-perpetuate- old-biases-in-child-welfare-cases/), la asignación [beneficios de atención médica] (https://themarkup.org/ask-the-markup/2020/03/03/healthcare-algorithms-robot-medicine) , profesor evaluaciones y más. En muchos casos, los gobiernos están contratando empresas privadas para construir estos sistemas, dijo Pasquale, y dado que las empresas quieren proteger su propiedad intelectual, a veces ocultan detalles de cómo funcionan los productos. “La protección del secreto comercial es un problema real, porque ni siquiera puedes entender cuáles son los problemas”, dijo. En los últimos años, los legisladores, académicos y defensores, incluso en organizaciones como [the AI Now Institute] (https://ainowinstitute.org/) en NYU y Georgetown Law's [Center on Privacy and Technology] (https:/ /www.law.georgetown.edu/privacy-technology-center/), han explorado diferentes formas en que los gobiernos podrían construir sistemas automatizados mejores y más responsables. Las agencias también deben comprender las limitaciones de un sistema en particular antes de implementarlo, dijo Julia Stoyanovich, profesora asistente de informática en la NYU. “Creo que la gente en el gobierno simplemente piensa que la IA es mágica de alguna manera”, dijo, lo que puede generar grandes problemas cuando los sistemas automatizados no funcionan tan bien en la realidad. Schultz estuvo de acuerdo y agregó que cuando los empleados del gobierno no tienen los antecedentes o los recursos para evaluar las afirmaciones hechas por las empresas privadas, "simplemente les venderán aceite de serpiente". Los defensores e investigadores también están presionando para que los gobiernos soliciten orientación antes de implementar un nuevo sistema, tanto de expertos como de personas a las que se dirigirán las nuevas herramientas. En 2018, AI Now Institute publicó un marco para este proceso, del cual Schultz es coautor. La idea es que los gobiernos deben pensar en los pasos para los algoritmos antes de implementarlos, dijo Schultz, haciendo preguntas como: “¿Este sistema realmente hace lo que dice que va a hacer? ¿Va a tener un impacto en la sociedad de una manera que realmente ayude y no perjudique?”. Los autores también sugirieron que la evaluación debería ser publicada y abierta para comentarios públicos. Otro modelo de rendición de cuentas es la designación de un organismo de supervisión para auditar los algoritmos. A principios de 2020, los abogados en las demandas colectivas de Michigan llamadas para la creación de un grupo de trabajo para supervisar todos los algoritmos y sistemas automatizados implementados por el gobierno estatal. Otros estados y ciudades han formado grupos de trabajo similares. Stoyanovich, que sirvió en uno formado en la ciudad de Nueva York, dijo que pensaba que era un paso importante. Pero también fue muy criticado: los investigadores del AI Now Institute y otras organizaciones, por ejemplo, criticaron el esfuerzo por no involucrar adecuadamente a la comunidad en general. . Y aunque los organismos de supervisión podrían ser importantes, dijo Pasquale, necesitan tener “dientes reales” para lograr una aplicación significativa. Pero una de las preguntas más importantes es si y cuándo usar algoritmos para comenzar, particularmente para herramientas que podrían erosionar rápidamente la privacidad y las libertades civiles como [el reconocimiento facial] (https://www.perpetuallineup.org/). “No creo que ningún gobierno tenga que adoptar ninguno de estos sistemas”, dijo Schultz. “Creo que gastar millones de dólares en un sistema no probado que no tiene responsabilidad ni forma de garantizar que funcione es una muy, muy mala idea cuando no es necesario”. En 2016, en medio de una avalancha de [negativos](https://www.freep.com/story/news/local/michigan/2016/04/28/ruling-awaited-class-action-suit-against- ui-agency/83605436/) medios [atención](https://fox17online.com/2016/03 /11/fear-of-filing-state-seized-millions-in-tax-returns-for-alleged-unemployment-fraud/) — El congresista de Michigan Sander Levin [empujado](https://web.archive.org/web /20161228002444/http://levin.house.gov/sites/levin.house.gov/files/documents/Governor%20Snyder%20Letter%20MiDAS.pdf) la agencia para realizar una auditoría interna de los aproximadamente 60,000 cargos de fraude en el dos años anteriores. La agencia respondió con una auditoría parcial, revisó 22 000 de los cargos de fraude de MiDAS y [determina](https://web.archive.org/web/20161222171838/http://levin.house.gov/press-release/state% E2%80%99s-automated-fraud-system-wrong-93-reviewed-unemployment-cases-2013-2105) que casi todos estaban equivocados. (La agencia también revisó otro conjunto de cargos de fraude hechos con algún nivel de revisión humana; mientras que la tasa de error seguía siendo alta, del 44 %, el sistema automatizado tenía más del doble de esa tasa). Para 2017, como parte de un [acuerdo](https://www.bwlawonline.com/wp -content/uploads/2017/02/Zynda-ORD-2017-02-02-Robo-Fraud-Settlement-and-Dismissal.pdf) de una demanda colectiva, la agencia acordó que no usaría el sistema automatizado sin humanos revisión (y aclaró que en realidad detuvo la práctica a fines de 2015). La agencia también acordó revisar y anular los cargos erróneos restantes que había emitido entre 2013 y 2015, y luego informó que había [revertido] (https://www.fox17online.com/2017/08/11/michigan-reverses- 70-percent-of-fraud-cases-to-refund-21m) alrededor de dos tercios de las determinaciones de fraude y había reembolsado $21 millones. También en 2017, los [legisladores] estatales (https://www.house.mi.gov/sessiondocs/2017-2018/testimony/Committee437-10-26-2017-3.pdf) aprobaron una ley para evitar que ocurra un desastre de este tipo. sucediendo nuevamente a través de mejoras en las notificaciones de cargos por fraude y multas reducidas. Y en 2019, en un movimiento que varios abogados describieron a Undark como un paso en una dirección positiva, la gobernadora de Michigan, Gretchen Whitmer, nombró a Gray, exjefe de la clínica de derecho del seguro de desempleo en la Facultad de Derecho de la Universidad de Michigan, como director de la agencia. En los documentos judiciales disponibles, que incluyen declaraciones del personal de la agencia y de las tres empresas, ninguna de las personas involucradas en la fabricación o aprobación del sistema automatizado admite responsabilidad (como confirmaron los abogados de los demandantes). Si bien los casos en curso eventualmente revelarán más detalles, incluido el descubrimiento que involucra más de un millón de documentos, como correos electrónicos internos de la agencia, la demanda tardará mucho en llegar a los tribunales, dijo Paris. Mientras tanto, para algunas personas que fueron acusadas falsamente de fraude, la lucha continúa. Además de la demanda colectiva demandas, en marzo de 2020, el actual director de la Clínica de Derechos de los Trabajadores de la Facultad de Derecho de la Universidad de Michigan testificó al Comité de Supervisión del Senado estatal que cree que cerca de 20,000 de los acusados por MiDAS todavía están siendo perseguidos activamente y se les embarga el salario. Para Colvin, no fue hasta principios de 2020, casi seis años después de haber sido acusada, que un juez administrativo finalmente desestimó su caso. En medio de ese tramo, en 2017, Colvin completó su licenciatura en justicia penal, se sumó a un título de asociado anterior en fotografía forense y solicitó un trabajo en la oficina del alguacil del condado. Pronto recibió una llamada para informarle que no la contratarían debido al cargo de fraude y su deuda pendiente con el estado. Hoy, Colvin dijo que está trabajando como guardia de seguridad para mantenerse a sí misma y a su hija. Tiene 32 años y se pregunta si fue una pérdida de tiempo obtener dos títulos en justicia penal. “No puedo conseguir el trabajo que quería”, dijo, “porque sugirieron que era una criminal”.