Incidentes Asociados
Hola amigos,
Esta semana, la administración Biden publicó su Blueprint for an AI Bill of Rights, una lista de deseos de principios que “deberían guiar la diseño, uso y despliegue de sistemas automatizados”.
Los principios establecen que los estadounidenses deben:
- Estar protegido de sistemas inseguros o ineficaces.
- No enfrentar discriminación por algoritmos.
- Estar protegido de prácticas abusivas de datos.
- Estar informado cuando se esté utilizando un sistema automatizado.
- Ser capaz de optar por no participar en los sistemas automatizados "cuando corresponda" y tener acceso a un tomador de decisiones humano.
Estos principios, aunque loables, no dicen mucho sobre cómo llegaremos allí. La Casa Blanca no propuso legislación, la creación de una nueva agencia ni ninguna otra medida holística para regular los sistemas automatizados. Emitió una lista de [acciones que están tomando las agencias] (https://www.whitehouse.gov/ostp/news-updates/2022/10/04/fact-sheet-biden-harris-administration-announces-key-actions -para-avanzar-en-la-responsabilidad-tecnológica-y-proteger-los-derechos-del-público-estadounidense/) dentro de sus mandatos actuales, como un esfuerzo del Departamento de Vivienda y Desarrollo Urbano de EE. UU. para establecer [estándares para el hogar algoritmos de valoración] (https://pave.hud.gov/sites/pave.hud.gov/files/documents/PAVEActionPlan.pdf).
Mientras tanto, hay personas que luchan por la responsabilidad algorítmica en todo el mundo sin ninguno de estos derechos que los respalde. Así que pensé que este sería un buen momento para resaltar una de las luchas más espantosas que existen: la historia del sistema automatizado fuera de control que se infligió a la gente de Michigan.
En 2013, Michigan despidió a la mayoría de los humanos que trabajaron para identificar solicitudes de desempleo fraudulentas y, en su lugar, instaló un sistema automatizado para reemplazarlas. Pero resulta que el sistema se equivocó la gran mayoría de las veces que marcó un reclamo como fraudulento. Como resultado, el estado confiscó indebidamente millones de dólares a decenas de miles de personas durante los dos años que estuvo funcionando el sistema.
Estos son los tipos de prácticas inseguras e ineficaces que la Declaración de Derechos de AI busca prevenir. Pero todavía tiene que haber una rendición de cuentas independiente por los errores de Michigan. En 2017, el estado aprobó una ley que exige que la agencia tome determinaciones de fraude manualmente y dijo que reembolsaría $20.8 millones a los residentes que injustamente acusado de fraude. Pero los abogados dicen que ese no es el monto total de los reembolsos adeudados y no tiene en cuenta los daños sufridos por las personas que perdieron sus trabajos, hogares y se declararon en bancarrota como resultado de este sistema.
Para comprender el caso del sistema de detección de fraude deshonesto de Michigan, hablé con Jennifer Lord, abogada de derechos civiles y empleo y socia de Pitt, McGehee, Palmer, Bonanni & Rivers en Michigan, quien ha estado luchando durante siete años para obtener ese dinero. de vuelta a los acusados injustamente. En julio de este año, la Corte Suprema de Michigan finalmente dictaminó que los trabajadores acusados falsamente de fraude de desempleo pueden demandar al estado por [violación de sus derechos constitucionales](https://www.mlive.com/public-interest/2022/07 /workers-falsely-accused-of-unemployment-fraud-can-sue-the-state-michigan-supreme-court-rules.html). Ella y sus colegas ahora están procediendo a un juicio en busca de daños monetarios.
Nuestra conversación, editada para mayor claridad y brevedad, se encuentra a continuación.
Angwin: Empecemos por el principio. ¿Qué es MiDAS y qué sucedió en 2013 cuando Michigan implementó esta tecnología?
Señor: En 2013, nuestra oficina, que se ocupa de las leyes laborales y de derechos civiles, comenzó a recibir un montón de llamadas de nuestros clientes actuales que decían que la [Michigan] Agencia de Seguro de Desempleo les estaba cobrando una cantidad obscena, $10,000 o $25,000, porque supuestamente cometieron fraude cuando solicitaron sus beneficios de desempleo.
Hablamos con otros abogados laborales y de derechos civiles en el estado de Michigan, y todos comenzamos a investigar, y encontramos un comunicado de prensa en el que el estado de Michigan se había nominado a sí mismo para este premio tecnológico por haber implementado este nuevo sistema informático, un sistema de $46 millones llamado MiDAS. MiDAS se encargó de decidir si alguien cometió fraude en relación con su solicitud de beneficios por desempleo. Por ejemplo, si alguien estaba solicitando un seguro de desempleo pero todavía tenía un trabajo, eso sería un fraude y esa persona se metería en problemas. Lo que sucedió aquí es que MiDAS se equivocó el 93 por ciento de las veces, y en alrededor de 40 000 casos encontró fraude incorrectamente.
Angwin: ¿Puedes explicarme qué sucedió exactamente con las personas que fueron acusadas injustamente?
Señor: Digamos que alguien es descalificado de los beneficios de desempleo por fraude. El problema número uno es que la carta de determinación que te envían no dice lo que el estado cree que hiciste. No hay detalles, por lo que no sabe de qué se está defendiendo. Se supone que la persona debe saber lo que hizo mal y luego tiene 30 días para escribir una protesta escrita a mano y, literalmente, enviarla por fax a la agencia. Digamos que se recibe dentro de los 30 días, en un mundo perfecto que irá a un juez de derecho administrativo que luego dictaminará si tiene derecho a los beneficios o no.
El problema es que MiDAS no enviaba copias en papel de estos avisos de determinación de fraude. Estaban enviando pings a un portal electrónico. Para complicar esto, MiDAS realizó una auditoría de seis años para que las personas fueran acusadas de haber cometido fraude en 2015 cuando no habían cobrado beneficios desde 2010 o 2009. Volviendo al problema de las notificaciones en línea: las personas no ingresaban a sus portales. más. Las personas no respondían a estas determinaciones dentro de los 30 días, y luego se volvieron definitivas e inapelables.
Si MiDAS descubriera que cometió un fraude, le devolvería los beneficios que ya recibió y una sanción cuádruple. El gobierno estaba tomando este dinero de las personas de dos maneras: la incautación de los reembolsos de impuestos y el embargo administrativo. MiDAS interactuó con el tesoro estatal y federal, por lo que incautaría los reembolsos de impuestos de las personas para pagar la deuda.
En segundo lugar, el estado usó algo llamado embargo administrativo. Con un embargo tradicional, hay un proceso judicial antes de que se tomen los salarios. Con el embargo administrativo estatal, no hay proceso. Es automático y no está sujeto a revisión judicial. Esto significa que la primera vez que alguien se enteraría de lo que estaba sucediendo es cuando encontró un nuevo trabajo y luego se embargó el 25 por ciento de su nuevo cheque de pago, y el embargo continúa hasta que se pague la deuda.
Angwin: Parece que esto podría ser devastador desde el punto de vista financiero. ¿Puedes hablar sobre cómo esto afectó a las personas?
Señor: Sabemos con certeza que al menos 11,000 familias en el estado de Michigan se declararon en bancarrota. Eso es un daño muy real, y esa familia no podrá obtener una hipoteca, o será a una tasa mucho más alta, o si necesitan alquilar un auto nuevo, tendrán una tasa ridícula.
También se muestra en las verificaciones de antecedentes de las personas. Una mujer que conocí había completado su capacitación para convertirse en oficial de policía en la ciudad de Detroit y luego falló la verificación de antecedentes y no consiguió el trabajo porque MiDAS la había señalado como culpable de fraude.
Angwin: Has estado representando a las personas perjudicadas por MiDAS durante siete años. ¿Puede darnos una descripción general de las acusaciones que presentó contra el estado y lo que ha estado sucediendo?
Señor: Nuestra demanda, [Bauserman contra la Agencia de Seguro de Desempleo](https://www.courts.michigan.gov/4a1c19/siteassets/case-documents/opinions-orders/msc-term-opinions-(manually -curated)/21-22/bauserman-op.pdf), dice que el estado de Michigan violó la constitución de Michigan cuando confiscó la propiedad de las personas sin el debido proceso. Durante los primeros tres años y medio, el problema legal era que en Michigan, si se demanda al estado, existen reglas procesales adicionales con plazos separados. El estado argumentó que no cumplimos con este período de tiempo muy específico, que demandamos demasiado tarde. Esto llegó hasta la Corte Suprema de Michigan, que dictaminó que no demandamos demasiado tarde. Ese fue el problema número uno. El problema número dos, que sorprendentemente nunca se había aclarado en Michigan, era la cuestión de si alguien puede demandar al estado por daños monetarios cuando el estado viola la constitución. Este fallo [acaba de ocurrir en julio](https://www.mlive.com/public-interest/2022/07/workers-falsely-accused-of-unemployment-fraud-can-sue-the-state-michigan-supreme -court-rules.html) y estaba a nuestro favor.
Angwin: Ahora que tiene este fallo de la Corte Suprema de Michigan, ¿cuáles son los próximos pasos y cuánto tiempo tomará?
Señor: La respuesta corta es que tenemos que empezar a descubrir como estábamos listos para hacerlo hace siete años. También tenemos que certificar esta clase; en este momento, representamos a dos personas en nombre de una clase putativa de decenas de miles. Una de las primeras cosas en la agenda será garantizar que representemos oficial y legalmente a todos los que tengan un reclamo.
Dado que se trata de un agravio, argumentaremos por daños consecuentes, por lo que, como mínimo, se devolverá el dinero más intereses, pero también se debe reconocer que esto fue un daño real. Incluso si no se declaró en bancarrota, el estrés de que le digan que debe $ 40,000 o $ 20,000 poco después de que lo despidan de su trabajo, no habrá una fórmula para eso.
Nunca se sabe con los litigios, pero no hay una razón inherente para que esto tome más tiempo que cualquier otro caso. Necesitamos comenzar a hacer que la gente esté bajo juramento y escuchar lo que tienen que decir y lo que recuerdan. Tengo la sensación de que la agencia habrá sabido que esto era un problema casi desde el principio, y lo realmente interesante será descubrir quién sabía qué y cuándo.
Angwin: ¿Qué has aprendido sobre hacer que este tipo de sistema de IA rinda cuentas? ¿Qué se debe hacer en el futuro para prevenir este tipo de eventos y qué podrían querer buscar otros abogados al investigar?
Señor: Me ha sorprendido lo poco que esto preocupa a la mayoría de la gente. No sé si es el hecho de que en Michigan esta historia estaba saliendo al mismo tiempo que la crisis del agua de Flint, así que si estás viendo dos debacles, la del vaso de agua marrón es muy inquietante. MiDAS simplemente no pareció encender la imaginación como pensé que lo haría. ¡El estado de Michigan básicamente estaba robando decenas de millones de dólares a sus ciudadanos!
¿Cómo solucionarlo en el futuro? Una idea es tener un grupo independiente, bien informado e interdisciplinario que investigue la tecnología antes de realizar cualquier compra. Solo puedo imaginar a un vendedor hábil vendiendo la agencia con promesas de eficiencia, reducción de costos y aumento de ganancias. ¿Qué político va a decir que no a eso?
Creo que el problema es que hay algunos trabajos que las computadoras y los algoritmos no pueden y no deben hacer, como determinar si alguien cometió fraude o no. Está mal que le pidamos a la computadora que haga esto por sí misma, sin intervención humana. Una cosa es que una computadora lo marque y luego un humano lo mire más a fondo. Eso no fue lo que pasó porque al mismo tiempo que la Caja de Seguro de Cesantía compró MiDAS, despidió a un tercio de su fuerza laboral, casi toda su unidad de detección de fraude.
El algoritmo alega que estas 40,000 personas defraudaron intencionalmente a la agencia de seguro de desempleo. Creo que un juez o un jurado debería decidir la cuestión de la intención. Al evaluar la credibilidad, no debe hacerse mediante un algoritmo. No creo que una computadora que mira una serie de números sea capaz de determinar la intención.
Como siempre, gracias por leer.
Mejor,
julia angwin