Incidentes Asociados
Los defensores de la justicia algorítmica han comenzado a ver sus proverbiales "días en la corte" con investigaciones legales de empresas como [UHG] (https://www.wsj.com/articles/new-york-regulator-probes-unitedhealth-algorithm-for -racial-bias-11572087601) y [Apple Card](https://techcrunch.com/2021/03/23/new-yorks-department-of-financial-services-says-apple-card-program-didnt-violate -fair-lending-laws/#:~:text=The%20New%20York%20State%20Department,complaints%20back%20in%20November%202019.). El caso de la Apple Card es un claro ejemplo de cómo las leyes antidiscriminatorias actuales no alcanzan el ritmo vertiginoso de la investigación científica en el campo emergente de la equidad cuantificable.
Si bien puede ser cierto que Apple y sus suscriptores fueron declarados inocentes de violaciones de préstamos justos, el fallo vino con advertencias claras que deberían ser una señal de advertencia para las empresas que utilizan el aprendizaje automático dentro de cualquier espacio regulado. A menos que los ejecutivos comiencen a tomar [más en serio] la justicia algorítmica (https://www.pewresearch.org/internet/2021/06/16/experts-doubt-ethical-ai-design-will-be-broadly-adopted-as- la-norma-dentro-de-la-próxima-década/), sus días venideros estarán llenos de desafíos legales y daños a la reputación.
¿Qué pasó con la Apple Card?
A finales de 2019, el líder de una startup y celebridad de las redes sociales, David Heinemeier Hansson, planteó un tema importante en Twitter, con mucha fanfarria y aplausos. Con casi 50.000 me gusta y retuits, le pidió a Apple y a su socio asegurador, Goldman Sachs, que explicaran por qué a él y a su esposa, que comparten la misma capacidad financiera, se les otorgarían límites de crédito diferentes. Para muchos en el campo de la equidad algorítmica, fue un momento decisivo ver que los temas que defendemos se generalizaron, culminando en [una consulta] (https://www.nytimes.com/2019/11/10/business/Apple- credit-card-investigation.html) del Departamento de Servicios Financieros (DFS) de Nueva York.
A primera vista, puede parecer alentador para los suscriptores de crédito que el DFS concluyó en marzo que el algoritmo de suscripción de Goldman no violó las estrictas reglas de acceso financiero creadas [en 1974] (https://en.wikipedia.org/wiki/Equal_Credit_Opportunity_Act) para proteger a las mujeres y las minorías de la discriminación crediticia. Si bien fue decepcionante para los activistas, este resultado no sorprendió a quienes trabajamos en estrecha colaboración con equipos de datos en finanzas.
Existen algunas aplicaciones algorítmicas para instituciones financieras en las que los riesgos de la experimentación superan con creces cualquier beneficio, y la suscripción de créditos es una de ellas. Podríamos haber predicho que Goldman sería declarado inocente, porque las leyes de equidad en los préstamos (si están desactualizadas) son claras y [se aplican estrictamente] (https://www.nytimes.com/2020/10/07/business/citigroup- fine-risk-management.html).
Y, sin embargo, no tengo ninguna duda de que el algoritmo de Goldman/Apple discrimina, junto con todos los demás algoritmos de calificación crediticia y suscripción en el mercado actual. Tampoco dudo que estos algoritmos se vendrían abajo si los investigadores alguna vez tuvieran acceso a los modelos y datos que necesitaríamos para validar esta afirmación. Lo sé porque [NY DFS publicó parcialmente] (https://www.dfs.ny.gov/system/files/documents/2021/03/rpt_202103_apple_card_investigation.pdf) su metodología para examinar el algoritmo Goldman, y como podría esperar, su auditoría estuvo muy por debajo de los estándares que tienen los auditores de algoritmos modernos en la actualidad.
¿Cómo evaluó el DFS (según la ley actual) la imparcialidad de Apple Card?
Para probar que el algoritmo de Apple era "justo", el DFS consideró primero si Goldman había utilizado "características prohibidas" de los posibles solicitantes, como el género o el estado civil. Este fue fácil de aprobar para Goldman: no incluyen la raza, el género o el estado civil como datos de entrada para el modelo. Sin embargo, sabemos desde hace años que algunas características del modelo pueden actuar como “proxies” para clases protegidas.
Si es afroamericano, mujer y está embarazada, por ejemplo, su probabilidad de obtener crédito puede ser menor que el promedio de los resultados entre cada categoría protegida general.
La metodología DFS, basada en 50 años de precedentes legales, no mencionó si consideraron esta pregunta, pero podemos suponer que no lo hicieron. Porque si lo hubieran hecho, habrían descubierto rápidamente que [puntaje de crédito] (https://shiftprocessing.com/credit-score/#race) está tan estrechamente relacionado con la raza que algunos estados están considerando prohibir su uso para seguro de accidentes . Las características de proxy solo han entrado en el centro de atención de la investigación recientemente, brindándonos nuestro primer ejemplo de cómo la ciencia ha superado la regulación.
En ausencia de características protegidas, el DFS buscó perfiles de crédito que fueran similares en contenido pero que pertenecieran a personas de diferentes clases protegidas. En cierto sentido impreciso, buscaban averiguar qué pasaría con la decisión crediticia si “cambiáramos” el género en la solicitud. ¿Recibiría el mismo tratamiento una versión femenina del solicitante masculino?
Intuitivamente, esta parece ser una forma de definir "justo". Y lo es: en el campo de la equidad del aprendizaje automático, existe un concepto llamado “prueba de cambio” y es una de muchas medidas de un concepto llamado “justicia individual” que es exactamente lo que parece. Le pregunté a Patrick Hall, científico principal de bnh.ai, una firma de abogados boutique líder en IA, sobre el análisis más común en la investigación de casos de préstamos justos. Refiriéndose a los métodos que DFS usó para auditar Apple Card, lo llamó regresión básica, o "una versión de la década de 1970 de la prueba de inversión", y nos trajo el ejemplo número dos de nuestras leyes insuficientes.
Un nuevo vocabulario para la justicia algorítmica
Desde el artículo seminal de Solon Barocas “Big Data's Disparate Impact” en 2016, los investigadores se han esforzado trabajo para definir los conceptos filosóficos fundamentales en términos matemáticos. Varias conferencias surgieron, con nuevas pistas de equidad emergentes en los eventos de IA más notables. El campo se encuentra en un período de hipercrecimiento, donde la ley aún no ha logrado mantener el ritmo. Pero al igual que sucedió con la industria de la ciberseguridad, este indulto legal ganará. dura para siempre.
Tal vez podamos perdonar al DFS por su auditoría blanda dado que las leyes que rigen los préstamos justos nacieron del movimiento de derechos civiles y no han evolucionado mucho en los más de 50 años desde su creación. Los precedentes legales se establecieron mucho antes de que despegara realmente la investigación sobre la equidad en el aprendizaje automático. Si DFS hubiera estado debidamente equipado para enfrentar el desafío de evaluar la imparcialidad de Apple Card, habría utilizado el [vocabulario sólido] (https://www.frontiersin.org/articles/10.3389/frai.2021.695301/full) para la evaluación algorítmica que floreció en los últimos cinco años.
El informe del DFS, por ejemplo, no menciona la medición de las "cuotas igualadas", una notoria línea de investigación que se hizo famosa por primera vez en 2018 por Joy Buolamwini, Timnit Gebru y Deb Raji. Su artículo “Gender Shades” demostró que los algoritmos de reconocimiento facial se equivocan con más frecuencia en rostros femeninos oscuros que en sujetos con piel más clara, y este razonamiento es válido para muchas aplicaciones de predicción. más allá de la visión artificial.
Las probabilidades igualadas le preguntarían al algoritmo de Apple: ¿Con qué frecuencia predice correctamente la solvencia? ¿Con qué frecuencia adivina mal? ¿Existen disparidades en estas tasas de error entre personas de diferentes géneros, razas o estado de discapacidad? Según Hall, estas medidas son importantes, pero simplemente demasiado nuevas para haber sido codificadas completamente en el sistema legal.
Si resulta que Goldman subestima regularmente a las mujeres solicitantes en el mundo real, o asigna tasas de interés más altas de lo que realmente merecen los solicitantes negros, es fácil ver cómo esto perjudicaría a estas poblaciones desatendidas a escala nacional.
Catch-22 de los servicios financieros
Los auditores modernos saben que los métodos dictados por los precedentes legales no logran captar los matices de manera justa para las combinaciones interseccionales dentro de las categorías minoritarias, un problema que se ve agravado por la complejidad de los modelos de aprendizaje automático. Si es afroamericano, mujer y está embarazada, por ejemplo, su probabilidad de obtener crédito puede ser menor que el promedio de los resultados entre cada categoría protegida general.
Es posible que estos grupos subrepresentados nunca se beneficien de una auditoría holística del sistema sin prestar especial atención a su singularidad, dado que el tamaño de la muestra de las minorías es, por definición, un número más pequeño en el conjunto. Esta es la razón por la que los auditores modernos prefieren enfoques “imparcialidad a través de la conciencia” que nos permiten medir los resultados con un conocimiento explícito de la demografía de los individuos en cada grupo.
Pero hay un Catch-22. En los servicios financieros y otros campos altamente regulados, los auditores a menudo no pueden usar la "equidad a través de la conciencia", porque se les puede impedir recopilar información confidencial desde el principio. El objetivo de esta restricción legal era evitar que los prestamistas discriminaran. En un cruel giro del destino, esto da cobertura a algoritmos discriminación, dándonos nuestro tercer ejemplo de insuficiencia legal.
El hecho de que no podamos recopilar esta información limita nuestra capacidad de averiguar cómo los modelos tratan a los grupos desatendidos. Sin él, es posible que nunca podamos probar lo que sabemos que es cierto en la práctica: las madres a tiempo completo, por ejemplo, tendrán archivos de crédito más delgados, porque no ejecutan todas las compras basadas en crédito bajo el nombre de ambos cónyuges. Es mucho más probable que los grupos minoritarios sean trabajadores ocasionales, empleados que reciben propinas o participen en industrias basadas en efectivo, lo que genera similitudes entre sus perfiles de ingresos que resultan menos comunes para la mayoría.
Es importante destacar que estas diferencias en los archivos de crédito de los solicitantes no se traducen necesariamente en una verdadera responsabilidad financiera o solvencia. Si su objetivo es predecir la solvencia con precisión, querrá saber dónde se descompone el método (por ejemplo, un puntaje de crédito).
Lo que esto significa para las empresas que usan IA
En el ejemplo de Apple, vale la pena mencionar un epílogo esperanzador de la historia en la que Apple realizó una [actualización consecuente](https://techcrunch.com/2021/04/20/apple-announces-apple-card-family-for-spouses- para-construir-crédito-juntos-y-mayores-de-13-para-usarlo-también/) a su política de crédito para combatir la discriminación que está protegida por nuestras leyes anticuadas. En el anuncio del CEO de Apple, Tim Cook, se apresuró a destacar una "falta de equidad en la forma en que la industria [calcula] las calificaciones crediticias".
Su nueva política permite a los cónyuges o padres combinar archivos de crédito de manera que el archivo de crédito más débil pueda beneficiarse del más fuerte. Es un gran ejemplo de una empresa que piensa en los pasos que en realidad pueden reducir la discriminación que existe estructuralmente en nuestro mundo. Al actualizar sus políticas, Apple se adelantó a la regulación que puede surgir como resultado de esta consulta.
Esta es una ventaja estratégica para Apple, porque NY DFS hizo [mención exhaustiva] (https://www.dfs.ny.gov/reports_and_publications/press_releases/pr202103231) de la insuficiencia de las leyes actuales que rigen este espacio, lo que significa que las actualizaciones de la regulación pueden estar más cerca de lo que muchos piensan. Para citar a la Superintendente de Servicios Financieros Linda A. Lacewell: “El uso de la calificación crediticia en su forma actual y las leyes y regulaciones que prohíben la discriminación en los préstamos necesitan ser fortalecidos y modernizados”. En mi propia experiencia trabajando con reguladores, esto es algo que las autoridades de hoy están muy interesadas para explorar.
No tengo dudas de que los reguladores estadounidenses están trabajando para mejorar las leyes que rigen la IA, aprovechando este sólido vocabulario para la igualdad en la automatización y las matemáticas. La Reserva Federal, OCC, CFPB, [FTC](https://www.natlawreview.com/article/ftc-issues-new -guidance-warning-bias-artificial-intelligence-could-create-potential) y [Congreso] (https://www.markey.senate.gov/news/press-releases/senator-markey-rep-matsui-introduce- legislación para combatir los algoritmos dañinos y crear un nuevo régimen de transparencia en línea) están ansiosos por abordar la discriminación algorítmica, incluso si su ritmo es lento.
Mientras tanto, tenemos todas las razones para creer que la [discriminación rampante] algorítmica (https://www.partnershiponai.org/aiincidentdatabase/), en gran parte porque la industria también ha tardado en adoptar el lenguaje académico que los últimos años han traído. Quedan pocas excusas para que las empresas no aprovechen este nuevo campo de equidad y eliminen de raíz la discriminación predictiva que, de alguna manera, está garantizada. Y la UE [está de acuerdo](https://digital-strategy.ec.europa.eu/en/news/europe-fit-digital-age-commission-proposes-new-rules-and-actions-excellence-and-trust -artificial), con proyectos de ley que se aplican específicamente a la IA que se adoptarán en algún momento de los próximos dos años.
El campo de la equidad del aprendizaje automático ha madurado rápidamente, con nuevas técnicas descubiertas cada año y una miríada de [herramientas] (https://techcrunch.com/2020/12/09/arthur-ai-snags-15m-series-a-to- grow-machine-learning-monitoring-tool/) para ayudar. El campo solo ahora está llegando a un punto en el que esto se puede prescribir con cierto grado de [automatización] (https://www.getparity.ai/). Los organismos de normalización han intervenido para brindar orientación para reducir la frecuencia y la gravedad de estos problemas, incluso si la legislación estadounidense tarda en adoptarse.
Porque si la discriminación por algoritmo es intencional, es ilegal. Por lo tanto, cualquier persona que utilice análisis avanzados para aplicaciones relacionadas con la atención médica, la vivienda, la contratación, los servicios financieros, la educación o el gobierno probablemente infrinja estas leyes sin saberlo.
Hasta que haya una guía regulatoria más clara disponible para las innumerables aplicaciones de la IA en situaciones delicadas, la industria debe determinar por sí misma qué definiciones de equidad son las mejores.