Incidentes Asociados
El 15 de enero, el gobierno holandés se vio obligado a dimitir en medio de un escándalo en torno a su plan de prestaciones para el cuidado de los niños. Los sistemas que estaban destinados a detectar el uso indebido del plan de beneficios etiquetaron erróneamente a más de 20 000 padres como estafadores. Más importante aún, una cantidad desproporcionada de los etiquetados como estafadores tenían antecedentes de inmigración.
En medio de la agitación, se prestó poca atención al hecho de que la autoridad fiscal estaba haciendo uso de algoritmos para guiar su toma de decisiones. En un [informe] (https://www.autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/onderzoek_belastingdienst_kinderopvangtoeslag.pdf) de la Autoridad holandesa de protección de datos, quedó claro que se utilizó un algoritmo de "autoaprendizaje". para clasificar los reclamos de beneficios. Su función era saber qué afirmaciones tenían el mayor riesgo de ser falsas. El modelo de clasificación de riesgos sirvió como primer filtro; Luego, los funcionarios examinaron los reclamos con la etiqueta de mayor riesgo. Resulta que ciertos reclamos de padres con doble ciudadanía fueron identificados sistemáticamente por el algoritmo como de alto riesgo, y luego los funcionarios marcaron apresuradamente esos reclamos como fraudulentos.
Es difícil identificar qué llevó al algoritmo a una salida tan sesgada, y ese es precisamente uno de los problemas centrales. Esta publicación de blog argumenta que el escándalo holandés debería servir como una lección de advertencia para las agencias que desean hacer uso de herramientas de aplicación algorítmica y enfatiza la necesidad de estructuras de gobierno dedicadas dentro de dichas agencias para evitar errores.
El problema de la equidad en el aprendizaje automático
El escándalo holandés nos sitúa en el centro del debate crucial sobre la equidad algorítmica (Kleinberg et al., 2018). Como muestra este caso, los errores en la implementación del aprendizaje automático pueden distorsionar la realidad y conducir a resultados injustos. Tales errores, como el llamado 'desequilibrio de clases', un problema común de clasificación de aprendizaje automático (Buda et al., 2018), pueden han sido un factor que llevó al algoritmo de la autoridad a encontrar una mayor distribución de errores en una población minoritaria. En consecuencia, el resultado del algoritmo se volvió sesgado e injusto.
Argumentamos que este concepto puede extenderse fácilmente más allá de este caso específico. El sesgo algorítmico dentro de las agencias podría afectar negativamente a cualquier parte interesada en cualquier sector. Dependiendo de varios aspectos, como la naturaleza de los datos que procesa (Lum, 2017), ciertas partes interesadas podrían verse etiquetadas negativamente, mientras que otros no lo son. El algoritmo de una agencia de competencia, por ejemplo, podría centrarse de manera desproporcionada en las empresas de una región en particular. O los controles de alimentos y seguridad podrían estar dirigidos injustamente a un tipo específico de alimento.
Una herramienta tentadora para los supervisores
A medida que la UE avanza hacia estrategias de aplicación más basadas en el riesgo (Blanc & Faure, 2020), puede resultar atractivo para las agencias utilizar algoritmos para evaluar el riesgo. Este es particularmente el caso en sectores donde el número de casos se beneficiaría de alguna forma de análisis de datos automatizado. Aunque los datos legibles por máquina son un requisito previo para tales herramientas, la mayoría de las agencias tienen una gran cantidad de ellos. El BCE, por ejemplo, ha expresado su interés en las técnicas de aprendizaje automático para hacer que la supervisión más eficiente y proactivo. Ya intentó usar algoritmos para simplificar las evaluaciones de idoneidad de las personas designadas por la junta del banco. A pesar del atractivo, el escándalo de la asistencia social holandesa ha puesto de manifiesto los riesgos de utilizarlos en la aplicación y la necesidad de una estructura de gobierno dedicada.
La necesidad de una estructura de gobierno dedicada
Recientemente, la Comisión Europea [enfocada](https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwj9_tv177TvAhUN_aQKHTegAzUQFjAAegQIARAD&url=https%3A%2F%2Fec.europa .eu%2Finfo%2Fsites%2Finfo%2Ffiles%2Fcommission-white-paper-artificial-intelligence-feb2020_en.pdf&usg=AOvVaw2HftMct7xrQSgoxgQKocnH) sus preocupaciones de IA sobre la protección de los derechos y valores fundamentales. También estableció Directrices éticas para una IA confiable, en las que la equidad (o la ausencia de sesgo) ) es uno de los requisitos clave de los sistemas de IA. El sesgo se describe como "una inclinación de prejuicio hacia o en contra de una persona, objeto o posición". Por lo tanto, la equidad debe garantizar que un modelo basado en el riesgo no afecte de manera desproporcionada a grupos más pequeños de partes interesadas.
Más allá de los grandes rasgos de los compromisos de principios, las agencias deberán idear planes meticulosos para evaluar las operaciones de sus algoritmos de aprendizaje automático. Eliminar el sesgo del algoritmo es una tarea extremadamente difícil ([Hao, 2019](https://www.technologyreview.com/2019/02/04/137602/this-is-how-ai-bias-really-happensand-why- es-tan-difícil-de-arreglar/)) y requiere verdadera experiencia. Como la EBA [nota] (https://www.eba.europa.eu/sites/default/documents/files/document_library/Final%20Report%20on%20Big%20Data%20and%20Advanced%20Analytics.pdf), prevención de sesgos y la detección es un campo de investigación en continua evolución. Idealmente, uno debería asegurarse de que los algoritmos estén libres de sesgos por diseño. A veces, esto solo se puede lograr formulando hipótesis sobre los efectos potenciales del algoritmo (Corbett-Davies & Goel, 2018). Por lo tanto, las agencias deberán ajustar continuamente sus algoritmos, una tarea que puede requerir departamentos dedicados y experiencia.
Las agencias pueden tender a esconderse detrás del hecho de que, en última instancia, los humanos competentes controlan la entrada y salida del algoritmo. Pero es precisamente porque los humanos controlan la entrada y la salida de los algoritmos, que los errores que pueden cometer podrían finalmente transpirar en el algoritmo. El algoritmo holandés fue finalmente entrenado por funcionarios fiscales que, conscientemente o no, pueden haberle "enseñado" al algoritmo el sesgo que ya tenía. Por lo tanto, las agencias no pueden escapar de la diligencia debida simplemente porque el algoritmo se utiliza simplemente como una herramienta de apoyo.
Además, cuanto más complejas son las reglas, más flexibilidad requiere su aplicación. La rigidez de un algoritmo puede ser útil como clasificador, pero no captará todos los matices de las situaciones individuales. Existe un riesgo real de nuevos tipos de falsos positivos y falsos negativos. Un algoritmo puede estimar correctamente el riesgo en un escenario muy específico, pero esto no debería dictar la política de cumplimiento.
Las agencias pueden ser más vulnerables
El BCE [declaró] recientemente (https://www.bankingsupervision.europa.eu/press/publications/newsletter/2019/html/ssm.nl191113_4.en.html) que: “los supervisores siguen siendo responsables de su trabajo, incluso si parte de ella es realizada por una computadora”. Si bien esto parece un postulado razonable, pasa por alto el hecho de que las consecuencias de la aplicación algorítmica no se limitan a la responsabilidad de los supervisores. Es probable que cuanto más se base la aplicación en los algoritmos, más expuesto esté a los riesgos asociados con él.
Desde la perspectiva del diseño de la agencia, la aplicación algorítmica puede reducir significativamente la responsabilidad de las agencias si las juntas directivas no cuentan con la experiencia necesaria. La deferencia a un algoritmo puede debilitar la [responsabilidad interna] de la agencia (https://doi-org.proxy.library.uu.nl/10.1111/1467-9299.00218), al atribuir decisiones a una máquina menos explicable. A la larga, esto podría afectar la efectividad de la aplicación.
El gobierno holandés podría encontrar consuelo en su dimisión política, las agencias se encuentran en una situación más delicada. Aquellos que dependen en gran medida de la legitimidad para fomentar el cumplimiento (Tyler, 2003), podrían ser los más afectados por un error algorítmico al socavar su credibilidad. Dichos errores también podrían hacer añicos las sólidas estrategias de cumplimiento basadas en la disuasión, que dependen de la capacidad de identificar el riesgo con precisión.
La legitimidad también viene acompañada de transparencia, las agencias deben tener claro cuándo usan algoritmos y cómo los usan. Sin embargo, tal transparencia conlleva un riesgo. A medida que las partes interesadas innovan para reducir el costo de la carga regulatoria, los más ingeniosos entre ellos pueden explotar el funcionamiento de los algoritmos de cumplimiento para permanecer bajo el radar.
Un cuento con moraleja
El escándalo de los beneficios holandeses nos enseña una lección sobre los riesgos de la aplicación algorítmica. La diferencia radica en que la autoridad fiscal se dio el lujo de la responsabilidad política, lo que le permitió mitigar las consecuencias a largo plazo del escándalo. Un escándalo algorítmico en una agencia puede ser más propenso a causar un daño duradero a su legitimidad y, por lo tanto, a la efectividad de su aplicación. Por lo tanto, las agencias deben establecer estructuras de gobernanza dedicadas para garantizar que los algoritmos estén libres de sesgos y se utilicen de manera responsable. Una versión filtrada recientemente del [proyecto de reglamento sobre IA] de la Comisión (https://www.politico.eu/article/europe-strict-rules-artificial-intelligence/amp/), que se espera que también se aplique a las agencias de la UE (artículo 2( 2)(d)), puede ser un buen primer paso para guiarlos.