Incidentes Asociados
Los abogados del Ministerio del Interior nos escribieron ayer para responder al desafío legal en el que hemos estado trabajando con el [Consejo Conjunto para el Bienestar de los Inmigrantes (JCWI)] (https://www.jcwi.org.uk/).
Le pedíamos a la Corte que declarara ilegal el algoritmo de transmisión y ordenara detener su uso para evaluar las solicitudes de visa.
Antes de que se pudiera escuchar el caso, el Ministerio del Interior cedió. Acordaron que a partir de este viernes 7 de agosto se desharán del 'algoritmo de transmisión'.
La ministra del Interior, Priti Patel, se comprometió a realizar una revisión completa del sistema, incluidos los problemas de "sesgo inconsciente" y discriminación.
Esto marca el final de un sistema informático que se había utilizado durante años para procesar todas las solicitudes de visa para el Reino Unido. Es una gran noticia, porque el algoritmo arraigó el racismo y el sesgo en el sistema de visas.
El Ministerio del Interior mantuvo una lista secreta de nacionalidades sospechosas a las que automáticamente se les asignó una puntuación de riesgo de semáforo en "rojo": era probable que a las personas de estas nacionalidades se les negara una visa. Se había puesto tan mal que las organizaciones académicas y sin fines de lucro nos dijeron ya ni siquiera intentaron que colegas de ciertos países visitaran el Reino Unido para trabajar con ellos.
También descubrimos que el algoritmo sufría problemas de "bucle de retroalimentación" que se sabe que afectan a muchos de estos sistemas automatizados, donde el sesgo y la discriminación pasados, introducidos en un programa de computadora, refuerzan el sesgo y la discriminación futuros. Los investigadores documentaron este problema con los sistemas policiales predictivos en los EE. UU. y nos dimos cuenta de que el mismo problema se había deslizado aquí
También es una gran noticia porque esta fue la primera revisión judicial exitosa de un sistema algorítmico de toma de decisiones del gobierno del Reino Unido.
Cada vez más departamentos gubernamentales están hablando del potencial del uso del aprendizaje automático y la inteligencia artificial para ayudar en las decisiones. No se equivoque: aquí es donde se dirige el gobierno, desde su consejo local hasta el Número 10.
Pero en este momento hay una alarmante falta de transparencia sobre dónde se utilizan estas herramientas y una falta aún más alarmante de garantías para evitar que el software sesgado e injusto arruine la vida de las personas.
Ha habido cierta discusión sobre la corrección de algoritmos sesgados, pero no hay suficiente debate sobre darle al público una voz sobre si quieren gobierno por algoritmo en primer lugar. En Foxglove, creemos en la democracia, no en una tecnocracia opaca e irresponsable.
Foxglove existe para desafiar tales abusos de la tecnología. Es una apuesta segura que esta no será la última vez que tendremos que desafiar un algoritmo del gobierno en los tribunales.