Incidentes Asociados
El Banco Mundial está incentivando cada vez más a los países a desarrollar tecnologías que puedan encontrar y clasificar a las personas en situación de pobreza para que puedan recibir transferencias de efectivo y programas de asistencia social, según un [informe](https://www.hrw.org/report/ 2023/06/13/automated-neglect/how-world-banks-push-allocate-cash-assistance-using-algorithms#_ftn102) por Human Rights Watch. Pero se descubrió que un algoritmo utilizado por un gobierno jordano, que clasificó a los hogares en 57 factores socioeconómicos para distribuir fondos del Banco Mundial, era inexacto y sesgado, dice el informe.
Un programa de transferencia de efectivo para hogares de bajos ingresos en Jordania, llamado Takaful, utiliza un algoritmo para rastrear indicadores como la propiedad, la propiedad de automóviles y empresas, el número de miembros en un hogar y el consumo de electricidad y agua para evaluar qué familias califican para recibir asistencia. El programa, lanzado por el Fondo Nacional de Ayuda (NAF) en Jordania en 2019, fue responsable de la asignación de aproximadamente mil millones de dólares proporcionados por el Banco Mundial y cuenta con 220.000 familias inscritas como beneficiarias. Human Rights Watch, una organización sin fines de lucro que defiende e investiga los derechos humanos, descubrió que el algoritmo no tuvo en cuenta las complejidades económicas que enfrentan los jordanos que se encuentran por debajo del umbral de la pobreza, lo que llevó a que algunas personas en extrema necesidad fueran excluidas.
El investigador principal Amos Toh, cuyo equipo realizó 70 entrevistas con familias y dueños de negocios en Jordania desde fines de 2021, dice que algunos factores tomaron en cuenta las realidades sociales del país. Por ejemplo, debido a que las mujeres constituyen una pequeña parte de la fuerza laboral jordana, los hogares encabezados por una mujer tenían más probabilidades de calificar para el programa. Pero otros indicadores que influyen en el algoritmo, como la propiedad de activos y el consumo de electricidad, no son medidas apropiadas de pobreza y pueden hacer que el programa parezca una “lotería”, dice.
“Estos indicadores y medidas rígidos que componen el algoritmo conducen a una pérdida de matices y no pueden capturar lo que está pasando una familia en un momento dado”. Amos Toh, investigador de Human Rights Watch
El estudio encontró que algunas familias que fueron descalificadas habían heredado propiedades recientemente pero no tenían los medios económicos para llegar a fin de mes. El algoritmo excluyó automáticamente a otros solicitantes que tenían un automóvil que tenía menos de cinco años o un negocio que valía más de $ 4300, incluso si el propietario del automóvil no podía pagar la gasolina o el negocio estaba en quiebra.
Mariam, una mujer que vive con su familia fuera de la ciudad y necesita un automóvil para ir al trabajo y transportar agua, fue eliminada del programa Takaful en 2022, según su entrevista con Human Rights Watch. Ella dice que tener un automóvil, que es uno de los criterios incluidos en el algoritmo, afectó sus posibilidades de obtener ayuda financiera. “El automóvil nos destruyó”, dijo a Human Right Watch.
Jordania no es el primer país cuyo gobierno ha utilizado un algoritmo para tomar decisiones cruciales sobre la vida de las personas. Se descubrió que un algoritmo utilizado por Rotterdam que clasificaba a las personas que recibían beneficios sociales en función de su riesgo de fraude era sesgado y defectuoso. [Predicción de delitos](https://themarkup.org/prediction-bias/2021/12/02/crime-prediction-software-promised-to-be-free-of-biases-new-data-shows-it-perpetuates -them) el software utilizado por los departamentos de policía en los EE. UU. se ha encontrado repetidamente que tiene prejuicios raciales y es problemático. En 2016, australiano El gobierno utilizó un sistema automatizado para calcular el sobrepago y emitir avisos de deuda a los beneficiarios de asistencia social que acusaron erróneamente a unas 400.000 personas.
“Cuando estuvimos en Jordania y entrevistamos a personas, no dejaban de hablar sobre cómo el algoritmo les está privando de apoyo”, dijo Toh a Forbes. "Estos indicadores y medidas rígidos que componen el algoritmo conducen a una pérdida de matices y no pueden capturar lo que está pasando cualquier familia que solicita en un momento dado".
El algoritmo fue desarrollado por el Fondo Nacional de Ayuda, una agencia de protección social en Jordania. Obtiene el 80 por ciento de los datos de la solicitud del Registro Nacional Unificado, una base de datos de información de los solicitantes que incluye sus ingresos, empleo y educación. El Banco Mundial otorgó un préstamo de USD 2,5 millones para crear el registro con el ayuda de un contratista externo llamado Optimiza. También conocida como Al-Faris National Investment Company, Optimiza es un proveedor de software y consultoría tecnológica con sede en Amman que procesa los datos y administra la base de datos. La compañía, que dijo que la NAF era un cliente, se negó a comentar.
“El coche nos destrozó”. Mariam, solicitante del programa Takaful
Toh dice que las inexactitudes e inconsistencias inducidas por humanos en la compilación de datos podrían afectar la clasificación de las personas en el algoritmo. Los datos recopilados de encuestas y ejercicios de registro masivo a menudo se realizan con poca frecuencia y en áreas limitadas, según el estudio. Otro defecto del programa era que no aceptaba solicitudes en las que los gastos de una persona superaban en un 20 % sus ingresos. Para evitarlo, los solicitantes tenían que inflar arbitrariamente sus ingresos o reducir sus gastos, dice Toh.
En una [respuesta] detallada (https://www.hrw.org/sites/default/files/media_2023/06/thr_jordan0623%20annex%202.pdf) a Human Rights Watch, el Fondo Nacional de Ayuda dijo que cada uno de los 57 Los indicadores tenían cierto peso y los indicadores se desarrollaron con base en el concepto de “pobreza multidimensional”. NAF dijo que realizó visitas domiciliarias para verificar los datos recopilados en el formulario y que tiene un proceso de quejas y apelaciones para los ciudadanos. El Banco Mundial dijo en respuesta que la focalización a través de algoritmos y fórmulas es una “herramienta efectiva… para aprovechar al máximo el espacio fiscal limitado” y reducir la pobreza.
El Banco Mundial también ha otorgado préstamos para proyectos similares para actualizar tecnologías y bases de datos en otros siete países de la región, incluidos Egipto, Irak, Líbano, Marruecos, Yemen y Túnez. HRW descubrió que el Banco Mundial prestó $ 100 millones a Túnez para desarrollar e integrar [aprendizaje automático] (https://documents1.worldbank.org/curated/en/831811560823331664/pdf/Tunisia-GovTech-Digital-Transformation-for-User -Centric-Public-Services-Project.pdf) y un modelo de IA dirigido al registro social del país para detectar fraudes y mejorar el cumplimiento.
“Al final del día, el algoritmo genera una clasificación cruda de la pobreza de las personas que esencialmente enfrenta las necesidades de apoyo de un hogar con las de otro y genera tensión social”, dice Toh.