Incidentes Asociados
Desde el exterior, el algoritmo de bienestar de Rotterdam parece complejo. El sistema, que fue desarrollado originalmente por la consultora Accenture antes de que la ciudad se hiciera cargo del desarrollo en 2018, se entrena con los datos recopilados por el departamento de bienestar de Róterdam. Asigna puntajes de riesgo a las personas en función de 315 factores. Algunos son hechos objetivos, como la edad o la identidad de género. Otros, como la apariencia de una persona o cuán extrovertida es, son subjetivos y se basan en el juicio de los trabajadores sociales.
En Hoek van Holland, un pueblo al oeste de Róterdam que es administrativamente parte de la ciudad, Pepita Ceelie está tratando de entender cómo el algoritmo la clasificó como de alto riesgo. Ceelie tiene 61 años, está muy tatuada y luce un rapado rosa brillante. Le gusta hablar inglés y va al grano rápidamente. Durante los últimos 10 años, ha vivido con enfermedades crónicas y agotamiento, y usa un scooter de movilidad cada vez que sale de casa.
Ceelie ha sido investigada dos veces por el equipo de fraude de asistencia social de Rotterdam, primero en 2015 y nuevamente en 2021. En ambas ocasiones, los investigadores no encontraron irregularidades. En el caso más reciente, fue seleccionada para ser investigada por el algoritmo de puntuación de riesgo de la ciudad. Ceelie dice que tuvo que explicar a los investigadores por qué su hermano le envió 150 euros (180 dólares) por su sexagésimo cumpleaños, y que les llevó más de cinco meses cerrar el caso.
Sentada en su casa de bloques de la década de 1950, que está decorada con fotografías de su jardín, Ceelie toca una computadora portátil. Está ingresando sus datos en una reconstrucción del sistema de puntuación de riesgo de bienestar de Rotterdam creado como parte de esta investigación. La interfaz de usuario, construida sobre el algoritmo y los datos de la ciudad, demuestra cómo se calculó el puntaje de riesgo de Ceelie y sugiere qué factores podrían haberla llevado a ser investigada por fraude.
Los 315 factores del sistema de puntuación de riesgo se configuran inicialmente para describir a una persona imaginaria con valores "promedio" en el conjunto de datos. Cuando Ceelie personaliza el sistema con sus propios detalles, su puntaje comienza a cambiar. Ella comienza con un puntaje predeterminado de 0.3483: cuanto más cerca de 1 es el puntaje de una persona, más se considera que tiene un alto riesgo de fraude. Cuando le dice al sistema que no tiene un plan para encontrar trabajo, el puntaje aumenta (0.4174). Baja cuando entra que vive en su casa desde hace 20 años (0.3891). Vivir fuera del centro de Róterdam lo empuja de nuevo por encima de 0,4.
Cambiar su género de masculino a femenino eleva su puntaje a 0.5123. “Esto es una locura”, dice Ceelie. Aunque su hijo adulto no vive con ella, su existencia, según el algoritmo, la hace más propensa a cometer fraude de asistencia social. "¿Qué tiene que ver él con esto?" ella dice. El divorcio de Ceelie vuelve a aumentar su puntuación de riesgo y termina con una puntuación de 0,643: alto riesgo, según el sistema de Rotterdam.
“No me conocen, no soy un número”, dice Ceelie. "Soy un ser humano." Después de dos investigaciones de fraude de asistencia social, Ceelie se ha enfadado con el sistema. “Solo se han opuesto a mí, me han llevado a pensamientos suicidas”, dice ella. A lo largo de sus investigaciones, ha escuchado las historias de otras personas, acudiendo a un grupo de apoyo de Facebook creado para personas que tienen problemas con el sistema de bienestar social de los Países Bajos. Ceelie dice que las personas han perdido beneficios por infracciones menores, como no informar los pagos de comestibles o el dinero recibido de sus padres.
“Hay muchas cosas que no están muy claras para las personas cuando reciben asistencia social”, dice Jacqueline Nieuwstraten, una abogada que ha manejado docenas de apelaciones contra las sanciones de asistencia social de Rotterdam. Ella dice que el sistema se ha apresurado a castigar a las personas y que los investigadores no consideran adecuadamente las circunstancias individuales.
Los Países Bajos adoptan una postura dura sobre el fraude de la asistencia social, alentados por políticos populistas de derecha. Y de todas las regiones del país, Rotterdam es la que toma medidas enérgicas contra el fraude de la asistencia social. De las aproximadamente 30.000 personas que reciben beneficios de la ciudad cada año, alrededor de mil son investigadas luego de ser señaladas por el algoritmo de la ciudad. En total, Róterdam investiga anualmente hasta 6.000 personas para comprobar si sus pagos son correctos. En 2019, Róterdam emitió 2400 sanciones por beneficios, que pueden incluir multas y recortar completamente los beneficios de las personas. En 2022, casi una cuarta parte de las apelaciones que llegaron al tribunal supremo del país provinieron de Róterdam.
Desde la implementación del algoritmo en 2017 hasta que se detuvo su uso en 2021, marcó hasta un tercio de las personas que la ciudad investigó cada año, mientras que otros fueron seleccionados por humanos en función de un tema, como hombres solteros que viven en un vecindario determinado.
Rotterdam se ha movido para hacer que su sistema de bienestar general sea más fácil de navegar para las personas desde 2020. (Por ejemplo, la cantidad de multas por beneficios se redujo a 749 en 2021). De Rotte, el director del departamento de ingresos de la ciudad, dice que estos cambios incluyen agregar un “dimensión humana” a sus procesos de bienestar. La ciudad también ha relajado las reglas sobre cuánto dinero pueden recibir los reclamantes de amigos y familiares, y ahora permite que los adultos vivan juntos sin ningún impacto en sus beneficios. Como resultado, dice Nieuwstraten, la cantidad de quejas que ha recibido sobre investigaciones de asistencia social ha disminuido en los últimos años.
La decisión de la ciudad de pausar el uso del algoritmo de bienestar en 2021 se produjo después de una investigación del Tribunal de Cuentas de Róterdam sobre el desarrollo y uso de algoritmos en la ciudad. El auditor del gobierno descubrió que había una "coordinación insuficiente" entre los desarrolladores de los algoritmos y los trabajadores de la ciudad que los usan, lo que podría conducir a que se descuiden las consideraciones éticas. El informe también criticó a la ciudad por no evaluar si los algoritmos eran mejores que los sistemas humanos que reemplazaron. Al destacar el algoritmo de fraude de asistencia social, el informe encontró que había una probabilidad de resultados sesgados en función de los tipos de datos utilizados para determinar las puntuaciones de riesgo de las personas.
Desde entonces, la ciudad ha estado trabajando para desarrollar una nueva versión, aunque las actas de las reuniones del consejo muestran que hay dudas de que pueda construir con éxito un sistema que sea transparente y legal. De Rotte dice que desde el informe del Tribunal de Cuentas, la ciudad ha trabajado para agregar "más garantías" al desarrollo de algoritmos en general, incluida la introducción de un registro de algoritmos para mostrar qué algoritmos utiliza. “Un nuevo modelo no debe tener ninguna apariencia de parcialidad, debe ser lo más transparente posible y debe ser fácil de explicar al mundo exterior”, dice de Rotte. Actualmente, los beneficiarios de asistencia social están siendo seleccionados al azar para ser investigados, agrega de Rotte.
MIENTRAS LA CIUDAD trabaja para reconstruir su algoritmo, aquellos atrapados en el sistema de bienestar han estado luchando para descubrir cómo funciona y si fueron seleccionados para ser investigados por un sistema defectuoso.
Entre ellos se encuentra Oran, un joven de 35 años que ha vivido toda su vida en Róterdam. En febrero de 2018 recibió una carta que decía que estaba siendo investigado por fraude de asistencia social. Oran, quien pidió que no se usara su nombre real por razones de privacidad, tiene una serie de problemas de salud que le dificultan encontrar trabajo. En 2018, estaba recibiendo un préstamo mensual de un familiar. El gobierno local de Róterdam le pidió que documentara el préstamo y aceptara que se devolviera. Aunque Orán hizo esto, los investigadores presentaron cargos de fraude en su contra, y la ciudad dijo que debería haberle retenido 6.000 € de futuros pagos de beneficios, una suma que combina la cantidad que le habían prestado más multas adicionales.
De 2018 a 2021, Orán luchó contra la autoridad local en los tribunales. Él dice que ser acusado de cometer fraude tuvo un costo enorme. Durante la investigación, dice, no podía concentrarse en nada más y no creía que tuviera futuro. “Se puso realmente difícil. Pensé mucho en el suicidio”, dice. Durante la investigación, no se encontraba lo suficientemente bien como para encontrar trabajo remunerado o voluntario, y la relación con su familia se volvió tensa.
Dos apelaciones judiciales más tarde, en junio de 2021, Orán limpió su nombre y la ciudad le devolvió los 6.000 € que había deducido de sus pagos de beneficios. “Se siente como justicia”, dice. A pesar del largo proceso, no descubrió por qué fue seleccionado para el escrutinio, cuáles eran sus puntajes de riesgo o qué datos contribuyeron a la creación de sus puntajes. Así que lo pidió todo. Cinco meses después, en abril de 2021, recibió sus puntajes de riesgo para 2018 y 2019.
Si bien sus archivos revelaron que no fue seleccionado para la investigación por el algoritmo sino parte de una selección de hombres solteros, su puntaje de riesgo estaba entre el 15 por ciento superior de los beneficiarios de beneficios. Su código postal, su historial de depresión y las evaluaciones de los trabajadores sociales contribuyeron a su puntuación más alta. “Esa no es la realidad, ese no soy yo, esa no es mi vida, son solo un montón de números”, dice Oran.
A medida que crece el uso de sistemas algorítmicos, podría resultar más difícil para las personas comprender por qué se han tomado decisiones y apelar contra ellas. Tamilla Abdul-Aliyeva, asesora principal de políticas de Amnistía Internacional en los Países Bajos, dice que se debe informar a las personas si están siendo investigadas en función del análisis algorítmico, qué datos se usaron para entrenar el algoritmo y qué criterios de selección se usaron. “La transparencia es clave para proteger los derechos humanos y también es muy importante en la sociedad democrática”, dice Abdul-Aliyeva. De Rotte dice que Rotterdam planea brindar a las personas más información sobre "por qué y cómo fueron seleccionados" y que se anunciarán más detalles del nuevo modelo "antes del verano".
Para aquellos que ya están atrapados en la redada de asistencia social de Rotterdam, hay poco consuelo. Muchos de ellos, incluidos Oran y Ceelie, dicen que no quieren que la ciudad use un algoritmo para juzgar a las personas vulnerables. Ceelie dice que se siente como si le hubieran "sellado" un número y que está considerando llevar al gobierno de Róterdam a los tribunales por el uso del algoritmo. Desarrollar y usar el algoritmo no hará que las personas sientan que están siendo tratadas con cuidado, dice ella. “Los algoritmos no son humanos. Llámame, con un ser humano, no un número, y háblame. No hagas esto.
Si usted o alguien que conoce necesita ayuda, llame al 1-800-273-8255 para obtener asistencia gratuita las 24 horas de la Línea Nacional de Prevención del Suicidio. También puede enviar un mensaje de texto con HOME al 741-741 para la línea de texto de crisis. Fuera de los EE. UU., visite la Asociación Internacional para la Prevención del Suicidio para conocer los centros de crisis de todo el mundo.
Información adicional de Eva Constantaras, Justin-Casimir Braun y Soizic Penicaud. El reportaje fue apoyado por la Red de Responsabilidad de IA del Centro Pulitzer y el Centro Eyebeam para el Futuro del Periodismo.