Problema 1863

La vida de Chermaine Leysner cambió en 2012, cuando recibió una carta de las autoridades fiscales holandesas exigiendo que devolviera su subsidio de cuidado infantil desde 2008. Leysner, entonces estudiante de trabajo social, tenía tres hijos menores de 6 años. El impuesto la factura superaba los 100.000€.

“Pensé, ‘No te preocupes, esto es un gran error’. Pero no fue un error. Fue el comienzo de algo grande”, dijo.

La prueba tomó nueve años de la vida de Leysner. El estrés causado por la factura de impuestos y el diagnóstico de cáncer de su madre llevaron a Leysner a la depresión y al agotamiento. Terminó separándose del padre de sus hijos. “Estaba trabajando como loco para poder hacer algo por mis hijos, como darles cosas buenas para comer o comprar dulces. Pero tuve momentos en que mi hijo pequeño tuvo que ir a la escuela con un agujero en el zapato”, dijo Leysner.

Leysner es una de las decenas de miles de víctimas de lo que los holandeses han denominado el “toeslagenaffaire”, o el escándalo de las prestaciones por cuidado infantil.

En 2019, se reveló que las autoridades fiscales holandesas habían utilizado un algoritmo de autoaprendizaje para crear perfiles de riesgo en un esfuerzo por detectar el fraude en los beneficios de cuidado infantil.

Las autoridades sancionaron a las familias por una mera sospecha de fraude con base en los indicadores de riesgo del sistema. Decenas de miles de familias, a menudo con ingresos más bajos o pertenecientes a minorías étnicas, se vieron empujadas a la pobreza debido a deudas exorbitantes con la agencia tributaria. Algunas víctimas se suicidaron. Más de mil niños fueron llevados a orfanato.

Las autoridades fiscales holandesas se enfrentan ahora a una nueva multa de 3,7 millones de euros por parte del regulador de privacidad del país. En una declaración publicada el 12 de abril, la agencia describió varias violaciones del libro de reglas de protección de datos de la UE, los Datos generales Reglamento de Protección, incluyendo no tener una base legal para procesar datos de personas y aferrarse a la información durante demasiado tiempo.

Aleid Wolfsen, el jefe de la autoridad de privacidad holandesa, calificó las violaciones como sin precedentes.

"Durante más de 6 años, las personas a menudo fueron etiquetadas erróneamente como estafadores, con consecuencias nefastas... algunos no recibieron un acuerdo de pago o no eran elegibles para la reestructuración de la deuda. Las autoridades fiscales han trastornado la vida", dijo, según a la declaración.

A medida que los gobiernos de todo el mundo recurren a algoritmos e inteligencia artificial para automatizar sus sistemas, el escándalo holandés muestra cuán devastadores pueden ser los sistemas automatizados sin las garantías adecuadas. La Unión Europea, que se posiciona como el regulador tecnológico líder en el mundo, está trabajando en un proyecto de ley que tiene como objetivo frenar los daños algorítmicos.

Pero los críticos dicen que el proyecto de ley no da en el blanco y no protegería a los ciudadanos de incidentes como el que sucedió en los Países Bajos.

Sin controles ni saldos

El sistema holandés, que se lanzó en 2013, tenía la intención de eliminar el fraude de beneficios en una etapa temprana. Los criterios para el perfil de riesgo fueron desarrollados por la autoridad fiscal, informa el periódico holandés [Trouw](https://www.trouw.nl/politiek/hoe-de-belastingdienst-lage-inkomens-profileerde-in-de-jacht- op-fraude~bbb66add/). Tener doble nacionalidad se marcó como un gran indicador de riesgo, al igual que un ingreso bajo.

No está claro por qué Leysner terminó en la situación. Una de las razones podría ser que tenía mellizos, lo que significaba que necesitaba más apoyo del gobierno. Leysner, que nació en los Países Bajos, también tiene raíces surinamesas.

En 2020, Trouw y otro medio de comunicación holandés, RTL Nieuws revealed que las autoridades fiscales también mantuvieron listas negras secretas de personas durante dos décadas, que rastrearon "señales" creíbles y sin fundamento de posible fraude. Los ciudadanos no tenían forma de averiguar por qué estaban en la lista o defenderse.

Una auditoría mostró que las autoridades fiscales se centraron en las personas con “una apariencia no occidental”, mientras que tener nacionalidad turca o marroquí fue un enfoque particular. Estar en la lista negra también condujo a un puntaje de riesgo más alto en el sistema de beneficios de cuidado infantil.

Un [informe] parlamentario (https://www.tweedekamer.nl/nieuws/kamernieuws/eindverslag-onderzoek-kinderopvangtoeslag-overhandigd) sobre el escándalo de los beneficios de cuidado infantil encontró varias deficiencias graves, que incluyen sesgos institucionales y autoridades que ocultan información o engañan el parlamento sobre los hechos. Una vez que salió a la luz toda la escala del escándalo, el [gobierno renunció] del primer ministro Mark Rutte (https://www.politico.eu/article/dutch-government-resigns-over-childcare-benefit-scandal/), solo para reagruparse 225 días después.

Además de la sanción anunciada el 12 de abril, la agencia holandesa de protección de datos también multó al impuesto holandés administración 2,75 millones de euros en diciembre de 2021 por la “manera ilícita, discriminatoria y, por tanto, impropia” en la que la Administración tributaria procesó los datos sobre la doble nacionalidad de los solicitantes de prestaciones por cuidado de hijos.

“Había una falta total de controles y equilibrios dentro de cada organización para asegurarse de que la gente se diera cuenta de lo que estaba pasando”, dijo Pieter Omtzigt, un miembro independiente del parlamento holandés que desempeñó un papel fundamental en descubrir el escándalo e interrogar a las autoridades fiscales.

“Lo que realmente me preocupa es que no estoy seguro de que hayamos tomado medidas preventivas lo suficientemente vagas para fortalecer nuestras instituciones para manejar el próximo descarrilamiento”, continuó.

El nuevo gobierno de Rutte se comprometió a crear un nuevo regulador de algoritmos bajo la autoridad de protección de datos del país. La ministra digital holandesa, Alexandra van Huffelen, quien anteriormente fue ministra de finanzas a cargo de la autoridad fiscal, le dijo a POLITICO que el papel de la autoridad de datos será "supervisar la creación de algoritmos e IA, pero también cómo se desarrolla cuando está allí, cómo se trata, asegúrese de que esté centrado en el ser humano y que se aplique a todas las regulaciones que están en uso”. El regulador examinará los algoritmos tanto en el sector público como en el privado.

Van Huffelen enfatizó la necesidad de asegurarse de que los humanos estén siempre informados. “Lo que me parece muy importante es asegurarme de que las decisiones, las decisiones gubernamentales basadas en IA también sean tratadas posteriormente por una persona humana”, dijo.

Una advertencia para el resto de Europa

La principal funcionaria digital de Europa, la vicepresidenta ejecutiva de la Comisión Europea, Margrethe Vestager, dijo que el escándalo holandés es exactamente lo que todo gobierno debería temer.

“Tenemos enormes sectores públicos en Europa. Hay tantos servicios diferentes en los que la toma de decisiones respaldada por IA podría ser realmente útil, si confías en ella”, dijo Vestager al Parlamento Europeo en marzo. La nueva Ley de IA de la UE tiene como objetivo crear esa confianza, argumentó, “para que este gran mercado del sector público también esté abierto para la inteligencia artificial”.

La propuesta de la Comisión para la Ley AI restringe el uso de so- llama sistemas de IA de alto riesgo y prohíbe ciertos usos "inaceptables". Las empresas que proporcionan sistemas de IA de alto riesgo deben cumplir ciertos requisitos de la UE. La Ley AI también crea un registro público de la UE de dichos sistemas en un esfuerzo por mejorar la transparencia y ayudar con la aplicación.

Eso no es suficiente, argumenta Renske Leijten, miembro socialista del parlamento holandés y otro político clave que ayudó a descubrir la verdadera escala del escándalo. Leijten argumenta que la Ley de IA también debería aplicarse a quienes utilizan sistemas de IA de alto riesgo tanto en el sector público como en el privado.

En la Ley de IA, “vemos que hay más garantías para sus derechos cuando las empresas y empresas privadas están trabajando con IA. Pero lo importante que debemos aprender del escándalo de los beneficios de cuidado infantil es que no se trataba de una empresa o del sector privado... Era el gobierno”, dijo.

Tal como está ahora, la Ley de IA no protegerá a los ciudadanos de peligros similares, dijo el eurodiputado verde holandés Kim van Sparrentak, miembro del equipo negociador de la Ley de IA del Parlamento Europeo en el comité de mercado interno. Van Sparrentak está presionando para que la Ley de IA tenga evaluaciones de impacto sobre los derechos fundamentales que también se publicarán en el registro de IA de la UE. El Parlamento también [propone](https://www.politico.eu/newsletter/ai-decoded/the-tech-policy-fight-of-the-decade-begins-ai-bias-improving-twitters-algorithm-2 /) añadir obligaciones a los usuarios de sistemas de IA de alto riesgo, incluso en el sector público.

“La predicción del fraude y la vigilancia predictiva basada en perfiles deberían prohibirse. Porque solo hemos visto resultados muy malos y no se puede determinar a una sola persona en función de algunos de sus datos”, dijo van Sparrentak.

En un informe que detalla cómo el gobierno holandés utilizó el perfil étnico en el escándalo de las prestaciones de cuidado infantil, Amnistía Internacional pide a los gobiernos que prohibir el "uso de datos sobre nacionalidad y etnia cuando se evalúe el riesgo con fines policiales en la búsqueda de posibles delitos o sospechosos de fraude".

Holanda todavía está considerando las consecuencias del escándalo. El gobierno ha prometido devolver el dinero a las víctimas del incidente € 30.000. Pero para aquellos como Leysner, eso ni siquiera comienza a cubrir los años que perdió: la justicia parece estar muy lejos.

“Si pasas por cosas así, también pierdes la confianza en el gobierno. Así que es muy difícil confiar en lo que dicen las [autoridades] en este momento”, dijo Leysner.

Este artículo ha sido actualizado con los resultados de la investigación de las autoridades fiscales holandesas publicados en abril.