Incidentes Asociados
Hasta hace poco, no era posible decir que la IA intervino para obligar a un gobierno a dimitir. Pero eso es precisamente lo que sucedió en los Países Bajos en enero de 2021, cuando el gabinete en funciones renunció por el llamado kinderopvangtoeslagaffaire: el asunto de los beneficios para el cuidado de los niños.
Cuando una familia en los Países Bajos buscó reclamar su asignación gubernamental para el cuidado de los hijos, tuvo que presentar una solicitud ante las autoridades fiscales holandesas. Esos reclamos pasaron por el guante de un algoritmo de autoaprendizaje, implementado inicialmente en 2013. En el flujo de trabajo de la autoridad fiscal, el algoritmo primero examinaría los reclamos en busca de signos de fraude, y los humanos examinarían los reclamos que marcaba como de alto riesgo.
En realidad, el algoritmo desarrolló un patrón de etiquetar falsamente las reclamaciones como fraudulentas, y los acosados funcionarios públicos sellaron las etiquetas de fraude. Entonces, durante años, la autoridad fiscal ordenó sin fundamento a miles de familias que pagaran sus reclamos, empujando a muchos a deudas onerosas y destruyendo vidas en el proceso.
“Cuando hay un impacto dispar, debe haber una discusión social sobre esto, si esto es justo. Necesitamos definir qué es 'justo'”, dice Yong Suk Lee, profesor de tecnología, economía y asuntos globales en la Universidad de Notre Dame, en Estados Unidos. “Pero ese proceso no existió”.
Las autopsias del asunto mostraron evidencia de parcialidad. Muchas de las víctimas tenían ingresos más bajos y un número desproporcionado pertenecía a minorías étnicas o provenía de inmigrantes. La modelo vio como factor de riesgo no ser ciudadano holandés.
“El desempeño del modelo, del algoritmo, debe ser transparente o publicado por diferentes grupos”, dice Lee. Eso incluye cosas como la tasa de precisión del modelo, agrega.
El algoritmo de la autoridad fiscal evadió tal escrutinio; era una caja negra opaca, sin transparencia en su funcionamiento interno. Para los afectados, podría ser casi imposible saber exactamente por qué fueron marcados. Y carecían de cualquier tipo de debido proceso o recurso al que recurrir.
“El gobierno tenía más fe en su algoritmo defectuoso que en sus propios ciudadanos, y los funcionarios que trabajaban en los archivos simplemente se despojaron de su responsabilidad moral y legal al señalar el algoritmo”, dice Nathalie Smuha, experta en derecho tecnológico en KU Leuven. , en Belgica.
A medida que se asienta el polvo, está claro que el asunto hará poco para detener la propagación de la IA en los gobiernos: 60 países ya tienen iniciativas nacionales de IA. Las empresas del sector privado sin duda ven la oportunidad de ayudar al sector público. Para todos ellos, la historia del algoritmo holandés, desplegado en una U.E. país con regulaciones estrictas, estado de derecho e instituciones relativamente responsables—sirve como advertencia.
“Si incluso en estas circunstancias favorables, un sistema tan peligrosamente erróneo puede implementarse durante un período de tiempo tan largo, uno tiene que preocuparse por cómo es la situación en otras jurisdicciones menos reguladas”, dice Lewin Schmitt, investigador de políticas predoctoral en el Institut Barcelona d'Estudis Internacionals, en España.
Entonces, ¿qué podría evitar que futuras implementaciones de IA descarriadas causen daño?
En los Países Bajos, los mismos cuatro partidos que estaban en el gobierno antes de la renuncia ahora han regresado al gobierno. Su solución es poner toda la IA de cara al público, tanto en el gobierno como en el sector privado, bajo la mirada de un regulador en la autoridad de datos del país, que según un ministro del gobierno garantizaría que los humanos se mantengan informados.
A mayor escala, algunos expertos en políticas depositan su esperanza en la Ley de IA del Parlamento Europeo, que pone a la IA del sector público bajo un escrutinio más estricto. En su forma actual, la Ley de AI prohibiría algunas aplicaciones, como los sistemas gubernamentales de crédito social y el uso de reconocimiento facial por parte de las fuerzas del orden público.
Se mantendría algo así como el algoritmo de la autoridad fiscal, pero debido a su papel de cara al público en las funciones gubernamentales, la Ley de IA lo habría marcado como un sistema de alto riesgo. Eso significa que se aplicaría un amplio conjunto de regulaciones, incluido un sistema de gestión de riesgos, supervisión humana y un mandato para eliminar el sesgo de los datos involucrados.
“Si la Ley de IA se hubiera implementado hace cinco años, creo que habríamos detectado [el algoritmo fiscal] en ese momento”, dice Nicolas Moës, investigador de políticas de IA en Bruselas para el grupo de expertos Future Society.
Moës cree que la Ley de IA proporciona un esquema más concreto para la aplicación que sus contrapartes en el extranjero, como el que entró en vigencia recientemente en China, que se enfoca menos en el uso del sector público y más en controlar el uso de los datos de los clientes por parte de las empresas privadas. —y las regulaciones estadounidenses propuestas que actualmente están flotando en el éter legislativo.
"Los Estados unidos. AI Act realmente está vigilando todo el espacio, mientras que otros todavía están abordando solo una faceta del problema, lidiando muy suavemente con solo un problema”, dice Moës.
Los cabilderos y los legisladores todavía están ocupados forjando la Ley de IA en su forma final, pero no todos creen que la ley, incluso si se endurece, llegará lo suficientemente lejos.
“Vemos que incluso el [Reglamento general de protección de datos], que entró en vigor en 2018, todavía no se está implementando correctamente”, dice Smuha. “La ley solo puede llevarte hasta cierto punto. Para que la IA del sector público funcione, también necesitamos educación”.
Eso, dice, tendrá que pasar por informar adecuadamente a los funcionarios públicos sobre las capacidades, limitaciones e impactos sociales de una implementación de IA. En particular, cree que los funcionarios públicos deben poder cuestionar su producción, independientemente de las presiones temporales u organizativas que puedan enfrentar.
“No se trata solo de asegurarse de que el sistema de IA sea ético, legal y sólido; también se trata de asegurarse de que el servicio público en el que [opera] el sistema de IA esté organizado de una manera que permita la reflexión crítica”, dice.