Incidentes Asociados
En un caso aparentemente rutinario en el tribunal de apelación de Ámsterdam, un juez dictaminó que era aceptable que un municipio utilizara un algoritmo de caja negra, siempre que los resultados no fueran sorprendentes.
En 2016, el municipio de Castricum, una ciudad costera de 35 000 habitantes en Holanda, fijó el valor de la vivienda de un reclamante anónimo en 320 000 € (en los Países Bajos, el impuesto a la propiedad se paga en función del valor de reventa estimado de una casa). Demasiado alto, dijo el reclamante, quien rápidamente acudió a la corte.
El reclamante argumentó que su propiedad fue dañada por un terremoto, por lo que su valor de reventa fue mucho menor. Los lectores sentados sobre una falla sísmica podrían reírse de la idea de los terremotos en Holanda, pero el 30 de enero de 1997 ocurrió un terremoto a 10 kilómetros de Castricum, de magnitud 2. El municipio ofreció nueve veces visitar la casa para evaluar los daños, pero el demandante se negó, citando preocupaciones sobre su libertad. El tribunal de apelación de Amsterdam confirmó lógicamente la evaluación del municipio en un fallo el pasado mes de febrero.
La magia de WOZ
Lo interesante del juicio radica en el valor catastral de 320.000€. Los municipios holandeses tienen que estimar el valor de las propiedades cada año, por ley. La ley en cuestión se abrevia como WOZ, lo que lleva a los holandeses a hablar de "valor WOZ" para la estimación. La cámara de valoración supervisa los procesos que se llevan a cabo a nivel municipal.
Según un funcionario de la cámara de valoración, casi todos los municipios se basan en herramientas de cinco empresas para evaluar el valor WOZ, que utilizan métodos estadísticos claros. Si bien algunos municipios experimentan con inteligencia artificial, él no sabía que se usaba ningún modelo de este tipo para calcular los valores reales de WOZ.
La cámara de valuación instruye a los municipios para que se aseguren de que sus modelos sean explicables y no permite el uso de modelos de caja negra, agregó el funcionario. Pero ante el tribunal de apelación de Amsterdam, cuando el demandante exigió que le dijeran cómo llegó a ser la tasación de 320.000€, el municipio no pudo responder. No porque no quisiera, sino porque no podía.
Blanqueando la caja negra
Según la jurisprudencia holandesa y el RGPD, un organismo público debe poder proporcionar los detalles y los mecanismos que condujeron a una decisión automatizada. El tribunal tomó nota del incumplimiento de la ley por parte del municipio y le ordenó pagar las costas judiciales.
No obstante, el juzgado procedió a explicar por qué la valoración de 320.000€ era correcta. Siguiendo el argumento del municipio, el juez analizó las propiedades que se vendieron alrededor de 2016 en los alrededores y encontró que el precio por metro cuadrado coincidía con el valor generado algorítmicamente para la casa del demandante. Este último respondió que su casa estaba en mucho peor estado y, por lo tanto, era menos costosa; el municipio respondió que esta información ya estaba incluida en los cómputos (la principal manzana de la discordia era la extensión de los daños del terremoto).
Un precedente peligroso
Para Marlies van Eck, profesora asistente en la Universidad de Radboud que se especializa en los aspectos legales del uso de IA, la corte suprema holandesa estableció el principio de que las decisiones automatizadas deben ser explicables. Bajo este principio, la liquidación del municipio debería haber sido anulada. “Ahora aprendimos que si no se cumple el principio, no tiene consecuencias jurídicas”, agregó. La decisión, que no irá a la corte suprema holandesa, podría sentar un precedente en el que los jueces acepten los resultados de los algoritmos de caja negra siempre que parezcan razonables, dijo a AlgorithmWatch.
Si bien es poco probable que el fallo tenga consecuencias graves ahora (el denunciante incluso invitó tardíamente al municipio a visitar su casa), podría insinuar un giro dramático en el derecho administrativo holandés, dijo la Sra. van Eck. Los algoritmos de caja negra que tienen consecuencias legales están, en teoría, prohibidos por la ley actual, pero el enfoque del tribunal de apelación de Amsterdam los haría aceptables.