Incidents associés
Dans une affaire apparemment banale à la cour d'appel d'Amsterdam, un juge a statué qu'il était acceptable pour une municipalité d'utiliser un algorithme de boîte noire, tant que les résultats n'étaient pas surprenants.
En 2016, la municipalité de Castricum, une ville balnéaire de 35 000 habitants aux Pays-Bas, a fixé la valeur de la maison d'un demandeur anonyme à 320 000 € (aux Pays-Bas, la taxe foncière est payée en fonction de la valeur de revente estimée d'une maison). Beaucoup trop élevé, a déclaré le demandeur, qui s'est rapidement rendu au tribunal.
Le demandeur a fait valoir que sa propriété avait été endommagée par un tremblement de terre, de sorte que sa valeur de revente était bien inférieure. Les lecteurs assis sur une faille sismique pourraient rire à l'idée de tremblements de terre en Hollande, mais un tremblement de terre s'est produit à 10 kilomètres de Castricum le 30 janvier 1997 - magnitude 2. La municipalité a proposé neuf fois de visiter la maison pour évaluer les dégâts, mais le demandeur a refusé, invoquant des inquiétudes quant à sa liberté. La cour d'appel d'Amsterdam a logiquement confirmé l'appréciation de la municipalité dans un arrêt de février dernier.
La magie de WOZ
L'intérêt du procès réside dans l'expertise de 320 000 €. Les municipalités néerlandaises doivent estimer la valeur des propriétés chaque année, conformément à la loi. La loi en question est abrégée en WOZ, ce qui conduit les Néerlandais à parler de « valeur WOZ » pour l'estimation. La chambre d'évaluation supervise les processus qui se déroulent au niveau de la commune.
Selon un responsable de la chambre d'évaluation, presque toutes les municipalités s'appuient sur les outils de cinq entreprises pour évaluer la valeur WOZ, qui utilisent des méthodes statistiques claires. Alors que certaines municipalités expérimentent l'intelligence artificielle, il ne savait pas qu'un tel modèle était utilisé pour calculer les valeurs réelles de WOZ.
La chambre d'évaluation demande aux municipalités de s'assurer que leurs modèles sont explicables et n'autorise pas l'utilisation de modèles de boîte noire, a ajouté le responsable. Mais devant la cour d'appel d'Amsterdam, lorsque le demandeur a demandé à être informé de l'origine de la valorisation de 320 000 €, la municipalité n'a pas pu répondre. Non pas parce qu'il ne le voulait pas, mais parce qu'il ne le pouvait pas.
Blanchir la boîte noire
En vertu de la jurisprudence néerlandaise et du RGPD, un organisme public doit être en mesure de fournir les détails et les mécanismes qui ont conduit à une décision automatisée. Le tribunal a pris acte de la violation de la loi par la municipalité et l'a condamnée à payer les frais de justice.
Néanmoins, le tribunal a expliqué pourquoi l'évaluation de 320 000 € était correcte. Suite à l'argument de la municipalité, le juge a examiné les propriétés vendues vers 2016 dans les environs et a trouvé que le prix au mètre carré correspondait à la valeur générée par algorithme pour la maison du demandeur. Ce dernier a riposté que sa maison était en bien pire état et donc moins chère ; la municipalité a répondu que cette information était déjà incluse dans les calculs (la principale pomme de discorde était l'étendue des dommages causés par le tremblement de terre).
Un dangereux précédent
Pour Marlies van Eck, professeure assistante à l'Université Radboud spécialisée dans les aspects juridiques de l'utilisation de l'IA, la Cour suprême néerlandaise a établi un principe selon lequel les décisions automatisées doivent être explicables. En vertu de ce principe, l'évaluation de la municipalité aurait dû être annulée. "Nous avons maintenant appris que si le principe n'est pas respecté, cela n'a pas de conséquences juridiques", a-t-elle ajouté. La décision, qui n'ira pas devant la Cour suprême néerlandaise, pourrait créer un précédent en vertu duquel les juges acceptent les résultats des algorithmes de la boîte noire tant qu'ils semblent raisonnables, a-t-elle déclaré à AlgorithmWatch.
S'il est peu probable que la décision ait des conséquences graves maintenant (le plaignant a même tardivement invité la municipalité à visiter sa maison), elle pourrait laisser présager un tournant dramatique dans le droit administratif néerlandais, a déclaré Mme van Eck. Les algorithmes de boîte noire qui ont des conséquences juridiques sont, en théorie, interdits par la loi actuelle, mais l'approche de la cour d'appel d'Amsterdam les rendrait acceptables.