Incidents associés
Reporter des reportages sur des décisions financières à grande échelle est difficile pour n'importe quel journaliste, mais une équipe de journalistes d'investigation allemands a externalisé une enquête majeure révélant les failles d'un algorithme d'évaluation du crédit étroitement surveillé.
La plupart des citoyens allemands ont un score Schufa, qui ressemble au score FICO aux États-Unis. Divers éléments de données sur les consommateurs sont soumis à un algorithme propriétaire et il en résulte un score d'évaluation des risques indiquant la solvabilité. Les scores sont utilisés pour éclairer les décisions financières dans toutes sortes de contextes : de la banque et de l'assurance à la location immobilière et autres contrats de service. Mais vous n'avez pas besoin de chercher très fort pour [trouver des fissures](https://www.spiegel.de/wirtschaft/service/schufa-wie-ich-zum-deutlich-erhoehten-risiko-wurde-a-1193506. html) dans la précision des scores. Des rapports anecdotiques de scores discordants, ainsi qu'un manque général de transparence et d'explication sur le fonctionnement du système propriétaire, soulèvent des questions.
Fin novembre dernier, les résultats d'une enquête de près d'un an sur Schufa ont été publiés par [Der Spiegel](https://www.spiegel.de/wirtschaft/service/schufa-so-funktioniert-deutschlands-einflussreichste-auskunftei-a -1239214.html) et le radiodiffuseur public bavarois. L'enquête est un exemple de rapport de responsabilité algorithmique : une tentative de découvrir le pouvoir exercé par l'algorithme systèmes de prise de décision et faire la lumière sur leurs préjugés, leurs erreurs ou leur mauvaise utilisation. La responsabilité algorithmique implique de comprendre comment et quand les gens exercent le pouvoir au sein et à travers un système algorithmique, et au nom de qui. Certains médias introduisent une couverture qui équivaut à un [battement d'algorithmes] émergent (https://datajournalismhandbook.net/handbook/two/investigating-data-platforms-and-algorithms/the-algorithms-beat-angles-and-methods-for -investigation), orienté autour de l'ingénierie inverse, de l'audit et de la critique des algorithmes dans la société.
J'ai parlé au journaliste de données Patrick Stotz de Der Spiegel du [processus] de son équipe(https://www.spiegel.de/wirtschaft/service/blackbox-schufa-2800-verbraucher-spendeten-ihre-selbstauskunft-a-1240703.html ) pour obtenir l'histoire. Deux organisations à but non lucratif, l'Open Knowledge Foundation et Algorithm Watch, se sont initialement associées pour collecter des données. Ils ont collecté des milliers de rapports de crédit personnels de consommateurs, qui ont ensuite été transmis et analysés en masse par des journalistes d'investigation.
Les journalistes ont constaté que les scores Schufa privilégient les personnes âgées et les femmes, ainsi que les personnes qui changent moins fréquemment d'adresse. L'analyse a également révélé que depuis 1997 (lorsque le score Schufa a été mis en œuvre pour la première fois), il existe quatre versions de l'algorithme de notation. Certaines personnes ont inexplicablement reçu des scores inférieurs avec les versions plus récentes.
Crowdsourcing, données et conséquences imprévues
Au départ, dit Stotz, l'un des aspects les plus difficiles consistait simplement à obtenir tous les rapports de crowdsourcing dans un format structuré uniforme pour l'analyse. Les consommateurs reçoivent leurs rapports gratuits sous forme d'impression papier par la poste, puis doivent numériser eux-mêmes les documents (généralement en prenant une photo sur leur téléphone) pour les télécharger dans la base de données. Une fois téléchargés, les journalistes de données ont utilisé la reconnaissance optique de caractères (OCR) pour extraire les informations textuelles des formulaires.
L'ensemble du processus est inefficace : sur les 30 000 personnes qui ont demandé leur rapport Schufa gratuit (qui met plusieurs semaines à arriver par courrier), seules environ 10 % ont finalement téléchargé le formulaire. L'écart entre l'imprimé et le numérique crée un obstacle important pour ce type de journalisme d'investigation. (Cette difficulté devrait s'atténuer à mesure que les fournisseurs de données se mettront en conformité tardivement avec le règlement général sur la protection des données [ RGPD], qui exige que les informations demandées par voie électronique « soient fournies sous une forme électronique couramment utilisée ».)
Un défi supplémentaire pour le processus de numérisation était qu'aucun mécanisme ne rappelait à ces 30 000 personnes initiales de revenir après avoir reçu le rapport. Par souci de protection des données et par souci d'anonymat, Open Schufa n'a pas collecté les emails des participants. Rétrospectivement, Stotz dit qu'il aurait peut-être été préférable de rendre les notifications par e-mail facultatives et de permettre aux participants intéressés d'opter pour le partage des informations de contact. Cela aurait également créé un canal pour des reportages supplémentaires sur les cas les plus intéressants.
Les journalistes ont également découvert que, plutôt que d'élargir l'accès des consommateurs à l'information, le GDPR peut avoir augmenté les frictions dans la collecte de données participative. Après l'entrée en vigueur de la loi en mai dernier, les enquêteurs ont remarqué qu'il y avait en fait une réduction des informations fournies aux consommateurs dans leurs rapports de crédit gratuits. Les nouveaux rapports manquaient, par exemple, plusieurs scores pour différentes versions de l'algorithme de Schufa - des scores qui ont fini par être une partie essentielle du projet de Der Spiegel. (La question de savoir si Schufa interprète correctement le RGPD en fournissant moins d'informations sur les rapports de crédit sans fournir les rapports numériquement mérite une attention supplémentaire.)
Et maintenant?
L'utilisation continue de différentes versions du score Schufa est l'une des conclusions les plus convaincantes exposées par l'enquête. Contrairement à la lente évolution de la nature, les algorithmes peuvent être mis à jour chaque fois que les personnes qui les contrôlent le jugent prudent. La nature capricieuse des mises à jour des algorithmes suggère une question intéressante pour les partisans de la responsabilité algorithmique : quand et pourquoi les algorithmes changent-ils de version ? Les anciennes versions devraient-elles être considérées comme inférieures et retirées ? Si certaines parties prenantes utilisent encore des versions antérieures (inférieures), devraient-elles être tenues responsables d'une mauvaise utilisation des scores ?
Les journalistes devraient être de plus en plus conscients de l'âge des algorithmes sur lesquels ils enquêtent. La date de leur création et la fréquence à laquelle elles sont modifiées peuvent être pertinentes pour leur utilisation continue, en particulier à la lumière de l'évolution des contextes sociaux et de la disponibilité de nouvelles données - l'infrastructure algorithmique construite aujourd'hui pourrait se répercuter dans la société pendant des décennies. Dans cet exemple, la société Schufa a décidé que la version 1 du score devrait être retirée en juin 2018, et la version 2 devrait être retirée en juin 2019. Mais peut-être qu'une certaine forme de réglementation autour du versionnage des algorithmes devrait être envisagée pour formaliser les attentes autour du retrait de versions plus anciennes, probablement obsolètes.
Reste à savoir si une autre enquête sur Schufa sera nécessaire la prochaine fois qu'il introduira une nouvelle partition. La première réponse politique à l'enquête du ministre de de la protection des consommateurs en Allemagne a appelé à plus de transparence sur les variables utilisées dans le score et sur la manière dont elles sont pondérées. Si plus de transparence devient obligatoire par le biais de nouvelles réglementations, la voie à suivre pourrait ne pas être des audits supplémentaires, mais plutôt concentrer l'attention des journalistes sur le suivi des informations fournies dans les rapports de transparence.