Problème 1386

En août, à la suite de la débâcle de l'algorithme de notation au Royaume-Uni, j'ai écrit une colonne me demandant si cet événement malheureux pourrait s'avérer un point de basculement critique pour la confiance du public dans l'algorithme tout-puissant.

Cette nouvelle génération au Royaume-Uni, sur le point d'entrer dans l'âge adulte - et un rôle actif en tant que futurs électeurs, employés, penseurs, militants et décideurs du Royaume-Uni - était peu susceptible d'oublier ce que c'était que de se retrouver jugé par un code informatique biaisé avec invisible, hypothèses cuites au four, pensai-je.

Bien. Nous voici quelques mois plus tard, et tout sentiment de supériorité en matière d'évaluation des notes que nous aurions pu avoir de ce côté de la mer d'Irlande s'est ratatiné.

Nous aussi, nous nous sommes dirigés par algorithme vers une conflagration de notation dans laquelle au moins deux erreurs de codage signifiaient que plus de 6 000 étudiants ont reçu des notes inférieures à ce qu'ils auraient dû avoir et, dans une inversion tristement drôle, près de 8 000 autres ont obtenu des notes supérieures à l'algorithme, s'il fonctionne correctement, aurait dû être attribué.

Le gouvernement a renvoyé ce problème aux établissements d'enseignement supérieur déjà épuisés et à court d'argent, qui sont en quelque sorte censés mettre à disposition des espaces supplémentaires au besoin pour ceux qui ont des notes inférieures injustifiées.

On ne sait pas encore ce qui se passe en ce qui concerne la cohorte supplémentaire d'étudiants qui peuvent avoir perdu des places qu'ils ont légitimement gagnées, à une partie des 7 943 étudiants qui peuvent avoir gagné cette place avec des notes mal évaluées. Analyser et résoudre équitablement ce gâchis est un défi pour le ministère de l'Éducation, les établissements concernés et les élèves concernés.

En août, j'ai cité le programmeur expérimenté et consultant en technologie Dermot Casey, qui avait exprimé sa préoccupation quant aux facteurs d'évaluation qui pourraient entrer dans tout algorithme Leaving Cert proposé ici.

Dans l'Irish Times de samedi dernier, il a revisité cette question et a écrit un article explicatif informatif sur les algorithmes, offrant une liste détaillée des questions qui doivent être posées maintenant sur la façon dont l'algorithme irlandais a été codé et soumis à des tests de résistance. Des préoccupations plus importantes

Comme l'argent public a été investi dans la production de l'algorithme et que tant de personnes ont été touchées par ses lacunes, le gouvernement doit répondre à ces questions.

Mais cet imbroglio pointe finalement vers des préoccupations encore plus importantes qu'un an de Leaving Cert et un chaos de classement.

Le problème de l'algorithme est énorme. Les algorithmes affectent votre vie quotidienne. En quelques microsecondes, ils prennent des décisions et prennent des décisions sur presque tous les aspects de notre existence, les aspects sociaux, politiques, liés à la santé et éthiques, de notre (supposée) aptitude aux hypothèques et aux emplois, aux soins médicaux que nous recevons, aux publicités et aux publications. nous voyons sur les réseaux sociaux et les résultats renvoyés lorsque nous effectuons une recherche sur Google.

Dans presque tous les cas, nous n'avons absolument aucune idée des déterminations qui entrent dans ces algorithmes. Nous ne savons pas qui les a codés. Nous ne savons pas comment ils fonctionnent; comment ils jugent. De par leur nature même - des lignes cachées de code complexe, masquées par des lois protégeant les actifs de l'entreprise - elles fonctionnent de manière invisible. Ils sont protégés en tant qu'informations exclusives de l'entreprise et propriété "intellectuelle" - même si c'est notre intellect qu'ils revendiquent, nous jugeant par les données qu'ils recueillent (généralement, sans que nous le sachions). Ces données deviennent alors, ridiculement, leur propriété, pas la nôtre. Des morceaux entiers et révélateurs de nous, certains d'entre eux extrêmement révélateurs et sensibles, appartenant non pas à nous, mais à eux.

Les algorithmes ont un impact sur chacun d'entre nous. Mais nous ne voyons que les décisions finales prises par ce code, et non les décisions, hypothèses ou préjugés d'origine humaine qui sous-tendent ces décisions de codage, dans des algorithmes produits principalement par un petit segment de la société humaine - des hommes plus jeunes, principalement blancs, souvent issus de universités d'élite.

Pas neutre

Nous savons par de nombreuses études que les algorithmes ne sont pas neutres. Nous savons que jusqu'à récemment, si vous recherchiez des images Google pour "femmes noires" ou "femmes latinos", la majorité des retours étaient de nature exploitante et pornographique (la même chose s'est produite avec les recherches ethniques pour "garçons"). Ce biais a maintenant été ajusté, démontrant avec quelle facilité un algorithme peut être modifié - dans les rares cas où un biais évident peut éventuellement être observé.

Malheureusement, de nombreux préjugés sont si profondément ancrés qu'il faut des experts pour les révéler, s'ils sont révélés, comme dans le cas, par exemple, d'un logiciel médical qui donne la priorité aux patients blancs par rapport aux patients noirs présentant des symptômes plus graves. Ou dans le cas d'un algorithme d'IA de recrutement d'Amazon qui a déclassé les candidates.

Nous devons bien comprendre la faillibilité des algorithmes et exiger mieux de ceux qui les produisent.

Les erreurs de codage ou de biais, dans les algorithmes de notation irlandais et britanniques cette année, auront rendu ces problèmes plus clairs, d'une manière frustrante, douloureuse et affectant la vie de beaucoup.

Nous ne pouvons pas en rester là, cependant. Notre prochaine étape doit être de faire pression pour des lois qui exigeront la transparence des algorithmes d'entreprise - comme cela commence à se produire maintenant dans l'UE - parce qu'il ne s'agit pas seulement de scandales de classement ponctuels.

Il s'agit de nous tous, sous l'emprise d'algorithmes obscurs qui nous jugent secrètement et silencieusement, avec un impact potentiellement bouleversant, chaque jour.