Incidents associés
Cette semaine, il est apparu qu'un problème avait été découvert avec le système de notes calculées du Leaving Certificate, ce qui signifie que des milliers d'étudiants verront leurs résultats mis à jour. Mais que s'est-il passé?
Qu'est-ce qu'un algorithme ?
C'est un code qui prend des décisions qui affectent ce que vous faites, voyez ou vivez en fonction d'un certain nombre de facteurs, de circonstances et d'entrées différents.
Comment a-t-il été utilisé dans le processus de notation Leaving Cert 2020 ?
Il était censé mettre en œuvre une formule mixte des performances passées des élèves que le ministère de l'Éducation mettait en œuvre pour obtenir des notes « calculées ».
Alors, qu'est-ce qui n'allait pas exactement ?
Le Département affirme qu'une seule ligne de code (sur 50 000) comportait deux erreurs qui affectaient négativement les notes prévues des élèves. Premièrement, le code substituait les deux pires matières d'un élève à ses deux meilleures matières. Ensuite, il a ajouté à tort un sujet dans l'équation - les résultats de l'éducation civique, sociale et politique du cycle junior. Cela n'aurait pas dû être compté.
Comment le problème de codage n'a-t-il pas été détecté auparavant ?
Nous savons que le code n'a pas été suffisamment testé, ce qui est normalement un élément crucial de toute version de logiciel. Les responsables du ministère disent qu'il n'y avait tout simplement pas assez de temps pour tout tester à fond en raison de l'urgence de la situation et des contraintes de ressources. Ils ont souligné qu'il ne s'agissait pas d'un progiciel déjà utilisé ailleurs. Il a été construit sur mesure pour les particularités de notre situation.
"Vous pouvez optimiser pour deux le temps, le coût et la qualité", a déclaré Brian Caulfield, fondateur et investisseur irlandais expérimenté dans le domaine de la technologie. « Jamais les trois. Dans ce cas, le temps n'était pas négociable. Le gouvernement et le ministère étaient dans une situation sans issue et garantissaient d'être massacrés s'ils dépensaient une fortune.
Comment savoir si l'erreur de codage était basique ou non ?
Nous ne le faisons pas. Le code - et l'implémentation des algorithmes - ne sont pas disponibles pour vérification. En d'autres termes, ils ne sont pas "open source" ou révisables comme, par exemple, le code de l'application pour smartphone Irish Covid-19 Tracker. Mais nous savons que le ministère de l'Éducation et des Compétences a trouvé la deuxième erreur en effectuant des vérifications liées à la première. Cette deuxième erreur, selon la ministre de l'Éducation Norma Foley, figurait dans la même section du code.
Comment savons-nous qu'il n'y a plus d'erreurs dans le code ?
Pas encore. Nous nous sommes appuyés sur une enquête après coup menée par la société sous-traitante, Polymetrika. C'est leur audit interne qui a informé les responsables du ministère de l'erreur - s'ils étaient restés silencieux à ce sujet, nous ne l'aurions peut-être pas su.
Cependant, le ministère a fait deux commentaires à ce sujet. Tout d'abord, il indique qu'il a effectué une série de vérifications supplémentaires et n'a identifié "aucune autre erreur dans le codage". Deuxièmement, il a engagé une société spécialisée basée aux États-Unis, Educational Testing Service (ETS), pour "revoir les aspects essentiels du codage". Le ministère indique que cet examen devrait prendre plusieurs jours.
Y a-t-il des problèmes fondamentaux à se fier au code pour ce type de situation sensible ?
Il peut y avoir. Les experts en codage disent que la décision d'utiliser en premier lieu un processus de notation calculé basé sur un code est controversée.
"Il y a un gros problème ouvert avec ces types de systèmes de prédiction, qu'il s'agisse des notes, de la prédiction du risque hypothécaire ou de toute autre chose", a déclaré Andrew Anderson, chercheur principal à la School of Computer Science and Statistics du Trinity College de Dublin.
« C'est ce qu'on appelle généralement le problème de l'inscrutabilité. L'algorithme ne peut pas vous dire pourquoi une prédiction devrait être juste. Dans un appel normal, la personne qui fait la notation doit justifier la note qu'elle a attribuée et l'étudiant peut voir qu'un soin suffisant a été pris dans le calcul de cette note. Avec les notes prédites, cette transparence est sacrifiée, car l'algorithme ne peut pas justifier le résultat. C'est juste un ensemble de calculs.