Incidents associés
ANAHITA NAGPAL, 18 ANS, craint que son projet de commencer une formation cet automne pour devenir médecin ait été déjoué par un modèle statistique.
Nagpal, qui vit à Göttingen, en Allemagne, s'était vu offrir une place de préméditation et une bourse à NYU. Son acceptation dépendait de ses résultats au diplôme du baccalauréat international, un programme d'études secondaires de deux ans reconnu par les collèges et suivi par plus de 170 000 étudiants cette année, la plupart aux États-Unis. Mais elle a marqué plus mal que prévu.
Les regrets des adolescents au sujet des notes ne sont pas inhabituels, mais la façon dont la fondation derrière le Programme du diplôme de l'IB a calculé les notes de cette année l'était. Les résultats, publiés lundi, ont été déterminés par une formule qu'IB, la fondation derrière le programme, a déployée à la hâte après avoir annulé ses examens de printemps habituels en raison de Covid-19. Le système a utilisé des signaux, y compris les notes d'un élève sur les devoirs et les notes des anciens diplômés de leur école pour prédire ce qu'ils auraient obtenu si la pandémie n'avait pas empêché les tests en personne.
Nagpal et de nombreux autres élèves, parents et enseignants disent que ces prédictions ont échoué. De nombreux étudiants ont reçu des scores étrangement bas, disent-ils, brisant leurs plans pour l'automne et au-delà. Le plan de secours de Nagpal si elle manquait à NYU était d'étudier la médecine en Allemagne, mais elle ne pense pas que ses notes inférieures aux attentes la qualifieront pour une place. "Comme tant d'autres, j'ai été extrêmement choquée", dit-elle. Nagpal a ensuite reçu un e-mail de NYU indiquant qu'elle n'avait pas pris de décision concernant son admission. NYU a déclaré qu'elle ne commentait pas les cas individuels.
Plus de 15 000 parents, élèves et enseignants ont signé une pétition en ligne demandant à l'IB "d'adopter une approche différente avec son algorithme de notation et de le rendre plus juste". La fondation a refusé de répondre aux questions sur son système, mais a déclaré qu'il avait été vérifié par rapport à cinq ans de résultats antérieurs et que les étudiants déçus pouvaient utiliser son processus d'appel existant, qui est payant. La fondation a publié des statistiques sommaires montrant que le score moyen de cette année était légèrement supérieur à celui de l'année dernière, et indique que la répartition des notes était similaire.
Un professeur de mathématiques dans une école du Moyen-Orient a déclaré que l'IB devrait divulguer l'intégralité du fonctionnement de son modèle à un examen extérieur. Lui et un collègue titulaire d'un doctorat en mathématiques s'interrogent sur sa conception depuis que plusieurs étudiants ont perdu des bourses d'études dans les meilleures universités, après avoir reçu des résultats bien inférieurs aux attentes de leurs professeurs. Certains étudiants pris au dépourvu ne savent plus comment ils paieront leurs études. "Ma seule supposition est un modèle défectueux", dit-il.
"En gros, je ne peux plus étudier ce que je veux nulle part."
ANAHITA NAGPAL, 18 ANS, GÖTTINGEN, ALLEMAGNE
Les inquiétudes concernant les modèles mathématiques défectueux augmentent à mesure que de plus en plus d'entreprises et de gouvernements appliquent des ordinateurs à des problèmes traditionnellement humains tels que les décisions de libération sous caution, l'identification de suspects criminels et la détermination de ce qu'est un discours de haine. L'éradication des préjugés et des inexactitudes dans de tels systèmes est un domaine croissant de l'activisme et du milieu universitaire.
Les personnes qui remettent en question les notes dérivées des algorithmes de l'IB soulèvent maintenant certains des mêmes problèmes. Ils se demandent comment le système a été conçu et testé, pourquoi son fonctionnement n'a pas été entièrement divulgué et s'il est logique d'utiliser une formule pour déterminer les notes qui peuvent façonner les opportunités d'une personne dans la vie.
Lorsque Covid-19 s'est emparé du monde en mars, de nombreux adolescents en dernière année de lycée se sont retrouvés dans une situation précaire. Les ordonnances de refuge sur place ont rendu difficile, voire impossible, l'achèvement des devoirs ou des tests finaux qui pourraient déterminer leurs choix d'université et de vie.
Les fournisseurs de tests se sont efforcés de concevoir de nouvelles façons d'évaluer les étudiants. Aux États-Unis, Educational Testing Service, qui fournit le GRE, et le College Board, qui gère les examens AP, ont déplacé leurs tests en ligne. Cela a apporté des bizarreries et des pépins - comme obliger les étudiants à passer leurs tests simultanément quel que soit le fuseau horaire et les reprises forcées par des erreurs techniques - mais cela a maintenu un semblant de processus normal.
IB, dont le siège est à Genève, a choisi d'utiliser une formule statistique à la place, s'ajoutant à la liste croissante de correctifs technologiques proposés pour automatiser les retombées de la pandémie. Le fonctionnement du diplôme de l'IB - et le calendrier des résultats - s'est avéré particulièrement préjudiciable pour les étudiants de l'IB postulant dans des universités américaines. Contrairement aux tests AP, qui sont généralement séparés des notes du secondaire, les résultats de l'IB sont destinés à refléter le travail d'un élève pour l'année. Les étudiants de l'IB sont souvent admis à l'université sur la base des notes prévues, et ils soumettent leurs résultats finaux lorsqu'ils deviennent disponibles au cours de l'été. Certains collèges, dont NYU et Northeastern, avertissent sur leurs pages d'admission que les étudiants dont les résultats de l'IB ne se rapprochent pas suffisamment de ces prédictions pourraient perdre leur place.
En temps normal, les étudiants diplômés de l'IB sélectionnent six matières, parmi des options telles que la physique et la philosophie, et reçoivent des notes finales déterminées en partie par des devoirs, mais principalement par des tests écrits administrés au printemps. Le programme est proposé par près de 900 écoles publiques aux États-Unis et est courant dans les écoles internationales du monde entier. En mars, l'IB a annulé tous les tests et a déclaré qu'il calculerait les notes finales de chaque élève en utilisant une méthode développée par une organisation éducative anonyme spécialisée dans l'analyse de données.
L'idée était d'utiliser des modèles antérieurs pour déduire ce qu'un étudiant aurait obtenu dans une année 2020 non dominée par une pandémie mortelle. L'IB n'a pas divulgué les détails de la méthodologie, mais a déclaré que les notes seraient calculées en fonction des notes des devoirs d'un élève, des notes prévues et des résultats historiques de l'IB de son école. La fondation a déclaré que les limites des notes avaient été fixées pour refléter les défis de l'apprentissage à distance pendant une pandémie. Pour les écoles où les données historiques manquaient, les prédictions s'appuieraient plutôt sur les données regroupées d'autres écoles.
Dans une vidéo publiée par IB sur le processus, Antony Furlong, responsable de la recherche et de la conception de l'évaluation de la fondation, a déclaré que le système créait essentiellement "une équation sur mesure" pour chaque école.
Une enseignante d'arts visuels dans une école américaine dit que ce qu'elle et ses collègues ont vu suggère que ce n'était pas bien adapté. "Quand j'ai vu les marques, j'étais terrassée", dit-elle. "Je suis toujours conservateur dans mes notes prévues, mais tous les élèves sauf un ont été déclassés." Sur les 15 étudiants avec lesquels elle travaille, quatre doivent repenser leurs plans pour cet automne, car ils ont raté des places à l'université, ce à quoi elle ne s'attendait pour aucun d'entre eux.
Déterminer si le système d'IB avait des défauts est difficile sans connaître sa formule ou les entrées et les sorties. Ce n'est pas parce que certains humains n'aiment pas les résultats d'une analyse de données qu'elle est incorrecte. Mais Suresh Venkatasubramanian, professeur à l'Université de l'Utah qui étudie les conséquences sociales de la prise de décision automatisée, affirme qu'il semble qu'IB aurait pu déployer son système de manière plus responsable. "Tout cela indique ce qui se passe lorsque vous essayez d'installer une sorte de processus automatisé sans transparence", dit-il. "La charge de la preuve devrait incomber au système pour justifier son existence."
L'analyse des données est plus puissante que jamais mais reste loin de pouvoir prédire les futures actions humaines complexes. Les modèles qui extrapolent à partir des tendances statistiques passées peuvent finir par traiter les gens de manière injuste parce que leur situation est différente, même si les résultats correspondent en moyenne aux modèles passés.
Venkatasubramanian dit que baser les notes d'un élève sur les tendances passées de son école, potentiellement sans rapport avec la carrière scolaire de l'élève, pourrait être injuste. L'utilisation de données d'autres écoles - comme l'IB l'a fait pour les écoles avec peu d'antécédents - est un "drapeau rouge", dit-il, car cela signifierait que les notes de certains élèves ont été calculées différemment des autres.
Constance Lavergne, dont le fils au Royaume-Uni a reçu des notes de l'IB inférieures aux attentes et a raté son université préférée, est l'un des nombreux parents qui ont du mal à comprendre ce qui s'est passé. Elle dit que son expérience de travail en étroite collaboration avec des analystes de données dans l'industrie technologique la rend méfiante à l'égard de la méthodologie d'IB. Cela générerait naturellement des résultats plus bruyants pour les classes plus petites, comme celle de son fils, car elles offrent moins de points de données passés, suggère-t-elle. "Il y a quelque chose qui ne va pas avec l'algorithme", dit Lavergne.
Le professeur de mathématiques du Moyen-Orient a déclaré qu'il pensait que son école avait souffert à cause de la façon dont l'IB avait annoncé et calibré son modèle. Les élèves de l'école ont soumis leurs devoirs avant l'IB et ont déclaré que ces devoirs aideraient à orienter le modèle de notation. Certains élèves de l'IB dans d'autres écoles n'avaient pas encore soumis ces devoirs, ce qui leur a permis de faire des efforts supplémentaires, en sachant qu'ils n'avaient pas à se préparer aux examens. Ce week-end, il prévoit de travailler avec son collègue doctorant en mathématiques et un progiciel pour déterminer où la formule de l'IB a pu mal tourner.
De nombreux étudiants qui ont reçu des résultats décevants se tournent maintenant vers novembre, lorsque l'IB propose généralement une deuxième série de tests en personne et qu'ils peuvent passer le test écrit qui a été annulé. Nagpal, l'étudiant en médecine frustré, a l'intention de participer, pour un coût d'environ 700 € (791 $). Si Covid-19 perturbe également ces tests, elle espère qu'IB les mettra en ligne plutôt que de tenter d'autres expériences de notation basée sur les données.