Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2170

Incidents associés

Incident 3748 Rapports
UK Ofqual's Algorithm Disproportionately Provided Lower Grades Than Teachers' Assessments

Loading...
Algorithme de niveau A d'Ofqual : pourquoi n'a-t-il pas réussi à obtenir la note ?
theguardian.com · 2020

Pour une si courte chaîne de symboles algébriques, nous pouvons apprendre beaucoup de [l'algorithme de notation] d'Ofqual (https://www.theguardian.com/education/2020/aug/20/ofqual-chief-to-face-mps -sur-examens-fiasco-et-algorithme-bâclé-système de notation) (bien qu'il s'agisse en réalité d'une équation) - et nous pouvons en apprendre beaucoup sur ce qui n'a pas fonctionné.

Premièrement et le plus évidemment, la taille de l'algorithme est un problème. Avec seulement quatre termes distincts - Ckj, qkj, pkj et rj - il montre la rareté des entrées. Il ne s'agit pas d'une solution de « mégadonnées », rassemblant toutes les informations possibles sur un étudiant dans le but d'obtenir une vue complète de ses capacités. En fait, c'est l'inverse : utiliser le moins d'informations possible, afin qu'elles puissent être rapidement rassemblées et facilement standardisées.

Quels sont donc ces termes ? Les premières sont trois différentes distributions de notes, k, dans les écoles, j. Ckj est assez simple : il s'agit de la répartition historique des notes à l'école au cours des trois dernières années, 2017-19.

Cela nous dit déjà que l'histoire de l'école est très importante pour Ofqual. Les notes obtenues par les autres élèves les années précédentes sont un facteur déterminant pour les notes que les élèves de cette année ont reçues en 2020. Le régulateur affirme qu'il s'agit d'une hypothèse plausible, mais pour de nombreux élèves, c'est aussi une hypothèse intrinsèquement injuste : les notes qui leur sont attribuées sont décidées. par la capacité d'élèves qu'ils n'ont peut-être jamais rencontrés.

qkj est l'endroit où la propre capacité des élèves entre en jeu. Il s'agit de la répartition des notes prévue en fonction des résultats antérieurs de la classe aux GCSE. Une classe avec principalement des 9 (la meilleure note) au GCSE obtiendra beaucoup de A \ * prédits; une classe avec principalement des 1 aux GCSE obtiendra beaucoup de Nous prédits.

pkj est la répartition prévue des notes des années précédentes, en fonction de leurs GCSE. Vous devez le savoir, car si les prévisions des années précédentes étaient mauvaises et bonnes, cette année pourrait faire de même ; et, encore une fois, vice versa.

Le terme final, rj, est différent : il ne s'agit pas du tout de notes, d'où l'absence du k. Au lieu de cela, il s'agit de savoir combien d'élèves de la classe disposent réellement de données historiques. Si vous pouvez parfaitement retrouver chaque résultat GCSE, alors c'est 1; si vous n'en trouvez aucun, c'est 0.

Enfin, nous pouvons mettre les termes ensemble. Premièrement, l'équation est en deux moitiés, une multipliée par ce terme rj et une multipliée par un moins rj, ce qui signifie que plus rj est élevé, plus 1-rj sera inférieur. Ce que cela dit est: «Si nous ne connaissons pas les notes GCSE de ce groupe, ignorez la moitié droite de cette équation et basez tout simplement sur les niveaux A de l'année dernière; dans la mesure où nous connaissons leurs notes GCSE, utilisez également ces informations.

La moitié gauche, qui n'est utilisée que si nous ne connaissons pas les données du GCSE, est aussi simple que cela : "Utilisez simplement les résultats historiques de niveau A." Et puis la moitié droite dit: "Utilisez les résultats historiques de niveau A, mais ajoutez-y les prédictions des résultats du GCSE de cette année, puis déclassez-les en fonction de la qualité du dernier lot de prédictions." Cela signifie qu'une école qui obtient régulièrement de bons résultats au niveau A malgré de mauvais GCSE obtiendra un coup de pouce.

L'agrégation de tous ces termes nous donne Pkj, les notes prévues pour l'école.

Même dans cette courte équation, nous pouvons voir les germes d'un fiasco : acquis antérieurs basés exclusivement sur les résultats du GCSE ; des notes historiques remontant à seulement trois ans ; et un refus de laisser la réussite réelle de l'élève prendre le pas sur la situation.

Dans un meilleur système, peut-être que le reste du processus aurait pu éliminer ces défauts, mais en réalité, ils les ont aggravés.

La décision de donner aux petites classes la possibilité de recevoir les notes recommandées par leurs enseignants ne figure pas dans l'algorithme, mais a donné un coup de pouce aux écoles privées d'élite.

Le choix de prendre les résultats de l'algorithme et d'ajuster davantage les limites des notes pour empêcher l'inflation globale des notes n'est pas dans l'algorithme, mais a encore déprimé les grandes classes en faveur des plus petites.

Et le choix de se concentrer, non pas sur la détermination des notes individuelles, mais sur la détermination d'une distribution pour une classe à laquelle les élèves ont ensuite été appariés sur la base de leur rang dans la classe, n'est pas une erreur d'algorithme mais une incompréhension fondamentale de ce que but était.

Cet article a été modifié le 24 août 2020. Les termes Ckj, qkj, pkj et rj sont distincts, mais pas uniques comme décrit dans une version antérieure ; une référence à pkj a été corrigée en Pkj ; et la description de 1-rj par rapport à rj a été clarifiée.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd