Incident 808: Le modèle d'évaluation des risques étudiants basé sur l'IA d'Infinite Campus entraîne des coupes budgétaires dans les écoles des quartiers défavorisés du Nevada.
Description: Un système d'intelligence artificielle développé par Infinite Campus et déployé dans l'État du Nevada pour identifier les élèves en difficulté aurait entraîné une forte diminution du nombre d'élèves considérés comme ayant besoin d'aide, passant de 270 000 à 65 000. Cette réévaluation aurait provoqué d'importantes coupes budgétaires dans les écoles accueillant des élèves issus de milieux défavorisés. Cette réduction drastique du nombre d'élèves identifiés comme étant en difficulté aurait laissé des milliers d'enfants vulnérables sans ressources ni soutien.
Editor Notes: Timeline notes and clarification: Before 2023, Nevada identified at-risk students mostly by income, using free or reduced-price lunch eligibility as the key measure. In 2022, this system classified over 270,000 students as at-risk. Looking to improve the process, Nevada partnered with Infinite Campus in 2023 to introduce an AI system that used more factors like GPA, attendance, household structure, and home language. The new system was meant to better predict which students might struggle in school. However, during the 2023-2024 school year, the AI cut the number of at-risk students to less than 65,000. This reclassification caused budget cuts in schools that depended on the funding tied to at-risk students, especially those serving low-income populations. By October 2024, the problem gained national attention.
Outils
Nouveau rapportNouvelle RéponseDécouvrirVoir l'historique
Le Moniteur des incidents et risques liés à l'IA de l'OCDE (AIM) collecte et classe automatiquement les incidents et risques liés à l'IA en temps réel à partir de sources d'information réputées dans le monde entier.
Entités
Voir toutes les entitésAlleged: Infinite Campus developed an AI system deployed by Nevada Department of Education, which harmed Somerset Academy , Nevada school districts , Mater Academy of Nevada , Economically vulnerable students in Nevada , Educational communities , Students , Minors et Economically vulnerable people.
Système d'IA présumé impliqué: Infinite Campus
Statistiques d'incidents
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.3. Unequal performance across groups
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Intentional
Rapports d'incidents
Chronologie du rapport
Loading...
Le Nevada a longtemps eu le financement scolaire le plus déséquilibré du pays. Les districts à faible revenu ont près de 35 % d'argent en moins à dépenser par élève que les plus riches --- le écart le plus important de tous les États.
Il y …
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Incidents similaires
Did our AI mess up? Flag the unrelated incidents