Incident 808: Le modèle de risque étudiant basé sur l'IA d'Infinite Campus entraîne des coupes dans le soutien aux écoles à faibles revenus du Nevada
Description: Un système d'IA développé par Infinite Campus et déployé par le Nevada pour identifier les élèves à risque a entraîné une forte réduction du nombre d'élèves classés comme nécessitant un soutien, passant de 270 000 à 65 000. Ce reclassement a entraîné d'importantes coupes budgétaires dans les écoles accueillant des populations à faibles revenus. Cette réduction drastique du nombre d'élèves à risque identifiés aurait laissé des milliers d'enfants vulnérables sans ressources ni soutien.
Editor Notes: Timeline notes and clarification: Before 2023, Nevada identified at-risk students mostly by income, using free or reduced-price lunch eligibility as the key measure. In 2022, this system classified over 270,000 students as at-risk. Looking to improve the process, Nevada partnered with Infinite Campus in 2023 to introduce an AI system that used more factors like GPA, attendance, household structure, and home language. The new system was meant to better predict which students might struggle in school. However, during the 2023-2024 school year, the AI cut the number of at-risk students to less than 65,000. This reclassification caused budget cuts in schools that depended on the funding tied to at-risk students, especially those serving low-income populations. By October 2024, the problem gained national attention.
Entités
Voir toutes les entitésAlleged: Infinite Campus developed an AI system deployed by Nevada Department of Education, which harmed Low-income students in Nevada , Nevada school districts , Mater Academy of Nevada et Somerset Academy.
Statistiques d'incidents
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.3. Unequal performance across groups
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Rapports d'incidents
Chronologie du rapport
Le Nevada a longtemps eu le financement scolaire le plus déséquilibré du pays. Les districts à faible revenu ont près de 35 % d'argent en moins à dépenser par élève que les plus riches --- le écart le plus important de tous les États.
Il y …
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Northpointe Risk Models
· 15 rapports
Predictive Policing Biases of PredPol
· 17 rapports
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Northpointe Risk Models
· 15 rapports
Predictive Policing Biases of PredPol
· 17 rapports