Incident 849: Des outils de détection d'IA identifieraient à tort le travail des étudiants neurodivergents et ESL comme étant généré par l'IA dans des contextes académiques
Description: Des outils de détection d'écriture par l'IA auraient continué à faussement identifier des travaux authentiques d'étudiants comme étant générés par l'IA, ce qui aurait eu un impact disproportionné sur les étudiants ESL et neurodivergents. Parmi les cas spécifiques, on peut citer Moira Olmsted, Ken Sahib et Marley Stevens, qui ont été pénalisés alors qu'ils rédigeaient leurs travaux de manière indépendante. Ces outils seraient biaisés, entraînant des sanctions académiques, des mises à l'épreuve et des relations tendues entre enseignants et étudiants.
Editor Notes: Reconstructing the timeline of events: (1) Sometime in 2023: Central Methodist University is reported to have used Turnitin to analyze assignments for AI usage. Moira Olmsted’s writing is flagged as AI-generated, leading to her receiving a zero and a warning. (2) Sometime in 2023: Ken Sahib, an ESL student at Berkeley College, is reported to have been penalized after AI detection tools flagged his assignment as AI-generated. (3) Sometime in late 2023 or early 2024: Marley Stevens is reported to have been placed on academic probation after Turnitin falsely identifies her work as AI-generated, though she purports to have only used Grammarly for minor edits. (4) October 18, 2024: Bloomberg publishes findings that leading AI detectors falsely flag 1%-2% of essays as AI-generated, with higher error rates for ESL students. (This date is set as the incident date for convenience.)
Entités
Voir toutes les entitésAlleged: Turnitin , GPTZero et Copyleaks developed an AI system deployed by Central Methodist University , Berkeley College , Universities et Colleges, which harmed students , Neurodivergent students , ESL students , Moira Olmsted , Ken Sahib et Marley Stevens.
Statistiques d'incidents
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Rapports d'incidents
Chronologie du rapport
Après avoir pris une pause de l'université au début de la pandémie pour fonder une famille, Moira Olmsted avait hâte de retourner à l'école. Pendant des mois, elle a jonglé entre un emploi à temps plein et un jeune enfant pour économiser af…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Incidents similaires
Did our AI mess up? Flag the unrelated incidents