Incidente 849: Las herramientas de detección de IA supuestamente identifican erróneamente el trabajo de estudiantes neurodivergentes y de ESL como generado por IA en entornos académicos
Descripción: Según informes, las herramientas de detección de escritura con IA siguen marcando erróneamente trabajos genuinos de estudiantes como generados por IA, lo que afecta de forma desproporcionada a estudiantes de inglés como segundo idioma (ESL) y neurodivergentes. Casos específicos incluyen a Moira Olmsted, Ken Sahib y Marley Stevens, quienes fueron penalizados a pesar de escribir sus trabajos de forma independiente. Dichas herramientas, según se informa, presentan sesgos, lo que resulta en sanciones académicas, periodos de prueba y relaciones tensas entre profesores y alumnos.
Editor Notes: Reconstructing the timeline of events: (1) Sometime in 2023: Central Methodist University is reported to have used Turnitin to analyze assignments for AI usage. Moira Olmsted’s writing is flagged as AI-generated, leading to her receiving a zero and a warning. (2) Sometime in 2023: Ken Sahib, an ESL student at Berkeley College, is reported to have been penalized after AI detection tools flagged his assignment as AI-generated. (3) Sometime in late 2023 or early 2024: Marley Stevens is reported to have been placed on academic probation after Turnitin falsely identifies her work as AI-generated, though she purports to have only used Grammarly for minor edits. (4) October 18, 2024: Bloomberg publishes findings that leading AI detectors falsely flag 1%-2% of essays as AI-generated, with higher error rates for ESL students. (This date is set as the incident date for convenience.)
Entidades
Ver todas las entidadesAlleged: Turnitin , GPTZero y Copyleaks developed an AI system deployed by Central Methodist University , Berkeley College , Universities y Colleges, which harmed students , Neurodivergent students , ESL students , Moira Olmsted , Ken Sahib y Marley Stevens.
Estadísticas de incidentes
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
Después de tomarse un tiempo libre de la universidad a principios de la pandemia para formar una familia, Moira Olmsted estaba ansiosa por volver a la escuela. Durante meses, hizo malabarismos con un trabajo de tiempo completo y un niño peq…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents