Journal des citations pour l'incident 81

Description: A study by the University of Toronto, the Vector Institute, and MIT showed the input databases that trained AI systems used to classify chest X-rays led the systems to show gender, socioeconomic, and racial biases.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Statistiques d'incidents

ID
81
Nombre de rapports
1
Date de l'incident
2020-10-21
Editeurs
Sean McGregor, Khoa Lam

Classifications de taxonomie CSETv0

Détails de la taxonomie

Full Description

A study by the University of Toronto, the Vector Institute, and MIT showed the input databases that trained AI systems used to classify chest X-rays led the systems to show gender, socioeconomic, and racial biases. Google startups like Qure.ai, Aidoc, and DarwinAI can scan chest X-rays to determine likelihood of conditions like fractures and collapsed lungs. The databases used to train the AI were found to consist of examples of primarily white patients (67.64%), leading the diagnostic system to be more accurate with diagnosing white patients than other patients. Black patients were half as likely to be recommended for further care when it was needed.

Short Description

A study by the University of Toronto, the Vector Institute, and MIT showed the input databases that trained AI systems used to classify chest X-rays led the systems to show gender, socioeconomic, and racial biases.

Severity

Unclear/unknown

Harm Distribution Basis

Race, Sex, Financial means

Harm Type

Harm to physical health/safety

AI System Description

Google start up companies Qure.ai, Aidoc, and DarwinAI that use AI systems to analyze medical imagery

System Developer

Google

Sector of Deployment

Human health and social work activities

Relevant AI functions

Perception, Cognition

AI Techniques

medical image processor

AI Applications

image classification

Named Entities

MIT, Mount Sinai Hospital, University of Toronto, Vector Institute, Google, Qure.ai, Aidoc, DarwinAI

Technology Purveyor

Google

Beginning Date

2020-10-21T07:00:00.000Z

Ending Date

2020-10-21T07:00:00.000Z

Near Miss

Unclear/unknown

Intent

Unclear

Lives Lost

No

Infrastructure Sectors

Healthcare and public health

Data Inputs

medical imagery databases

Classifications de taxonomie CSETv1

Détails de la taxonomie

Harm Distribution Basis

race, sex, financial means, age

Sector of Deployment

human health and social work activities

Les chercheurs trouvent des preuves de préjugés raciaux, sexistes et socio-économiques dans les classificateurs de radiographie pulmonaire
venturebeat.com · 2020

Google et des startups comme Qure.ai, Aidoc et DarwinAI développent des systèmes d'IA et d'apprentissage automatique qui classent les radiographies pulmonaires pour aider à identifier des conditions telles que les fractures et les poumons e…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents