Incidente 238: La herramienta de detección de casos de abuso infantil de Oregón se suspendió debido a preocupaciones sobre sesgo racial.
Descripción: El Departamento de Servicios Humanos de Oregón (DHS) dejó de utilizar su herramienta de seguridad en la evaluación, que tiene como objetivo predecir el riesgo de que los niños terminen en hogares de acogida o sean investigados en el futuro, y optó por un nuevo proceso supuestamente para reducir las disparidades y mejorar la toma de decisiones racialmente equitativa.
Entidades
Ver todas las entidadesPresunto: un sistema de IA desarrollado e implementado por Oregon Department of Human Services, perjudicó a children of minority groups y families of minority groups.
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.1. Unfair discrimination and misrepresentation
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
WASHINGTON — Los funcionarios de bienestar infantil en Oregón dejarán de usar un algoritmo para ayudar a decidir qué familias son investigadas por los trabajadores sociales y optarán por un nuevo proceso que, según los funcionarios, tomará …
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?