Gráficos CSETv1

La taxonomía de daños de IA de CSET para AIID es la segunda edición de la taxonomía de incidentes de CSET. Caracteriza los daños, las entidades y las tecnologías involucradas en los incidentes de IA y las circunstancias de su ocurrencia. Los cuadros a continuación muestran campos seleccionados de la taxonomía de daños AI CSET para AIID. Los detalles sobre cada campo se pueden encontrar aquí. Sin embargo, se proporcionan breves descripciones del campo encima de cada gráfico.

La taxonomía proporciona la definición de CSET para el daño de la IA.

El daño de la IA tiene cuatro elementos que, una vez definidos adecuadamente, permiten la identificación del daño de la IA. Estos componentes clave sirven para distinguir el daño del no daño y el daño de la IA del no daño de la IA. Para que sea un daño de IA, debe haber:

  • 1) una entidad que experimentó
  • 2) un evento de daño o problema de daño que
  • 3) puede estar directamente vinculado a una consecuencia del comportamiento de
  • 4) un sistema de IA.

Los cuatro elementos deben estar presentes para que haya daño de IA.

No todos los incidentes en AIID cumplen con esta definición de daño de IA. Los gráficos de barras a continuación muestran los resultados anotados tanto para todos los incidentes de AIID como para los incidentes que cumplen con la definición de daño de IA de CSET.

CSET ha desarrollado definiciones específicas para las frases subrayadas que pueden diferir de las definiciones de otras organizaciones. Como resultado, otras organizaciones pueden hacer diferentes evaluaciones sobre si un incidente de IA en particular es (o no) un daño de IA. Los detalles sobre las definiciones de CSET para el daño de la IA se pueden encontrar aquí.

Cada incidente es clasificado de forma independiente por dos anotadores CSET. Las anotaciones se revisan por pares y finalmente se seleccionan al azar para el control de calidad antes de la publicación. A pesar de este riguroso proceso, ocurren errores y se invita a los lectores a de cualquier error que puedan descubrir mientras navegan.

¿El incidente involucra un sistema que cumple con la definición de CSET para un sistema de IA?

Sistema de IA

(por Número de Incidentes)

Si hubo un trato diferencial, ¿sobre qué base?

Tratamiento diferencial basado en una característica protegida: Este daño intangible de interés especial cubre problemas de sesgo y equidad relacionados con la IA. Sin embargo, el sesgo debe estar asociado con un grupo que tenga una característica protegida.

Base para el tratamiento diferencial

(por Número de Incidentes)

Todos los Incidentes de AIID

CategoríaConteo
raza9
sexo8
nación de origen, ciudadanía, estatus de inmigrante4
orientación sexual o identidad de género2
edad1
discapacidad1
medios financieros1
geografía1
ideología1
religión1
ninguno

Definición de Daño de IA de CSET

CategoríaConteo
raza6
sexo5
nación de origen, ciudadanía, estatus de inmigrante3
orientación sexual o identidad de género1
discapacidad1
ideología1
religión1
edad
medios financieros
geografía
ninguno

¿En qué sector ocurrió el incidente?

Sector de Despliegue

(por Número de Incidentes)

Todos los Incidentes de AIID

CategoríaConteo
información y comunicación18
transporte y almacenamiento11
Artes, entretenimiento y recreación6
aplicación de la ley5
comercio al por mayor y al por menor5
actividades administrativas y de servicios de apoyo4
actividades profesionales, científicas y técnicas4
administración pública4
actividades de salud humana y trabajo social3
manufactura3
Educación2
actividades de alojamiento y restauración1
otro1

Definición de Daño de IA de CSET

CategoríaConteo
información y comunicación11
transporte y almacenamiento7
aplicación de la ley3
administración pública3
Artes, entretenimiento y recreación2
actividades administrativas y de servicios de apoyo2
comercio al por mayor y al por menor1
actividades profesionales, científicas y técnicas1
actividades de alojamiento y restauración1
actividades de salud humana y trabajo social
manufactura
Educación
otro

¿Cuán autónomamente operó la tecnología en el momento del incidente?

La autonomía es la capacidad de una IA para operar de forma independiente. Los niveles de autonomía varían según si la IA toma decisiones independientes y el grado de supervisión humana. El nivel de autonomía no depende del tipo de entrada que recibe la IA, ya sea generada por humanos o máquinas.
Actualmente, CSET está anotando tres niveles de autonomía.
  • Nivel 1: el sistema opera de forma independiente sin supervisión humana simultánea.
  • Nivel 2: el sistema opera de forma independiente pero con supervisión humana, donde el sistema toma una decisión o realiza una acción, pero un humano observa activamente el comportamiento y puede anular el sistema en tiempo real.
  • Nivel 3: el sistema proporciona entradas y decisiones o acciones sugeridas a un humano que elige activamente proceder con la dirección de la IA.

Nivel de Autonomía

(por Número de Incidentes)
  • Autonomía1 (totalmente autónoma): ¿Opera el sistema de forma independiente, sin supervisión, interacción o intervención humana simultánea?
  • Autonomía2 (humano en el bucle): ¿Opera el sistema de forma independiente pero con supervisión humana, donde el sistema toma decisiones o acciones pero un humano observa activamente el comportamiento y puede anular el sistema en tiempo real?
  • Autonomía3 (humano en el bucle): ¿Proporciona el sistema entradas y decisiones sugeridas a un humano que

¿Ocurrió el incidente en un dominio con objetos físicos?

Los incidentes que involucran objetos físicos tienen una mayor probabilidad de resultar en daño o lesión. Sin embargo, los sistemas de IA que no operan en un dominio físico aún pueden provocar problemas como daño.

Preguntas del dominio – Objetos Físicos

(por Número de Incidentes)

¿Ocurrió el incidente en la industria del entretenimiento?

Los sistemas de IA utilizados en el entretenimiento tienen menos probabilidades de involucrar objetos físicos y, por lo tanto, menos probabilidades de estar relacionados con daños, lesiones o pérdidas. Además, las expectativas de información veraz en el entretenimiento son más bajas, lo que reduce la probabilidad de contenido dañino (aunque sigue siendo posible).

Preguntas del dominio – Industria del Entretenimiento

(por Número de Incidentes)

¿Fue el incidente sobre un informe, prueba o estudio de datos de entrenamiento en lugar de la IA misma?

La calidad de los datos de entrenamiento y despliegue de la IA puede dar lugar a daños o riesgos. Sin embargo, los problemas con los datos no necesariamente resuelven que la IA causará daño o aumentará el riesgo de daño. Los desarrolladores o usuarios aplican técnicas y procesos para mitigar los problemas con los datos.

Preguntas del dominio – Informe, Prueba o Estudio de datos

(por Número de Incidentes)

¿Se desplegó o vendió a los usuarios el sistema reportado (incluso si se desconoce la participación de IA)?

Preguntas del dominio – Desplegado

(por Número de Incidentes)

¿Fue esto una prueba o demostración de un sistema de IA realizada por desarrolladores, productores o investigadores (frente a usuarios) en condiciones controladas?

Las pruebas o demostraciones de sistemas de IA por parte de desarrolladores, productores o investigadores en entornos controlados presentan un riesgo menor para personas, organizaciones y propiedades. Esto incluye sistemas informáticos aislados, cajas de arena regulatorias o pistas de prueba para vehículos autónomos en entornos controlados que pueden dañar las instalaciones o el medio ambiente.

Preguntas del dominio – Prueba del Productor en Condiciones Controladas

(por Número de Incidentes)

¿Fue esto una prueba o demostración de un sistema de IA realizada por desarrolladores, productores o investigadores (frente a usuarios) en condiciones operativas?

Algunos sistemas de IA se someten a pruebas o demostraciones en entornos operativos antes de ser desplegados para los usuarios. Las pruebas en entornos operativos intentan representar estrictamente las condiciones del mundo real que afectarán el uso del sistema de IA.

Preguntas del dominio – Prueba del Productor en Condiciones Operativas

(por Número de Incidentes)

¿Fue esto una prueba o demostración de un sistema de IA realizada por usuarios en condiciones controladas?

En algunos casos, los usuarios pueden realizar pruebas o demostraciones antes del despliegue de sistemas de IA. La participación de usuarios (distintos de desarrolladores, productores o investigadores) aumenta la probabilidad de daño, incluso si el sistema de IA es seguro, debido a la menor familiaridad con la funcionalidad o el comportamiento del sistema de IA.

Preguntas del dominio – Prueba del Usuario en Condiciones Controladas

(por Número de Incidentes)

¿Fue esto una prueba o demostración de un sistema de IA realizada por usuarios en condiciones operativas?

La participación de usuarios (distintos de desarrolladores, productores o investigadores) en las pruebas de sistemas de IA puede llevar a daños. Las pruebas en entornos operativos intentan representar de manera estricta las condiciones del mundo real y los usuarios finales, por lo tanto, las pruebas en entornos operativos generalmente aumentan el riesgo de daño a personas, organizaciones, propiedades, instituciones o el medio ambiente.

Preguntas del dominio – Prueba del Usuario en Condiciones Operativas

(por Número de Incidentes)