Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 875

Incidentes Asociados

Incidente 499 Reportes
AI Beauty Judge Did Not Like Dark Skin

Loading...
¿Qué sucederá cuando los algoritmos de su empresa salgan mal?
hbr.org · 2017

Una IA diseñada para hacer X eventualmente fallará en hacer X. Los filtros de spam bloquean correos electrónicos importantes, el GPS proporciona direcciones defectuosas, las traducciones automáticas corrompen el significado de las frases, la autocorrección reemplaza una palabra deseada por una incorrecta, los sistemas biométricos no reconocen a las personas, el software de transcripción falla captar lo que se dice; en general, es más difícil encontrar ejemplos de IA que no fallen. Las fallas de las IA de dominio estrecho de hoy en día son solo la punta del iceberg; una vez que desarrollemos una inteligencia artificial general capaz de un rendimiento entre dominios, la vergüenza de tales fallas será la menor de nuestras preocupaciones. Es por eso que necesitamos implementar las mejores prácticas ahora.

Cuando esté listo para incorporar tecnologías de inteligencia artificial en su negocio, el análisis que debe realizar es este: ¿Qué puede salir mal? ¿Qué se espera que haga nuestro producto o servicio? ¿Qué pasa si no lo hace? ¿Tenemos un plan de mitigación de daños? Considere la situación vergonzosa en la que se encontró Microsoft con su fiasco de chatbot Tay, donde los trolls de Internet explotaron las vulnerabilidades en el código del bot, alimentándolo con contenido racista, homofóbico y sexista que millones leen en las redes sociales.

Insight Center La era de la IA Patrocinado por Accenture Cómo afectará a los negocios, la industria y la sociedad.

Los accidentes, incluidos los mortales, causados por software o robots industriales pueden rastrearse hasta los primeros días de dicha tecnología, pero no necesariamente son causados por los propios sistemas. Las fallas de la IA, por otro lado, están directamente relacionadas con los errores producidos por la inteligencia que tales sistemas están diseñados para exhibir. En términos generales, podemos clasificar tales fallas en "errores cometidos durante la fase de aprendizaje" y "errores cometidos durante la fase de desempeño". Un sistema puede no aprender lo que sus diseñadores quieren que aprenda y, en cambio, puede aprender una función diferente pero correlacionada.

Un ejemplo citado con frecuencia es un sistema de visión por computadora que el Ejército de los EE. UU. esperaba usar para detectar automáticamente los tanques enemigos camuflados. Se suponía que el sistema clasificaría imágenes de tanques, pero en cambio aprendió a distinguir los fondos de tales imágenes. Otros ejemplos incluyen problemas causados por funciones mal diseñadas que recompensarían a las IA por comportamientos solo parcialmente deseables, como pausar un juego para evitar perder o tocar repetidamente una pelota de fútbol para obtener crédito por posesión.

Puede ser útil observar algunos ejemplos recientes de fallas de IA para comprender mejor qué problemas pueden surgir y qué puede hacer para prevenirlos, o al menos para solucionarlos rápidamente después de una falla. Considere estos ejemplos de fallas de IA de los últimos años:

2015: un generador de respuestas de correo electrónico automatizado creó respuestas inapropiadas, como escribir "Te amo" a un colega de negocios.

2015: Un robot para agarrar autopartes agarró y mató a un hombre.

2015: El software de etiquetado de imágenes clasificó a las personas negras como gorilas.

2015: La IA médica clasificó a los pacientes con asma como de menor riesgo de morir de neumonía.

2015: El software de filtrado de contenido para adultos no pudo eliminar el contenido inapropiado, lo que expuso a los niños a contenido violento y sexual.

2016: IA diseñada para predecir la reincidencia actuó racista.

2016: un agente de IA aprovechó una señal de recompensa para ganar un juego sin completarlo.

2016: los NPC de videojuegos (personajes que no son jugadores o cualquier personaje que no esté controlado por un jugador humano) diseñaron superarmas no autorizadas.

2016: AI juzgó un concurso de belleza y calificó más bajo a las concursantes de piel oscura.

2016: Un robot de seguridad de un centro comercial chocó e hirió a un niño.

2016: La IA "AlphaGo" perdió ante un humano en un juego de "Go" a nivel de campeonato mundial.

2016: Un coche autónomo tuvo un accidente mortal.

Y todos los días, los consumidores experimentan deficiencias más comunes de la IA: los filtros de correo no deseado bloquean correos electrónicos importantes, el GPS proporciona direcciones incorrectas, las traducciones automáticas corrompen el significado de las frases, la autocorrección reemplaza una palabra deseada por una incorrecta, los sistemas biométricos no reconocen a las personas, el software de transcripción no logra captar lo que se dice; en general, es más difícil encontrar ejemplos de IA que no fallen.

Al analizar la lista anterior de fallas de IA, podemos llegar a una generalización simple: una IA diseñada para hacer X eventualmente fallará en hacer X. Si bien puede parecer trivial, es una poderosa herramienta de generalización que se puede usar para predecir futuras fallas. de IA. Por ejemplo, al observar las IA actuales y futuras de vanguardia, podemos predecir que:

Los médicos de IA diagnosticarán erróneamente a algunos pacientes de una manera que no lo haría un médico real.

El software de descripción de video malinterpretará las tramas de las películas.

El software para generar chistes ocasionalmente fallará en hacerlos divertidos.

El software de detección de sarcasmo confundirá declaraciones sarcásticas y sinceras.

El software de selección de empleados estará sistemáticamente sesgado y, por lo tanto, contratará a empleados de bajo rendimiento.

El robot-explorador de Marte juzgará mal su entorno y caerá en un cráter.

El software de preparación de impuestos perderá deducciones importantes o hará deducciones inapropiadas.

¿Qué debe aprender de la anterior ex

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd