Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 742

Incidentes Asociados

Incidente 4127 Reportes
All Image Captions Produced are Violent

Loading...
El MIT crea un psicópata alimentado por IA llamado 'Norman'
extremetech.com · 2018

Los investigadores de inteligencia artificial hasta ahora han intentado crear algoritmos completos que puedan ser útiles para la humanidad. Sin embargo, un equipo del MIT ha emprendido un proyecto para hacer exactamente lo contrario. Investigadores del MIT Media Lab han entrenado a una IA para que sea un psicópata exponiéndola únicamente a imágenes de violencia y muerte. Es como una caja de terror de Skinner para la IA, que el equipo ha llamado "Norman" en honor al psicópata de la película Norman Bates. Como era de esperar, Norman no es una IA muy bien adaptada.

Norman comenzó con el mismo potencial que cualquier otra red neuronal: a medida que la alimenta con datos, se vuelve capaz de discernir patrones similares que encuentra. Las empresas de tecnología han utilizado la IA para ayudar a buscar fotos y crear síntesis de voz más creíbles, entre muchas otras aplicaciones. Estas IA completas se diseñaron con un propósito específico en mente. Norman nació para ser un psicópata.

El equipo del MIT alimentó a Norman con una dieta constante de datos seleccionados de espantosos subreddits que existen para compartir fotos de muerte y destrucción. Debido a preocupaciones éticas, el equipo en realidad no manejó ninguna foto de personas muriendo. Norman solo obtuvo leyendas de imágenes del subreddit que coincidían con manchas de tinta, y esto es lo que formó la base de su inquietante personalidad de IA.

Después del entrenamiento, a Norman y a una IA "normal" se les mostró una serie de manchas de tinta. Los psicólogos a veces usan estas "pruebas de Rorschach" para evaluar el estado mental de un paciente. Norman y la IA normal son esencialmente bots de subtítulos de imágenes, que es una popular aplicación de aprendizaje profundo para IA. La IA normal vio cosas como un avión, flores y un pájaro pequeño. Norman vio gente muriendo por heridas de bala, saltando de edificios, etc.

Norman no fue corrompido para hacer ningún tipo de comentario sobre la psicología humana en Internet: una red neuronal es una pizarra en blanco. No tiene ningún deseo innato como un humano. Lo que Norman aborda es el peligro de que la inteligencia artificial pueda volverse peligrosamente sesgada. Con la IA, obtienes lo que pones, por lo que es importante que estas plataformas estén capacitadas para evitar sesgos y, preferiblemente, no se dejen navegar por los rincones más oscuros de Reddit durante largos períodos de tiempo.

El equipo ahora quiere ver si puede arreglar a Norman. Puede realizar la misma prueba de Rorschach y agregar sus propios subtítulos. El equipo usará estos datos para ajustar el modelo de Norman para ver si comienza a ver menos asesinatos. Solo podemos esperar.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd