Incidentes Asociados
Derechos de autor de la imagen MIT Image caption Norman lleva el nombre de Norman Bates de Alfred Hitchcock en su clásica película de terror Psycho.
Norman es un algoritmo entrenado para comprender imágenes pero, como su homónimo Norman Bates de Hitchcock, no tiene una visión optimista del mundo.
Cuando se le pregunta a un algoritmo "normal" generado por inteligencia artificial qué ve en una forma abstracta, elige algo alegre: "Un grupo de pájaros posados en la rama de un árbol".
Norman ve a un hombre siendo electrocutado.
Y donde la IA "normal" ve a un par de personas paradas una al lado de la otra, Norman ve a un hombre saltando desde una ventana.
El algoritmo psicópata fue creado por un equipo del Instituto Tecnológico de Massachusetts, como parte de un experimento para ver qué efecto tendría en su visión del mundo entrenar a la IA con datos de "los rincones oscuros de la red".
Al software se le mostraron imágenes de personas muriendo en circunstancias espantosas, seleccionadas de un grupo en el sitio web Reddit.
Luego, a la IA, que puede interpretar imágenes y describir lo que ve en forma de texto, se le mostraron dibujos de manchas de tinta y se le preguntó qué veía en ellos.
Estas imágenes abstractas son utilizadas tradicionalmente por los psicólogos para ayudar a evaluar el estado mental de un paciente, en particular, si perciben el mundo bajo una luz negativa o positiva.
La vista de Norman era incesantemente sombría: veía cadáveres, sangre y destrucción en cada imagen.
Junto a Norman, otra IA fue entrenada en imágenes más normales de gatos, pájaros y personas.
Vio imágenes mucho más alegres en las mismas manchas abstractas.
El hecho de que las respuestas de Norman fueran mucho más oscuras ilustra una dura realidad en el nuevo mundo del aprendizaje automático, dijo el profesor Iyad Rahwan, parte del equipo de tres personas del Media Lab del MIT que desarrolló Norman.
"Los datos importan más que el algoritmo.
"Resalta la idea de que los datos que usamos para entrenar a la IA se reflejan en la forma en que la IA percibe el mundo y cómo se comporta".
La inteligencia artificial está a nuestro alrededor en estos días: Google mostró recientemente que la IA hace una llamada telefónica con una voz prácticamente indistinguible de la humana, mientras que la firma de Alphabet, Deepmind, ha creado algoritmos que pueden aprender a jugar juegos complejos.
Y la IA ya se está implementando en una amplia variedad de industrias, desde asistentes digitales personales, filtrado de correo electrónico, búsqueda, prevención de fraude, reconocimiento facial y de voz y clasificación de contenido.
Puede generar noticias, crear nuevos niveles en los videojuegos, actuar como un agente de servicio al cliente, analizar informes médicos y financieros y ofrecer información sobre cómo los centros de datos pueden ahorrar energía.
Pero si el experimento con Norman demuestra algo, es que la IA entrenada con datos incorrectos puede volverse mala.
IA racista
Norman está sesgado hacia la muerte y la destrucción porque eso es todo lo que sabe y la IA en situaciones de la vida real puede estar igualmente sesgada si está entrenada con datos defectuosos.
En mayo del año pasado, un informe afirmó que un programa informático generado por IA utilizado por un tribunal estadounidense para la evaluación de riesgos estaba sesgado contra los presos negros.
El programa señaló que las personas negras tenían el doble de probabilidades de reincidir que las personas blancas, como resultado de la información defectuosa de la que estaba aprendiendo.
También se detectó que los algoritmos policiales predictivos utilizados en los EE. UU. tenían un sesgo similar, como resultado de los datos históricos de delitos en los que fueron entrenados.
A veces, los datos de los que la IA "aprende" provienen de humanos que intentan hacer travesuras, por lo que cuando el chatbat Tay de Microsoft se lanzó en Twitter en 2016, el bot rápidamente resultó ser un éxito entre los racistas y los trolls que le enseñaron a defender a los supremacistas blancos y llamar al genocidio. y expresar un cariño por Hitler.
Norman, al parecer, no está solo cuando se trata de IA fácilmente sugestionable.
Y AI no se ha detenido en el racismo.
Un estudio mostró que el software entrenado en Google News se volvió sexista como resultado de los datos de los que estaba aprendiendo. Cuando se le pidió que completara la declaración, "El hombre es para el programador de computadoras como la mujer para X", el software respondió 'ama de casa'.
La Dra. Joanna Bryson, del departamento de informática de la Universidad de Bath, dijo que el problema de la IA sexista podría deberse al hecho de que muchas máquinas están programadas por "hombres solteros blancos de California" y pueden abordarse, al menos parcialmente. , diversificando la mano de obra.
Ella le dijo a la BBC que no debería sorprender que las máquinas estén recogiendo las opiniones de las personas que las están entrenando.
"Cuando entrenamos máquinas eligiendo nuestra cultura, necesariamente transferimos nuestros propios sesgos", dijo.
"No existe una forma matemática de crear equidad. El sesgo no es una mala palabra en el aprendizaje automático. Simplemente significa que la máquina detecta regularidades".
Lo que le preocupa es la idea de que algunos programadores elijan deliberadamente maldad o sesgo en las máquinas.
Para detener esto, el proceso de creación de IA necesita más supervisión y mayor transparencia, piensa.
El profesor Rahwan dijo que su experimento con Norman probó que "los ingenieros tienen que encontrar una manera de equilibrar los datos de alguna manera", pero reconoce que la cada vez más amplia