Incidentes Asociados
Mucha gente está preocupada por el aumento potencial de la IA maligna, y los periódicos del Reino Unido, en particular, están preocupados por el escenario 'Terminator' de máquinas que son hostiles a la humanidad.
Los investigadores del MIT han decidido explorar este concepto mediante la creación de una IA psicópata, llamada Norman, en honor a Norman Bates en la película de Alfred Hitchcock, Psycho. Su objetivo no es confirmar los peores temores del público mediante el diseño de una inteligencia artificial hostil, sino demostrar cómo y por qué una máquina puede volverse "malvada" en primer lugar.
Norman fue diseñado para explorar la enorme influencia que tienen los datos de entrenamiento en los algoritmos de aprendizaje automático y los resultados son ciertamente instructivos.
Pero primero, ¿cuál es el problema que los investigadores están tratando de resaltar?
Sesgos de importación
Muchas personas asumen que los sistemas de inteligencia artificial son de alguna manera objetivos y carecen de los sesgos, creencias o prejuicios que son comunes entre los seres humanos. De hecho, lo contrario es invariablemente el caso, y los datos que los desarrolladores usan para entrenar algoritmos de aprendizaje automático pueden influir en gran medida en su comportamiento y en los resultados que producen estos sistemas.
La investigación ha demostrado (ver a continuación) que el sesgo inconsciente puede infiltrarse en los datos de entrenamiento, a veces porque los sistemas se desarrollan en equipos que carecen de diversidad o aportes externos y, en otras ocasiones, simplemente porque se entrenan con datos que contienen sesgos históricos que nunca se han reconocido. y abordado por los desarrolladores.
Por ejemplo, si una IA está capacitada para dar pautas de sentencia en el sistema legal, producirá resultados sesgados si los datos de capacitación contienen sesgos sistémicos a largo plazo contra los grupos minoritarios. Este no es un escenario hipotético: recientemente se descubrió que el sistema COMPAS AI en los EE. UU. estaba sesgado contra los estadounidenses negros y otras minorías, porque décadas de datos legales contenían sesgos institucionales en las sentencias.
En efecto, esos sesgos se han automatizado y se les ha dado una apariencia de neutralidad: un conjunto peligroso de circunstancias en términos sociales.
Todos estos temas se exploran en profundidad en este informe externo del editor de Internet of Business, Chris Middleton. Entre los muchos casos discutidos en ese artículo está la reciente construcción de un sistema de reconocimiento de imágenes de IA por parte de la CIA para determinar si las personas con tatuajes tienen más probabilidades de cometer delitos. Sin embargo, como explica el informe, la creencia implícita de que "las personas con tatuajes cometen delitos" es inherente al programa y a los datos de capacitación, por lo que es probable que el sistema solo pueda brindarles a los funcionarios las respuestas que desean.
Si bien los desarrolladores y sus modelos de aprendizaje automático pueden ser completamente imparciales, el punto es que muchas IA llegan a cualquier conclusión disponible a partir de los datos que los humanos les han proporcionado. No son en ningún sentido significativo "inteligentes".
Presentamos a normando
Los investigadores utilizaron la prueba de manchas de tinta de Rorschach para probar el punto. A través de Norman, el equipo demostró que el mismo algoritmo de aprendizaje automático percibe escenas completamente diferentes en una imagen cuando se entrena con diferentes fuentes de datos.
Norman fue diseñado para realizar subtítulos de imágenes, creando descripciones textuales de las imágenes. Sin embargo, fue entrenado usando una página de Reddit que contenía representaciones y observaciones inquietantes sobre la realidad de la muerte.
Luego, la IA se probó junto con otra red neuronal de subtítulos de imágenes, esta vez entrenada en el conjunto de datos COCO de Microsoft. Ambos fueron sometidos a las manchas de tinta de Rorschach, la prueba psicológica creada en 1921 y que se hizo famosa por su uso en el diagnóstico de trastornos psicológicos.
Los resultados del experimento de IA fueron inquietantes, aunque predecibles. Mientras que la IA estándar interpretó que una imagen contenía "un grupo de pájaros sentados en la parte superior de la rama de un árbol", Norman concluyó que "un hombre se electrocutó".
De manera similar, lo que era un "primer plano de un jarrón con flores" para la otra IA, fue subtitulado "un hombre es asesinado a tiros frente a su esposa que grita" por Norman.
Otras interpretaciones incluyeron, "el hombre es arrastrado a la máquina de masa" y "la mujer embarazada se cae en la historia de la construcción [sic]".
Norman no es la primera incursión del equipo del MIT en los vínculos de la IA con el horror y otras emociones. En 2016, los investigadores compartieron Nightmare Machine, imágenes de terror generadas por IA, y encuestaron a personas de todo el mundo sobre sus respuestas a la capacidad de IA para invocar emociones como el miedo. Un año después, la IA de Shelley escribió en colaboración historias de terror con humanos antes de que Deep Empathy explorara la otra cara de la moneda emocional.
Internet de los negocios dice
Las implicaciones de la investigación de 'Norman' son valiosas, y preocupantes, porque revelan que algunos sistemas de IA pueden simplemente presentarnos los resultados que, consciente o inconscientemente, ya queremos ver. De la misma manera que una búsqueda de imágenes de Google, por ejemplo, presentará cualquier imagen que los usuarios de Internet hayan etiquetado de cierta manera, incluidas las etiquetas que pueden ser parciales o sesgadas.
Esto abre la posibilidad real de que podamos comenzar a usar la IA para "probar" cosas que ya creemos que son el caso. en tal