Incidentes Asociados
Abre la aplicación de fotos en tu teléfono y busca "perro", y aparecerán todas las fotos que tengas de perros. Esta no fue una hazaña fácil. Su teléfono sabe cómo se ve un perro.
Esta maravilla moderna es el resultado del aprendizaje automático, una forma de inteligencia artificial. Programas como este analizan millones de datos y hacen correlaciones y predicciones sobre el mundo. Su atractivo es inmenso: las máquinas pueden usar datos duros y fríos para tomar decisiones que a veces son más precisas que las de un humano.
Pero el aprendizaje automático tiene un lado oscuro. Si no se usa adecuadamente, puede tomar decisiones que perpetúan los prejuicios raciales que existen en la sociedad. No es porque las computadoras sean racistas. Es porque aprenden mirando el mundo como es, no como debería ser.
Recientemente, la representante recién electa Alexandria Ocasio-Cortez (D-NY) hizo hincapié en este punto en una discusión en un evento del Día de Martin Luther King Jr. en la ciudad de Nueva York.
“Los seres humanos todavía crean algoritmos, y esos algoritmos todavía están vinculados a suposiciones humanas básicas”, dijo al escritor Ta-Nehisi Coates en el evento anual MLK Now. “Son solo suposiciones automatizadas. Y si no corrige el sesgo, simplemente lo está automatizando”.
Al día siguiente, el sitio web conservador Daily Wire se burló de los comentarios.
Pero Ocasio-Cortez tiene razón y vale la pena reflexionar sobre por qué.
Si no tenemos cuidado, la IA perpetuará el sesgo en nuestro mundo. Las computadoras aprenden a ser racistas, sexistas y prejuiciosas de una manera similar a como lo hace un niño, como me dijo la científica informática Aylin Caliskan, ahora en la Universidad George Washington, en una entrevista de 2017. Las computadoras aprenden de sus creadores: nosotros.
“Mucha gente piensa que las máquinas no están sesgadas”, dijo Caliskan, que estaba en Princeton en ese momento. “Pero las máquinas están entrenadas con datos humanos. Y los humanos son parciales”.
Creemos que la inteligencia artificial es imparcial. A menudo, no lo es.
Casi todas las nuevas tecnologías de consumo utilizan el aprendizaje automático de alguna manera. Tome Google Translate: ninguna persona instruyó al software para que aprendiera a traducir del griego al francés y luego al inglés. Revisó innumerables resmas de texto y aprendió por sí solo. En otros casos, los programas de aprendizaje automático hacen predicciones sobre qué currículos probablemente generarán candidatos exitosos para el trabajo, o cómo responderá un paciente a un medicamento en particular.
El aprendizaje automático es un programa que filtra miles de millones de puntos de datos para resolver problemas (como "¿puedes identificar al animal en la foto?"), pero no siempre aclara cómo ha resuelto el problema. Y cada vez está más claro que estos programas pueden desarrollar sesgos y estereotipos sin que nos demos cuenta.
En 2016, ProPublica publicó una investigación sobre un programa de aprendizaje automático que utilizan los tribunales para predecir quién es probable que cometa otro delito después de ser fichado. Los reporteros descubrieron que el software clasificaba a las personas negras en mayor riesgo que a las blancas.
“Calificaciones como esta, conocidas como evaluaciones de riesgo, son cada vez más comunes en los tribunales de todo el país”, explicó ProPublica. “Se utilizan para informar las decisiones sobre quién puede ser puesto en libertad en cada etapa del sistema de justicia penal, desde la asignación de montos de fianza… hasta decisiones aún más fundamentales sobre la libertad de los acusados”.
El programa aprendió quién tiene más probabilidades de terminar en la cárcel a partir de datos de encarcelamiento del mundo real. E históricamente, el sistema de justicia penal del mundo real ha sido injusto con los estadounidenses negros.
Esta historia revela una profunda ironía sobre el aprendizaje automático. El atractivo de estos sistemas es que pueden tomar decisiones imparciales, libres de prejuicios humanos. “Si las computadoras pudieran predecir con precisión qué acusados podrían cometer nuevos delitos, el sistema de justicia penal podría ser más justo y más selectivo sobre quién está encarcelado y por cuánto tiempo”, escribió ProPublica.
Pero lo que sucedió fue que los programas de aprendizaje automático perpetuaron nuestros sesgos a gran escala. Entonces, en lugar de que un juez tuviera prejuicios contra los afroamericanos, era un robot.
Otros casos son más ambiguos. En China, los investigadores combinaron la tecnología de reconocimiento facial con el aprendizaje automático para mirar las fotos de las licencias de conducir y predecir quién es un delincuente. Pretendía tener una precisión del 89,5 por ciento.
Muchos expertos se mostraron extremadamente escépticos con respecto a los hallazgos. ¿Qué rasgos faciales recogió este programa para el análisis? ¿Son las características físicas de ciertos grupos étnicos las que son discriminadas en el sistema de justicia? ¿Se está dando cuenta de los signos de una educación de bajo nivel socioeconómico que puede dejar impresiones duraderas en nuestros rostros?
Puede ser difícil de saber. (Más aterrador: hay una startup llamada Faception que afirma que puede detectar terroristas o pedófilos con solo mirar las caras).
“Tienes los algoritmos que son súper poderosos, pero igual de importante es qué tipo de datos alimentas a los algoritmos para enseñarles a discriminar”, me dijo el psicólogo de Princeton y experto en percepción facial Alexander Todorov en una entrevista de 2017, mientras discutía un artículo controvertido. sobre el uso del aprendizaje automático para predecir la orientación sexual a partir de los rostros. "Si