Incidentes Asociados
Cuando Netflix se equivoca al recomendar una película, probablemente pienses que no es gran cosa. Del mismo modo, cuando tus zapatillas favoritas no aparecen en la lista de productos recomendados de Amazon, probablemente no sea el fin del mundo. Pero cuando un algoritmo le asigna una puntuación de amenaza de 1 a 500 que se utiliza para dictaminar sobre el tiempo en prisión, es posible que tenga algunas preocupaciones sobre este uso del análisis predictivo.
Para el público en general, los métodos policiales predictivos probablemente sean más conocidos por la película de ciencia ficción Minority Report de 2002, protagonizada por Tom Cruise. Basada en un cuento de Philip K. Dick, la película presenta una visión del futuro en la que se pueden predecir y prevenir los delitos. Esto puede sonar como un escenario utópico descabellado. Sin embargo, la justicia predictiva ya existe en la actualidad. Basado en sistemas avanzados de aprendizaje automático, hay una ola de nuevas empresas que brindan servicios predictivos a los tribunales; por ejemplo, en forma de algoritmos de evaluación de riesgos que estiman la probabilidad de reincidencia de los delincuentes.
¿Pueden las máquinas identificar a los futuros delincuentes?
Después de su arresto en 2013, Eric Loomis fue sentenciado a seis años de prisión basándose en parte en una predicción algorítmica opaca de que cometería más delitos. Equivant (anteriormente Northpointe), la compañía detrás del software patentado utilizado en el caso de Eric Loomis, afirma haber brindado una vista de 360 grados del acusado para brindar asistencia algorítmica detallada en la toma de decisiones judiciales.
Esta empresa es uno de los muchos jugadores en el campo de la justicia predictiva en los EE. UU. Un informe reciente del Centro de Información de Privacidad Electrónica encuentra que los algoritmos se utilizan cada vez más en los tribunales para "fijar fianzas, determinar sentencias e incluso contribuir a las determinaciones sobre la culpabilidad o la inocencia". Este cambio hacia una mayor inteligencia artificial en los tribunales, que permita a la IA aumentar el juicio humano, podría ser extremadamente beneficioso para el sistema judicial en su conjunto.
Sin embargo, un informe de investigación de ProPublica encontró que estos algoritmos tienden a reforzar el sesgo racial en los datos de las fuerzas del orden. Las evaluaciones algorítmicas tienden a marcar falsamente a los acusados negros como futuros delincuentes a una tasa casi dos veces mayor que la de los acusados blancos. Lo que es más, los jueces que se basaron en estas evaluaciones de riesgo por lo general no entendían cómo se calculaban los puntajes.
Esto es problemático, porque los modelos de aprendizaje automático son tan confiables como los datos en los que están entrenados. Si los datos subyacentes están sesgados de alguna forma, existe el riesgo de que las desigualdades estructurales y los sesgos injustos no solo se reproduzcan, sino que también se amplifiquen. En este sentido, los ingenieros de IA deben tener especial cuidado con sus puntos ciegos y suposiciones implícitas; lo que importa no es solo la elección de las técnicas de aprendizaje automático, sino también todas las pequeñas decisiones sobre cómo encontrar, organizar y etiquetar los datos de entrenamiento para los modelos de IA.
Los datos sesgados alimentan algoritmos sesgados
Incluso pequeñas irregularidades y sesgos pueden producir una diferencia medible en la evaluación de riesgos final. El problema crítico es que los problemas como el prejuicio racial y la discriminación estructural están arraigados en el mundo que nos rodea.
Por ejemplo, existe evidencia de que, a pesar de tasas similares de consumo de drogas, los estadounidenses negros son arrestados a una tasa cuatro veces mayor que la de los estadounidenses blancos por cargos relacionados con las drogas. Incluso si los ingenieros recopilaran fielmente estos datos y entrenaran un modelo de aprendizaje automático con ellos, la IA aún captaría el sesgo incrustado como parte del modelo.
Los patrones sistemáticos de desigualdad están en todas partes. Si observa las películas más taquilleras de 2014/2015, puede ver que los personajes femeninos están muy poco representados tanto en términos de tiempo de pantalla como de tiempo de conversación. Los nuevos modelos de aprendizaje automático pueden cuantificar estas desigualdades, pero hay muchas preguntas abiertas sobre cómo los ingenieros pueden mitigarlas de manera proactiva.
El reciente "Quick, Draw!" de Google El experimento demuestra vívidamente por qué es importante abordar el sesgo. El experimento invitó a los internautas de todo el mundo a participar en un divertido juego de dibujo. En cada ronda del juego, los usuarios fueron desafiados a dibujar un objeto en menos de 20 segundos. Luego, el sistema de IA intentaría adivinar qué representa su dibujo. Más de 20 millones de personas de 100 naciones participaron en el juego, lo que resultó en más de 2 mil millones de dibujos diversos de todo tipo de objetos, incluidos gatos, sillas, postales, mariposas, horizontes, etc.
Pero cuando los investigadores examinaron los dibujos de zapatos en el conjunto de datos, se dieron cuenta de que estaban lidiando con un fuerte sesgo cultural. Una gran cantidad de usuarios tempranos dibujaron zapatos que parecían zapatillas Converse. Esto llevó a la modelo a elegir los atributos visuales típicos de las zapatillas como el ejemplo prototípico de cómo debería ser un “zapato”. En consecuencia, los zapatos que no parecían zapatillas de deporte, como tacones altos, bailarinas o zuecos, no se reconocían como zapatos.
Estudios recientes muestran que, si no se controlan, los modelos de aprendizaje automático aprenderán estereotipos de género obsoletos, como que los "médicos" sean hombres y las "recepcionistas" sean mujeres. De manera similar, los modelos de IA