Incidentes Asociados
Hace décadas, al imaginar los usos prácticos de la inteligencia artificial, los escritores de ciencia ficción imaginaron mentes digitales autónomas que podrían servir a la humanidad. Claro, a veces un HAL 9000 o WOPR subvierte las expectativas y se vuelve deshonesto, pero eso fue muy involuntario, ¿verdad?
Y para muchos aspectos de la vida, la inteligencia artificial está cumpliendo su promesa. AI está, mientras hablamos, buscando evidencia de vida en Marte. Los científicos están utilizando la IA para tratar de desarrollar formas más precisas y rápidas de predecir el clima.
Pero cuando se trata de vigilancia, la realidad de la situación es mucho menos optimista. Nuestro HAL 9000 no hace valer sus propias decisiones en el mundo; en cambio, los programas que afirman usar IA para la vigilancia solo reafirman, justifican y legitiman las opiniones y acciones que ya están realizando los departamentos de policía.
La IA presenta dos problemas: el lavado tecnológico y un ciclo de retroalimentación clásico. El lavado tecnológico es el proceso mediante el cual los defensores de los resultados pueden defender esos resultados como imparciales porque se derivaron de las "matemáticas". Y el circuito de retroalimentación es cómo esa matemática continúa perpetuando resultados dañinos arraigados históricamente. “El problema de usar algoritmos basados en el aprendizaje automático es que si estos sistemas automatizados se alimentan con ejemplos de justicia sesgada, terminarán perpetuando estos mismos sesgos”, como señala un filósofo de la ciencia.
Con demasiada frecuencia, la inteligencia artificial en la vigilancia se alimenta de datos recopilados por la policía y, por lo tanto, solo puede predecir el crimen en función de los datos de los vecindarios que la policía ya está vigilando. Pero los datos sobre delitos son notoriamente inexactos, por lo que la vigilancia de la IA no solo pasa por alto los delitos que ocurren en otros vecindarios, sino que refuerza la idea de que los vecindarios en los que ya están demasiado vigilados son exactamente los vecindarios a los que la policía debe dirigir las patrullas y la vigilancia.
La forma en que la tecnología de inteligencia artificial lava los datos injustos creados por un sistema de justicia penal injusto se está volviendo cada vez más evidente.
En 2021, pudimos vislumbrar mejor lo que realmente significa "vigilancia basada en datos". Una investigación realizada por Gizmodo y The Markup mostró que el software que puso a PredPol, ahora llamada Geolitica, en el mapa predice de manera desproporcionada que se cometerán delitos en barrios habitados por gente de clase trabajadora, gente de color y, en particular, gente negra. Puede leer aquí sobre el análisis técnico y estadístico que realizaron para mostrar cómo estos algoritmos perpetúan las disparidades raciales en el sistema de justicia penal.
Gizmodo informa que, “Para los 11 departamentos que proporcionaron datos de arrestos, encontramos que las tasas de arrestos en las áreas pronosticadas permanecieron iguales ya sea que PredPol predijera un crimen ese día o no. En otras palabras, no encontramos una fuerte correlación entre los arrestos y las predicciones”. Esta es precisamente la razón por la que no se debe utilizar la llamada vigilancia predictiva o cualquier esquema de vigilancia basado en datos. La policía patrulla los vecindarios habitados principalmente por personas de color; eso significa que estos son los lugares donde hacen arrestos y escriben citaciones. El algoritmo tiene en cuenta estos arrestos y determina que es probable que estas áreas sean testigos de delitos en el futuro, lo que justifica una fuerte presencia policial en los vecindarios negros. Y así el ciclo continúa de nuevo.
Esto puede ocurrir con otras tecnologías que se basan en inteligencia artificial, como la detección acústica de disparos, que puede enviar alertas de falsos positivos a la policía que indican la presencia de disparos.
Este año también aprendimos que al menos una de las llamadas empresas de inteligencia artificial que recibió millones de dólares y cantidades incalculables de datos del gobierno del estado de Utah en realidad no pudo cumplir sus promesas de ayudar a dirigir la aplicación de la ley y los servicios públicos a las áreas problemáticas.
Esta es precisamente la razón por la cual varias ciudades, incluidas Santa Cruz y Nueva Orleans, han prohibido el uso gubernamental de programas policiales predictivos. Como dijo el alcalde de Santa Cruz en ese momento: “Si tenemos prejuicios raciales en la vigilancia, lo que eso significa es que los datos que ingresan a estos algoritmos ya están inherentemente sesgados y tendrán resultados sesgados, por lo que no tiene ningún sentido intentar y usar la tecnología cuando la probabilidad de que impacte negativamente a las comunidades de color sea evidente”.
El próximo año continuará la lucha contra el uso policial irresponsable de la inteligencia artificial y el aprendizaje automático. EFF continuará apoyando a los gobiernos locales y estatales en su lucha contra la llamada vigilancia policial predictiva o basada en datos.
Este artículo es parte de nuestra serie Year in Review. Lea otros artículos sobre la lucha por los derechos digitales en 2021.