Incidentes Asociados
Durante años, la comunidad de justicia penal ha estado preocupada. Los tribunales de todo el país están asignando montos de fianza para sentenciar a los acusados en función de algoritmos, y tanto los abogados como los científicos de datos advierten que estos algoritmos podrían estar envenenados por los prejuicios de los que estos sistemas fueron diseñados para escapar.
Hasta ahora, esa preocupación era pura especulación. Ahora sabemos la verdad.
Una investigación publicada el lunes por la mañana por ProPublica analizó los resultados de miles de sentencias emitidas por algoritmos y descubrió que estas fórmulas son más fáciles para los acusados blancos, incluso cuando la raza se aísla como un factor.
"Era particularmente probable que la fórmula marcara falsamente a los acusados negros como futuros delincuentes, etiquetándolos erróneamente de esta manera en casi el doble de la tasa de acusados blancos", escribió el equipo de investigación.
Los algoritmos no tienen en cuenta la raza directamente, sino que utilizan datos que sustituyen a información correlativa que podría actuar como proxy. El algoritmo de Florida evaluado en el informe se basa en 137 preguntas, como "¿Alguno de sus padres fue enviado a la cárcel o prisión?" y "¿Cuántos de tus amigos/conocidos consumen drogas ilegalmente?"
Esas dos preguntas, por ejemplo, pueden parecer evaluar el riesgo empírico de criminalidad de alguien, pero en cambio, se dirigen a aquellos que ya viven bajo la pobreza institucionalizada y el exceso de vigilancia. Predominantemente, esas personas son personas de color.
"La elaboración de perfiles [de castigo] envía el mensaje tóxico de que el estado considera que ciertos grupos de personas son peligrosos en función de su identidad", escribió la profesora de derecho de la Universidad de Michigan, Sonja Starr, en el New York Times en 2014. "También confirma la impresión generalizada de que el criminal el sistema de justicia está amañado contra los pobres".
El algoritmo en sí, por supuesto, no estaba disponible para la auditoría. Los algoritmos que informan las decisiones en el sector público a menudo son desarrollados y protegidos por empresas privadas: Northpointe, una empresa con fines de lucro que creó el algoritmo examinado por ProPublica, le dijo a ProPublica que no está de acuerdo con los resultados del análisis. "Refleja con precisión los resultados" de su producto, dijo Northpointe.
A los acusados blancos de ProPublica se les asignaba rutinariamente puntajes de amenaza más bajos que a los acusados negros.
Pero la controversia sobre las sentencias es solo un ejemplo temprano de una creciente conversación sobre el sesgo en los algoritmos que deciden todo, desde qué noticias vemos hasta cómo y dónde viajamos.
Es hora de hablar de algoritmos: los algoritmos parecen inmunes a la insidiosa influencia del racismo y los prejuicios, innovaciones humanas que pueden colarse inconscientemente en nuestros falibles procesos de toma de decisiones. Las evaluaciones que provienen de algoritmos implican que los resultados son científicos, arrojados por una computadora fría que trabaja solo con evidencia. El proceso de sentencia por algoritmos incluso se conoce formalmente como "sentencia basada en evidencia".
"Los puntajes nos brindan formas de pensar simplistas que son muy difíciles de resistir", dijo por teléfono Cathy O'Neil, científica de datos y autora del próximo libro Armas de destrucción matemática. "Si asigna puntajes a las personas y alguien tiene un puntaje bajo, es parte de la naturaleza humana culpar a esa persona, incluso si ese puntaje solo significa que nació en un vecindario pobre".
Pero el hecho de que los algoritmos sean de naturaleza matemática no significa que estén libres de sesgos humanos. Los algoritmos detectan y amplifican patrones en el comportamiento humano, y lo hacen observando los datos creados por el comportamiento humano. Los algoritmos policiales predictivos que ayudan a los jefes de policía a asignar sus patrullas se basan en estadísticas de delitos y registros generados por el comportamiento policial, lo que eventualmente amplifica los comportamientos perjudiciales que llevaron a esos datos en primer lugar.
A medida que surgen más noticias sobre el sesgo en los algoritmos, ya sea el posible sesgo anticonservador del algoritmo de noticias de Facebook o los esquemas de precios que cobran más a las comunidades asiáticas por la tutoría del SAT, el mundo rechaza aún más la idea de que los algoritmos no pueden ser tan sesgados como razonamiento humano.
A menudo, están sesgados precisamente de la misma manera que nosotros.