Incidentes Asociados
Una de mis posesiones más preciadas es El arte de la programación informática de Donald Knuth, un científico informático para quien se podría haber acuñado la palabra "legendario". En cierto modo, uno podría pensar en su magnum opus como un intento de hacer por las ciencias de la computación lo que los Principia Mathematica de Russell y Whitehead hicieron por las matemáticas, es decir, volver a los conceptos básicos del campo y verificar sus elementos fundamentales.
En ciencias de la computación, uno de esos elementos fundamentales es el algoritmo: un conjunto de operaciones autónomo, paso a paso, que debe realizar, por lo general, una computadora. Los algoritmos son un poco como las recetas que usamos para cocinar, pero necesitan ser mucho más precisos porque tienen que ser implementados por estúpidos dispositivos de pensamiento literal llamados computadoras.
Los algoritmos son los componentes básicos de todos los programas informáticos y la obra maestra de Knuth está dedicada a su análisis. ¿Son finitos (es decir, terminan después de un número finito de pasos)? ¿Cada paso está definido con precisión? ¿Cuáles son sus entradas y salidas? ¿Y es efectivo el algoritmo? Sin embargo, en el amplio espectro de su investigación magisterial, hay una pregunta que Knuth nunca plantea a un algoritmo: ¿cuáles son sus implicaciones éticas?
Uno de cada tres hombres negros puede esperar ser encarcelado (en comparación con uno de cada seis latinos y uno de cada 17 blancos)
Eso no es una crítica, por cierto. Esas preguntas no eran relevantes para su proyecto, que consistía en hacer que la ciencia de la computación tuviera una base sólida. Además, estaba escribiendo en la década de 1960 cuando la idea de que las computadoras podrían tener un profundo impacto social, económico y político no estaba en el radar de nadie. La idea de que algún día viviríamos en una "sociedad de la información" que dependería en gran medida de las computadoras habría parecido fantasiosa para la mayoría de las personas.
Pero esa sociedad se ha hecho realidad, y de repente los algoritmos que son los componentes básicos de este mundo han adquirido un nuevo significado porque han comenzado a adquirir poder sobre nuestra vida cotidiana. Determinan si podemos obtener un préstamo bancario o una hipoteca, y en qué condiciones, por ejemplo; si nuestros nombres van a las listas de exclusión aérea; y si la policía local lo considera un criminal potencial o no.
Para tomar solo un ejemplo, los jueces, las fuerzas policiales y los oficiales de libertad condicional en los EE. UU. ahora están usando un programa de computadora para decidir si es probable que un acusado reincida o no. La idea básica es que es probable que un algoritmo sea más "objetivo" y consistente que el juicio más subjetivo de funcionarios humanos. El algoritmo en cuestión se llama Compas (Perfil de Gestión de Delincuentes Correccionales para Sanciones Alternativas). Cuando los acusados ingresan en la cárcel, responden a un cuestionario de Compas y sus respuestas se introducen en el software para generar predicciones de "riesgo de reincidencia" y "riesgo de reincidencia violenta".
Resulta que el algoritmo es bastante bueno para predecir la reincidencia y menos bueno para predecir la variedad violenta. Hasta aquí todo bien. ¿Pero adivina que? El algoritmo no es daltónico. Los acusados negros que no reincidieron durante un período de dos años tenían casi el doble de probabilidades de ser clasificados erróneamente como de mayor riesgo en comparación con sus homólogos blancos; los acusados blancos que reincidieron en los siguientes dos años habían sido etiquetados erróneamente como de bajo riesgo con casi el doble de frecuencia que los reincidentes negros.
Facebook Twitter Pinterest Donald Knuth (izquierda), quien abordó los algoritmos en la década de 1960 en El arte de la programación informática. Fotografía: Archivo Bettmann
Sabemos esto solo porque el sitio web de ProPublica emprendió un reportaje de investigación notable. A través de una solicitud de libertad de información, los periodistas obtuvieron los puntajes de Compas de casi 12,000 delincuentes en Florida y luego construyeron un perfil de los antecedentes penales de cada individuo, tanto antes como después de recibir el puntaje. Los resultados del análisis son bastante claros. Si eres negro, las posibilidades de ser juzgado como un reincidente potencial son significativamente más altas que si eres blanco. Y, sin embargo, esas predicciones algorítmicas no están respaldadas por pruebas.
Un cínico podría decir que esto no es una sorpresa: el racismo atraviesa el sistema de justicia de los EE. UU. como el mensaje en un palo de piedra. Uno de cada tres hombres negros puede esperar ser encarcelado en su vida (en comparación con uno de cada seis latinos y uno de cada 17 blancos). Ese debería ser un argumento para hacer evaluaciones y predicciones utilizando un algoritmo en lugar de funcionarios que pueden tener prejuicios. Y, sin embargo, este análisis del sistema Compas sugiere que incluso la máquina tiene un sesgo racial.
El gran enigma es cómo el sesgo se cuela en el algoritmo. Podríamos ser capaces de entender cómo si pudiéramos examinarlo. Pero la mayoría de estos algoritmos son propietarios y secretos, por lo que son efectivamente "cajas negras": máquinas virtuales cuyo funcionamiento es opaco. Sin embargo, el software que contienen fue escrito por seres humanos, la mayoría de los cuales probablemente no sabían que su trabajo ahora tiene una importante dimensión moral. Quizás el próximo libro del profesor Knuth debería ser La ética de la programación informática.