Incidentes Asociados
Los algoritmos invisibles moldean cada vez más el mundo en el que vivimos, y no siempre para mejor. Desafortunadamente, existen pocos mecanismos para garantizar que no causen más daño que bien.
Eso finalmente podría estar cambiando: un primer proyecto de ley en la nación, aprobado ayer en la ciudad de Nueva York, ofrece una manera de ayudar a garantizar que los códigos de computadora que los gobiernos usan para tomar decisiones estén al servicio de la justicia en lugar de la desigualdad.
Los algoritmos informáticos son una serie de pasos o instrucciones diseñadas para realizar una tarea específica o resolver un problema en particular. Los algoritmos informan decisiones que afectan muchos aspectos de la sociedad. En estos días, pueden determinar a qué escuela puede asistir un niño, si un banco le ofrecerá crédito a una persona, qué productos se anuncian al consumidor y si alguien recibirá una entrevista para un trabajo. Los funcionarios del gobierno también los utilizan para predecir dónde se cometerán los delitos, quién es probable que cometa un delito y si se debe permitir que alguien salga de la cárcel bajo fianza.
A menudo se presume que los algoritmos son objetivos, infalibles e imparciales. De hecho, son muy vulnerables al sesgo humano. Y cuando los algoritmos son defectuosos, pueden tener graves consecuencias.
Recientemente, una técnica de prueba de ADN muy controvertida utilizada por el médico forense de la ciudad de Nueva York puso en peligro miles de casos penales. El código defectuoso también puede afianzar aún más las desigualdades sistémicas. Se ha demostrado que los algoritmos utilizados en la tecnología de reconocimiento facial, por ejemplo, son menos precisos en personas negras, mujeres y jóvenes, lo que pone a personas inocentes en riesgo de ser etiquetadas como sospechosas de delitos. Y un estudio de ProPublica descubrió que las herramientas diseñadas para determinar la probabilidad de una futura actividad delictiva hacían predicciones incorrectas que estaban sesgadas en contra de los negros. Estas herramientas se utilizan para tomar decisiones sobre fianzas y sentencias, replicando el racismo en el sistema de justicia penal bajo la apariencia de neutralidad tecnológica.
Pero incluso cuando sabemos que un algoritmo es racista, no es tan fácil entender por qué. Eso se debe en parte a que los algoritmos generalmente se mantienen en secreto. En algunos casos, las compañías que los crearon los consideran propietarios, quienes a menudo luchan con uñas y dientes para evitar que el público acceda al código fuente detrás de ellos. Ese secreto hace que sea imposible reparar algoritmos rotos.
El Concejo de la Ciudad de Nueva York aprobó ayer una legislación que esperamos nos impulse a abordar estos problemas. La ciudad de Nueva York ya usa algoritmos para ayudar con una amplia gama de tareas: decidir quién se queda y quién sale de la cárcel, evaluaciones de maestros, extinción de incendios, identificación de complicaciones graves del embarazo y mucho más. La policía de Nueva York también utilizó anteriormente un programa de software impulsado por algoritmos desarrollado por Palantir Technologies que toma registros de arrestos, escaneos de matrículas y otros datos, y luego grafica esos datos para supuestamente ayudar a revelar conexiones entre personas e incluso delitos. Desde entonces, el departamento desarrolló su propio software para realizar una tarea similar.
El proyecto de ley, que se espera que sea firmado por el alcalde Bill de Blasio, proporcionará una mayor comprensión de cómo las agencias de la ciudad usan algoritmos para brindar servicios al tiempo que aumenta la transparencia a su alrededor. Este proyecto de ley es el primero en la nación en reconocer la necesidad de transparencia cuando los gobiernos usan algoritmos y considerar cómo evaluar si su uso genera resultados sesgados y cómo se pueden remediar los impactos negativos.
La legislación creará un grupo de trabajo para revisar el uso de algoritmos por parte de las agencias de la ciudad de Nueva York y los problemas de política que implican. El grupo de trabajo estará compuesto por expertos en transparencia, equidad y personal de organizaciones sin fines de lucro que trabajan con personas que tienen más probabilidades de verse perjudicadas por algoritmos defectuosos. Desarrollará un conjunto de recomendaciones que abordan cuándo y cómo se deben hacer públicos los algoritmos, cómo evaluar si están sesgados y el impacto de dicho sesgo.
Estas son preguntas extremadamente espinosas y, como resultado, hay algunas cosas que quedan sin respuesta en la factura. No especifica, por ejemplo, si el grupo de trabajo requerirá que todos los algoritmos subyacentes del código fuente se hagan públicos o si la divulgación del código fuente dependerá del algoritmo y su contexto. Si bien creemos firmemente que permitir que investigadores externos examinen y prueben algoritmos es clave para fortalecer estos sistemas, el grupo de trabajo tiene la responsabilidad de recomendar el enfoque correcto.
De manera similar, el proyecto de ley deja que el grupo de trabajo determine cuándo un algoritmo daña desproporcionadamente a un grupo particular de neoyorquinos, según la raza, la religión, el género o una serie de otros factores. Debido a que los expertos continúan debatiendo este tema difícil, el trabajo riguroso y reflexivo del grupo de trabajo será crucial para proteger los derechos de los neoyorquinos.
La Unión de Libertades Civiles de Nueva York testificó a favor de una versión anterior del proyecto de ley en octubre, pero estaremos atentos para ver la composición exacta del grupo de trabajo, qué recomendaciones se presentan y si De Blasio actúa sobre ellas. Nosotros haremos