Problema 2845

Cada año, la ciudad de Róterdam, en los Países Bajos, otorga prestaciones sociales a unas 30 000 personas para ayudarlas a pagar el alquiler, comprar alimentos y pagar las facturas esenciales. Y cada año, miles de esas personas son investigadas bajo sospecha de cometer fraude de beneficios. Pero en los últimos años, ha cambiado la forma en que las personas han sido marcadas como sospechosas. En 2017, la ciudad implementó un algoritmo de aprendizaje automático creado por la consultora Accenture. El algoritmo, que genera una puntuación de riesgo para todos los que reciben asistencia social, fue entrenado para atrapar a los infractores de la ley utilizando datos sobre personas que habían sido investigadas por fraude en el pasado. Este puntaje de riesgo está dictado por atributos como la edad, el género y la capacidad del idioma holandés. Y en lugar de usar estos datos para determinar cuánta ayuda social deberían recibir las personas, la ciudad los usó para determinar quién debería ser investigado por fraude. Cuando se implementó el sistema de Róterdam, Accenture elogió su "enfoque sofisticado basado en datos" como un ejemplo para otras ciudades. Róterdam se hizo cargo del desarrollo del algoritmo en 2018. Pero en 2021, la ciudad suspendió el uso del sistema después de que recibió una revisión ética externa crítica encargada por el gobierno holandés, aunque Róterdam continúa desarrollando una alternativa. Lighthouse Reports y WIRED obtuvieron el algoritmo de fraude de asistencia social de Rotterdam y los datos utilizados para entrenarlo, brindando una visión sin precedentes de cómo funcionan dichos sistemas. Este nivel de acceso, negociado bajo las leyes de libertad de información, nos permitió examinar los datos personales introducidos en el algoritmo, el funcionamiento interno del procesamiento de datos y las puntuaciones que genera. Al reconstruir el sistema y probar cómo funciona, descubrimos que discrimina según el origen étnico y el género. También reveló evidencia de fallas fundamentales que hicieron que el sistema fuera tanto inexacto como injusto. El algoritmo de Rotterdam se considera mejor como una máquina de sospecha. Juzga a las personas por muchas características que no pueden controlar (como el género y el origen étnico). Lo que podría parecerle a un asistente social una vulnerabilidad, como una persona que muestra signos de baja autoestima, es tratado por la máquina como motivo de sospecha cuando el asistente social ingresa un comentario en el sistema. Los datos introducidos en el algoritmo van desde invasivos (la duración de la última relación romántica de alguien) y subjetivos (la capacidad de alguien para convencer e influir en otros) hasta banales (cuántas veces alguien ha enviado correos electrónicos a la ciudad) y aparentemente irrelevantes (si alguien practica deportes). . A pesar de la escala de datos utilizada para calcular las puntuaciones de riesgo, funciona poco mejor que la selección aleatoria. Los algoritmos de aprendizaje automático como el de Rotterdam se utilizan para tomar cada vez más decisiones sobre la vida de las personas, incluidas las escuelas a las que asisten sus hijos, quién es entrevistado para un trabajo y qué familia obtiene un préstamo. Millones de personas están siendo puntuadas y clasificadas a medida que avanzan en su vida diaria, con profundas implicaciones. La difusión de los modelos de puntuación de riesgo se presenta como un progreso, prometiendo objetividad matemática y equidad. Sin embargo, los ciudadanos no tienen una forma real de entender o cuestionar las decisiones que toman tales sistemas. Los gobiernos generalmente se niegan a proporcionar detalles técnicos para respaldar las afirmaciones de precisión y neutralidad. En los raros casos en los que los organismos de control han superado las obstrucciones oficiales, han descubierto que los sistemas son cualquier cosa menos imparciales. Los informes han encontrado patrones discriminatorios en la calificación crediticia, la justicia penal y las prácticas de contratación, entre otros. Ser señalado para una investigación puede arruinar la vida de alguien, y la opacidad del sistema hace que sea casi imposible desafiar la selección para una investigación, y mucho menos detener una que ya está en marcha. Una madre que fue investigada en Róterdam se enfrentó a una redada de controladores de fraude que registraron su ropa sucia, contaron los cepillos de dientes e hicieron preguntas íntimas sobre su vida frente a sus hijos. Su denuncia contra los investigadores fue corroborada posteriormente por una revisión oficial. Pero, ¿cómo decidió el algoritmo a quién investigar? ¿Y cómo tomó esas decisiones? Para resolver esto, creamos dos personas hipotéticas o arquetipos: "Sara", una madre soltera, y "Yusef", que nació fuera de los Países Bajos. Sus características y la forma en que interactúan con el algoritmo de Rotterdam muestran cómo discrimina a la hora de puntuar a personas reales. Un gráfico de barras que muestra que los que no son padres, los mayores de 60 años y los hombres tienen un menor riesgo de ser señalados por fraude, mientras que los padres, los mayores de 30 años y las mujeres tienen un mayor riesgo. Feeding the Machine ------------------- Así es como el algoritmo de bienestar de la ciudad reduce la compleja vida de una madre en apuros a datos simplificados. Imagina a “Sara”, una hipotética madre soltera de dos hijos. Recientemente rompió con su pareja. Cuando uno de sus hijos se enfermó hace cuatro meses, dejó su trabajo para cuidarlo. Ahora se queda sin dinero para pagar sus cuentas antes de fin de mes. En su última reunión, el trabajador social de Sara anotó en su expediente que "la ropa, el maquillaje y/o el peinado no son adecuados para la solicitud de empleo" y que estaba luchando para lidiar con los contratiempos debido a la falta de flexibilidad . Incluso estas observaciones subjetivas influyen en el algoritmo de fraude. Discriminar a las personas en función de su género y origen étnico es ilegal en los Países Bajos, pero convertir esa información en puntos de datos para alimentar un algoritmo puede no serlo. Esta zona gris, en parte como resultado del amplio margen legal otorgado en nombre de la lucha contra el fraude de la asistencia social, permite a los funcionarios procesar y perfilar a los beneficiarios de la asistencia social en función de características sensibles de formas que de otro modo serían ilegales. Los tribunales holandeses están revisando el asunto actualmente. El algoritmo de Rotterdam no incluye explícitamente la raza, el origen étnico o el lugar de nacimiento entre los 315 atributos o variables que utiliza para calcular la puntuación de riesgo de una persona. Más de la mitad de los residentes de la ciudad son inmigrantes de primera o segunda generación. Algunas de esas variables pueden ser sustitutos de la etnicidad. La directora de ingresos de Róterdam, Annemarie de Rotte, dice que la ciudad intentó eliminar algunas variables indirectas relacionadas con el origen étnico luego de la auditoría externa, pero algunas permanecieron en el sistema. Por ejemplo, todos los que reciben asistencia social en los Países Bajos deben hablar holandés o ser capaces de demostrar que están haciendo un esfuerzo por hacerlo. Este requisito de idioma, así como el hecho de que alguien tenga un idioma nativo que no sea el holandés, pueden ser sustitutos del origen étnico. Tener problemas financieros y varios compañeros de cuarto también pueden ser indicadores de la pobreza. Así funcionan los proxies en el caso de Yusef. Ahora imagine a otro residente hipotético de Rotterdam, "Yusef", que emigró a los Países Bajos desde Irak. Actualmente vive en un barrio de Róterdam con una gran población migrante. Comparte piso con otros iraquíes que ha conocido desde que llegó a la ciudad. El primer idioma de Yusuf es el árabe y no aprobó su examen de holandés. Yusef era maestro en Irak, pero su asistente social se muestra escéptico de que pueda obtener su título universitario reconocido en los Países Bajos. Ella piensa que él debería tratar de conseguir un trabajo como trabajador portuario en su lugar. En su expediente, el asistente social de Yusef señala que “no muestra ningún deseo de lograr resultados” y que parece desanimado. El gobierno holandés reconoce que las habilidades lingüísticas pueden ser un indicador del origen étnico. En su análisis de las variables utilizadas por el algoritmo de Rotterdam, el Tribunal de Cuentas de los Países Bajos, un organismo independiente designado por el gobierno de los Países Bajos, señaló "la fluidez en el idioma holandés" como un ejemplo de una variable que podría "dar lugar a una discriminación no deseada". .” El algoritmo también juzga a las personas en función de su idioma nativo, con diferentes idiomas con diferentes números, cada uno con un impacto diferente en la puntuación de riesgo final de alguien. Cuando se le preguntó qué significaba un "0" para esta variable, que es lo que la mitad de las personas en los datos tienen para este campo, de Rotte dice que la ciudad no lo sabe. Los algoritmos de puntuación de riesgo, como el que se usó en Rotterdam, a menudo son acusados de codificar el sesgo humano, pero probar eso es difícil. Sin embargo, una vez que tenga el código y los datos que lo alimentan, puede comenzar a desempaquetar cómo funciona este proceso. Por ejemplo, el algoritmo de Rotterdam tiene 54 variables basadas en evaluaciones subjetivas realizadas por los trabajadores sociales. Esto equivale al 17 por ciento del total de variables, cada una con diferentes impactos en el puntaje. El uso de estas evaluaciones subjetivas genera señales de alerta éticas para muchos académicos y defensores de los derechos humanos. “Incluso cuando el uso de la variable no conduce a una puntuación de riesgo más alta, el hecho de que se haya utilizado para seleccionar personas es suficiente para concluir que se ha producido discriminación”, dice Tamilla Abdul-Aliyeva, investigadora sobre tecnología y derechos humanos en Amnistía Internacional. Y no es solo la inclusión de evaluaciones subjetivas lo que es motivo de preocupación; dichos sistemas también toman información matizada y la aplanan. El campo de comentarios en el sistema de Rotterdam, por ejemplo, donde se pide a los asistentes sociales que hagan observaciones generales, es binario. Cualquier comentario se convierte en un "1", mientras que un campo en blanco se convierte en un "0". Esto significa que los comentarios negativos y positivos afectan la puntuación de la misma manera. Si, por ejemplo, un asistente social agrega un comentario que dice "no muestra deseo de lograr resultados", tiene el mismo efecto en la puntuación de riesgo que un comentario que dice "muestra deseo de lograr resultados". El manual que se entrega a los trabajadores sociales para evaluar a los beneficiarios no menciona que sus notas se incluyan en el algoritmo de puntuación de riesgo, ni que los comentarios positivos y negativos se leerán de la misma manera. De los 30.000 beneficiarios de asistencia social en Rotterdam, aproximadamente el 10 por ciento superior, o todos los clasificados por encima de los 27.000 en la lista, corren el riesgo de ser investigados. Imagine un típico hombre de 30 años nacido en Rotterdam que recibe asistencia social para llegar a fin de mes. Ocupa el puesto 16.815 en la lista, con más de 10.000 personas entre él y una posible investigación por fraude de beneficios. Comparemos su probabilidad de ser investigado con la de Sara ajustando los atributos clave sobre él hasta que, para el algoritmo, se convierta en Sara. Si nuestro hombre típico de Róterdam fuera mujer, subiría 4542 lugares más cerca de una posible investigación. Si tuviera dos hijos, subiría otros 2134 espacios en la lista. Si fuera soltera, pero saliera de una relación a largo plazo, serían otros 3267 lugares. ¿Tiene dificultades para pagar las facturas? Son otros 1959 lugares más cerca de una posible investigación. Para la máquina de sospechas, el típico beneficiario masculino de asistencia social en Rotterdam ahora es idéntico a Sara y es probable que sea investigado por fraude de beneficios. Según el algoritmo, Sara se diferencia del hombre promedio en solo ocho de las 315 variables en las que se juzga a cada persona, pero tiene casi tres veces más probabilidades de ser marcada como una estafadora potencial. La brecha en sus dos puntajes, a pesar de que tienen datos que en su mayoría se superponen, se deriva de cómo la máquina establece vínculos entre ciertos rasgos. Entonces, ¿qué sucede si ajustamos los atributos de nuestro hombre promedio de Rotterdam para que se parezca más a Yusef? Recuerde, para empezar, hay más de 10,000 personas entre el hombre promedio y una investigación de fraude. Si fuera un migrante que, como Yusef, hablara árabe y no holandés, subiría 3.396 lugares en la lista de riesgo. Si él también vive en un vecindario mayoritariamente migrante en un departamento con compañeros de cuarto, movería 5,245 lugares más cerca de una posible investigación. Si su asistente social se muestra escéptico de que encontrará un trabajo en Róterdam, subiría otros 3290 puestos. Con solo cinco cambios, ahora es probable que lo marquen para que lo investiguen. Desde software de reconocimiento facial [que funciona mal en personas de color] (https://sitn.hms.harvard.edu/flash/2020/racial-discrimination-in-face-recognition-technology/) hasta algoritmos de contratación que eliminan women, los datos de capacitación deficientes pueden crear modelos de aprendizaje automático que perpetúan los sesgos. Y los datos de entrenamiento de Rotterdam aparentemente no son diferentes. Contenía información sobre 12.707 personas que habían sido investigadas previamente por la ciudad, y se descubrió que la mitad había infringido la ley. A partir de estos datos, el algoritmo trata de averiguar qué distingue a alguien que está cometiendo fraude de asistencia social de alguien que no lo está. Pero un algoritmo es tan bueno como los datos con los que se entrena, y los datos de Rotterdam tenían fallas. Digamos, como ejemplo teórico, que la mayoría de los hombres en los datos de capacitación fueron seleccionados al azar, mientras que la mayoría de las mujeres fueron investigadas siguiendo los consejos de los vecinos o las corazonadas de los trabajadores sociales. En este escenario, los datos podrían mostrar que las mujeres que reciben asistencia social tienen muchas más probabilidades de cometer fraude que los hombres, sin considerar si las mujeres, en general, tienen más probabilidades de cometer fraude. Sin ver la imagen completa, el algoritmo aprendería a asociar a las mujeres con el fraude. Rotterdam usa selección aleatoria, sugerencias anónimas y controles de categoría que cambian cada año (verificando a todos los hombres en un código postal particular, por ejemplo) para iniciar investigaciones, con datos de los tres enfoques utilizados para entrenar el algoritmo. De Rotte de Rotterdam se negó a proporcionar información detallada sobre cómo se seleccionaron las personas en los datos de entrenamiento para la investigación. Aunque la ciudad estaba ejecutando el algoritmo, continuó utilizando la selección aleatoria y las verificaciones de categoría junto con los puntajes de riesgo para elegir a quién investigar y qué incluir en los datos de capacitación. “Si un conjunto de datos de entrenamiento [contiene] sesgos sistémicos, la salida algorítmica siempre recreará estas desigualdades”, dice Julia Dressel, experta en el uso de la tecnología en los sistemas de justicia penal. Algunos grupos apenas aparecen en los datos de entrenamiento de Rotterdam. Debería haber alrededor de 880 jóvenes en los datos para reflejar la proporción real de personas menores de 27 años que reciben asistencia social en la ciudad. En cambio, solo hubo 52. En nuestras pruebas del algoritmo, fue la edad, específicamente la juventud, el atributo más significativo para aumentar las puntuaciones de riesgo. Para el algoritmo, parecía que los jóvenes eran más propensos a cometer fraudes a la asistencia social, pero llegó a esa conclusión basándose en un tamaño de muestra tan pequeño que era inútil. Bifurcación en el camino ---------------- Los científicos de datos construyen modelos de riesgo para examinar grandes cantidades de datos para descubrir patrones ocultos. Si bien el algoritmo de aprendizaje automático utilizado en el sistema de Rotterdam, llamado máquina de aumento de gradiente, se basó en matemáticas complejas para descubrir estos patrones, su componente básico es un árbol de decisiones. El algoritmo de Rotterdam se compone de 500 árboles de decisión. Estos árboles clasifican a las personas en función de una serie de preguntas de sí o no. En cada pregunta, una persona puede viajar por la rama izquierda o derecha hasta llegar a la parte inferior del árbol. Sin preguntas, el árbol de decisiones le da un valor a esa persona. Los valores de los 500 árboles que alimentan el algoritmo de Rotterdam se combinan para calcular la puntuación de riesgo de una persona. Los árboles de decisión reales del modelo contienen muchas variables y ramas. Para comprender cómo se generan las puntuaciones de Sara y Yusef, Sara viajará por un árbol de decisiones simplificado. Sara es madre de dos niños. Recientemente se mudó a un nuevo apartamento después de separarse de su pareja de mucho tiempo. Puede ver cómo estos atributos envían a Sara a una rama específica de un árbol de decisiones. Pero, ¿qué sucede si Sara es hombre en lugar de mujer? Como mujer, se le pregunta a Sara sobre el estado de su relación, hijos y situación de vida. Como hombre, Sara es enviada a una rama completamente diferente con preguntas completamente diferentes. Dos personas, dos caminos diferentes y dos conjuntos diferentes de preguntas. Pero cambiamos solo un atributo: el género. El uso de árboles de decisión dificulta la comprensión de cómo una sola variable afecta la forma en que se califica a las personas. Tome el género en el ejemplo anterior: los hombres y las mujeres bajan por ramas separadas del árbol de decisiones, y se utilizan diferentes variables para evaluar su riesgo. Los hombres, por ejemplo, pueden ser evaluados por sus habilidades lingüísticas y su situación financiera, mientras que las mujeres pueden ser calificadas por si tienen hijos o si están en una relación. Como resultado, ser hombre puede aumentar el puntaje de riesgo para algunos y disminuirlo para otros. Cambiar incluso unas pocas variables puede cambiar drásticamente el puntaje de un receptor de asistencia social promedio. Puede cambiar los conmutadores en el perfil del caso para ver cómo funciona. Cambiar ciertas opciones, como la edad y el género, tiene un impacto masivo en la clasificación de riesgo de alguien y puede empujarlos sobre la línea roja, lo que desencadena una posible investigación de fraude. El algoritmo de fraude de asistencia social de Rotterdam está entrenado en millones de puntos de datos, pero no ve lo que realmente sucede en el mundo real. En realidad, diferentes personas cometen diferentes tipos de violaciones, desde errores honestos al completar un formulario hasta el crimen organizado. El mismo Rotterdam dice que muchas violaciones legales se derivan de una ley que requiere que los pequeños cambios en la situación de vida y las finanzas de un beneficiario se informen de inmediato a través de un proceso que muchos beneficiarios no entienden. Pero el algoritmo aprende a hacer sus predicciones basándose en un patrón que extrapola de los datos de entrenamiento que fusiona los errores honestos y el fraude deliberado en una categoría: el fraude. Intenta encontrar puntos en común entre las personas que cometen errores en el papeleo y las personas que deliberadamente intentan engañar al sistema. La consecuencia es que tampoco es muy bueno para predecir. "El algoritmo convierte los 'errores honestos' en asociaciones aprendidas entre las habilidades deficientes en holandés y la propensión al fraude, lo que permite a los funcionarios de asistencia social afirmar que los inmigrantes que no hablan holandés no son científicamente confiables", dice Dressel. Las fallas en los datos de entrenamiento y el diseño del algoritmo se combinan para crear un sistema que es alarmantemente inexacto, afirman los expertos. “No es útil en el mundo real”, dice Margaret Mitchell, científica en jefe de ética de la firma de inteligencia artificial Hugging Face y ex especialista en ética de inteligencia artificial en Google. Según Mitchell, la propia evaluación de desempeño de Rotterdam indica que el modelo es “esencialmente adivinanzas aleatorias”. Evaluar un algoritmo significa observar no solo si es preciso, sino también si discrimina. ¿Fue Sara la única que obtuvo una puntuación más alta por ser madre soltera, o las madres solteras como grupo obtuvieron puntuaciones más altas? ¿Fue solo el pobre holandés de Yusef lo que le hizo sospechar, o la mayoría de los hablantes pobres de holandés obtuvieron puntajes más altos? Es posible determinar si el algoritmo discriminó a ciertos grupos según la propia definición interna de discriminación de Rotterdam. El código para el algoritmo de puntuación de riesgo de la ciudad incluye una prueba para determinar si las personas de un género, edad, vecindario o estado civil específicos se marcan en tasas más altas que otros grupos. De Rotte, director de ingresos de Rotterdam, dice que la ciudad en realidad nunca ejecutó este código en particular, pero sí realizó pruebas similares para ver si ciertos grupos estaban sobrerrepresentados o subrepresentados entre las personas de mayor riesgo y descubrió que así era. Realizamos una prueba similar a la de Rotterdam y encontramos una discriminación generalizada contra varios grupos vulnerables. En otras palabras, no solo se discrimina a Sara y Yusef, también a personas como ellos. Utilizamos el algoritmo de fraude de Róterdam para calcular las puntuaciones de riesgo tanto de Sara como de Yusef, así como de más de 12 700 beneficiarios reales de asistencia social obtenidos a partir de los propios datos de formación de la ciudad. Rotterdam considera que el 10 por ciento superior de los beneficiarios de asistencia social en este conjunto de datos son de "alto riesgo". Este gráfico muestra la distribución de puntuaciones para una selección aleatoria de 1000 beneficiarios de asistencia social. Cada punto representa la puntuación de riesgo de una persona individual. influye en la puntuación de las personas y es el indicador más obvio de etnicidad utilizado por el algoritmo. El algoritmo de Rotterdam intenta determinar qué tan bien alguien puede hablar holandés en función de 20 variables. Se alimenta de datos sobre qué tan bien alguien puede hablar, escribir y entender holandés. junto con la cantidad de citas que ha tenido con un asistente social sobre el requisito del idioma. Si se considera que alguien tiene dificultades con el holandés en estas variables, tiene dos veces más probabilidades de ser señalado para una investigación de fraude de asistencia social que alguien que habla con fluidez. Holandés. La asignación de puntajes de alto riesgo basados en la fluidez del holandés significa que las personas que no son inmigrantes blancas tienen más probabilidades de ser investigadas. Este tipo de discriminación étnica por parte de un Los algoritmos se han denominado [detención y registro digital] (https://nymag.com/intelligencer/2018/06/how-predpol-and-nypd-create-digital-stop-and-frisk.html). [Los documentos de evaluación interna de Rotterdam] (https://www.documentcloud.org/documents/23694970-model-e Evaluation) revelan que su sistema de puntuación de riesgo es tan inexacto que, según algunas métricas, hace poco más que un muestreo aleatorio. Nuestro experimento también revela que discrimina a las personas vulnerables al otorgarles una puntuación más alta como resultado de sus vulnerabilidades, como tener hijos o tener dificultades financieras. Pero, ¿las mujeres, las personas que no hablan holandés o los padres cometen fraudes de asistencia social con más frecuencia que las personas de otros grupos? Para saber eso, Rotterdam necesita compartir más información. Solicitamos datos de la ciudad que nos permitieran ver si los investigadores habían encontrado más casos de fraude entre grupos específicos, pero los funcionarios se negaron a proporcionarnos ese detalle por motivos legales no especificados. Por ahora, solo Rotterdam sabe si los grupos vulnerables que su algoritmo encontró sospechosos realmente violaron la ley con más frecuencia que otros grupos. Según su propia evaluación, Róterdam sabía quién estaba siendo marcado con tasas más altas y eliminó algunas variables proxy, pero siguió usando el sistema hasta que finalmente suspendió el uso del algoritmo a fines de 2021. Sin embargo, ese mismo año, el concejal de la ciudad de Róterdam, Richard Moti, insistió en que había " ningún sesgo tanto en la entrada como en la salida" del algoritmo. Pero no importa qué ajustes se hagan, una ecuación matemática no puede hacer mucho para detectar con precisión el fraude en la desordenada realidad de cómo vive la gente. "Los modelos siempre serán malos estimadores del riesgo real", dice Mitchell, y agrega que es probable que los algoritmos excluyan detalles personales potencialmente importantes. "Si tomaras las situaciones caso por caso, las predicciones hechas por un modelo matemático nunca captarían todas las variables en juego en cada caso individual". Sunshine in a Black Box -------------- Rotterdam no es la única ciudad que utiliza algoritmos para interrogar a los beneficiarios de la asistencia social. Pero es, hasta la fecha, el más transparente sobre lo que está haciendo. Se eligió Rotterdam para esta historia no porque su sistema sea especialmente novedoso, sino porque de las docenas de ciudades que contactamos, era la única dispuesta a compartir el código detrás de su algoritmo. Junto a esto, la ciudad también entregó la lista de variables que lo impulsan, las evaluaciones del rendimiento del modelo y el manual utilizado por sus científicos de datos. Y cuando se enfrentó a la posibilidad de una posible acción judicial en virtud de las leyes de libertad de información (equivalentes europeos a las leyes de la luz del sol de EE. UU.), también compartió el propio modelo de aprendizaje automático, proporcionando un acceso sin precedentes. Esta transparencia reveló un sistema inadecuado para su propósito previsto. En 2017, Accenture, el socio tecnológico de la ciudad en una versión inicial del proyecto, prometió que el "análisis avanzado" se combinaría con el aprendizaje automático para crear "resultados ciudadanos imparciales". En una presentación producida en ese momento, la consultora afirmó que dicho sistema ayudaría a Rotterdam a garantizar que las personas que necesitan ayuda la recibieran y que habría "una distribución justa del bienestar". La realidad de la máquina de sospechas de Rotterdam es completamente diferente. Este es un algoritmo que no pasa la prueba de equidad de la propia ciudad y, a pesar de que Accenture lo promociona como una "solución ética", es tan opaco que niega el debido proceso a las personas atrapadas en él. "Entregamos un modelo de inicio y lo trasladamos a la ciudad cuando nuestro contrato finalizó en 2018", dice el portavoz de Accenture, Chinedu Udezue. La compañía se negó a comentar sobre la histórica falta de transparencia en torno al uso del algoritmo. En el mundo real, miles de personas como Sara y Yusef han sufrido las consecuencias de un algoritmo defectuoso basado en datos defectuosos. Las personas señaladas por el algoritmo como posibles estafadores pueden, en teoría, solicitar todos los datos que la ciudad ha recopilado sobre ellos. Pueden solicitar su puntuación de riesgo. Pueden preguntar por su rango. Pueden tratar de preguntarle a un trabajador social de la ciudad, a un abogado o a un juez cómo la máquina de sospechas decidió que esos números equivalen a un patrón de comportamiento ilegal. Hasta ahora, no han tenido forma de dar sentido a esas respuestas. Rotterdam defiende su derecho a hacer cumplir la ley, pero dice que nuestra investigación ha demostrado la necesidad de una mayor transparencia dondequiera que se implementen sistemas similares. "[Nosotros] consideramos muy importante que otros gobiernos y organizaciones sean conscientes de los riesgos de usar algoritmos", dice de Rotte de Rotterdam. "Decidimos brindarles la máxima comprensión del modelo, no solo por nuestro deseo de ser una organización abierta y transparente, sino también para poder aprender de las ideas de los demás".