Problema 1011

A fines de 2013, Robert McDaniel, un hombre negro de 22 años que vive en el lado sur de Chicago, recibió una visita inesperada de un comandante del Departamento de Policía de Chicago para advertirle que no cometiera más delitos. La visita tomó a McDaniel por sorpresa. No había cometido un delito, no tenía antecedentes penales violentos y no había tenido contacto reciente con la policía. Entonces, ¿por qué la policía llamó a la puerta? Resulta que McDaniel fue una de aproximadamente 400 personas que fueron incluidas en la "lista de peligro" del Departamento de Policía de Chicago. Se había pronosticado que todos estos individuos estaban potencialmente involucrados en delitos violentos, según un análisis de la ubicación geográfica y los datos de arresto. La lista caliente es uno de un conjunto creciente de sistemas predictivos de "Big Data" que se utilizan en los departamentos de policía de los EE. UU. y en Europa para intentar lo que antes se creía imposible: detener el crimen antes de que ocurra. quisiera que hiciera su policía. Pero el software policial predictivo, y las tácticas policiales basadas en él, han generado serias preocupaciones entre los activistas comunitarios, los juristas y los jefes de policía escépticos. Estas preocupaciones incluyen: el aparente conflicto con las protecciones contra registros e incautaciones ilegales y el concepto de sospecha razonable; la falta de transparencia tanto de los departamentos de policía como de las empresas privadas con respecto a cómo se construyen los modelos policiales predictivos; cómo los departamentos utilizan sus datos; y si los programas se dirigen innecesariamente a grupos específicos más que a otros. Pero también existe la preocupación de que los conjuntos de datos registrados por la policía estén plagados de sesgos sistemáticos. El software de vigilancia predictiva está diseñado para aprender y reproducir patrones en los datos, pero si se utilizan datos sesgados para entrenar estos modelos predictivos, los modelos reproducirán y, en algunos casos, amplificarán esos mismos sesgos. En el mejor de los casos, esto hace que los modelos predictivos sean ineficaces. En el peor de los casos, resulta en una actuación policial discriminatoria. Sesgo en los datos registrados por la policía Décadas de investigación criminológica, que se remonta al menos al siglo XIX, han demostrado que las bases de datos policiales no son un censo completo de todos los delitos penales, ni constituyen una muestra aleatoria representativa.2-5 La evidencia empírica sugiere que los oficiales de policía, ya sea implícita o explícitamente, consideran la raza y el origen étnico al determinar qué personas detener y registrar y qué vecindarios patrullar.6, 7 Si la policía enfoca su atención en ciertos grupos étnicos y ciertos vecindarios, es probable que los registros policiales sobrerrepresentar sistemáticamente a esos grupos y barrios. Es decir, es más probable que los delitos que ocurren en lugares frecuentados por la policía aparezcan en la base de datos simplemente porque allí es donde patrulla la policía. El sesgo en los registros policiales también se puede atribuir a los niveles de confianza de la comunidad en la policía y la cantidad deseada de vigilancia policial local; se puede esperar que ambos varíen según la ubicación geográfica y la composición demográfica de las comunidades. Estos efectos se manifiestan como índices desiguales de denuncia de delitos en todo el recinto. Dado que muchos de los delitos en las bases de datos policiales son denunciados por los ciudadanos, una fuente importante de sesgo puede ser impulsada por la comunidad en lugar de por la policía. Se desconoce cómo se equilibran estos dos factores y es probable que varíe según el tipo de delito. Sin embargo, es claro que los registros policiales no miden el crimen. Miden alguna interacción compleja entre la criminalidad, la estrategia policial y las relaciones entre la comunidad y la policía. ¿Qué es la vigilancia predictiva? Según RAND Corporation, la vigilancia predictiva se define como “la aplicación de técnicas analíticas, en particular técnicas cuantitativas, para identificar objetivos probables para la intervención policial y prevenir delitos o resolver delitos pasados mediante predicciones estadísticas”.13 Al igual que Amazon y Facebook, utilizan datos de los consumidores para mostrar anuncios o productos relevantes a los consumidores, los departamentos de policía de los Estados Unidos y Europa utilizan cada vez más software de empresas de tecnología, como PredPol, Palantir, HunchLabs e IBM para identificar a futuros delincuentes, resaltar tendencias en la actividad delictiva e incluso pronosticar la ubicación de futuros crímenes. ¿Qué es una población sintética? Una población sintética es una representación demográficamente precisa a nivel individual de una población real, en este caso, los residentes de la ciudad de Oakland. Aquí, los individuos de la población sintética están etiquetados con su sexo, ingreso familiar, edad, raza y las coordenadas geográficas de su hogar. Estas características se asignan de modo que las características demográficas de la población sintética coincidan con los datos del censo de EE. UU. con la resolución geográfica más alta posible. ¿Cómo estimamos el número de usuarios de drogas? Para combinar la encuesta NSDUH con nuestra población sintética, primero ajustamos un modelo a los datos NSDUH que predice la probabilidad de consumo de drogas de un individuo en el último mes en función de sus características demográficas (es decir, sexo, ingreso familiar, edad y raza) . Luego, aplicamos este modelo a cada individuo de la población sintética para obtener una probabilidad estimada de consumo de drogas para cada persona sintética en Oakland. Estas estimaciones se basan en la suposición de que la relación entre el consumo de drogas y las características demográficas es la misma a nivel nacional que en Oakland. Si bien esto probablemente no sea del todo cierto, el conocimiento contextual sobre la cultura local en Oakland nos lleva a creer que, en todo caso, el consumo de drogas está incluso más extendido y uniformemente que lo que indican los datos a nivel nacional. Si bien este enfoque puede pasar por alto algunos "puntos críticos" altamente localizados de consumo de drogas, no tenemos motivos para creer que la ubicación de estos debe correlacionarse con las ubicaciones indicadas por los datos policiales. Los algoritmos de aprendizaje automático del tipo en el que se basa el software de vigilancia predictiva están diseñados para aprender y reproducir patrones en los datos que se les proporcionan, independientemente de si los datos representan lo que creen o pretenden los creadores del modelo. Un ejemplo reciente de sesgo de aprendizaje automático intencional es Tay, el chatbot automatizado de Microsoft lanzado a principios de este año. Un esfuerzo coordinado de los usuarios de 4chan, un tablero de mensajes en línea con reputación de bromas digitales groseras, inundó a Tay con tweets misóginos y ofensivos, que luego se convirtieron en parte del corpus de datos utilizado para entrenar los algoritmos de Tay. Los datos de entrenamiento de Tay rápidamente dejaron de ser representativos del tipo de discurso que pretendían sus creadores. En un día, la cuenta de Twitter de Tay se suspendió porque estaba generando tweets igualmente desagradables. Un caso destacado de datos no representativos sin querer se puede ver en Google Flu Trends, un servicio casi en tiempo real que pretendía inferir la intensidad y la ubicación de los brotes de influenza mediante la aplicación de modelos de aprendizaje automático para buscar datos de volumen. A pesar de cierto éxito inicial, los modelos no detectaron por completo la pandemia de influenza A-H1N1 de 2009 y sobredimensionaron constantemente los casos de influenza entre 2011 y 2014. Muchos atribuyen el fracaso de Google Flu Trends a cambios internos en los sistemas de recomendación de Google, que comenzaron a sugerir casos de influenza relacionados con la influenza. consultas a personas que no tenían gripe.8 En este caso, la causa de los datos sesgados fue autoinducido en lugar de vandalismo en Internet. El propio sistema de Google había sembrado los datos con un exceso de consultas relacionadas con la gripe y, como resultado, Google Flu Trends comenzó a inferir casos de gripe donde no los había. En ambos ejemplos, el problema reside en los datos, no en el algoritmo. Los algoritmos se comportaban exactamente como se esperaba: reproducían los patrones en los datos utilizados para entrenarlos. De la misma manera, incluso los mejores algoritmos de aprendizaje automático entrenados con datos policiales reproducirán los patrones y los sesgos desconocidos en los datos policiales. Debido a que estos datos se recopilan como un subproducto de la actividad policial, las predicciones hechas sobre la base de los patrones aprendidos de estos datos no corresponden a futuros casos de delincuencia en general. Pertenecen a casos futuros de delitos que se dan a conocer a la policía. En este sentido, la vigilancia policial predictiva (ver "¿Qué es la vigilancia policial predictiva?") tiene un nombre acertado: predice la vigilancia futura, no el crimen futuro. Para empeorar las cosas, la presencia de sesgo en los datos de capacitación inicial puede agravarse aún más cuando los departamentos de policía utilizan predicciones sesgadas para tomar decisiones policiales tácticas. Debido a que es probable que estas predicciones representen en exceso áreas que la policía ya conocía, es cada vez más probable que los oficiales patrullen estas mismas áreas y observen nuevos actos delictivos que confirmen sus creencias anteriores con respecto a la distribución de la actividad delictiva. Los actos delictivos recién observados que la policía documenta como resultado de estas patrullas dirigidas luego se incorporan al algoritmo de vigilancia predictiva en los días posteriores, generando predicciones cada vez más sesgadas. Esto crea un ciclo de retroalimentación en el que el modelo se vuelve cada vez más seguro de que las ubicaciones con mayor probabilidad de experimentar más actividad delictiva son exactamente las ubicaciones que antes creían que tenían un alto índice de delincuencia: el sesgo de selección se encuentra con el sesgo de confirmación. Estudio de caso de vigilancia predictiva ¿Cuán sesgados están los conjuntos de datos policiales? Para responder a esto, necesitaríamos comparar los delitos registrados por la policía con un registro completo de todos los delitos que ocurren, ya sea que se denuncien o no. Esfuerzos como la Encuesta Nacional de Victimización por Delitos proporcionan estimaciones nacionales de delitos de varios tipos, incluidos los delitos no denunciados. Pero si bien estas encuestas ofrecen una idea de la cantidad de delitos que no se registran a nivel nacional, todavía es difícil medir cualquier sesgo en los datos policiales a nivel local porque no existe un conjunto de datos de "verdad sobre el terreno" que contenga una muestra representativa de los delitos locales a los que podamos responder. puede comparar las bases de datos de la policía. Necesitábamos superar este obstáculo en particular para evaluar si nuestras afirmaciones sobre los efectos del sesgo de datos y la retroalimentación en la vigilancia predictiva se basaban en la realidad. Nuestra solución fue combinar una población sintética demográficamente representativa de Oakland, California (ver "¿Qué es una población sintética?") con datos de encuestas de la Encuesta Nacional sobre Uso de Drogas y Salud (NSDUH, por sus siglas en inglés) de 2011. Este enfoque nos permitió obtener estimaciones de alta resolución del consumo de drogas ilícitas a partir de una fuente de datos basada en la población que no pertenece a la justicia penal (consulte "¿Cómo calculamos el número de consumidores de drogas?") que luego pudimos comparar con los registros policiales. Al hacerlo, encontramos que los delitos de drogas conocidos por la policía no son una muestra representativa de todos los delitos de drogas. Si bien es probable que las estimaciones derivadas de los datos a nivel nacional no representen perfectamente el consumo de drogas a nivel local, aún creemos que estas estimaciones presentan una imagen más precisa del consumo de drogas en Oakland que los datos de arrestos por varias razones. En primer lugar, la Oficina de Estadísticas de Justicia de EE. UU., el organismo gubernamental responsable de recopilar y analizar los datos de justicia penal, ha utilizado los datos de la NSDUH como una medida más representativa del consumo de drogas que los informes policiales.2 En segundo lugar, aunque los datos de arrestos se recopilan ‐producto de la actividad policial, la NSDUH es una encuesta bien financiada diseñada utilizando las mejores prácticas para obtener una muestra estadísticamente representativa. Y finalmente, aunque hay evidencia de que algunos usuarios de drogas ocultan el uso de drogas ilegales de las encuestas de salud pública, creemos que cualquier incentivo para tal ocultamiento se aplica mucho más a los registros policiales de uso de drogas que a las encuestas de salud pública, ya que los funcionarios de salud pública son no está facultado (ni inclinado) a arrestar a quienes admiten el uso de drogas ilícitas. Por estas razones, nuestro análisis continúa bajo el supuesto de que nuestras estimaciones de delitos de drogas derivadas de la salud pública representan una verdad fundamental con el fin de comparar. La Figura 1(a) muestra el número de arrestos por drogas en 2010 según los datos obtenidos del Departamento de Policía de Oakland; La figura 1(b) muestra el número estimado de usuarios de drogas por cuadrícula. Al comparar estas cifras, queda claro que las bases de datos de la policía y las estimaciones derivadas de la salud pública cuentan historias dramáticamente diferentes sobre el patrón de consumo de drogas en Oakland. En la Figura 1(a), vemos que los arrestos por drogas en la base de datos de la policía aparecen concentrados en vecindarios alrededor de West Oakland (1) e International Boulevard (2), dos áreas con poblaciones mayoritariamente no blancas y de bajos ingresos. Estos vecindarios experimentan alrededor de 200 veces más arrestos relacionados con drogas que las áreas fuera de estos grupos. Por el contrario, nuestras estimaciones (en la Figura 1(b)) sugieren que los delitos relacionados con las drogas se distribuyen de manera mucho más uniforme en toda la ciudad. Las variaciones en nuestro número estimado de consumidores de drogas se deben principalmente a las diferencias en la densidad de población, ya que la tasa estimada de consumo de drogas es relativamente uniforme en toda la ciudad. Esto sugiere que, si bien los delitos de drogas existen en todas partes, los arrestos por drogas tienden a ocurrir solo en lugares muy específicos: los datos policiales parecen representar de manera desproporcionada los delitos cometidos en áreas con una mayor población de residentes de bajos ingresos y no blancos. Para investigar el efecto de los datos registrados por la policía en los modelos de vigilancia predictiva, aplicamos un algoritmo de vigilancia predictiva publicado recientemente a los registros de delitos de drogas en Oakland.9 Este algoritmo fue desarrollado por PredPol, uno de los mayores proveedores de sistemas de vigilancia predictiva en los EE. UU. y una de las pocas empresas en publicar su algoritmo en una revista revisada por pares. Ha sido descrito por sus fundadores como un sistema parsimonioso de raza neutral que usa “solo tres puntos de datos para hacer predicciones: tipo de crimen pasado, lugar del crimen y hora del crimen. No utiliza información personal sobre individuos o grupos de individuos, lo que elimina cualquier libertad personal y preocupación por la creación de perfiles”. Si bien usamos el algoritmo PredPol en la siguiente demostración, las conclusiones generales que extraemos son aplicables a cualquier algoritmo policial predictivo que use registros policiales no ajustados para predecir futuros delitos. El algoritmo PredPol, originalmente basado en modelos de actividad sismográfica, utiliza un enfoque de ventana deslizante para producir una predicción con un día de antelación de la tasa de delincuencia en todos los lugares de una ciudad, utilizando solo los delitos registrados previamente. Las áreas con las tasas de delincuencia previstas más altas se marcan como "puntos críticos" y reciben atención policial adicional al día siguiente. Aplicamos este algoritmo a la base de datos de la policía de Oakland para obtener una tasa pronosticada de delitos de drogas para cada cuadrícula de la ciudad para cada día en 2011. Registramos cuántas veces cada cuadrícula habría sido marcada por PredPol para vigilancia policial dirigida. Esto se muestra en la Figura 2(a). Encontramos que en lugar de corregir los aparentes sesgos en los datos policiales, el modelo refuerza estos sesgos. Las ubicaciones que están marcadas para vigilancia policial dirigida son aquellas que, según nuestras estimaciones, ya estaban sobrerrepresentadas en los datos policiales históricos. La Figura 2(b) muestra el porcentaje de la población que experimenta vigilancia policial dirigida por delitos de drogas, desglosado por raza. Usando PredPol en Oakland, las personas negras serían el objetivo de la vigilancia predictiva en aproximadamente el doble de la tasa de los blancos. Las personas clasificadas como de una raza que no sea blanca o negra recibirían una vigilancia policial específica a una tasa 1,5 veces mayor que la de los blancos. Esto contrasta con el patrón estimado de consumo de drogas por raza, que se muestra en la Figura 2(c), donde el consumo de drogas es aproximadamente equivalente en todas las clasificaciones raciales. Encontramos resultados similares cuando analizamos la tasa de vigilancia dirigida por grupo de ingresos, con hogares de bajos ingresos experimentando vigilancia dirigida en tasas desproporcionadamente altas. Por lo tanto, permitir que un algoritmo policial predictivo asigne recursos policiales daría como resultado una vigilancia policial desproporcionada de las comunidades de bajos ingresos y las comunidades de color. Hasta ahora, los resultados se basan en una suposición implícita: que la presencia de policía adicional en un lugar no cambia la cantidad de delitos que se descubren en ese lugar. Pero, ¿qué sucede si los agentes de policía tienen incentivos para aumentar su productividad como resultado de demandas internas o externas? Si es cierto, podrían buscar oportunidades adicionales para realizar arrestos durante las patrullas. Entonces es plausible que cuanto más tiempo pase la policía en un lugar, más delitos encontrarán en ese lugar. Podemos investigar las consecuencias de este escenario a través de la simulación. Para cada día de 2011, asignamos vigilancia dirigida de acuerdo con el algoritmo PredPol. En cada lugar donde se envía vigilancia policial dirigida, aumentamos la cantidad de delitos observados en un 20%. Estos delitos simulados adicionales luego se convierten en parte del conjunto de datos que se alimentan a PredPol en los días posteriores y se tienen en cuenta en los pronósticos futuros. Estudiamos este fenómeno considerando la proporción de la tasa de criminalidad diaria pronosticada para las ubicaciones objetivo con respecto a las ubicaciones no objetivo. Esto se muestra en la Figura 3, donde los valores grandes indican que se pronostican muchos más delitos en las ubicaciones objetivo en relación con las ubicaciones no objetivo. Esto se muestra por separado para los datos originales (línea de base) y la simulación descrita. Si los delitos adicionales que se encontraron como resultado de la actuación policial dirigida no afectaran las predicciones futuras, las líneas para ambos escenarios seguirían la misma trayectoria. En cambio, encontramos que este proceso hace que el algoritmo PredPol se vuelva cada vez más seguro de que la mayor parte del crimen está contenido en los contenedores específicos. Esto ilustra el ciclo de retroalimentación que describimos anteriormente. Discusión Hemos demostrado que la vigilancia policial predictiva de los delitos de drogas da como resultado una vigilancia cada vez más desproporcionada de comunidades históricamente sobrevigiladas. El exceso de vigilancia impone costos reales a estas comunidades. El aumento del escrutinio y la vigilancia policial se han relacionado con el empeoramiento de la salud mental y física;10, 11 y, en casos extremos, el contacto policial adicional creará oportunidades adicionales para la violencia policial en áreas con exceso de vigilancia.12 Cuando los costos de la vigilancia son desproporcionados con respecto a los nivel de delincuencia, esto equivale a una política discriminatoria. En el pasado, la policía dependía de analistas humanos para asignar recursos policiales, a menudo usando los mismos datos que se usarían para entrenar modelos policiales predictivos. En muchos casos, esto también ha resultado en una actuación policial desigual o discriminatoria. Mientras que antes, se podía esperar razonablemente que un jefe de policía justificara las decisiones policiales, usar una computadora para asignar la atención de la policía cambia la responsabilidad de los tomadores de decisiones departamentales a una maquinaria de caja negra que pretende ser científica, basada en evidencia y neutral en cuanto a raza. Si bien la vigilancia predictiva simplemente reproduce y magnifica los mismos sesgos que la policía ha tenido históricamente, filtrar este proceso de toma de decisiones a través de un software sofisticado que pocas personas entienden otorga una legitimidad injustificada a las estrategias policiales sesgadas. El impacto de los datos deficientes en el análisis y la predicción no es una preocupación nueva. Todos los estudiantes que han tomado un curso de estadística o análisis de datos han escuchado el viejo adagio "si entra basura, sale basura". problemas mundiales, no debemos olvidar esta lección fundamental, especialmente cuando hacerlo puede tener importantes consecuencias negativas para la sociedad.