Incidentes Asociados
La policía de Detroit arrestó injustamente a Robert Julian-Borchak Williams en enero de 2020 [por un incidente de robo que había ocurrido dos años antes] (https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest. html). Aunque Williams no tuvo nada que ver con el incidente, la tecnología de reconocimiento facial utilizada por la Policía Estatal de Michigan “coincidió” su rostro con una imagen granulada obtenida de un video de vigilancia en la tienda que mostraba a otro hombre afroamericano tomando relojes por valor de 3.800 dólares.
Dos semanas después, el caso fue desestimado a pedido de la fiscalía. Sin embargo, confiando en la coincidencia defectuosa, la policía ya había esposado y arrestado a Williams frente a su familia, lo obligaron a proporcionar una foto policial, huellas dactilares y una muestra de su ADN, lo interrogaron y lo encarcelaron durante la noche.
Los expertos sugieren que Williams no está solo y que otros han sido objeto de injusticias similares. La controversia en curso sobre el uso policial de Clearview AI ciertamente subraya los riesgos de privacidad que plantea la tecnología de reconocimiento facial. Pero es importante darse cuenta de que [no todos corremos esos riesgos por igual] (https://www.nytimes.com/2019/12/19/technology/facial-recognition-bias.html).
Entrenamiento de algoritmos racistas
La tecnología de reconocimiento facial entrenada y sintonizada con rostros caucásicos sistemáticamente identifica y etiqueta erróneamente a individuos racializados: numerosos Los estudios informan que la tecnología de reconocimiento facial es "[defectuosa y sesgada, con tasas de error significativamente más altas cuando se usa contra personas de color] (https://www.aclu.org/news/privacy-technology/wrongfully-arrested-because-face- reconocimiento-no-distinguir-a-las-personas-negras/)”.
Esto socava la individualidad y la humanidad de las personas racializadas que tienen más probabilidades de ser identificados erróneamente como criminales. La tecnología, y los errores de identificación que comete, refleja y afianza aún más divisiones sociales de larga data que están profundamente enredadas con el racismo, el sexismo, la homofobia, el colonialismo de colonos y otras opresiones interrelacionadas.
Una investigación de France24 sobre el sesgo racial en la tecnología de reconocimiento facial.
Cómo clasifica la tecnología a los usuarios
En su revolucionario libro de 1993, The Panoptic Sort, el erudito Oscar Gandy advirtió que “tecnología compleja [que] implica la recopilación, el procesamiento y el intercambio de información sobre individuos y grupos que se genera a través de su vida diaria… se utiliza para coordinar y controlar su acceso a los bienes y servicios que definen la vida en la economía capitalista moderna”. Las fuerzas del orden lo usan para sacar sospechosos del público en general, y las organizaciones privadas lo usan para determinar si tenemos acceso a cosas como [la banca] (https://thehill.com/blogs/congress-blog/technology/459455-making- acceso equitativo al crédito, una realidad en la era de) y [empleo] (https://hbr.org/2019/05/all-the-ways-hiring-algorithms-can-introduce -parcialidad).
Gandy advirtió proféticamente que, si no se controla, esta forma de “triaje cibernético” pondría exponencialmente en desventaja a los miembros de las comunidades que buscan la igualdad, por ejemplo, grupos racializados o en desventaja socioeconómica, tanto en términos de lo que se les asignaría como de lo que se les asignaría. cómo podrían llegar a comprenderse a sí mismos.
Unos 25 años después, ahora vivimos con el tipo panóptico con esteroides. Y abundan los ejemplos de sus efectos negativos en las comunidades que buscan la igualdad, como la falsa identificación de Williams.
Sesgo preexistente
Esta clasificación mediante algoritmos se infiltra en los aspectos más fundamentales de la vida cotidiana, provocando a su paso violencia tanto directa como estructural.
La violencia directa experimentada por Williams es inmediatamente evidente en los eventos que rodearon su arresto y detención, y los daños individuales que experimentó son obvios y se pueden atribuir a las acciones de la policía que optó por confiar en la “coincidencia” de la tecnología para realizar un arresto. Más insidiosa es la violencia estructural perpetrada a través de la tecnología de reconocimiento facial y [otras tecnologías digitales](https://github.com/MimiOnuoha/On-Algorithmic -Violencia) que califican, emparejan, categorizan y clasifican a las personas de manera que magnifican los patrones discriminatorios preexistentes.
Los daños de la violencia estructural son menos obvios y menos directos, y dañan a los grupos que buscan la igualdad a través de la negación sistemática del poder, los recursos y las oportunidades. Simultáneamente, aumenta el riesgo directo y el daño a los miembros individuales de esos grupos.
La vigilancia predictiva utiliza [procesamiento algorítmico de datos históricos para predecir cuándo y dónde es probable que ocurran nuevos delitos] (http://affinitymagazine.us/2020/05/07/predictive-policing-threatens-civil-liberties/), asigna a la policía recursos en consecuencia e incorpora una mayor vigilancia policial en las comunidades, por lo general en barrios de bajos ingresos y racializados. Esto aumenta las posibilidades de que se detecte y sancione cualquier actividad delictiva, incluida la actividad delictiva menos grave que, de otro modo, no provocaría una respuesta policial, lo que, en última instancia, limitaría las posibilidades de vida de las personas que viven en ese entorno.
Y la evidencia de desigualdades en otros sectores sigue aumentando. Cientos de estudiantes en el Reino Unido protestaron el 16 de agosto contra los desastrosos resultados de [Ofqual](https: //www.gov.uk/government/organisations/ofqual), un algoritmo defectuoso que el gobierno del Reino Unido usó para determinar qué estudiantes calificarían para la universidad. En 2019, el servicio de anuncios de microtargeting de Facebook [ayudó a docenas de empleadores del sector público y privado] (https://www.cbc.ca/news/politics/facebook-employment-job-ads-discrimination-1.5086491) a excluir a las personas de recibir anuncios de trabajo. en función de la edad y el género. La investigación realizada por ProPublica ha documentado [discriminación de precios basada en la raza para productos en línea] (https://www.propublica.org/article/breaking-the-black-box-when-algorithms-decide-what-you-pay). Y los motores de búsqueda producen regularmente resultados racistas y sexistas.
Perpetuando la opresión
Estos resultados son importantes porque perpetúan y profundizan las desigualdades preexistentes basadas en características como la raza, el género y la edad. También son importantes porque afectan profundamente la forma en que llegamos a conocernos a nosotros mismos y al mundo que nos rodea, a veces preseleccionando la información que recibimos de maneras que refuerzan las percepciones estereotipadas. Incluso las propias empresas de tecnología reconocen la urgencia de evitar que los algoritmos perpetúen la discriminación.
Hasta la fecha, el éxito de las investigaciones ad hoc, realizadas por las propias empresas de tecnología, ha sido inconsistente. Ocasionalmente, las corporaciones involucradas en la producción de sistemas discriminatorios los retiran del mercado, como cuando [Clearview AI anunció que ya no ofrecería tecnología de reconocimiento facial en Canadá] (https://priv.gc.ca/en/opc-news/news -y-anuncios/2020/nr-c_200706/). Pero a menudo tales decisiones resultan del escrutinio regulatorio o de la protesta pública solo después de que los miembros de las comunidades que buscan la igualdad ya hayan sido perjudicados.
Es hora de dar a nuestras instituciones reguladoras las herramientas que necesitan para abordar el problema. Las protecciones de privacidad simples que dependen de la obtención del consentimiento individual para permitir que las empresas capturen y reutilicen los datos no pueden separarse de los resultados discriminatorios de ese uso. Esto es especialmente cierto en una era en la que la mayoría de nosotros ([incluidas las propias empresas de tecnología](https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of -ai/)) no puede entender completamente qué hacen los algoritmos o por qué producen resultados específicos.
La privacidad es un derecho humano
Parte de la solución implica romper los silos regulatorios actuales que tratan la privacidad y los derechos humanos como temas separados. Confiar en un modelo de protección de datos basado en el consentimiento va en contra del principio básico de que la privacidad y la igualdad son derechos humanos que no pueden ser objeto de contratos.
Incluso Canada's Digital Charter, el último intento del gobierno federal de responder a las deficiencias del estado actual de la entorno digital— mantiene estas distinciones conceptuales. Trata el odio y el extremismo, el control y el consentimiento y la democracia fuerte como categorías separadas.
Para abordar la discriminación algorítmica, debemos reconocer y enmarcar tanto la privacidad como la igualdad como derechos humanos. Y debemos crear una infraestructura que esté igualmente atenta y sea experta en ambos. Sin tales esfuerzos, el brillante brillo de las matemáticas y la ciencia seguirá camuflando los sesgos discriminatorios de AI, y es de esperar que se multipliquen las parodias como la infligida a Williams.