Incidentes Asociados
El Carnaval de Notting Hill es la fiesta callejera más grande de Europa. Una celebración de la cultura británica negra, atrae hasta dos millones de juerguistas y miles de policías. En el evento del año pasado, el Servicio de Policía Metropolitana de Londres desplegó un nuevo tipo de detective: un algoritmo de reconocimiento facial que buscó entre la multitud a más de 500 personas buscadas por arresto o que tenían prohibido asistir. Conduciendo en una camioneta equipada con televisores de circuito cerrado, la policía esperaba atrapar a delincuentes potencialmente peligrosos y prevenir futuros delitos.
No salió bien. De las 96 personas marcadas por el algoritmo, solo una era una coincidencia correcta. Algunos errores eran evidentes, como la joven identificada como sospechosa calva. En esos casos, la policía despidió el partido y los asistentes al carnaval nunca supieron que habían sido señalados. Pero muchos fueron detenidos e interrogados antes de ser liberados. ¿Y la única coincidencia "correcta"? En el momento del carnaval, la persona ya había sido arrestada e interrogada, y ya no era buscada.
Dada la insignificante tasa de éxito, es de esperar que el Servicio de Policía Metropolitana se muestre tímido con respecto a su experimento. Por el contrario, Cressida Dick, la oficial de policía de más alto rango en Gran Bretaña, dijo que estaba "completamente cómoda" con el despliegue de dicha tecnología, argumentando que el público espera que las fuerzas del orden utilicen sistemas de última generación. Para Dick, el atractivo del algoritmo eclipsó su falta de eficacia.
Ella no está sola. Un sistema similar probado en Gales fue correcto solo el 7% de las veces: de 2470 fanáticos del fútbol señalados por el algoritmo, solo 173 fueron partidos reales. La policía galesa defendió la tecnología en una publicación de blog y dijo: "Por supuesto, ningún sistema de reconocimiento facial es 100% preciso en todas las condiciones". La fuerza policial de Gran Bretaña está ampliando el uso de la tecnología en los próximos meses y otros departamentos de policía están siguiendo su ejemplo. Se dice que la policía de Nueva York está buscando acceso a la base de datos completa de licencias de conducir para ayudar con su programa de reconocimiento facial.
El [afán de usar una tecnología inmadura] de las fuerzas del orden público (https://www.wsj.com/articles/artificial-intelligence-could-soon-enhance-real-time-police-surveillance-1522761813?mod=article_inline) subraya un preocupante Tendencia que quizás hayas notado en otros lugares: los humanos tienen la costumbre de confiar en el resultado de un algoritmo sin preocuparse por pensar en las consecuencias. Tome los errores que culpamos al corrector ortográfico, o las historias de personas que siguen su GPS por un precipicio. Suponemos que las cabinas de reconocimiento facial en el control de pasaportes deben ser precisas simplemente porque están instaladas en nuestras fronteras.
En mis años de trabajo como matemático con datos y algoritmos, he llegado a creer que analizar cómo funciona un algoritmo es la única forma de juzgar objetivamente si es confiable. Los algoritmos se parecen mucho a las ilusiones mágicas. Al principio parecen ser pura magia, pero tan pronto como sabes cómo se hace el truco, el misterio se evapora. A menudo hay algo ridículamente simple (o imprudente) escondido detrás de la fachada.
No hay duda del profundo impacto positivo que los algoritmos han tenido en nuestras vidas. Los que hemos construido hasta la fecha cuentan con una lista asombrosamente impresionante de logros. Pueden ayudarnos a diagnosticar el cáncer de mama, atrapar asesinos en serie y evitar accidentes aéreos . Pero en nuestra prisa por automatizar, parece que hemos cambiado un problema por otro. Los algoritmos, por útiles e impresionantes que sean, ya nos han dejado una maraña de complicaciones.
Nuestra renuencia a cuestionar el poder de una máquina le ha dado a los algoritmos basura el poder de tomar decisiones que cambian la vida y ha desatado a un vendedor de aceite de serpiente moderno dispuesto a comerciar con mitos y sacar provecho de la credulidad. A pesar de la falta de evidencia científica para respaldar tales afirmaciones, [las empresas están vendiendo algoritmos a las fuerzas policiales](https://www.wsj.com/articles/amazons-facial-recognition-fans-big-brother-fears-1527025556?mod =article_inline) y gobiernos que supuestamente pueden “predecir” si alguien es un terrorista o un pedófilo basándose únicamente en sus características faciales. Otros insisten en que sus algoritmos pueden sugerir un cambio en una sola línea de un guión que hará que la película sea más rentable en taquilla. Los servicios de emparejamiento insisten en que su algoritmo [ubicará a tu verdadero amor] (https://www.wsj.com/articles/you-may-now-kiss-the-algorithm-1518184800?mod=article_inline).
Incluso los algoritmos que (en su mayoría) cumplen sus promesas tienen problemas. El algoritmo de reconocimiento facial en el aeropuerto de Manchester no se dio cuenta cuando un esposo y una esposa presentaron accidentalmente los pasaportes del otro en los escáneres. Los algoritmos de reincidencia utilizados en los tribunales sobrestimaron la probabilidad de que los acusados negros fueran reincidentes y subestimaron la misma probabilidad para los acusados blancos. Los algoritmos utilizados por los minoristas para identificar a las mujeres embarazadas y mostrarles anuncios no se pueden desactivar, incluso después de un aborto espontáneo o una muerte fetal.
Además de los algoritmos defectuosos o sesgados, existen innumerables ejemplos de humanos que utilizan algoritmos para fines no deseados. El Departamento de Policía de Chicago utilizó indebidamente un algoritmo diseñado para identificar a las personas que podrían estar involucradas en un futuro delito con armas, ya sea como perpetrador o como víctima, para obtener una lista de sospechosos cada vez que ocurría un homicidio.
Los problemas inherentes de los algoritmos se magnifican cuando se combinan con humanos y nuestra pronta aceptación de la autoridad artificial.
Pero tal vez ese sea precisamente el punto. Quizás pensar en los algoritmos como algún tipo de autoridad es donde nos equivocamos.
Incluso cuando los algoritmos no están involucrados, hay pocos ejemplos de sistemas perfectamente justos y precisos. Dondequiera que mires, en cualquier esfera que examines, encontrarás algún tipo de sesgo si profundizas lo suficiente.
Imagínate si aceptáramos que la perfección no existe. Los algoritmos cometerán errores. Los algoritmos serán injustos. Con el tiempo, mejorarán. Pero admitir que los algoritmos, como los humanos, tienen fallas debería disminuir nuestra confianza ciega en su autoridad y conducir a menos errores. En mi opinión, los mejores algoritmos tienen en cuenta a sus creadores en cada etapa. Reconocen nuestra tendencia a confiar demasiado en las máquinas. Abrazan su propia incertidumbre.
Watson de IBM hizo esto durante su carrera ganadora de “Jeopardy!” al presentar un puntaje de confianza que indica qué tan seguro estaba de una respuesta, así como una lista de otras conjeturas que había considerado. Quizás si los algoritmos de reincidencia presentaran algo similar, a los jueces les resultaría más fácil cuestionarlos. Si los algoritmos de reconocimiento facial utilizados por la policía presentaran una serie de posibles coincidencias, en lugar de centrarse en una sola cara, la identificación errónea podría ser un problema menor.
Los mejores resultados se obtienen cuando humanos y algoritmos trabajan juntos. Las redes neuronales que examinan los portaobjetos de cáncer de mama no están diseñadas para diagnosticar tumores; están diseñados para reducir una amplia gama de células a un puñado de áreas sospechosas para que el patólogo las revise. El algoritmo realiza la mayor parte del trabajo, y el ser humano llega al final para brindar su experiencia. La máquina y el ser humano trabajan juntos en concierto, explotando las fortalezas de cada uno y aceptando los defectos de cada uno.
Este es el futuro que espero, uno en el que los algoritmos arrogantes y dictatoriales sean cosa del pasado, y dejemos de ver a las máquinas como maestros objetivos y comencemos a tratarlas como lo haríamos con cualquier otra fuente de poder. Necesitamos cuestionar las decisiones de los algoritmos, examinar sus motivos, reconocer nuestras emociones, exigir saber quién se beneficiará, responsabilizar a las máquinas por sus errores y negarnos a aceptar sistemas de bajo rendimiento. Esta es la clave para un futuro en el que el efecto neto de los algoritmos sea una fuerza positiva en la sociedad. El trabajo descansa directamente sobre nuestros hombros. Porque una cosa es segura: en la era del algoritmo, los humanos nunca han sido más importantes.