Incidentes Asociados
En agosto, luego de la debacle del algoritmo de calificación en el Reino Unido, escribí una columna preguntándome si tal vez este desafortunado evento podría ser un punto de inflexión crítico para la confianza pública en el todopoderoso algoritmo.
Esta nueva generación en el Reino Unido, a punto de entrar en la edad adulta, y un papel activo como los futuros votantes, empleados, pensadores, activistas y legisladores del Reino Unido, probablemente no olvidaría lo que era ser juzgado por un código de computadora sesgado con invisible, suposiciones horneadas, pensé.
Bueno. Aquí estamos unos meses después, y cualquier sensación de superioridad en la evaluación de calificaciones que pudiéramos haber tenido en este lado del mar de Irlanda se ha convertido en una cáscara.
Nosotros también nos hemos abierto paso mediante algoritmos hacia una conflagración de calificaciones en la que al menos dos errores de codificación significaron que más de 6000 estudiantes recibieron calificaciones más bajas de lo que deberían y, en una inversión desoladoramente sin gracia, casi 8000 más obtuvieron calificaciones superiores a las del algoritmo. si funciona correctamente, debería haber asignado.
El Gobierno ha trasladado este problema a las instituciones de tercer nivel, que ya están sobrecargadas y con problemas de liquidez, que de alguna manera se supone que deben proporcionar espacios adicionales según sea necesario para aquellos con calificaciones más bajas injustificadas.
Aún no está claro qué sucede con la cohorte adicional de estudiantes que pueden haber perdido los lugares que legítimamente obtuvieron, a una parte de los 7,943 estudiantes que pueden haber ganado ese lugar con calificaciones evaluadas incorrectamente. Analizar y resolver de manera justa este lío es un desafío para el Departamento de Educación, las instituciones involucradas y los estudiantes afectados.
En agosto cité al experimentado programador y consultor tecnológico Dermot Casey, quien había expresado su preocupación sobre qué factores de evaluación podrían incluirse en cualquier algoritmo Leaving Cert propuesto aquí.
En el Irish Times del sábado pasado, revisó este tema y escribió un artículo informativo explicativo sobre algoritmos, ofreciendo una lista detallada de preguntas que deben hacerse ahora sobre cómo se codificó y se sometió a prueba el algoritmo irlandés. Preocupaciones más grandes
Como se invirtió dinero público en la producción del algoritmo, y tantas personas se han visto afectadas por sus deficiencias, el Gobierno debe responder esas preguntas.
Pero este embrollo es, en última instancia, apunta hacia preocupaciones aún mayores que un año de Leaving Cert y el caos de calificaciones.
El problema del algoritmo es enorme. Los algoritmos afectan tu vida diaria. En microsegundos, toman determinaciones y decisiones sobre casi todos los aspectos de nuestra existencia, los sociales, políticos, relacionados con la salud y éticos, desde nuestra (supuesta) idoneidad para hipotecas y trabajos, hasta la atención médica que recibimos, los anuncios y publicaciones. vemos en las redes sociales y los resultados devueltos cuando hacemos una búsqueda en Google.
En casi todos los casos, no tenemos absolutamente ninguna idea de qué determinaciones entran en estos algoritmos. No sabemos quién los codificó. No sabemos cómo funcionan; como juzgan. Por su propia naturaleza, líneas ocultas de código complejo, oscurecidas por leyes que protegen los activos comerciales, funcionan de manera invisible. Están protegidos como información de propiedad corporativa y propiedad "intelectual", a pesar de que es nuestro intelecto lo que reclaman, juzgándonos por los datos que recopilan (generalmente, sin que lo sepamos). Esta información entonces, ridículamente, se convierte en su propiedad, no en la nuestra. Partes enteras y reveladoras de nosotros, algunas de ellas extremadamente reveladoras y sensibles, que no pertenecen a nosotros, sino a ellos.
Los algoritmos tienen un impacto en cada uno de nosotros. Pero solo vemos las decisiones de resultado final tomadas por ese código, no las decisiones, suposiciones o sesgos de origen humano que subyacen a esas decisiones de codificación, en algoritmos producidos principalmente por un pequeño segmento de la sociedad humana: hombres más jóvenes, principalmente blancos, a menudo de universidades de élite.
no neutral
Sabemos por muchos estudios que los algoritmos no son neutrales. Sabemos que hasta hace poco, si buscaba en Google imágenes de "mujeres negras" o "mujeres latinas", la mayoría de los resultados eran de naturaleza explotadora y pornográfica (lo mismo sucedía con las búsquedas étnicas de "niños"). Este sesgo ahora se ha ajustado, lo que demuestra la facilidad con la que se puede modificar un algoritmo, en los pocos casos en los que eventualmente se puede ver un sesgo obvio.
Desafortunadamente, muchos sesgos están tan profundamente arraigados que se necesitan expertos para revelarlos, si es que se revelan, como en el caso de, digamos, el software médico que priorizó a los pacientes blancos sobre los pacientes negros con peores síntomas. O en el caso de un algoritmo de IA de reclutamiento de Amazon que clasificó a las candidatas a la baja.
Debemos comprender completamente la falibilidad de los algoritmos y exigir algo mejor de quienes los producen.
Los errores de codificación o sesgo, en los algoritmos de calificación de Irlanda y el Reino Unido este año, habrán aclarado estos problemas, de una manera frustrante, dolorosa y que afecta la vida de muchos.
Sin embargo, no podemos dejarlo así. Nuestro próximo paso debe ser impulsar leyes que exijan la transparencia de los algoritmos corporativos, como está comenzando a suceder ahora en la UE, porque no se trata solo de escándalos de calificación únicos.
Se trata de todos nosotros, esclavos de algoritmos ofuscadores que nos juzgan en secreto y en silencio, con un impacto que puede cambiar la vida, todos los días.