Incidentes Asociados
A principios de noviembre de 2023 recibí una multa. Según la decisión oficial, a mediados de octubre yo, como conductor, sostenía un dispositivo eléctrico móvil mientras conducía. Los costes ascendieron a 380 €, más 9 € adicionales en gastos de administración. Eso fue un poco impactante, aunque no recordaba haberlo hecho. Naturalmente, tenía curiosidad por las pruebas, así que busqué la fotografía adjunta en el sitio web de la CJIB (Agencia Central de Recaudación Judicial).
En la foto se puede ver que tengo la mano cerca de la cara, pero no tengo nada en la mano. Por tanto, la multa es injustificada. Mi ticket es un "falso positivo", hablaremos de eso más adelante. Por supuesto que he presentado una objeción, pero aún no tengo ningún resultado. Pueden pasar hasta 26 semanas antes de que se procese la objeción.
Lo mejor de esta foto es que analizar una fotografía con flash está muy cerca de mi trabajo. Yo mismo creo algoritmos que editan y analizan imágenes. Por supuesto, este tipo de algoritmo también se encuentra detrás de la evaluación de las fotografías con flash, ya que no todo esto se hace manualmente. El resto de este blog contiene un análisis de lo que pudo haber salido mal con el algoritmo policial y lo que se podría mejorar.
¿Qué es un falso positivo?
Existen diferentes tipos de modelos en el mundo de los algoritmos y modelos. Los llamados modelos de clasificación se utilizan para tomar decisiones o asignar elementos a categorías. Los números o porcentajes de probabilidad se calculan en segundo plano, pero el resultado se convierte en una categoría.
Algunos ejemplos de preguntas para modelos de clasificación son: "¿El precio de las acciones sube o baja?", "¿Se marcan más de 2 goles en un partido de fútbol: sí o no?", "¿Qué vehículo está en una imagen: un ¿coche, bicicleta o tren?"
Si un modelo tiene que predecir si algo es "sí" o "no", por supuesto también puede suceder que el modelo esté equivocado. En el caso de mi billete, la modelo indicó que tengo un teléfono en la mano, mientras que no es así. Entonces hablamos de un falso positivo. Los 4 escenarios posibles se muestran en la imagen siguiente (la matriz de confusión).
Un modelo perfecto solo predice verdaderos positivos y verdaderos negativos, pero una predicción 100% correcta es rara. A veces se debe minimizar el número de falsos negativos, a veces el número de falsos positivos y a veces la combinación de los mismos. Si el modelo está dirigido principalmente a localizar a todos los que deberían ser multados, muchas personas también pueden ser multadas injustamente. Y viceversa, por supuesto.
La monocámara
Mi colega Maarten Ketelaars encontró recientemente un blog que contenía un vídeo sobre la plataforma de análisis avanzado de la policía. El primer minuto de ese video explica cómo usar Monocam, la cámara que me mostró el flash. Aquí hay un enlace a ese video de YouTube: La plataforma de análisis avanzado de la policía - YouTube.
El vídeo explica que un algoritmo determina si alguien sostiene un dispositivo móvil mientras conduce. A continuación, un agente de policía debe evaluar si realmente se ha cometido una infracción. En mi caso, el algoritmo dijo que estoy sosteniendo un dispositivo móvil mientras conduzco y el policía lo aceptó. Entonces se cometieron dos errores; un error algorítmico y un error humano.
Reproducción del algoritmo utilizado.
Junto con mi colega Tom van der Wielen intenté reproducir la multa injustificada. Por cierto, es importante recalcar que no sabemos exactamente qué algoritmo utiliza la Monocam, pero será similar al que hicimos.
Utilizamos un modelo YOLO previamente entrenado (versión v8). YOLO, que significa Sólo miras una vez, es un algoritmo de detección de objetos en tiempo real. El algoritmo es capaz de detectar personas y dispositivos móviles, lo que permite localizar a posibles infractores de tráfico. Al ejecutar este algoritmo con la imagen en vivo de la cámara web, es claramente visible que efectivamente se detectan personas y teléfonos. Pero en cuanto llevo la mano vacía a la oreja, el vídeo también muestra que el algoritmo puede simplemente indicar que hay un teléfono presente. Por lo tanto, esto no es correcto y probablemente también sea lo que sucedió con el algoritmo policial.
Para comprender cómo se puede mejorar un algoritmo de este tipo, explicaré brevemente cómo se hace que un algoritmo sea inteligente. Porque eso no es un algoritmo en sí mismo. Para empezar debe haber un gran conjunto de imágenes donde se sepa qué objetos son visibles en cada imagen. Este gran conjunto se divide en dos o tres grupos: un conjunto de entrenamiento, un conjunto de validación y un conjunto de prueba.
El conjunto de trenes se utiliza para enseñar al algoritmo qué objetos están en qué imágenes y qué propiedades (colores, líneas, etc.) les pertenecen. El conjunto de validación es necesario para optimizar una serie de hiperparámetros del algoritmo y, en última instancia, el conjunto de prueba se utiliza para probar qué tan bueno se ha vuelto el algoritmo.
Es importante que el algoritmo no haya visto el conjunto de pruebas antes para evitar sesgos. Si se determina que el algoritmo es lo suficientemente bueno en el conjunto de prueba, ahora se puede utilizar en un entorno de producción.
El algoritmo que utilizamos, y el de la policía, puede sospechar que hay un teléfono presente porque el conjunto de datos de entrenamiento contiene muchos ejemplos de personas llamando con un teléfono en la mano junto a la oreja. Es muy posible que el conjunto de datos de entrenamiento contenga pocas o ninguna fotografía de personas sentadas con la mano vacía en la oreja. En este caso, para el algoritmo resulta menos importante si el teléfono está realmente en la mano, pero es suficiente con que la mano esté cerca de la oreja. Para mejorar esto, se deberían agregar más fotos donde la mano esté vacía, preferiblemente al menos unos cientos de fotos.
Un problema similar ocurrió en un conocido caso de inteligencia artificial en el que había que distinguir a un lobo de un husky. El software obtuvo muy buenos resultados en un gran conjunto de fotografías de perros esquimales y lobos, pero eso no se debió a que las características de los animales fueran distintivas. Se debía principalmente a la presencia de nieve o vegetación de fondo. Si reemplazas la nieve o el verde con mi mano/cabeza, este ejemplo coincide perfectamente con mi caso.
Por tanto, sigue siendo muy difícil hacer que el algoritmo sea 100% fiable. Por tanto, es importante que el agente de policía que realiza el control manual reciba la información pertinente. Si el porcentaje de confiabilidad del teléfono encontrado no es tan alto, es útil indicárselo también al oficial de policía. Entonces sabe que debe prestar especial atención al evaluar el resultado del algoritmo.
¿Y ahora qué?
Entonces hubo un error tanto técnico como humano con mi multa. Creo que sería divertido ayudar a la policía a mejorar el algoritmo y el proceso que lo rodea. Y esperaré pacientemente el resultado de mi objeción. Especialmente con este blog detrás de mí, no puedo imaginarme teniendo que pagar mi multa.