Incidentes Asociados
Las preocupaciones sobre la inteligencia artificial y su impacto en el trabajo no son nuevas, pero a medida que más empresas implementan estas soluciones, estamos viendo obstáculos en el proceso. Un punto que muchas de estas conversaciones dan por sentado es que las herramientas impulsadas por IA funcionan. ¿Qué pasa si no lo hacen?
La pandemia ha provocado una explosión en las ventas de semiconductores y un aumento significativo en la cantidad de empleados que sus empleadores mantienen bajo vigilancia. En algunos casos, las personas no solo están siendo observadas, sino que están siendo calificadas. Esto podría no ser un problema si las herramientas de IA en cuestión fueran lo suficientemente robustas para hacer el trabajo, pero toda la evidencia disponible sugiere que no lo son.
Una [nueva historia] (https://www.vice.com/en/article/88npjv/amazons-ai-cameras-are-punishing-drivers-for-mistakes-they-didnt-make) en Motherboard detalla los resultados de El último impulso de Amazon para introducir la tecnología de inteligencia artificial en el lugar de trabajo. En febrero pasado, Amazon comenzó a instalar cámaras de la compañía de cámaras para flotas Netradyne, con el supuesto objetivo de mantener seguros a los conductores. El sitio web de Netradyne presenta la tecnología de la compañía exactamente en estos términos, enfatizando que puede mantener a los conductores enfocados en el camino. El sistema rastrea si los conductores mantienen la distancia de seguimiento adecuada, obedecen las señales de alto y las luces de la calle y mantienen su atención en la carretera.
Es difícil discutir con la idea de que las personas que conducen para ganarse la vida deberían estar obligadas a hacer estas cosas. Pero según los conductores que realmente entregan los paquetes de Amazon, el sistema es una pesadilla. El problema no es que las personas se vean obligadas a cumplir la ley. El problema es que el sistema Netradyne no es muy bueno para decidir cuándo un conductor infringe o no la ley y Amazon no ofrece ningún método para que los conductores puedan disputar eventos.
"Me han 'llamado' por seguir demasiado de cerca cuando alguien me corta el paso", dijo un conductor a Motherboard. “Si miro en mis espejos para asegurarme de que estoy seguro para cambiar de carril, me distraigo porque mi cara está girada para mirar en mi espejo. Personalmente, no me sentía más seguro con una cámara observando cada uno de mis movimientos”.
Otro conductor indicó que el sistema Netradyne AI tiene un problema importante con las paradas falsas. Aparentemente, el sistema tiene la mala costumbre de marcar las señales de ceda el paso como señales de alto (y penalizar a los conductores por no detenerse), al tiempo que penaliza a los conductores si se detienen en una señal de alto y luego avanzan lentamente para mirar alrededor de una curva ciega. Cualquiera que haya manejado durante un período de tiempo prolongado sabe que los vecindarios y los negocios no siempre mantienen las líneas de visión adecuadas. Puede ser peligroso acelerar para alejarse de una señal de alto sin mirar alrededor de una esquina oscurecida por la maleza.
“La mayoría de los falsos positivos que recibimos son violaciones de señales de alto”, dijo. “O nos detenemos después de la señal de alto para que podamos ver alrededor de un arbusto o un árbol y nos toque por eso, o capta las señales de ceda el paso como señales de alto. Algunas veces, hemos estado en el campo en un camino de tierra, donde no hay una señal de alto, pero la cámara marca una señal de alto”.
Un conductor humano que observa a otro humano tomar una intersección con cautela escaneará reflexivamente la situación en busca de pistas de contexto sobre por qué sucede esto. La IA de Netradyne es incapaz de realizar este tipo de evaluación. Solo “ve” si el vehículo está funcionando de acuerdo con su propia lógica inflexible.
Los portavoces de Amazon insisten en que el sistema Netradyne ha arrojado resultados positivos, con una reducción del 48 % en accidentes, reducción del 77 % en infracciones de señales y señales de alto, reducción del 60 % en la conducción sin cinturón de seguridad, reducción del 50 % en las infracciones de distancia seguidas y reducción del 75 % en la conducción distraída. . Estas son cifras impresionantes, sin duda. Pero en realidad no nos dicen mucho y Amazon no es conocido por su honestidad cuando trata con la prensa.
Fui la persona que encontró la orina en la botella. Confía en mí, sucedió. https://t.co/U76UlDRWSO
— James Bloodworth (@J_Bloodworth) 25 de marzo de 2021
Para empezar, no sabemos cómo se recopilaba esta información antes de la instalación del sistema Netradyne, por lo que no sabemos cómo comparar las cifras de antes y después. La reducción del 77 por ciento en las señales de alto y las infracciones de señales puede reflejar el hecho de que los conductores de entrega de Amazon están siendo más diligentes, o podría indicar que los conductores están evitando falsos positivos en las señales de alto al comportarse de una manera menos segura que también es menos probable que cause un golpe en su historial de manejo.
Parte del problema es que estas métricas se utilizan para determinar cuánto se les paga a los socios de entrega de Amazon. Demasiados eventos de Netradyne pueden arruinar el puntaje de una empresa, reduciendo la cantidad que gana de Amazon ese mes. Probablemente tenga validez el concepto de que esto crea un incentivo para que una empresa contrate a buenos conductores, pero la capacidad de dichas métricas para lograr sus objetivos se basa en la idea de que, en primer lugar, están midiendo correctamente.
Amazon está exprimiendo a las empresas para que realicen cambios a favor de la seguridad y, al mismo tiempo, las está presionando para que adopten horarios de entrega tan exigentes que algunos conductores lleven botellas de plástico en lugar de intentar ir al baño. A principios de este año, dos empresas de Oregón efectivamente [se cerraron](https://www.oregonlive.com/silicon-forest/2021/06/amazon-delivery-contractors-quit-portland-routes-citing-unsafe-conditions. html) en lugar de continuar transportando paquetes para Amazon. Los informes de investigación han encontrado repetidamente que la cultura del almacén de Amazon es un entorno de trabajo brutalmente difícil, por lo que no es sorprendente ver que la empresa impulsa el mismo modelo hacia el exterior en su modelo de negocio.
Varias empresas de entrega creen que Amazon ha instituido estas prácticas para evitar pagarles. Amazon insiste en que solo está tratando de proteger la seguridad. Según Motherboard, varias compañías les están diciendo a los conductores cómo eludir estos sistemas de rastreo porque encenderlos significa darle a Amazon una excusa para no pagar. ¿Por qué los conductores no usan cinturones de seguridad? Debido a que Amazon insiste en que los plazos de entrega sean tan exigentes, los conductores dicen que no tienen tiempo para usarlos. Independientemente de lo que uno crea sobre las intenciones de Amazon, es obvio que sus métodos tienen consecuencias no deseadas que van en contra del objetivo de mejorar los registros de seguridad de los conductores.
Quizás el aspecto más enloquecedor de toda la situación es que no existe un proceso de apelación significativo. Si bien las empresas de entrega aparentemente pueden enviar tickets de comentarios para eventos específicos, el sistema Netradyne registra cientos de eventos por semana y Amazon casi nunca anula una decisión anterior. La mayoría de las empresas no intentan impugnar estas decisiones porque impugnarlas casi nunca funciona.
Este tipo de problema debería hacer sonar más alarmas de las que probablemente hará. A pesar de todo lo bueno que la IA puede hacer en las circunstancias adecuadas, las herramientas como Netradyne no están listas para su implementación si generan falsos positivos a este tipo de tasa. Si Netradyne no puede ofrecer un producto que detecte correctamente el comportamiento del conductor en todas las circunstancias, no tiene por qué afirmar lo contrario.
Es posible que Amazon realmente haya visto el tipo de mejoras de seguridad que afirma, pero una mayor seguridad no es la única variable que importa aquí. Un sistema de seguridad cuyos sistemas de detección inadecuados hacen que los conductores actúen de manera insegura es, por definición, menos seguro que uno que no lo hace. Está muy bien afirmar que los beneficios representan una mejora neta, pero eso no beneficia a las personas que son injustamente penalizadas o incluso desempleadas porque una pieza aleatoria de software decidió que eran un conductor problemático sin supervisión o revisión humana.