Problema 1518
Una parte integral del sistema de piloto automático en los automóviles de Tesla es una red neuronal profunda que identifica las marcas de carril en las imágenes de la cámara. Las redes neuronales "ven" las cosas de manera muy diferente a como lo hacemos nosotros, y no siempre es obvio por qué, incluso para las personas que las crean y entrenan. Por lo general, los investigadores entrenan las redes neuronales mostrándoles una gran cantidad de imágenes de algo (como una calle) con cosas como marcas de carriles explícitamente etiquetadas, a menudo por humanos. La red aprenderá gradualmente a identificar las marcas de carril en función de las similitudes que detecta en el conjunto de datos etiquetado, pero exactamente cuáles son esas similitudes puede ser muy abstracto.
Debido a esta desconexión entre lo que realmente son las marcas de carril y lo que una red neuronal cree que son, incluso las redes neuronales de alta precisión pueden ser engañadas a través de imágenes "adversarias", que se construyen cuidadosamente para explotar este tipo de reconocimiento de patrones. La semana pasada, los investigadores del Keen Security Lab de Tencent mostraron [PDF] cómo engañar al sistema de detección de carril en un Tesla Model S para ocultar las marcas de carril que serían visibles para un humano y crear marcas que un humano ignoraría, lo cual (bajo algunas circunstancias específicas) puede hacer que el piloto automático de Tesla se desvíe al carril equivocado sin previo aviso.
Por lo general, los ataques de imágenes adversarias se llevan a cabo digitalmente, alimentando una red neuronal directamente con imágenes alteradas. Es mucho más difícil llevar a cabo un ataque del mundo real en una red neuronal, porque es más difícil controlar lo que ve la red. Pero los ataques de adversarios físicos también pueden ser una preocupación grave, porque no requieren acceso directo al sistema que se está explotando; el sistema solo tiene que ser capaz de ver el patrón de adversarios y está comprometido.
El paso inicial en las pruebas de Tencent implicó el acceso directo al software de Tesla. Los investigadores mostraron al sistema de detección de carriles una variedad de imágenes digitales de marcas de carriles para establecer sus parámetros de detección. Como salida, el sistema especificó las coordenadas de los carriles que detectó en la imagen de entrada. Al usar "una variedad de algoritmos de optimización para mutar el carril y el área que lo rodea", Tencent encontró varios tipos diferentes de "ejemplos adversarios que [son similares a] la imagen original pero pueden desactivar la función de reconocimiento de carril". Esencialmente, Tencent logró encontrar el punto en el que el umbral de confianza de la red neuronal de detección de carriles de Tesla pasa de "sin carril" a "carril" o viceversa, y lo usó como punto de referencia para generar las marcas de carril adversarias. Éstos son algunos de ellos:
Basado en el segundo ejemplo de la imagen de arriba, Tencent recreó el efecto en el mundo real usando un poco de pintura, y el resultado fue el mismo, como puede ver en la pantalla de Tesla en la imagen de la derecha.
La medida en que las marcas de carril tienen que estar desordenadas para que el piloto automático las ignore es significativa, lo cual es bueno, explica Tencent:
Llegamos a la conclusión de que la función de reconocimiento de carril del módulo [piloto automático] tiene una buena solidez y es difícil para un atacante implementar algunas marcas discretas en el mundo físico para desactivar la función de reconocimiento de carril de un vehículo Tesla en movimiento. Sospechamos que esto se debe a que Tesla ha agregado muchos carriles anormales (rotos, ocluidos) en su conjunto de entrenamiento para soportar la complejidad del mundo físico, [lo que da como resultado] un buen rendimiento en un entorno externo normal (sin luz fuerte, lluvia, nieve, arena e interferencia de polvo).
Sin embargo, es esta misma solidez lo que hace que el piloto automático sea más vulnerable a los ataques en la dirección opuesta: crear marcas antagónicas que activan el sistema de reconocimiento de carril del piloto automático donde un conductor humano vería poca o ninguna evidencia de un carril. Los experimentos de Tencent demostraron que solo se necesitan tres pequeños parches en el suelo para falsificar un carril:
Los investigadores de seguridad identificaron algunas otras cosas con el Tesla que no son realmente vulnerabilidades, pero son interesantes, como la capacidad de activar el sensor de lluvia con una imagen. También pudieron controlar el Tesla con un gamepad, utilizando una vulnerabilidad que, según Tesla, ya ha sido reparada. La demostración de reconocimiento de carril comienza a las 1:08 en el siguiente video.
Una parte integral del sistema de piloto automático en los automóviles de Tesla es una red neuronal profunda que identifica las marcas de carril en las imágenes de la cámara. Las redes neuronales "ven" las cosas de manera muy diferente a como lo hacemos nosotros, y no siempre es obvio por qué, incluso para las personas que las crean y entrenan. Por lo general, los investigadores entrenan las redes neuronales mostrándoles una gran cantidad de imágenes de algo (como una calle) con cosas como marcas de carriles explícitamente etiquetadas, a menudo por humanos. La red aprenderá gradualmente a identificar las marcas de carril en función de las similitudes que detecta en el conjunto de datos etiquetado, pero exactamente cuáles son esas similitudes puede ser muy abstracto.
Debido a esta desconexión entre lo que realmente son las marcas de carril y lo que una red neuronal cree que son, incluso las redes neuronales de alta precisión pueden ser engañadas a través de imágenes "adversarias", que se construyen cuidadosamente para explotar este tipo de reconocimiento de patrones. La semana pasada, los investigadores del Keen Security Lab de Tencent mostraron [PDF] cómo engañar al sistema de detección de carril en un Tesla Model S para ocultar las marcas de carril que serían visibles para un humano y crear marcas que un humano ignoraría, lo cual (bajo algunas circunstancias específicas) puede hacer que el piloto automático de Tesla se desvíe al carril equivocado sin previo aviso.
Por lo general, los ataques de imágenes adversarias se llevan a cabo digitalmente, alimentando una red neuronal directamente con imágenes alteradas. Es mucho más difícil llevar a cabo un ataque del mundo real en una red neuronal, porque es más difícil controlar lo que ve la red. Pero los ataques de adversarios físicos también pueden ser una preocupación grave, porque no requieren acceso directo al sistema que se está explotando; el sistema solo tiene que ser capaz de ver el patrón de adversarios y está comprometido.
El paso inicial en las pruebas de Tencent implicó el acceso directo al software de Tesla. Los investigadores mostraron al sistema de detección de carriles una variedad de imágenes digitales de marcas de carriles para establecer sus parámetros de detección. Como salida, el sistema especificó las coordenadas de los carriles que detectó en la imagen de entrada. Al usar "una variedad de algoritmos de optimización para mutar el carril y el área que lo rodea", Tencent encontró varios tipos diferentes de "ejemplos adversarios que [son similares a] la imagen original pero pueden desactivar la función de reconocimiento de carril". Esencialmente, Tencent logró encontrar el punto en el que el umbral de confianza de la red neuronal de detección de carriles de Tesla pasa de "sin carril" a "carril" o viceversa, y lo usó como punto de referencia para generar las marcas de carril adversarias. Éstos son algunos de ellos:
Figuras 29 y 30 del artículo Figura 32 del artículo
Basado en el segundo ejemplo de la imagen de arriba, Tencent recreó el efecto en el mundo real usando un poco de pintura, y el resultado fue el mismo, como puede ver en la pantalla de Tesla en la imagen de la derecha.
La medida en que las marcas de carril tienen que estar desordenadas para que el piloto automático las ignore es significativa, lo cual es bueno, explica Tencent:
Llegamos a la conclusión de que la función de reconocimiento de carril del módulo [piloto automático] tiene una buena solidez y es difícil para un atacante implementar algunas marcas discretas en el mundo físico para desactivar la función de reconocimiento de carril de un vehículo Tesla en movimiento. Sospechamos que esto se debe a que Tesla ha agregado muchos carriles anormales (rotos, ocluidos) en su conjunto de entrenamiento para soportar la complejidad del mundo físico, [lo que da como resultado] un buen rendimiento en un entorno externo normal (sin luz fuerte, lluvia, nieve, arena e interferencia de polvo).
Sin embargo, es esta misma solidez lo que hace que el piloto automático sea más vulnerable a los ataques en la dirección opuesta: crear marcas antagónicas que activan el sistema de reconocimiento de carril del piloto automático donde un conductor humano vería poca o ninguna evidencia de un carril. Los experimentos de Tencent demostraron que solo se necesitan tres pequeños parches en el suelo para falsificar un carril:
Figura 33 del artículo.
Los investigadores de seguridad identificaron algunas otras cosas con el Tesla que no son realmente vulnerabilidades, pero son interesantes, como la capacidad de activar el sensor de lluvia con una imagen. También pudieron controlar el Tesla con un gamepad, utilizando una vulnerabilidad que, según Tesla, ya ha sido reparada. La demostración de reconocimiento de carril comienza a las 1:08 en el siguiente video.
Es importante mantener este ejemplo en contexto, ya que parece que solo funciona en circunstancias muy específicas: la demostración ocurre en lo que parece un cruce (quizás equivalente a un cruce de 4 vías no controlado), donde no hay otras líneas de carril. para que el sistema siga. Parece poco probable que las calcomanías hagan que el automóvil cruce una línea central bien establecida, pero la demostración muestra que las calcomanías colocadas donde no existen otras marcas de carril pueden hacer que un Tesla en piloto automático cambie a un carril que se aproxima, sin proporcionando cualquier señal visual para el conductor de que está a punto de ocurrir.
Por supuesto, esperaríamos que el automóvil fuera lo suficientemente inteligente como para no desviarse hacia el tráfico que se aproxima si detecta alguno. También vale la pena señalar que para que el sistema de detección de líneas sea útil, Tesla debe permitir una cantidad sustancial de variación, porque hay mucha variación en el mundo real en las líneas que se pintan en las carreteras. Estoy seguro de que ha tenido esa experiencia en una carretera donde varios conjuntos de líneas pintadas en diferentes momentos (pero todas de alguna manera se desvanecieron exactamente de la misma manera) divergen entre sí, e incluso las redes neuronales que son nuestros cerebros tienen problemas para decidir cuál. seguir.
En situaciones como esa, hacemos aquello en lo que los humanos son muy buenos: asimilamos un montón de información muy rápidamente, utilizando señales contextuales y nuestro conocimiento de las carreteras de toda la vida para tomar la mejor decisión posible. Los sistemas autónomos son notoriamente malos para hacer esto, pero todavía hay muchas formas en que el piloto automático de Tesla podría aprovechar otros datos para tomar mejores decisiones que si solo observara las marcas de los carriles. La más fácil es probablemente lo que hacen los vehículos que están delante de usted, ya que seguirlos es probablemente el curso de acción más seguro, incluso si no están eligiendo el mismo camino que usted.
Según una publicación en el blog de Keen Security Lab (y debemos tener en cuenta que Tencent ha estado desarrollando sus propios autos sin conductor), Tesla respondió a la investigación de reconocimiento de carril de Tecent con la siguiente declaración:
“En esta demostración, los investigadores ajustaron el entorno físico (p. ej., colocando cinta adhesiva en la carretera o alterando las líneas de los carriles) alrededor del vehículo para que se comporte de manera diferente cuando se usa el piloto automático. Esta no es una preocupación del mundo real dado que un conductor puede anular fácilmente el piloto automático en cualquier momento usando el volante o los frenos y debe estar preparado para hacerlo en todo momento”.
Tesla parece estar diciendo que esto no es una preocupación del mundo real solo porque el conductor puede hacerse cargo en cualquier momento. En otras palabras, es absolutamente una preocupación del mundo real, y los conductores deben estar preparados para hacerse cargo en cualquier momento debido a ello. Tesla constantemente toma una posición complicada con su piloto automático, ya que parece decirles a los consumidores simultáneamente "por supuesto que puedes confiar en él" y "por supuesto que no puedes confiar en él". Es casi seguro que la última afirmación es más correcta, y el ataque de reconocimiento de carril es especialmente preocupante porque es posible que el conductor no se dé cuenta de que algo anda mal hasta que el auto ya haya comenzado a desviarse, porque el auto en sí mismo no reconoce el problema.
Si bien la posibilidad de que esto se convierta en un problema real para el piloto automático de Tesla es pequeña, la demostración nos deja con algunas preguntas, como ¿qué sucede si hay algunos puntos blancos aleatorios en el camino que siguen un patrón similar? ¿Y qué otros tipos de fragilidad aún no se han identificado? Tesla tiene muchos kilómetros de pruebas en el mundo real, pero el mundo real es muy grande, y la larga cola de situaciones muy improbables siempre está ahí afuera, esperando a que la pisen.