Problème 1518
Une partie intégrante du système de pilotage automatique des voitures de Tesla est un réseau neuronal profond qui identifie les marquages de voie dans les images de la caméra. Les réseaux de neurones "voient" les choses bien différemment que nous, et la raison n'est pas toujours évidente, même pour les personnes qui les créent et les forment. Habituellement, les chercheurs forment des réseaux de neurones en leur montrant un nombre énorme d'images de quelque chose (comme une rue) avec des choses comme des marquages de voie explicitement étiquetés, souvent par des humains. Le réseau apprendra progressivement à identifier les marquages au sol en fonction des similitudes qu'il détecte dans l'ensemble de données étiquetées, mais la nature exacte de ces similitudes peut être très abstraite.
En raison de cette déconnexion entre ce que sont réellement les marquages au sol et ce qu'un réseau de neurones pense qu'ils sont, même des réseaux de neurones très précis peuvent être trompés par des images « contradictoires », qui sont soigneusement construites pour exploiter ce type de reconnaissance de formes. La semaine dernière, des chercheurs du Keen Security Lab de Tencent ont montré [PDF] comment tromper le système de détection de voie d'une Tesla Model S pour à la fois masquer les marquages de voie qui seraient visibles pour un humain et créer des marquages qu'un humain ignorerait, ce qui (sous certaines circonstances spécifiques) peut faire dévier le pilote automatique de la Tesla dans la mauvaise voie sans avertissement.
Habituellement, les attaques d'images contradictoires sont menées numériquement, en alimentant directement un réseau de neurones en images altérées. Il est beaucoup plus difficile de mener une attaque réelle sur un réseau de neurones, car il est plus difficile de contrôler ce que le réseau voit. Mais les attaques adverses physiques peuvent également être une préoccupation sérieuse, car elles ne nécessitent pas d'accès direct au système exploité - le système doit simplement être en mesure de voir le modèle adverse, et il est compromis.
La première étape des tests de Tencent impliquait un accès direct au logiciel de Tesla. Les chercheurs ont montré au système de détection de voie une variété d'images numériques des marquages de voie pour établir ses paramètres de détection. En sortie, le système a spécifié les coordonnées de toutes les voies qu'il a détectées dans l'image d'entrée. En utilisant "une variété d'algorithmes d'optimisation pour faire muter la voie et la zone qui l'entoure", Tencent a trouvé plusieurs types "d'exemples contradictoires qui [sont similaires à] l'image d'origine mais peuvent désactiver la fonction de reconnaissance de voie". Essentiellement, Tencent a réussi à trouver le point auquel le seuil de confiance du réseau neuronal de détection de voie de Tesla passe de "pas une voie" à "voie" ou vice-versa, et l'a utilisé comme point de référence pour générer les marquages de voie contradictoires. En voici quelques-uns :
Sur la base du deuxième exemple de l'image ci-dessus, Tencent a recréé l'effet dans le monde réel en utilisant de la peinture, et le résultat était le même, comme vous pouvez le voir sur l'écran de Tesla dans l'image de droite.
La mesure dans laquelle les marquages au sol doivent être foirés pour que le pilote automatique les ignore est importante, ce qui est une bonne chose, explique Tencent :
Nous concluons que la fonction de reconnaissance de voie du module [pilote automatique] a une bonne robustesse et qu'il est difficile pour un attaquant de déployer des marquages discrets dans le monde physique pour désactiver la fonction de reconnaissance de voie d'un véhicule Tesla en mouvement. Nous soupçonnons que cela est dû au fait que Tesla a ajouté de nombreuses voies anormales (brisées, obstruées) dans son ensemble d'entraînement pour tenir la complexité du monde physique, [ce qui se traduit par] de bonnes performances dans un environnement externe normal (pas de lumière forte, pluie, neige, sable et interférence de la poussière).
C'est cette robustesse même, cependant, qui rend le pilote automatique plus vulnérable aux attaques dans la direction opposée : la création de marquages contradictoires qui déclenchent le système de reconnaissance de voie du pilote automatique là où un conducteur humain ne verrait que peu ou pas de trace d'une voie. Les expériences de Tencent ont montré qu'il suffit de trois petites parcelles au sol pour simuler une voie :
Les chercheurs en sécurité ont identifié quelques autres choses avec la Tesla qui ne sont pas vraiment des vulnérabilités, mais qui sont plutôt intéressantes, comme la possibilité de déclencher le capteur de pluie avec une image. Ils ont également pu contrôler la Tesla avec une manette de jeu, en utilisant une vulnérabilité qui, selon Tesla, a déjà été corrigée. La démonstration de reconnaissance de voie commence à 1:08 dans la vidéo ci-dessous.
Une partie intégrante du système de pilotage automatique des voitures de Tesla est un réseau neuronal profond qui identifie les marquages de voie dans les images de la caméra. Les réseaux de neurones "voient" les choses bien différemment que nous, et la raison n'est pas toujours évidente, même pour les personnes qui les créent et les forment. Habituellement, les chercheurs forment des réseaux de neurones en leur montrant un nombre énorme d'images de quelque chose (comme une rue) avec des choses comme des marquages de voie explicitement étiquetés, souvent par des humains. Le réseau apprendra progressivement à identifier les marquages au sol en fonction des similitudes qu'il détecte dans l'ensemble de données étiquetées, mais la nature exacte de ces similitudes peut être très abstraite.
En raison de cette déconnexion entre ce que sont réellement les marquages au sol et ce qu'un réseau de neurones pense qu'ils sont, même des réseaux de neurones très précis peuvent être trompés par des images « contradictoires », qui sont soigneusement construites pour exploiter ce type de reconnaissance de formes. La semaine dernière, des chercheurs du Keen Security Lab de Tencent ont montré [PDF] comment tromper le système de détection de voie d'une Tesla Model S pour à la fois masquer les marquages de voie qui seraient visibles pour un humain et créer des marquages qu'un humain ignorerait, ce qui (sous certaines circonstances spécifiques) peut faire dévier le pilote automatique de la Tesla dans la mauvaise voie sans avertissement.
Habituellement, les attaques d'images contradictoires sont menées numériquement, en alimentant directement un réseau de neurones en images altérées. Il est beaucoup plus difficile de mener une attaque réelle sur un réseau de neurones, car il est plus difficile de contrôler ce que le réseau voit. Mais les attaques adverses physiques peuvent également être une préoccupation sérieuse, car elles ne nécessitent pas d'accès direct au système exploité - le système doit simplement être en mesure de voir le modèle adverse, et il est compromis.
La première étape des tests de Tencent impliquait un accès direct au logiciel de Tesla. Les chercheurs ont montré au système de détection de voie une variété d'images numériques des marquages de voie pour établir ses paramètres de détection. En sortie, le système a spécifié les coordonnées de toutes les voies qu'il a détectées dans l'image d'entrée. En utilisant "une variété d'algorithmes d'optimisation pour faire muter la voie et la zone qui l'entoure", Tencent a trouvé plusieurs types "d'exemples contradictoires qui [sont similaires à] l'image d'origine mais peuvent désactiver la fonction de reconnaissance de voie". Essentiellement, Tencent a réussi à trouver le point auquel le seuil de confiance du réseau neuronal de détection de voie de Tesla passe de "pas une voie" à "voie" ou vice-versa, et l'a utilisé comme point de référence pour générer les marquages de voie contradictoires. En voici quelques-uns :
Figures 29 et 30 de l'articleFigure 32 de l'article
Sur la base du deuxième exemple de l'image ci-dessus, Tencent a recréé l'effet dans le monde réel en utilisant de la peinture, et le résultat était le même, comme vous pouvez le voir sur l'écran de Tesla dans l'image de droite.
La mesure dans laquelle les marquages au sol doivent être foirés pour que le pilote automatique les ignore est importante, ce qui est une bonne chose, explique Tencent :
Nous concluons que la fonction de reconnaissance de voie du module [pilote automatique] a une bonne robustesse et qu'il est difficile pour un attaquant de déployer des marquages discrets dans le monde physique pour désactiver la fonction de reconnaissance de voie d'un véhicule Tesla en mouvement. Nous soupçonnons que cela est dû au fait que Tesla a ajouté de nombreuses voies anormales (brisées, obstruées) dans son ensemble d'entraînement pour tenir la complexité du monde physique, [ce qui se traduit par] de bonnes performances dans un environnement externe normal (pas de lumière forte, pluie, neige, sable et interférence de la poussière).
C'est cette robustesse même, cependant, qui rend le pilote automatique plus vulnérable aux attaques dans la direction opposée : la création de marquages contradictoires qui déclenchent le système de reconnaissance de voie du pilote automatique là où un conducteur humain ne verrait que peu ou pas de trace d'une voie. Les expériences de Tencent ont montré qu'il suffit de trois petites parcelles au sol pour simuler une voie :
Figure 33 de l'article.
Les chercheurs en sécurité ont identifié quelques autres choses avec la Tesla qui ne sont pas vraiment des vulnérabilités, mais qui sont plutôt intéressantes, comme la possibilité de déclencher le capteur de pluie avec une image. Ils ont également pu contrôler la Tesla avec une manette de jeu, en utilisant une vulnérabilité qui, selon Tesla, a déjà été corrigée. La démonstration de reconnaissance de voie commence à 1:08 dans la vidéo ci-dessous.
Il est important de garder cet exemple dans son contexte, car il semble ne fonctionner que dans des circonstances très spécifiques - la démonstration se produit dans ce qui ressemble un peu à une intersection (peut-être équivalente à une jonction à 4 voies non contrôlée), où il n'y a pas d'autres lignes de voie pour que le système suive. Il semble peu probable que les autocollants fassent franchir à la voiture une ligne médiane bien établie, mais la démo montre que des autocollants placés là où d'autres marquages de voie n'existent pas peuvent faire passer une Tesla en pilote automatique dans une voie venant en sens inverse, sans fournir au conducteur un signal visuel indiquant que cela est sur le point de se produire.
Bien sûr, nous nous attendons à ce que la voiture soit assez intelligente pour ne pas virer dans le trafic venant en sens inverse si elle en a repéré. Il convient également de souligner que pour que le système de détection de lignes soit utile, Tesla doit permettre une quantité substantielle de variations, car il y a beaucoup de variations réelles dans les lignes qui sont peintes sur les routes. Je suis sûr que vous avez vécu cette expérience sur une autoroute où plusieurs ensembles de lignes peintes à des moments différents (mais toutes se sont estompées exactement de la même manière) divergent les unes des autres, et même les réseaux de neurones qui sont nos cerveaux ont du mal à décider lequel suivre.
Dans de telles situations, nous faisons ce pour quoi les humains sont très bons : nous assimilons très rapidement un tas d'informations, en utilisant des indices contextuels et notre connaissance permanente des routes pour prendre la meilleure décision possible. Les systèmes autonomes sont notoirement mauvais pour cela, mais il existe encore de nombreuses façons dont le pilote automatique de Tesla pourrait exploiter d'autres données pour prendre de meilleures décisions qu'en examinant uniquement les marquages au sol. Le plus simple est probablement ce que font les véhicules devant vous, car les suivre est probablement le plan d'action le plus sûr, même s'ils ne choisissent pas le même chemin que vous.
Selon un article sur le blog Keen Security Lab (et il convient de noter que Tencent a développé ses propres voitures autonomes), Tesla a répondu à la recherche de Tecent sur la reconnaissance des voies par la déclaration suivante :
"Dans cette démonstration, les chercheurs ont ajusté l'environnement physique (par exemple, en plaçant du ruban adhésif sur la route ou en modifiant les lignes de voie) autour du véhicule pour que la voiture se comporte différemment lorsque le pilote automatique est utilisé. Ce n'est pas une préoccupation réelle étant donné qu'un conducteur peut facilement remplacer le pilote automatique à tout moment en utilisant le volant ou les freins et doit être prêt à le faire à tout moment.
Tesla semble dire que ce n'est pas une préoccupation réelle uniquement parce que le conducteur peut prendre le relais à tout moment. En d'autres termes, c'est absolument une préoccupation mondiale réelle, et les conducteurs doivent être prêts à prendre le relais à tout moment à cause de cela. Tesla adopte constamment une position délicate avec son pilote automatique, car ils semblent dire simultanément aux consommateurs "bien sûr, vous pouvez lui faire confiance" et "bien sûr, vous ne pouvez pas lui faire confiance". Cette dernière affirmation est presque certainement plus correcte, et l'attaque de reconnaissance de voie est particulièrement préoccupante dans la mesure où le conducteur peut ne pas se rendre compte qu'il y a quelque chose de mal jusqu'à ce que la voiture ait déjà commencé à virer, car la voiture elle-même ne reconnaît pas le problème.
Bien que le potentiel que cela devienne un problème réel pour le pilote automatique de Tesla soit probablement faible, la démonstration nous laisse avec quelques questions, comme que se passe-t-il s'il y a des points blancs aléatoires sur la route qui tombent dans un schéma similaire ? Et quels autres types de fragilité n'ont pas encore été identifiés ? Tesla a beaucoup de kilomètres de tests dans le monde réel, mais le monde réel est très grand, et la longue queue de situations très improbables est toujours là, attendant d'être piétinée.