Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2919

Incidents associés

Incident 4348 Rapports
Sudden Braking by Tesla Allegedly on Self-Driving Mode Caused Multi-Car Pileup in Tunnel

Loading...
La vidéo récemment publiée du crash de Tesla entièrement autonome le jour de Thanksgiving montre le problème fondamental des systèmes de conduite semi-automatisés
theautopian.com · 2023

Je ne sais pas à quel point vous suivez les accidents de voiture liés aux ponts, mais il y en a eu un énorme cet Thanksgiving passé sur le pont de la baie de San Francisco. Il s'agit d'un véritable carambolage, avec huit véhicules impliqués et neuf blessés. C'est déjà une grande nouvelle, mais ce qui rend cette grande nouvelle plus importante, c'est que le carambolage semble avoir été causé par une Tesla qui fonctionnait sous le logiciel bêta Full Self-Driving au nom trompeur, [selon le conducteur](https:// www.documentcloud.org/documents/23569059-9335-2022-02256-redacted). Comme vous le savez probablement déjà, l'inclusion des noms "Tesla" et la chaîne de mots "full self-driving" est une herbe à chat Internet, mais ce n'est pas vraiment ce sur quoi je veux me concentrer ici. Ce que cet accident démontre vraiment, ce sont les concepts inhérents - et non technologiques - [problèmes de tous les systèmes de conduite semi-automatique de niveau 2](https://www.thautopian.com/new-iihs-study-confirms-what-we-suspected- à propos du pilote automatique teslas et des autres systèmes d'assistance à la conduite de niveau 2, les gens sont dangereusement confus/). En regardant ce qui s'est passé dans cet accident, il est difficile de ne pas y voir une démonstration coûteuse et peu pratique de ce qu'on appelle « le problème de la vigilance ». Je vais t'expliquer.

D'abord, passons en revue ce qui s'est passé. Grâce à une demande du California Public Records Act du site Web The Intercept, une vidéo et des photographies de l'accident sont disponibles, [ tout comme le rapport de police complet de l'incident] (https://www.documentcloud.org/documents/23569059-9335-2022-02256-redacted). L'accident s'est produit sur la I-80 en direction est, au niveau inférieur du Bay Bridge. Il y a cinq voies de circulation là-bas et les voitures roulaient régulièrement à environ 55 mph; il semblait n'y avoir aucun obstacle et une bonne visibilité. Rien d'anormal du tout.

Une Tesla roulait dans la deuxième voie à partir de la gauche et avait son clignotant gauche allumé. La Tesla a commencé à ralentir, malgré l'absence de circulation devant elle, puis s'est engagée dans la voie la plus à gauche et s'est arrêtée complètement - au niveau inférieur d'un pont, avec une circulation tout autour allant de 50 à 60 mph environ. Les résultats étaient terriblement prévisibles, avec des voitures s'arrêtant soudainement derrière la Tesla désormais immobile, entraînant l'accident de huit voitures.

Voici à quoi cela ressemblait depuis les caméras de surveillance :

… et voici le schéma du rapport de police :

Selon le rapport de police, voici ce que la Tesla (appelée V-1 dans le rapport) a dit de ce qui s'est passé

"Il conduisait un V-1 sur la I-80 en direction est, roulant à 50 miles par heure dans la voie #1. Le V-1 était en mode Full Auto lorsque le V-1 a ralenti à 20 miles par heure lorsqu'il a ressenti un impact arrière… Il conduisait le V-1 sur la I-80 en direction de l'est en mode Full Self Driving Version bêta à environ 55 miles par heure … Lorsque V-1 était dans le tunnel, V-1 est passé de la voie #2 à la voie #1 et a commencé à ralentir de manière inexplicable.

Ainsi, le témoignage du conducteur était que la voiture était en mode Full Self-Driving (FSD), et il serait facile de tout simplement blâmer tout cela sur les lacunes technologiques démontrées de FSD Beta. Cela pourrait être un exemple de «freinage fantôme», où le système devient confus et tente d'arrêter la voiture même lorsqu'il n'y a aucun obstacle sur son chemin. Cela aurait pu être le système désengagé pour une raison quelconque et avoir tenté de faire prendre le contrôle au conducteur, ou cela pourrait être causé par un certain nombre de problèmes technologiques, mais ce n'est pas vraiment le problème sous-jacent.

C'est le genre d'épave qui, semble-t-il, serait extrêmement peu probable pour un conducteur normal et intact (à moins, disons, que la voiture n'ait épuisé sa batterie, bien que le rapport de police indique que la Tesla a été chassée, donc c'était ' t cela) parce qu'il n'y avait vraiment aucune raison pour que cela se produise. Il s'agit de la situation de conduite la plus simple possible : visibilité totale, vitesse modérée, ligne droite, trafic léger. Et, bien sûr, si le conducteur utilisait ce système de niveau 2 comme prévu - rappelez-vous, même si le système s'appelle Full Self-Driving, il ne s'agit toujours que d'un système semi-automatisé qui nécessite une attention totale et continue du conducteur et une préparation prendre le relais à tout moment, ce que le « conducteur » de cette Tesla n'a manifestement pas fait.

Bien sûr, Tesla le sait et nous le savons tous techniquement et la police a même inclus une capture d'écran du site de Tesla qui l'indique dans son rapport :

Nous tous connaissons ce fait de base sur les systèmes L2, qu'ils doivent être surveillés sans arrêt, mais ce que nous continuons à voir, c'est que les gens ne sont tout simplement pas doués pour cela. C'est un tambour sur lequel je frappe depuis des années et des années,  et parfois je me dis : "Ça suffit, les gens comprennent", mais ensuite je verrai un accident comme celui-ci, où une voiture fait quelque chose de manifestement idiot et absurde et entièrement, facilement évitable si le dingus derrière le volant payait juste le moindre volet d'attention au monde extérieur, et je me rends compte que, non, les gens ne comprennent toujours pas.

Alors je vais le redire. Alors que, oui, le système de Tesla était celui qui semble avoir échoué ici, et oui, le système est nommé de manière trompeuse d'une manière qui encourage ce comportement idiot, ce n'est pas un problème unique à Tesla. Ce n'est pas un problème technique. Vous ne pouvez pas programmer votre sortie du problème avec le niveau 2 ; en fait, plus le système de niveau 2 semble être meilleur, plus le problème s'aggrave. Ce problème est que les êtres humains ne sont tout simplement pas bons pour surveiller les systèmes qui effectuent la majeure partie du travail d'une tâche et restent prêts à prendre en charge cette tâche avec un avertissement minimal ou nul.

Ce n'est pas nouveau pour les gens qui font attention. C'est prouvé depuis 1948, lorsque N.H. Mackworth a publié son étude The Breakdown of Vigilance during Prolonged Visual Search qui définit ce que l'on appelle le "problème de vigilance". Essentiellement, le problème est que les gens ne sont tout simplement pas doués pour prêter une attention particulière aux tâches de surveillance, et si un système de conduite semi-automatisé s'occupe de la direction, du contrôle de la vitesse et d'autres aspects de la tâche de conduite, l'humain dans le conducteur le travail du siège passe d'un contrôle actif à un contrôle lorsque le système peut faire une erreur. Les résultats de l'humain qui n'exécute pas bien cette tâche sont mis en évidence par le crash dont nous parlons.

Je pense qu'il n'est pas déraisonnable de considérer la conduite de niveau 2 comme une conduite potentiellement avec facultés affaiblies, car la concentration mentale du conducteur lorsqu'il s'engage dans la tâche de conduite à partir d'une approche de surveillance est altérée par rapport à un conducteur actif.

Je sais que beaucoup de gens affirment que des systèmes comme ceux-ci rendent la conduite plus sûre - et ils le peuvent certainement, dans un grand nombre de contextes. Mais ils introduisent également des points de défaillance importants et nouveaux qui n'ont tout simplement pas besoin d'être introduits. Les mêmes avantages en matière de sécurité peuvent être obtenus si le paradigme de niveau 2 était inversé, où le conducteur avait toujours le contrôle, mais le système de conduite semi-automatique effectuait la surveillance et était prêt à prendre le relais s'il détectait des choix dangereux par le conducteur humain. . Cela aiderait dans les situations où un conducteur est fatigué, distrait ou en état d'ébriété, mais serait moins sexy dans la mesure où l'acte de conduire ne serait pas différent de la conduite humaine normale.

Si nous retirons quoi que ce soit de cette épave, ce ne devrait pas être que la bêta FSD de Tesla soit le vrai problème ici. C'est techniquement impressionnant à bien des égards, mais certainement pas parfait; ce n'est pas non plus la racine de ce qui ne va pas, qui est le niveau 2 lui-même. Nous devons cesser de prétendre que c'est une bonne approche et commencer à être réalistes quant aux problèmes qu'elle introduit. Les voitures ne sont pas des jouets, et aussi amusant que de montrer votre voiture en faisant semblant de se conduire à vos amis, la vérité est qu'elle ne peut pas, et quand vous êtes au volant, vous êtes en charge - non question, pas de jeu.

Si vous souhaitez en savoir plus à ce sujet, pour une raison quelconque, je connais peut-être un livre que vous pourriez obtenir. Juste dire.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd