Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1353

Incidents associés

Incident 5229 Rapports
Tesla on AutoPilot Killed Driver in Crash in Florida while Watching Movie

Loading...
Tesla n'a pas résolu un problème de pilote automatique pendant trois ans, et maintenant une autre personne est morte
theverge.com · 2019

Le 7 mai 2016, un homme de 40 ans nommé Joshua Brown a été tué lorsque sa berline Tesla Model S est entrée en collision avec un semi-remorque qui croisait son chemin sur la US Highway 27A, près de Williston, en Floride. Près de trois ans plus tard, un autre propriétaire de Tesla, Jeremy Beren Banner, 50 ans, a également été tué sur une autoroute de Floride dans des circonstances étrangement similaires : son modèle 3 est entré en collision avec un semi-remorque qui croisait son chemin, cisaillant le toit en le processus.

Il y avait une autre similitude majeure : les enquêteurs ont découvert que les deux conducteurs utilisaient le système avancé d'aide à la conduite de Tesla, le pilote automatique au moment de leurs accidents respectifs.

Le pilote automatique est un système semi-autonome de niveau 2, tel que décrit par la Society of Automotive Engineers, qui combine le régulateur de vitesse adaptatif, l'assistance au maintien de voie, l'auto-stationnement et, plus récemment, la possibilité de changer automatiquement de voie. Tesla le présente comme l'un des systèmes les plus sûrs sur la route aujourd'hui, mais la mort de Brown et Banner soulève des questions sur ces affirmations et suggère que Tesla a négligé de remédier à une faiblesse majeure de sa technologie phare.

IL EXISTE DE GRANDES DIFFÉRENCES ENTRE LES DEUX CRASHS

Il y a de grandes différences entre les deux accidents. Par exemple, les voitures de Brown et Banner avaient des technologies d'assistance à la conduite complètement différentes, bien que les deux s'appellent Autopilot. Le pilote automatique de la Model S de Brown était basé sur la technologie fournie par Mobileye, une startup israélienne acquise depuis par Intel. La mort de Brown était en partie responsable de la séparation des deux sociétés en 2016. Le modèle 3 de Banner était équipé d'une version de deuxième génération du pilote automatique que Tesla a développée en interne.

Cela suggère que Tesla a eu la chance de résoudre ce soi-disant « cas marginal », ou circonstance inhabituelle, lors de la refonte du pilote automatique, mais il n'a pas réussi à le faire jusqu'à présent. Après la mort de Brown, Tesla a déclaré que sa caméra n'avait pas reconnu le camion blanc sur un ciel lumineux ; la National Highway Traffic Safety Administration (NHTSA) des États-Unis a essentiellement constaté que Brown ne faisait pas attention à la route et a exonéré Tesla. Il a déterminé qu'il avait réglé le régulateur de vitesse de sa voiture à 74 mph environ deux minutes avant l'accident, et qu'il aurait dû avoir au moins sept secondes pour remarquer le camion avant de s'écraser dessus.

TESLA A EU UNE CHANCE DE RÉPONDRE À CE SOI-DIT "CAS EDGE", LORS DE LA REFONTE DU PILOTE AUTOMATIQUE, MAIS IL N'A PAS ÉCHOUÉ À LE FAIRE

Les enquêteurs fédéraux n'ont pas encore pris de décision sur la mort de Banner. Dans un rapport préliminaire publié le 15 mai, le National Traffic Safety Board (NTSB) a déclaré que Banner avait activé le pilote automatique environ 10 secondes avant la collision. "De moins de 8 secondes avant l'accident jusqu'au moment de l'impact, le véhicule n'a pas détecté les mains du conducteur sur le volant", a déclaré le NTSB. Le véhicule roulait à 68 mph lorsqu'il s'est écrasé.

Dans un communiqué, un porte-parole de Tesla l'a formulé différemment, en remplaçant le passif "le véhicule n'a pas détecté les mains du conducteur sur le volant" par le plus actif "le conducteur a immédiatement retiré ses mains du volant". Le porte-parole n'a pas répondu aux questions de suivi sur ce que l'entreprise a fait pour résoudre ce problème.

Dans le passé, le PDG de Tesla, Elon Musk, a imputé les accidents impliquant le pilote automatique à l'excès de confiance des conducteurs. "Lorsqu'il y a un accident grave, c'est presque toujours, en fait peut-être toujours, le cas où il s'agit d'un utilisateur expérimenté, et le problème est plus un problème de complaisance", a déclaré Musk l'année dernière.

Le dernier accident survient à un moment où Musk vante les plans de Tesla de déployer une flotte de taxis autonomes en 2020. "Dans un an, nous aurons plus d'un million de voitures avec une conduite entièrement autonome, des logiciels, tout", a-t-il déclaré. lors d'un récent événement "Journée de l'autonomie" pour les investisseurs.

Ces plans seront vains si les régulateurs fédéraux décident de sévir contre le pilote automatique. Les défenseurs des consommateurs demandent au gouvernement d'ouvrir une enquête sur le système avancé d'aide à la conduite. "Soit le pilote automatique ne peut pas voir le côté large d'un 18 roues, soit il ne peut pas y réagir en toute sécurité", a déclaré David Friedman, vice-président du plaidoyer pour Consumer Reports, dans un communiqué. "Ce système ne peut pas gérer de manière fiable les situations routières courantes et ne parvient pas à maintenir le conducteur engagé exactement au moment où il en a le plus besoin."

"SOIT LE PILOTE AUTOMATIQUE NE PEUT PAS VOIR LE CÔTÉ LARGE D'UN 18 ROUES, SOIT IL NE PEUT PAS RÉAGIR EN TOUTE SÉCURITÉ"

Les experts en sécurité automobile notent que les systèmes de régulateur de vitesse adaptatifs comme le pilote automatique reposent principalement sur le radar pour éviter de heurter d'autres véhicules sur la route. Le radar est bon pour détecter les objets en mouvement mais pas les objets fixes. Il a également du mal à détecter des objets comme un véhicule traversant la route ne se déplaçant pas dans le sens de la marche de la voiture.

Les sorties radar des objets détectés sont parfois ignorées par le logiciel du véhicule pour faire face à la génération de "faux positifs", a déclaré Raj Rajkumar, professeur de génie électrique et informatique à l'Université Carnegie Mellon. Sans ceux-ci, le radar « verrait » un viaduc et le signalerait comme un obstacle, ce qui ferait claquer les freins du véhicule.

Du côté de la vision par ordinateur de l'équation, les algorithmes utilisant la sortie de la caméra doivent être formés pour détecter les camions qui sont perpendiculaires à la direction du véhicule, a-t-il ajouté. Dans la plupart des situations routières, il y a des véhicules à l'avant, à l'arrière et sur le côté, mais un véhicule perpendiculaire est beaucoup moins courant.

"Essentiellement, le même incident se répète après trois ans", a déclaré Rajkumar. "Cela semble indiquer que ces deux problèmes n'ont toujours pas été résolus." L'apprentissage automatique et l'intelligence artificielle ont des limites inhérentes. Si les capteurs « voient » ce qu'ils n'ont jamais ou rarement vu auparavant, ils ne savent pas comment gérer ces situations. "Tesla ne gère pas les limitations bien connues de l'IA", a-t-il ajouté.

Tesla n'a pas encore expliqué en détail comment elle compte régler ce problème. La société publie un rapport de sécurité trimestriel sur la sécurité du pilote automatique, mais ce rapport manque de détails. Cela signifie que les experts de la communauté de la recherche ne disposent pas de données concrètes qui leur permettraient de comparer l'efficacité du pilote automatique à d'autres systèmes. Seul Tesla a une compréhension à 100 % de la logique et du code source du pilote automatique, et il garde ces secrets de près.

"Nous avons besoin de données d'exposition détaillées concernant le moment, le lieu et les conditions dans lesquelles les conducteurs utilisent le pilote automatique", a déclaré Bryan Reimer, chercheur au MIT Center for Transportation and Logistics, dans un e-mail à The Verge, "afin que nous puissions commencer pour mieux quantifier le risque par rapport à d'autres véhicules d'âge et de classe similaires.

D'autres propriétaires de Tesla ont parlé du problème du pilote automatique consistant à percevoir les camions sur la trajectoire du véhicule. Un utilisateur anonyme de Twitter qui utilise le pseudo @greentheonly a « piraté » un Model X et publie des observations sur Twitter et YouTube. Ils l'ont fait pour "observer le pilote automatique de l'intérieur", ont-ils déclaré dans un e-mail à The Verge. En mars, leur modèle X a rencontré un semi-remorque perpendiculaire à leur trajectoire, similaire à Brown et Banner. Le véhicule aurait tenté de passer sous le camion si le conducteur n'était pas intervenu.

Selon les données de @greentheonly, le semi n'a pas été marqué comme un obstacle. Mais ils ont décidé de ne pas tenter le destin : "Je n'ai pas essayé d'approcher la bande-annonce et de voir si l'une des entrées changerait (mais je parie que non)."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd