Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2919

Incidentes Asociados

Incidente 4348 Reportes
Sudden Braking by Tesla Allegedly on Self-Driving Mode Caused Multi-Car Pileup in Tunnel

Loading...
El video recientemente publicado del accidente de conducción autónoma total de Tesla en el Día de Acción de Gracias demuestra el problema fundamental de los sistemas de conducción semiautomáticos
theautopian.com · 2023

No estoy seguro de cuánto se mantiene al día con los accidentes automovilísticos relacionados con los puentes, pero hubo uno enorme el pasado Día de Acción de Gracias en el Puente de la Bahía de San Francisco. Este fue un verdadero choque en cadena, con ocho vehículos involucrados y nueve personas heridas. Eso ya es una gran noticia, pero lo que hace que esta gran noticia sea aún más grande es que el accidente parece haber sido causado por un Tesla que estaba operando bajo el software beta de conducción autónoma completa engañosamente llamado, [según el controlador] (https:// www.documentcloud.org/documents/23569059-9335-2022-02256-redacted). Como probablemente ya sepa, la inclusión de los sustantivos "Tesla" y la cadena de palabras "autoconducción completa" es un error de clic en Internet, pero eso no es realmente en lo que quiero centrarme aquí. Lo que realmente demuestra este accidente son los [problemas de todos los sistemas de conducción semiautomáticos de nivel 2] inherentes conceptuales, no tecnológicos (https://www.theautopian.com/new-iihs-study-confirms-what-we-suspected- sobre-el-piloto-automático-teslas-y-otros-sistemas-de-asistencia-al-conductor-de-nivel-2-las-personas-están-peligrosamente-confundidas/). Mirando lo que sucedió en este accidente, es difícil no verlo como una demostración costosa e inconveniente de algo llamado "el problema de la vigilancia". Lo explicaré.

Primero, repasemos lo que sucedió. Gracias a una solicitud de la Ley de Registros Públicos de California [del sitio web The Intercept] (https://theintercept.com/2023/01/10/tesla-crash-footage-autopilot/), están disponibles videos y fotografías del accidente, [ al igual que el informe policial completo del incidente] (https://www.documentcloud.org/documents/23569059-9335-2022-02256-redacted). El accidente ocurrió en la I-80 en dirección este, en el nivel inferior del Puente de la Bahía. Allí hay cinco carriles de tráfico y los autos se movían constantemente a alrededor de 55 mph; parecía no haber obstrucciones y buena visibilidad. Nada inusual en absoluto.

Un Tesla conducía en el segundo carril desde la izquierda y tenía encendida la señal de giro a la izquierda. El Tesla comenzó a reducir la velocidad, a pesar de que no había tráfico delante de él, luego se detuvo en el carril de la izquierda y se detuvo por completo, en el nivel inferior de un puente, con el tráfico a su alrededor entre 50 y 60 mph más o menos. Los resultados fueron sombríamente predecibles, con autos que se detuvieron repentinamente detrás del ahora inmóvil Tesla, lo que provocó el accidente de ocho autos.

Así es como se veía desde las cámaras de vigilancia:

…y aquí está el diagrama del informe policial:

Según el informe policial, esto es lo que dijo Tesla (referido en el informe como V-1) sobre lo sucedido

“Conducía un V-1 en la I-80 en dirección este viajando a 50 millas por hora en el carril #1. V-1 estaba en modo completamente automático cuando V-1 redujo la velocidad a 20 millas por hora cuando sintió un impacto trasero... Conducía el V-1 en la I-80 en dirección este en la versión beta del modo de conducción completamente autónomo viajando a aproximadamente 55 millas por hora …Cuando V-1 estaba en el túnel, V-1 se movió del carril #2 al carril #1 y comenzó a reducir la velocidad de manera inexplicable”.

Entonces, el testimonio del conductor fue que el automóvil estaba en modo de conducción autónoma total (FSD), y sería fácil simplemente culpar de todo esto a las deficiencias tecnológicas demostradas de FSD Beta. Este podría ser un ejemplo de "frenado fantasma", donde el sistema se confunde e intenta detener el automóvil incluso cuando no hay obstáculos en su camino. Podría haber sido que el sistema se desconectó por algún motivo e intentó que el controlador se hiciera cargo, o podría deberse a una serie de problemas tecnológicos, pero ese no es realmente el problema subyacente.

Este es el tipo de accidente que, al parecer, sería extremadamente improbable que le sucediera a un conductor normal y sin impedimentos (a menos, digamos, que el automóvil agotó su batería, aunque el informe policial establece que el Tesla se alejó, por lo que no fue así). t eso) porque realmente no había ninguna razón para que sucediera en absoluto. Se trata de la situación de manejo más simple posible: visibilidad completa, velocidad moderada, línea recta, tráfico ligero. Y, por supuesto, si el conductor estaba usando este sistema de nivel 2 según lo previsto, recuerde que, aunque el sistema se llama Autoconducción completa, sigue siendo solo un sistema semiautomático que requiere la atención completa e ininterrumpida del conductor y una preparación. tomar el relevo en cualquier momento, algo que el “conductor” de este Tesla claramente no hizo.

Por supuesto, Tesla lo sabe y todos lo sabemos técnicamente y la policía incluso incluyó una captura de pantalla del sitio de Tesla que afirma esto en su informe:

Todos sabemos este hecho básico sobre los sistemas L2, que deben ser observados sin parar, pero lo que seguimos viendo es que las personas simplemente no son buenas para hacer esto. Este es un tambor que he estado tocando durante años y años,  y a veces pienso para mis adentros: "Ya es suficiente, la gente lo entiende", pero luego veo un choque como este, donde un automóvil simplemente hace algo evidentemente idiota y absurdo y completamente, fácilmente prevenible si el dingus detrás del volante pagara la más mínima atención al mundo exterior, y me doy cuenta de que, no, la gente todavía no lo entiende.

Así que lo voy a decir de nuevo. Si bien, sí, el sistema de Tesla fue el particular que parece haber fallado aquí, y sí, el sistema tiene un nombre engañoso que fomenta este comportamiento idiota, este no es un problema exclusivo de Tesla. No es un problema técnico. No puede programar su salida del problema con el Nivel 2; de hecho, cuanto mejor parece ser el sistema de Nivel 2, peor se vuelve el problema. Ese problema es que los seres humanos simplemente no son buenos para monitorear los sistemas que hacen la mayor parte del trabajo de una tarea y permanecer listos para hacerse cargo de esa tarea con una advertencia mínima o nula.

Esto no es una novedad para las personas que prestan atención. Está comprobado desde 1948, cuando N.H. Mackworth publicó su estudio The Breakdown of Vigilance during Prolonged Visual Search que definió lo que se conoce como el “problema de la vigilancia”. Esencialmente, el problema es que las personas simplemente no son muy buenas para prestar mucha atención a las tareas de monitoreo, y si un sistema de conducción semiautomático realiza la mayor parte de la dirección, el control de velocidad y otros aspectos de la tarea de conducción, el ser humano en el conductor el trabajo del asiento cambia de uno de control activo a uno de monitoreo para cuando el sistema pueda cometer un error. Los resultados de que el humano no realice bien esta tarea se evidencian en el accidente del que estamos hablando.

Creo que no es irrazonable pensar en la conducción de Nivel 2 como una conducción potencialmente deteriorada, porque el enfoque mental del conductor cuando se involucra en la tarea de conducción desde un enfoque de monitoreo se ve afectado en comparación con un conductor activo.

Sé que muchas personas afirman que sistemas como estos hacen que la conducción sea más segura, y ciertamente pueden hacerlo en una gran cantidad de contextos. Pero también introducen puntos de falla significativos y nuevos que simplemente no necesitan ser introducidos. Se pueden obtener los mismos beneficios de seguridad si se cambiara el paradigma del Nivel 2, en el que el conductor siempre tenía el control, pero el sistema de conducción semiautomático realizaba el seguimiento y estaba listo para asumir el control si detectaba decisiones peligrosas por parte del conductor humano. . Esto ayudaría en situaciones de un conductor cansado, distraído o incapacitado, pero sería menos sexy en el sentido de que el acto de conducir no se sentiría diferente a la conducción humana normal.

Si quitamos algo de este naufragio, no debería ser que el FSD Beta de Tesla sea el verdadero problema aquí. Es técnicamente impresionante en muchos sentidos, aunque ciertamente no es perfecto; tampoco es la raíz de lo que está mal, que es el Nivel 2 en sí. Necesitamos dejar de fingir que este es un buen enfoque y comenzar a ser realistas sobre los problemas que presenta. Los autos no son juguetes, y por muy divertido que sea mostrar tu auto fingiendo que se conduce solo ante tus amigos, la verdad es que no puede ser así, y cuando estás detrás del volante, estás a cargo, no. pregunta, sin jugar.

Si desea leer sobre esto aún más, por alguna razón, podría saber de un libro que podría obtener. Solo digo.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd