Problema 2703

La Administración Nacional de Seguridad del Tráfico en las Carreteras está retirando del mercado más de 350,000 vehículos Tesla debido a preocupaciones sobre su software de asistencia de conducción autónoma, pero este no es el retiro típico. La solución se enviará "por aire" (lo que significa que el software se actualizará de forma remota y no es necesario abordar el hardware).

Missy Cummings ve la naturaleza voluntaria del retiro como una señal positiva de que Tesla está dispuesta a cooperar con los reguladores. Cummings, profesora en el departamento de informática de la Universidad George Mason y ex reguladora de la NHTSA, ha argumentado en ocasiones que Estados Unidos [debería proceder con más cautela con los vehículos autónomos] (https://www.nytimes.com/2023 /02/15/business/missy-cummings-tesla-autopilot.html), provocando la ira de Elon Musk, [quien la ha acusado de tener prejuicios contra su empresa](https://twitter.com/elonmusk/status/ 1450653942938054656?s=20).

Cummings también ve este retiro como una historia de software: la NHTSA está entrando en un espacio regulatorio interesante, quizás desconocido. “Si lanza una actualización de software, eso es lo que sucederá con Tesla, ¿cómo garantiza que esa actualización de software no causará problemas peores? ¿Y que solucionará los problemas que se suponía que debía solucionar?”. ella me preguntó. “Si Boeing nunca hubiera tenido que mostrar cómo arreglaron el 737 Max, ¿te habrías subido a su avión?”.

Cummings y yo discutimos eso y más por teléfono.

Nuestras conversaciones han sido condensadas y editadas para mayor claridad.

Caroline Mimbs Nyce: ¿Cuál fue tu reacción a esta noticia?

Missy Cummings: Creo que es bueno. Creo que es el movimiento correcto.

Nyce: ¿Te sorprendió algo?

Cummings: No. Es una muy buena señal, no solo por la noticia específica de que están tratando de que la conducción autónoma sea más segura. También es una señal muy importante de que Tesla está empezando a crecer y se da cuenta de que es mejor trabajar con la agencia reguladora que en su contra.

Nyce: Entonces, ¿estás viendo el hecho de que el retiro fue voluntario como una señal positiva de Elon Musk y el equipo?

Cummings: Sí. Realmente positivo. Tesla se está dando cuenta de que, solo porque algo sale mal, no es el fin del mundo. Usted trabaja con la agencia reguladora para solucionar los problemas. Lo cual es realmente importante, porque ese tipo de interacción positiva con la agencia reguladora los preparará para un camino mucho mejor para lidiar con los problemas que inevitablemente surgirán.

Dicho esto, creo que todavía hay un par de problemas complicados. La lista de problemas y correcciones que solicitó la NHTSA fue bastante larga y detallada, lo cual es bueno, excepto que no veo cómo alguien puede hacerlo en dos meses. Ese marco de tiempo es un poco optimista.

Es una especie de Salvaje Oeste para las agencias reguladoras en el mundo de la autocertificación. Si Tesla regresa y dice: "Está bien, arreglamos todo con una actualización inalámbrica", ¿cómo sabemos que se solucionó? Debido a que permitimos que las empresas se certifiquen a sí mismas en este momento, no existe un mecanismo claro para garantizar que, de hecho, se haya solucionado. Cada vez que intenta crear un software para solucionar un problema, es muy fácil crear otros problemas.

Nyce: Sé que hay una pregunta filosófica que ha surgido antes, que es: ¿Cuánto deberíamos tener esta tecnología en la naturaleza, sabiendo que habrá errores? ¿Tienes una postura?

Cummings: Quiero decir, puedes tener errores. Todo tipo de software, incluso el software en sistemas críticos para la seguridad en automóviles, aviones, reactores nucleares, tendrá errores. Creo que la verdadera pregunta es: _¿Cuán robusto puede hacer que el software sea resistente contra el inevitable error humano dentro del código? deja espacio para la degradación elegante.

Nyce: ¿Qué significa eso?

Cummings: Significa que si algo sale mal, por ejemplo, si está en una autopista y va a 80 millas por hora y el automóvil ordena un giro a la derecha, hay un código de respaldo que dice: "No, eso es imposible. Eso no es seguro, porque si tuviéramos que dar un giro a la derecha a esta velocidad…” Entonces, básicamente tienes que crear capas de seguridad dentro del sistema para asegurarte de que eso no pueda suceder.

Esto no es solo un problema de Tesla. Estas son técnicas de codificación bastante maduras y requieren mucho tiempo y mucho dinero. Y me preocupa que los fabricantes de vehículos autónomos estén en una carrera para sacar la tecnología. Y cada vez que está compitiendo para sacar algo, las pruebas y el control de calidad siempre se tiran por la ventana.

Nyce: ¿Crees que hemos ido demasiado rápido al dar luz verde a las cosas que están en el camino?

Cummings: Bueno, soy una persona bastante conservadora. Es difícil decir qué significa luz verde. En un mundo de autocertificación, a las empresas se les permitió obtener luz verde. Los europeos tienen un proceso de aprobación previa, en el que su tecnología se aprueba previamente antes de que se suelte en el mundo real.

En un mundo perfecto, si Missy Cummings fuera el rey del mundo, habría establecido un proceso de aprobación previa. Pero ese no es el sistema que tenemos. Así que creo que la pregunta es: dado el sistema implementado, ¿cómo vamos a garantizar que, cuando los fabricantes realicen actualizaciones inalámbricas de sistemas críticos para la seguridad, resuelvan los problemas que se suponía que debían solucionar y no ¿introducir nuevos problemas relacionados con la seguridad?_ No sabemos cómo hacerlo. Todavía no estamos allí.

En cierto modo, la NHTSA se está adentrando en nuevas aguas regulatorias. Este será un buen caso de prueba para: ¿Cómo sabemos cuándo una empresa ha solucionado con éxito los problemas de recuperación a través del software? ¿Cómo podemos asegurarnos de que sea lo suficientemente seguro?

Nyce: Eso es interesante, especialmente porque ponemos más software en las cosas que nos rodean.

Cummings: Así es. No son solo los autos.

Nyce: ¿Qué hizo con las áreas problemáticas que la NHTSA marcó en el software de conducción autónoma? ¿Tiene alguna idea de por qué estas cosas serían particularmente desafiantes desde la perspectiva del software?

Cummings: No todos, pero muchos están claramente basados en la percepción.

El automóvil debe poder detectar objetos en el mundo correctamente para que pueda ejecutar, por ejemplo, la regla correcta para tomar medidas. Todo esto depende de la percepción correcta. Si va a identificar correctamente las señales en el mundo, creo que hubo un problema con los automóviles que a veces reconocían incorrectamente las señales de límite de velocidad, eso es claramente un problema de percepción.

Lo que tiene que hacer es una gran cantidad de reentrenamiento bajo el capó del algoritmo de visión por computadora. Ese es el grande. Y tengo que decirte que es por eso que dije: "Oh, vaya, eso llevará más de dos meses". Sé que, en teoría, tienen grandes habilidades informáticas, pero al final, algunas cosas simplemente toman tiempo. Tengo que decirte que estoy tan agradecido de no estar bajo presión allí.

Nyce: Quería retroceder un poco. Si fuera el mundo de Missy, ¿cómo llevarías a cabo la implementación normativa de algo así?

Cummings: Creo que en mi mundo haríamos un proceso de aprobación previa para cualquier cosa con inteligencia artificial. Creo que el sistema que tenemos ahora está bien si quitas la IA de la ecuación. La IA es una tecnología no determinista. Eso significa que nunca funciona de la misma manera dos veces. Y se basa en un código de software que puede estar plagado de errores humanos. Entonces, cada vez que tenga este código que toca los vehículos que se mueven en el mundo y puede matar a las personas, solo necesita pruebas más rigurosas y mucho más cuidado y alimentación que si solo está desarrollando un algoritmo básico para controlar el calor en el coche.

Estoy un poco entusiasmado con lo que acaba de suceder hoy con esta noticia, porque hará que la gente comience a discutir cómo lidiamos con las actualizaciones inalámbricas cuando se trata de sistemas críticos para la seguridad. Esto ha sido algo que nadie realmente quiere abordar, porque es realmente difícil. Si lanza una actualización de software, eso es lo que sucederá con Tesla, ¿cómo garantiza que esa actualización de software no causará problemas peores? ¿Y que solucionará los problemas que se suponía que debía solucionar?

¿Qué debe demostrar una empresa? Entonces, por ejemplo, si Boeing nunca hubiera tenido que mostrar cómo arreglaron el 737 Max, ¿te habrías subido a su avión? Si solo dijeran: "Sí, sé que chocamos un par y mucha gente murió, pero lo arreglamos, créenos", ¿te subirías a ese avión?

Nyce: Sé que has experimentado cierto acoso a lo largo de los años por parte del fandom de Musk, pero todavía estás hablando por teléfono conmigo sobre estas cosas. ¿Por qué sigues?

Cummings: Porque es así de importante. Nunca hemos estado en un lugar más peligroso en la historia de la seguridad automotriz, excepto quizás justo cuando se inventaron los automóviles y aún no habíamos descubierto las luces de freno y los faros. Realmente no creo que la gente entienda cuán peligroso es un mundo de autonomía parcial con humanos propensos a distracciones.

Le digo a la gente todo el tiempo: “Mira, enseño a estos estudiantes. Nunca me subiré a un automóvil que alguno de mis alumnos haya codificado porque sé exactamente qué tipo de errores introducen en el sistema”. Y estos no son errores excepcionales. Son solo humanos. Y creo que lo que la gente olvida es que los humanos crean el software.