Problema 2514

Al principio, el software tenía la lamentable costumbre de golpear las patrullas de la policía. Nadie sabía por qué, aunque los ingenieros de Tesla tenían algunas buenas conjeturas: los objetos estacionarios y las luces intermitentes parecían engañar a la I.A. El automóvil estaría conduciendo normalmente, la computadora bien controlada, y de repente giraría a la derecha oa la izquierda y, se estrellaría, al menos 10 veces en poco más de tres años. Para una empresa que dependía de un sentimiento ilimitado de optimismo entre los inversores para mantener el alto precio de sus acciones (Tesla en un momento valía más que Toyota, Honda, Volkswagen, Mercedes, BMW, Ford y General Motors juntos), estos choques pueden parecer una problema. Pero para Elon Musk, director ejecutivo de Tesla, presentaron una oportunidad. Cada colisión generó datos y, con suficientes datos, la empresa podría acelerar el desarrollo del primer automóvil verdaderamente autónomo del mundo. Creía en esta visión con tanta fuerza que lo llevó a hacer predicciones descabelladas: "Supongo que cuándo pensaríamos que es seguro que alguien se duerma y se despierte en su destino: probablemente hacia fines del próximo año". Musk dijo en 2019. “Diría que estoy seguro de eso. Eso no es un signo de interrogación”. El futuro de Tesla puede depender de si los conductores sabían que estaban involucrados en este experimento de recopilación de datos y, de ser así, si su apetito por el riesgo coincidía con el de Musk. Quería saber de las víctimas de algunos de los accidentes menores, pero tendían a caer en dos categorías, ninguna de las cuales los predisponía a hablar: amaban a Tesla y Musk y no querían decir nada negativo a la prensa. , o estaban demandando a la empresa y permaneciendo en silencio por consejo de un abogado. (Umair Ali, cuyo Tesla se estrelló contra una barrera de la carretera en 2017, tenía una excusa diferente: "Ponme como entrevista rechazada porque no quiero enojar al hombre más rico del mundo"). Luego encontré a Dave Key. El 29 de mayo de 2018, el Tesla Model S 2015 de Key lo llevaba a casa desde el dentista en modo de piloto automático. Era una ruta que Key había seguido innumerables veces antes: una carretera de dos carriles que conducía a las colinas sobre Laguna Beach, California. Pero en este viaje, mientras Key estaba distraído, el automóvil se salió de su carril y se estrelló contra la parte trasera. de un todoterreno de la policía aparcado, girando el coche y empujando el todoterreno. hasta la acera. Ninguno fue herido. Key, un exemprendedor de software de 69 años, tomó una visión desapasionada, como la de un ingeniero, de su propio accidente. “El problema con los objetos estacionarios, lo siento, esto suena estúpido, es que no se mueven”, dijo. Durante años, la inteligencia artificial de Tesla tuvo problemas para separar los objetos inmóviles del fondo. En lugar de sentirse frustrado porque la computadora no había resuelto un problema aparentemente tan elemental, Key se consoló al saber que había una razón detrás del bloqueo: una limitación de software conocida, en lugar de algún tipo de evento de cisne negro. El otoño pasado, le pedí a Key que visitara la escena del accidente conmigo. Dijo que me haría uno mejor; él me llevaría allí usando el nuevo modo de conducción autónoma completa de Tesla, que todavía estaba en versión beta. Le dije a Key que estaba sorprendido de que todavía estuviera conduciendo un Tesla, y mucho menos pagando extra: F.S.D. ahora cuesta $ 15,000, para nuevas funciones autónomas. Si mi coche hubiera intentado matarme, habría cambiado de marca. Pero en los meses y años posteriores a la pérdida total de su Model S, compró tres más. Nos reunimos para desayunar en un café de Laguna Beach, a unas tres millas del lugar del accidente. Key vestía una camiseta negra con cuello de pico, pantalones cortos de color caqui y sandalias: la elegancia semiretirada del sur de California. Mientras caminábamos hacia nuestra mesa, cerró las puertas de su Model S rojo 2022 y los espejos laterales se plegaron como las orejas de un perro cuando lo acarician. Key había traído un memorando de cuatro páginas que redactó para nuestra entrevista, enumerando datos sobre el accidente, organizados bajo subtítulos como "Tecnología de conducción autónoma total de Tesla (discusión)". Es el tipo de hombre que camina con una batería de opiniones completamente formadas sobre los temas más importantes de la vida (computadoras, software, ejercicio, dinero) y la voluntad de compartirlas. Estaba particularmente preocupado porque entiendo que Autopilot y F.S.D. estaban salvando vidas: "Los datos muestran que su tasa de accidentes mientras está en Beta es mucho menor que la de otros autos", decía una viñeta, en Calibri de 11 puntos. “Ralentizar el F.S.D. Beta resultará en más accidentes y pérdida de vidas en base a datos estadísticos duros”. Accidentes como el suyo, e incluso los mortales, son desafortunados, argumentó, pero no pudieron distraer a la sociedad del objetivo más amplio de la adopción generalizada de vehículos autónomos. Key trazó una analogía con las vacunas contra el coronavirus, que previnieron cientos de miles de muertes pero también causaron muertes y lesiones raras por reacciones adversas. “Como sociedad”, concluyó, “elegimos el camino para salvar la mayor cantidad de vidas”. Terminamos de desayunar y caminamos hacia el auto. Key esperaba mostrar la versión más nueva de F.S.D., pero su sistema aún no se había actualizado. “Elon dijo que se lanzaría al final de la semana”, dijo. "Bueno, es domingo". Musk había estado insinuando durante semanas que la actualización sería una mejora drástica con respecto a F.S.D. 10.13, que se lanzó durante el verano. Debido a que a Musk le gustaba hacer pequeñas bromas con los nombres y números de su vida, el número de versión saltaría a 10.69 con este lanzamiento. (Los cuatro modelos Tesla disponibles son S, 3, X e Y, presumiblemente porque eso deletrea la palabra "sexy"). Key no quería hablar sobre Musk, pero el colapso de la reputación del ejecutivo se había vuelto imposible de ignorar. Estaba en medio de su extraña [campaña para apoderarse de Twitter] intermitente (https://www.nytimes.com/live/2022/10/28/business/elon-musk-twitter) , para consternación de los leales a Tesla. Y aunque todavía no había atacado a Anthony Fauci ni difundido teorías de conspiración sobre el esposo de Nancy Pelosi o se ha ido de [juerga de prohibición de periodistas] (https://www.nytimes .com/2022/12/16/business/elon-musk-twitter-suspensions.html) en la plataforma, la pregunta ya se estaba sugiriendo: ¿Cómo explicas a Elon Musk? “La gente tiene fallas”, dijo Key con cautela, antes de repetir un sentimiento que Musk solía decir sobre sí mismo: si los partidarios de ambos lados lo odiaban, debe estar haciendo algo bien. No importa en qué problemas se metió Musk, dijo Key, él era honesto, "veraz para su detrimento". Mientras conducíamos, Key comparó F.S.D. y la versión de Autopilot en su Tesla 2015. El piloto automático, dijo, era como un elegante control de crucero: velocidad, dirección, evitación de choques. Aunque en su caso, dijo, “supongo que no evitó choques”. Le había impresionado mucho más F.S.D. Era capaz de manejar casi cualquier situación que le lanzara. “Mi única queja real es que no siempre selecciona el carril que yo elegiría”. Después de un minuto, el automóvil le advirtió a Key que mantuviera las manos en el volante y los ojos en la carretera. “Tesla ahora es una especie de niñera sobre eso”, se quejó. Si el piloto automático alguna vez fue peligrosamente permisivo con los conductores distraídos, permitiéndoles incluso quedarse dormidos detrás del volante, esa falla, como el error de los objetos estacionarios, se había solucionado. “Entre el volante y el seguimiento ocular, ese es solo un problema resuelto”, dijo Key. Pronto estuvimos cerca de la escena del accidente. Colinas cubiertas de matorrales con senderos para bicicletas de montaña que las atravesaban se elevaban a cada lado de nosotros. Eso fue lo que metió a Key en problemas el día del accidente. Estaba mirando un sendero favorito e ignorando el camino. “Miré hacia la izquierda y el auto se fue hacia la derecha”, dijo. “Estaba en esta falsa sensación de seguridad”. Aparcamos en el lugar donde golpeó la camioneta de la policía. cuatro años antes. No había nada especial en el camino aquí: sin líneas extrañas, sin cambios de carril confusos, sin fusiones. Solo un carril de tráfico a lo largo de una fila de autos estacionados. Por qué el Tesla falló en ese momento era un misterio. Eventualmente, Key le dijo a F.S.D. para llevarnos de vuelta al café. Sin embargo, cuando empezamos a girar a la izquierda, el volante sufrió un espasmo y el pedal del freno se estremeció. Key murmuró un nervioso, “OK. … ” Después de otro momento, el automóvil cruzó la mitad de la carretera y se detuvo. Una hilera de coches se abalanzaba sobre nuestro costado. Key dudó un segundo, pero luego tomó el control rápidamente y completó el giro. “Probablemente podría haber acelerado, pero no estaba dispuesto a cortarlo tan cerca”, dijo. Si estaba equivocado, por supuesto, había una buena posibilidad de que hubiera tenido su segundo accidente causado por la IA en el mismo tramo de carretera de una milla. Tres semanas antes de que Key golpeara la camioneta de la policía, Musk le escribió un correo electrónico a Jim Riley, cuyo hijo Barrett murió después de que su Tesla se estrellara mientras manejaba a alta velocidad. Musk envió a Riley sus condolencias, y el afligido padre respondió para preguntar si el software de Tesla podría actualizarse para permitir que el propietario establezca una velocidad máxima para el automóvil, junto con otras restricciones en la aceleración, el acceso a la radio y la cajuela y la distancia. coche podría conducir desde casa. Musk, si bien comprensivo, respondió: “Si hay una gran cantidad de configuraciones, será demasiado compleja para que la use la mayoría de la gente. Quiero asegurarme de que hacemos esto bien. Lo más bueno para la mayor cantidad de personas”. Fue una clara demostración de lo que hace que Musk sea tan inusual como director ejecutivo. Primero, se acercó directamente a alguien que resultó dañado por uno de sus productos, algo que es difícil de imaginar para el jefe de G.M. o Ford contemplando, aunque solo sea por razones legales. (De hecho, este correo electrónico se incorporó como evidencia después de que Riley demandó a Tesla). Y luego Musk rechazó a Riley. No vago "Lo investigaré" o "Veremos qué podemos hacer". Riley recibe un duro no. Al igual que Key, quiero resistir la tendencia de Musk de hacer todas las historias sobre él. Tesla es una gran empresa de automóviles con miles de empleados. Existió antes de Elon Musk. Podría existir después de Elon Musk. Pero si desea una explicación parsimoniosa de los desafíos que enfrenta la empresa, en forma de demandas, una caída del precio de las acciones y una inteligencia artificial. que todavía parece demasiado capaz de una falla catastrófica: debe mirar a su director ejecutivo mercurial, brillante y de segundo año. Quizás no haya ningún misterio aquí: Musk es simplemente un narcisista, y cada desvío imprudente que hace tiene como único objetivo llamar la atención del mundo. Pareció respaldar esta teoría de una manera irónica durante una declaración reciente, cuando un abogado le preguntó: "¿Tiene algún tipo de habilidad única para identificar a los sociópatas narcisistas?" y él respondió: "¿Quieres decir mirando en el espejo?" Pero lo que parece una obsesión por uno mismo y un control deficiente de los impulsos podrían ser, en cambio, los frutos de una filosofía coherente, una que Musk ha detallado en muchas ocasiones. Está ahí en el correo electrónico a Riley: el mayor bien para el mayor número de personas. Ese dictamen, como parte de un sistema ad hoc de ética utilitaria, puede explicar todo tipo de decisiones desconcertantes que Musk ha tomado, entre ellas su vertiginosa búsqueda de la IA, que a largo plazo, según él, salvará innumerables vidas. Desafortunadamente para Musk, el corto plazo es lo primero y su compañía enfrenta unos meses difíciles. En febrero, la primera demanda contra Tesla por un accidente que involucró a Autopilot irá a juicio. Cuatro más seguirán en rápida sucesión. Donald Slavik, quien representará a los demandantes en hasta tres de esos casos, dice que una compañía automotriz normal ya habría llegado a un acuerdo: “Lo ven como un costo de hacer negocios”. Musk ha prometido luchar en los tribunales, sin importar los peligros que esto pueda presentar para Tesla. “Los dólares pueden sumar”, dijo Slavik, “especialmente si hay algún hallazgo de daños punitivos”. Slavik me envió una de las quejas que presentó contra Tesla, que enumera accidentes prominentes del piloto automático de la A a la Z; de hecho, de la A a la WW. En China, un Tesla se estrelló contra la parte trasera de un barrendero. En Florida, un Tesla chocó contra un camión con remolque que se extendía sobre dos carriles de una autopista. Durante un aguacero en Indiana, un Tesla Model 3 se salió de la carretera y se incendió. En los Cayos de Florida, un Model S atravesó una intersección y mató a un peatón. En Nueva York, un [Modelo Y golpeó a un hombre que estaba cambiando su llanta en el arcén de la Autopista de Long Island] (https://www.courthousenews.com/feds-probe-ny-tesla-crash-that-killed- hombre-cambiando-pinchazo/). En [Montana, un Tesla se dirigió inesperadamente hacia una barrera de la carretera] (https://electrek.co/2016/07/22/tesla-autopilot-model-x-crash-montana-coverup/). Luego pasó lo mismo en Dallas y en Mountain View y en San José. La llegada de los vehículos autónomos no estaba destinada a ser así. Día tras día, asustamos, mutilamos y nos matamos en los autos. En Estados Unidos el año pasado hubo alrededor de 11 millones de accidentes de tráfico, casi cinco millones de heridos y más de 40.000 muertos. La IA de Tesla estaba destinado a poner fin a este baño de sangre. En cambio, en promedio, hay al menos un accidente relacionado con el piloto automático en los Estados Unidos todos los días, y [Tesla está siendo investigado por la Administración Nacional de Seguridad del Tráfico en las Carreteras]. (https://www.nytimes.com/2022/06 /09/business/tesla-autopilot-nhtsa-investigation.html) Desde que se lanzó Autopilot en octubre de 2015, Musk ha alentado a los conductores a pensar en él como más avanzado de lo que era, afirmando en enero de 2016 que era "probablemente mejor". que un conductor humano. Ese noviembre, la compañía lanzó un video de un Tesla navegando por las carreteras del Área de la Bahía con el descargo de responsabilidad: "La persona en el asiento del conductor solo está allí por razones legales. Él no está haciendo nada. El coche se conduce solo”. Musk también rechazó el nombre "Copiloto" a favor de "Autopiloto". La letra pequeña dejaba en claro que la tecnología era solo para asistencia al conductor, pero ese mensaje recibió una fracción de la atención de los anuncios de Musk. Una gran cantidad de conductores parecían realmente confundidos acerca de las capacidades de Autopilot. (Tesla también se negó a revelar que el automóvil en el video de 2016 se estrelló en el estacionamiento de la compañía). La denuncia legal de Slavik no se detiene: “La conducta de Tesla fue despreciable, y tan despreciable que sería menospreciado y despreciado por la gente común”. gente decente." Los muchos reclamos de las demandas pendientes vuelven a un solo tema: Tesla infló constantemente las expectativas de los consumidores y minimizó los peligros involucrados. Los autos no tenían suficiente monitoreo del conductor porque Musk no quería que los conductores pensaran que el auto necesitaba supervisión humana. (Musk en abril de 2019: "Si tiene un sistema que tiene una confiabilidad a nivel humano o inferior, entonces el monitoreo del controlador tiene sentido. Pero si su sistema es mucho mejor, más confiable que un humano, entonces el monitoreo no ayuda mucho"). No se advirtió a los conductores sobre problemas con el frenado automático o "cambios de carril no controlados". La empresa admitiría las limitaciones de la tecnología en el manual del usuario, pero publicaría videos virales de un Tesla conduciendo por una ruta complicada sin intervención humana. El cliente ideal de Musk era alguien como Key, dispuesto a aceptar la culpa cuando algo salía mal, pero con una fe casi ilimitada en la próxima actualización. En una declaración, un ingeniero de Tesla lo hizo casi explícito: “Queremos que el cliente sepa que, en primer lugar, debe tener confianza en su vehículo: todo está funcionando como debería. Y, en segundo lugar, el motivo de tu accidente o el motivo de tu incidente siempre recae en ti”. Después de nuestro fallido giro a la izquierda en Laguna Beach, Key rápidamente diagnosticó el problema. Si tan solo el sistema se hubiera actualizado a F.S.D. 10.69, argumentó, el automóvil seguramente habría manejado el giro de manera segura. Desafortunadamente para Musk, no todos los propietarios de Tesla son como Dave Key. Los demandantes en las demandas de Autopilot podrían estar de acuerdo en que el A.I. está mejorando, pero solo a costa de los primeros usuarios y los espectadores que podrían morir en el camino. En línea, hay una batalla entre facciones pro-Musk y anti-Musk sobre Autopilot y F.S.D. Reddit tiene un foro llamado r/RealTesla que muestra las IA más vergonzosas. errores, junto con quejas más genéricas: volantes chirriantes, techos con goteras, electrónica defectuosa, cabinas ruidosas, suspensiones rígidas, asientos de cuero arrugado, manijas de puertas rotas. Los seguidores de Musk tienden a aislarse en r/TeslaMotors, donde publican avistamientos de Tesla, aplauden las últimas inauguraciones de fábricas de la compañía y esperan el próximo gran anuncio del jefe. Encontré a David Alford en YouTube, donde publicó un video llamado “Tesla Full Self-Driving Running a Red Light” En él, vemos el mire a través del parabrisas cuando el automóvil de Alford se acerca a una intersección con un carril para girar a la izquierda que tiene un semáforo exclusivo. Cuando faltan unos cientos de metros, el semáforo cambia de verde a rojo, pero el auto no se detiene. En cambio, rueda hacia la intersección, donde está en camino de chocar con el tráfico que se aproxima, hasta que Alford toma el control. En los comentarios, los fanáticos de Tesla se enojan con Alford por publicar el video, pero él responde: "¿Cómo ayuda a presionar a Tesla para que mejore sus sistemas si tiene miedo de publicar sus fallas?" Respondiendo a un comentario, escribe que F.S.D. es "poco ético en el contexto en que lo están usando". Cuando llamé a Alford, esperaba a alguien adecuado para r/RealTesla, pero terminó teniendo más una vibra de r/TeslaMotors. Me dijo que estaría dispuesto a llevarme al sitio de su video y demostrarme la falla, pero primero tenía que hacer una promesa. “Lo único que pido es tratar de no ponerme en mala posición con Tesla”, dijo. “No quiero que nadie piense que odio a la compañía o lo que sea, porque los apoyo mucho, mucho”. Alford vive en Fresno, California, y antes de ir a verlo un día el otoño pasado, me contó algunas noticias emocionantes: acababa de recibir el F.S.D. Actualización 10.69. Nuestro viaje sería su primer intento de navegar por la intersección del video de YouTube con el nuevo sistema. La mañana que lo conocí, vestía una remera negra que mostraba sus tatuajes, anteojos de sol negros y jeans negros desteñidos con agujeros en las rodillas. Hollywood lo encasillaría como un hacker de sombrero blanco y, de hecho, es un tipo de software como Key: es ingeniero de productos para una empresa de tecnología del Área de la Bahía. Su Tesla Model 3 blanco de 2020 tenía una calcomanía magnética para el parachoques que encontró en Etsy: PRECAUCIÓN PRUEBA COMPLETA DE AUTOCONDUCCIÓN EN CURSO. Dijo que conduce en F.S.D. modo el 90 por ciento del tiempo, por lo que su automóvil siempre se comporta de manera un poco extraña: la calcomanía ayudó a mantener a raya algunos de los bocinazos de otros automóviles. Parecía ser, como Key, un F.S.D ideal. beta tester: interesado en el software, atento a sus fallos, obstinado en su acumulación de kilómetros autónomos. Me subí al asiento del pasajero y Alford marcó nuestro primer destino: un lugar a unas cuadras de distancia en el centro de Fresno. Tuvimos suerte de que estuviera nublado, dijo, porque el auto se comportó bien en estas condiciones. En los días en que hacía sol y había mucho resplandor, el automóvil podía estar “malhumorado”. Y cuando había niebla, y a menudo había niebla en Fresno, “se asusta”. Después de unos minutos, nos acercamos a un paso de peatones justo cuando dos padres que tiraban de un niño en un carro comenzaban a cruzar. Una pantalla al lado del volante mostraba que el A.I. había registrado a los dos peatones pero no al vagón. Alford dijo que estaba pasando el pie sobre el freno, pero el auto se detuvo por sí solo. Tras el vagón venía una mujer en silla de ruedas. El coche se quedó quieto. Alford me dijo que la jerga automotriz para cualquier persona en la calle que no esté en un automóvil o camión es un "VRU", un usuario vulnerable de la carretera. Y es cierto: los peatones, los ciclistas, los niños en cochecitos y las mujeres en sillas de ruedas son tan frágiles en comparación con estas máquinas gigantes que hemos metido en nuestras ciudades y en nuestras carreteras. Un movimiento en falso y un coche los aplastará. Giramos por Van Ness Avenue, que atraviesa el centro. Había sido pavimentado recientemente, y en lugar de líneas en la calle, había pequeñas etiquetas amarillas que indicaban dónde irían eventualmente las líneas. El Tesla odiaba esto y esquivaba preocupado a derecha e izquierda, buscando algo para anclarlo. No había otros autos alrededor, por lo que Alford dejó que lo sacara de su sistema y finalmente encontrara una línea de carril para seguir. “Se construye una tolerancia a los riesgos que implica”, dijo. "Sí, se está desviando por todos lados, pero sé que no se va a estrellar contra algo". Aún así, la experiencia de la versión beta había cambiado la forma en que abordaba su propio trabajo. “De hecho, como desarrollador de software, me hizo dudar más en poner mi software en manos de las personas” antes de que esté completamente listo, dijo, “aunque no sea peligroso”. Segundos después, atravesamos una intersección cuando dos VRU, un hombre que paseaba a un perro, entraron en el cruce de peatones. Estaban a una distancia segura, pero el perro comenzó a tirar de su correa en nuestra dirección. Alford y yo sabíamos que la mascota no estaba en peligro porque la correa la detendría. Pero todo lo que vio Tesla fue un perro a punto de saltar frente a nosotros, y se detuvo abruptamente. Fue un buen resultado, considerando todas las cosas, sin lesiones a ninguna forma de vida, pero estuvo lejos de ser una experiencia de conducción autónoma perfecta. Alford movió el volante con la frecuencia suficiente para que el auto nunca le advirtiera que prestara atención. No le importaba el control estricto del conductor: nunca se cansaba de estudiar el comportamiento del automóvil, por lo que nunca tuvo la tentación de desconectarse. Aun así, conocía a personas que abusaban del sistema. Un conductor ató un peso en el tobillo al volante para “relajarse y hacer lo que sea” durante los viajes largos por carretera. “Conozco a un par de personas con Teslas que tienen F.S.D. beta”, dijo, “y tienen que beber y conducir en lugar de tener que llamar a un Uber”. Salimos del centro y nos metimos en la autopista, nos dirigimos hacia un área al noreste de la ciudad llamada Clovis, donde estaba la intersección complicada. Alford sacó su F.S.D. ajustes. Su modo de conducción predeterminado era Promedio, pero dijo que descubrió que las otras dos opciones, Relajado y Asertivo, no son muy diferentes: "El automóvil es realmente agresivo de todos modos". Sin embargo, para conducir en la carretera, tenía el automóvil configurado en algo llamado modo Mad Max, lo que significaba que adelantaría a cualquier vehículo frente a él si iba incluso unas pocas millas por hora más lento que su velocidad preferida. Salimos de la carretera y rápidamente llegamos a un nudo de autos. Algo salió mal con el semáforo, que parpadeaba en rojo, y los conductores en las cuatro direcciones, en ocho carriles, tenían que averiguar cuándo avanzar y cuándo ceder el paso. La coreografía aquí era delicada: había demasiados autos para entrelazar sin que se hicieran algunas concesiones por piedad, confusión y conveniencia. Entre los humanos, hubo una buena cantidad de gestos con la mano e intentos de contacto visual para ver si alguien iba a ceder o no. Nos arrastramos hacia la intersección, coche a coche, hasta que llegó nuestro turno. Si esperábamos matices, no hubo ninguno. Una vez que nos detuvimos por completo, el Tesla aceleró rápidamente, cortando el paso a un automóvil que nos cruzaba y virando alrededor de otro. No era tanto inhumano como el comportamiento de un humano que estaba decidido a ser un idiota. “Eso estuvo mal”, dijo Alford. "Normalmente me desconectaría una vez que cometa un error como ese". Hizo clic en un botón para enviar una instantánea del incidente a Tesla. Más tarde, en una parada de cuatro vías, el automóvil fue demasiado cauteloso. Esperó demasiado y los otros dos autos en la intersección se alejaron antes que nosotros. Hablamos sobre el viejo dicho sobre la conducción segura: “No seas amable; ser predecible.” Para una computadora, la I.A. de Tesla. fue sorprendentemente errático. “No es agradable ni predecible”, dijo Alford. Unas pocas millas por la carretera, llegamos a la intersección del video: un giro a la izquierda en East Shepherd Avenue desde la ruta estatal 168. El semáforo se encuentra justo en el punto donde terminan los desarrollos más nuevos de la ciudad y comienza el terreno abierto. Si conducíamos recto, inmediatamente nos encontraríamos rodeados de artemisa, en el camino hacia la Sierra. Para replicar el error que descubrió Alford, necesitábamos acercarnos a la intersección con una flecha roja para girar a la izquierda y una luz verde para continuar recto. En nuestro primer pase, la flecha se puso verde en el último segundo. Sin embargo, en el segundo paso, en una carretera vacía, el momento fue el correcto: un rojo para nuestro turno y verde para todos los demás. A medida que nos acercábamos, el automóvil se movió hacia el carril de giro y comenzó a reducir la velocidad. "Ve el rojo", le dije. “No”, dijo Alford. “Aquí siempre se ralentiza un poco antes de abrirse paso”. Pero esta vez, siguió desacelerándose. Alfredo no podía creerlo. “Todavía va a funcionar la luz”, dijo. Pero estaba equivocado: llegamos a una parada ordenada justo en la línea. Alford se sorprendió. “¡Lo arreglaron!” él dijo. “Ese por el que les he estado dando problemas durante dos años”. Esperamos pacientemente hasta que el semáforo se puso en verde y el Tesla se desplazó suavemente hacia Shepherd Avenue. No hay problema. Fue una demostración tan clara de la hipótesis de Musk como uno podría esperar. Había una situación que seguía desconcertando a la A.I. hasta que, después de que los controladores dedicados como Alford recopilaron suficientes datos, la red neuronal lo descubrió. Repita esta conversión de riesgo-recompensa X veces, y tal vez Tesla resuelva la conducción autónoma. Tal vez incluso el próximo año. En el camino de regreso al centro de Fresno, Alford estaba optimista, encantado con la posibilidad de haber cambiado el mundo de Tesla para mejor. Le pregunté si la F.S.D. El lanzamiento de 10.69 cumplió con la exageración que lo precedió. “Para ser honesto, sí, creo que sí”, dijo. (Estaba aún más entusiasmado con la versión de F.S.D. lanzada en diciembre, que describió como casi impecable). Unos minutos más tarde, llegamos a una parte deteriorada de la ciudad. Alford dijo que, en general, la I.A. de Tesla. funciona mejor en áreas de mayores ingresos, tal vez porque esas áreas tienen más propietarios de Tesla. “¿Hay sesgos de datos para áreas de mayores ingresos porque ahí es donde están los Teslas?” el se preguntó. Nos acercamos a una intersección e intentamos girar a la izquierda, en lo que resultó ser una repetición del escenario de Laguna Beach. El Tesla comenzó a salir sigilosamente, tratando de ver con más claridad los autos que venían por nuestra izquierda. Avanzó poco a poco hacia adelante, hasta que una vez más estuvimos completamente en el carril del tráfico. No había nada que impidiera que el Tesla acelerara y completara el giro, sino que simplemente se quedó allí. Al mismo tiempo, un Honda Accord modificado aceleró hacia nosotros, a unos tres segundos de golpear la puerta del lado del conductor. Alford rápidamente se hizo cargo y pisó el acelerador, y escapamos a salvo. Esta vez, no dijo nada. Fue un duro viaje a casa desde allí. En un giro estándar a la izquierda en un semáforo, el sistema se asustó e intentó girar a la derecha. Alford tuvo que hacerse cargo. Y luego, cuando nos acercábamos a una rampa de entrada en forma de trébol a la autopista, el automóvil comenzó a acelerar. Para permanecer en la rampa, necesitábamos hacer un giro a la derecha en arco; frente a nosotros había una caída empinada hacia un sitio de construcción sin barandas. El coche no dio señales de girar. Cruzamos una línea blanca continua, a milisegundos de saltar fuera de la carretera cuando, por fin, la rueda giró bruscamente hacia la derecha y nos abrazamos a la carretera de nuevo. Esta vez, F.S.D. se había corregido solo, pero si no lo hubiera hecho, el choque seguramente nos habría matado. Peter Thiel, ex socio comercial de Musk en PayPal, dijo una vez que si escribiera un libro, el capítulo sobre Musk se llamaría “El hombre que no sabía nada sobre el riesgo”. Pero eso es un malentendido de la actitud de Musk: si analizas sus declaraciones, se presenta a sí mismo como un hombre que simplemente acepta cantidades asombrosas de riesgo presente en la suposición racional de ganancias futuras. La articulación más clara de Musk de su filosofía se produjo, por supuesto, en Twitter. "¡Deberíamos tomar el conjunto de acciones que maximicen la felicidad pública total!" le escribió a un usuario que le preguntó cómo salvar el planeta. En agosto, calificó los escritos de William MacAskill, un especialista en ética utilitarista escocés, como “una pareja cercana a mi filosofía”. (MacAskill, en particular, también fue la musa intelectual de Sam Bankman-Fried, aunque cortó lazos con él después de que salió a la luz el [escándalo FTX]. (https://www.nytimes.com/2022/11/14/technology /ftx-sam-bankman-fried-crypto-bankruptcy.html)) La aceptación del riesgo por parte de Musk ha producido verdaderos avances: [SpaceX puede aterrizar cohetes reutilizables en plataformas de aterrizaje a control remoto en el océano](https://www.theguardian. com/science/2016/apr/08/spacex-rocket-test-elon-musk-international-space-station); [Starlink brinda servicio de Internet a los ucranianos en el frente] (https://www.nytimes.com/live/2022/10/15/world/russia-ukraine-war-news); OpenAI se acerca cada vez más a pasar la prueba de Turing. En cuanto a Tesla, incluso los críticos más duros de Musk, y hablé con muchos de ellos mientras escribía este artículo, se detendrían, espontáneamente, para darle crédito por crear el ahora robusto mercado de vehículos eléctricos en los Estados Unidos y en todo el mundo. Y, sin embargo, como escribió Robert Lowell, “Ningún cohete se extravía tanto como el hombre”. En los últimos meses, a medida que las indignaciones en Twitter y en otros lugares comenzaron a multiplicarse, Musk parecía decidido a desperdiciar gran parte de la buena voluntad que había acumulado a lo largo de su carrera. Le pregunté a Slavik, el abogado de los demandantes, si el reciente cambio en el sentimiento público contra Musk facilitó su trabajo en la sala del tribunal. “Creo que al menos hay más personas escépticas de su juicio en este momento que antes”, dijo. “Si estuviera del otro lado, estaría preocupado por eso”. Sin embargo, algunas de las decisiones más cuestionables de Musk comienzan a tener sentido si se ven como resultado de un cálculo utilitario contundente. El mes pasado, Reuters informó que Neuralink, la compañía de dispositivos médicos de Musk, había causado la muerte innecesaria de docenas de animales de laboratorio a través de experimentos apresurados. Los mensajes internos de Musk dejaron en claro que la urgencia venía de arriba. “Simplemente no nos estamos moviendo lo suficientemente rápido”, escribió. “¡Me está volviendo loco!” El análisis de costo-beneficio debe haberle parecido claro: Neuralink tenía el potencial de curar la parálisis, creía, lo que mejoraría la vida de millones de humanos en el futuro. El sufrimiento de un número menor de animales valió la pena. Esta forma de crudo largoplacismo, en el que el tamaño de las generaciones futuras les otorga un peso ético adicional, aparece incluso en las declaraciones de Musk sobre la compra de Twitter. Llamó a Twitter una “plaza digital de la ciudad” que fue responsable nada menos que de prevenir una nueva guerra civil estadounidense. “No lo hice para ganar más dinero”, escribió. “Lo hice para tratar de ayudar a la humanidad, a quien amo”. Piloto automático y F.S.D. representan la culminación de este enfoque. “El objetivo general de la ingeniería de Tesla”, escribió Musk, “es maximizar el área bajo la curva de felicidad del usuario”. A diferencia de Twitter o incluso de Neuralink, la gente moría como resultado de sus decisiones, pero no importaba. En 2019, en un irritable intercambio de correos electrónicos con el inversionista activista y firme crítico de Tesla Aaron Greenspan, Musk se irritó ante la sugerencia de que el piloto automático era algo más que una tecnología que salva vidas. “Los datos son inequívocos de que el piloto automático es más seguro que la conducción humana por un margen significativo”, escribió. “Es poco ético y falso de su parte afirmar lo contrario. Al hacerlo, está poniendo en peligro al público”. Quería pedirle a Musk que elaborara su filosofía del riesgo, pero no respondió a mis solicitudes de entrevista. Así que, en cambio, hablé con Peter Singer, un destacado filósofo utilitarista, para analizar algunas de las cuestiones éticas involucradas. ¿Tenía razón Musk cuando afirmó que cualquier cosa que retrase el desarrollo y la adopción de vehículos autónomos es intrínsecamente poco ético? “Creo que tiene razón”, dijo Singer, “si tiene razón sobre los hechos”. Musk rara vez habla de Autopilot o F.S.D. sin mencionar lo superior que es a un conductor humano. En una reunión de accionistas en agosto, dijo que Tesla estaba “resolviendo una parte muy importante de la IA, y que en última instancia puede salvar millones de vidas y prevenir decenas de millones de lesiones graves al conducir solo un orden de magnitud más seguro que las personas. ” Musk tiene datos para respaldar esto: a partir de 2018, Tesla ha publicado informes de seguridad trimestrales para el público, que muestran una ventaja constante al usar el piloto automático. El más reciente, de finales de 2022, decía que los Tesla con el piloto automático activado tenían una décima parte de probabilidades de chocar que un automóvil normal. Ese es el argumento que Tesla tiene que presentar al público y a los jurados esta primavera. En palabras del informe de seguridad de la compañía: “Si bien ningún automóvil puede prevenir todos los accidentes, trabajamos todos los días para tratar de que sea mucho menos probable que ocurran”. El piloto automático puede causar un accidente durante la Segunda Guerra Mundial, pero sin esa tecnología, estaríamos en OOOOOOOOOOOOOOOOOOO. Singer me dijo que incluso si el piloto automático y los conductores humanos fueran igualmente mortales, deberíamos preferir la IA, siempre que la próxima actualización de software, basada en datos de informes de fallas y cuasi accidentes, haga que el sistema sea aún más seguro. “Eso es un poco como los cirujanos que hacen una cirugía experimental”, dijo. “Probablemente las primeras veces que hagan la cirugía, perderán pacientes, pero el argumento es que salvarán a más pacientes a largo plazo”. Sin embargo, agregó Singer, era importante que los cirujanos obtuvieran el consentimiento informado de los pacientes. _¿Tesla cuenta con el consentimiento informado de sus conductores? La respuesta podría ser diferente para diferentes propietarios de automóviles: probablemente sería diferente para Dave Key en 2018 que en 2022. Pero la mayoría de los clientes no son conscientes de cuán defectuoso es el piloto automático, dijo Philip Koopman, autor de "How Safe Is Safe ¿Suficiente? Medición y predicción de la seguridad de los vehículos autónomos”. Los autos siguen cometiendo “errores realmente locos, locos y sorprendentes”, dijo. “La práctica de Tesla de usar civiles no capacitados como conductores de prueba para una tecnología inmadura es realmente atroz”. Koopman también se opone a los supuestos hechos de Musk. Un problema obvio con los datos que la empresa publica en su informe de seguridad trimestral es que compara directamente las millas de Autopilot, que se conducen principalmente en carreteras de acceso limitado, con todas las millas de vehículos. “Estás usando Autopilot en las millas seguras”, dijo Koopman. “Así que, por supuesto, se ve genial. Y luego lo estás comparando con el piloto automático en las millas difíciles”. En el tercer trimestre de 2022, Tesla afirmó que hubo un accidente por cada 6,26 millones de millas recorridas con Autopilot; de hecho, casi 10 veces mejor que la referencia de EE. UU. de un accidente por cada 652 000 millas. Sin embargo, los choques son mucho más probables en las calles que en las autopistas: un estudio del Departamento de Transporte de Pensilvania mostró que los choques eran cinco veces más comunes en las carreteras locales que en las autopistas. Al comparar los números de Autopilot con los números de carretera, la ventaja de Tesla se reduce significativamente. Las afirmaciones de seguridad de Tesla parecen aún más inestables cuando intenta controlar la edad del automóvil y la edad del conductor. La mayoría de los propietarios de Tesla son de mediana edad o mayores, lo que elimina un grupo de conductores riesgosos: los adolescentes. Y el simple hecho de tener un auto nuevo disminuye significativamente la posibilidad de un accidente. Incluso es posible que la cantidad de Teslas en California, con su clima generalmente templado y seco, haya sesgado las cifras a su favor. Un estudio independiente que trató de corregir algunos de estos sesgos sugirió que los Tesla chocaban con la misma frecuencia cuando el piloto automático estaba encendido que cuando estaba apagado. “Ese siempre ha sido un problema para los utilitaristas”, me dijo Singer. “Debido a que no tiene reglas morales estrictas, las personas pueden pensar que pueden salirse con la suya haciendo las sumas de manera que se adapten a sus propósitos”. El pensamiento utilitarista ha llevado a los individuos a realizar actos de una virtud impresionante, pero poner este marco ético en manos de un industrial presenta ciertos peligros. El verdadero utilitarismo requiere un equilibrio cuidadoso de todos los daños y beneficios, en el presente y el futuro, con la paciencia para hacer esta evaluación y la paciencia para abstenerse de actuar si la cantidad de sufrimiento y muerte causada por seguir adelante no estaba clara. Musk está usando el utilitarismo de una manera más limitada, argumentando que mientras esté seguro de que algo tendrá un beneficio neto, se le permite hacerlo ahora mismo. En las últimas dos décadas, Musk de alguna manera se las arregló para dirigir varias empresas en las que plausiblemente puede afirmar que está trabajando para preservar el futuro de la humanidad. SpaceX no puede simplemente colocar satélites en órbita baja; también nos va a enviar a Marte. Tesla no puede simplemente construir un automóvil eléctrico sólido; va a resolver el problema de la conducción autónoma. Twitter no puede ser solo un lugar más donde nos reunimos para discutir; es uno de los puntales que sostienen la civilización. Con las apuestas adecuadamente elevadas, todo tipo de comportamiento cuestionable comienza a parecer, casi, razonable. “Los verdaderos creyentes”, escribió la novelista Jeanette Winterson, “preferirían ver derrocar a los gobiernos y reescribir la historia que raspar la cubierta de su fe”. Musk parece inquebrantable en su convicción de que su enfoque es correcto. Pero a pesar de toda su urgencia, aún podría perder la I.A. la raza. Ahora mismo en San Francisco y Austin, Texas, y próximamente en ciudades de todo el mundo, puede llamar a un robotaxi operado por Cruise o Waymo. “Si hay un momento en el que pasamos de la ficción a la realidad, es ahora”, me dijo Sebastian Thrun, quien fundó el equipo de autos sin conductor de Google. ("Por cierto, no dije esto el año pasado", agregó). Thrun no era un merodeador de r/RealTesla; iba en su quinto Tesla, y dijo que admiraba a la empresa: “Lo que tiene Tesla es realmente hermoso. Tienen una flota de vehículos en el campo.” Pero en este punto, los competidores de Tesla están más cerca de lograr la conducción autónoma total que cualquier vehículo equipado con F.S.D. En los últimos meses, Musk ha dejado de prometer que los Tesla autónomos están a la vuelta de la esquina. “Pensé que el problema de la conducción autónoma sería difícil”, dijo, “pero fue más difícil de lo que pensaba. No es como si pensara que sería fácil. Pensé que sería muy difícil. Pero en realidad fue mucho más difícil que eso”. El 29 de diciembre de 2019, el mismo día que un Tesla en Indiana chocó mortalmente con un camión de bomberos estacionado, un chofer fuera de servicio llamado Kevin George Aziz Riad conducía su Tesla Model S gris 2016 por Gardena Autopista en los suburbios de Los Ángeles. Había sido un largo viaje de regreso de una visita al condado de Orange, y Riad tenía el piloto automático activado. Poco después de la medianoche, el automóvil pasó bajo un letrero gigante que decía FIN SEÑAL DE AUTOPISTA MÁS ADELANTE con luces amarillas intermitentes. El piloto automático mantuvo el Tesla de Riad a una velocidad constante mientras se acercaba al semáforo que marcaba el final de la autopista y el comienzo de Artesia Boulevard. Según un testigo, el semáforo estaba en rojo, pero el automóvil atravesó la intersección y chocó contra un Honda Civic. Riad solo tuvo heridas leves, pero las dos personas en el Civic, Gilberto Alcazar Lopez y Maria Guadalupe Nieves, murieron en el lugar. Sus familias dijeron que estaban en una primera cita. ¿Quién fue el responsable de este accidente? Funcionarios estatales han acusado a Riad de homicidio involuntario y planean procesarlo como si fuera el único actor detrás de las dos muertes. Mientras tanto, las familias de las víctimas han presentado demandas civiles contra Riad y Tesla. Dependiendo de los resultados de los casos penales y civiles, el sistema Autopilot podría ser juzgado, en efecto, legalmente responsable, legalmente no responsable o ambos simultáneamente. No hace mucho, fui a ver el lugar donde, según los informes, el Tesla de Riad se saltó el semáforo en rojo. Había alquilado un Tesla por un día para descubrir de primera mano, por fin, cómo se sentía conducir con el piloto automático al mando. Conduje hacia el este por calles superficiales hasta que llegué a una rampa donde podía incorporarme a la ruta estatal 91, la autopista Gardena. Era tarde en la noche cuando Riad se estrelló. Yo estaba tomando mi paseo en el medio del día. Tan pronto como estuve en la autopista, activé el piloto automático y el auto se hizo cargo. Tenía el camino principalmente para mí. Este Tesla estaba programado para ir un 15 por ciento por encima del límite de velocidad cada vez que se usaba el piloto automático, y el automóvil aceleró rápidamente a 74 millas por hora, que era la velocidad de Riad cuando se estrelló. ¿Eran iguales los ajustes de velocidad de su piloto automático? El automóvil hizo un buen trabajo al mantenerse en su carril, mejor que cualquier otro control de crucero consciente del tráfico que haya usado. Intenté quitar las manos del volante, pero el Tesla me sonó después de unos segundos. A medida que me acercaba al lugar del accidente, pasé por debajo del letrero gigante END FREEWAY SIGNAL AHEAD. El piloto automático siguió adelante alegremente. Después de otros 500 pies, la misma señal apareció de nuevo, parpadeando con urgencia. Quedaban sólo unos pocos cientos de metros de carretera dividida, y luego la Ruta 91 se convirtió en una calle de superficie, justo en la intersección con Vermont Avenue. Pasé el pie por encima del freno. ¿Qué estaba haciendo? ¿Ver si el auto realmente simplemente pasaría un semáforo en rojo? Por supuesto que lo haría. Supongo que estaba tratando de imaginar lo fácil que sería hacer tal cosa. ¿Al final de una larga noche, en una carretera vacía de autos, con algo llamado Autopilot en control? Supongo que Riad ni siquiera se dio cuenta de que se había salido de la carretera. El auto aceleró bajo las luces de advertencia, 74 millas por hora. Los datos del choque muestran que antes de que el Tesla golpeara a López y Nieves, los frenos no se habían utilizado durante seis minutos. Mi Tesla se acercó a la intersección. Me acerqué más y más a la luz. Sin frenos. Y luego, justo antes de que yo estuviera a punto de tomar el relevo, una camioneta salió del carril de la derecha y me cortó el paso. El Tesla lo sintió de inmediato y frenó con fuerza. Si tan solo ese camión, tan innegable como puede ser cualquier pieza gigante de hardware, hubiera estado allí en diciembre de 2019, López y Nieves aún estarían vivos.