Incidents associés
Après avoir fait don de votre Toyota Camry 1994 bien usée à une association caritative, vous conduisez une toute nouvelle berline Honda 2020 dans une rue principale, en profitant du confort climatisé par une journée ensoleillée, avec le service de radio par satellite diffusant des morceaux de la bande sonore de votre la vie. Alors, WHAM !
En une demi-seconde, la voiture ralentit de 45 à 20 - et vous n'avez jamais touché la pédale de frein. Vous ne l'avez jamais vu venir mais votre cou vous rappelle toujours douloureusement votre coup de fouet cervical.
Un membre de la famille proche a vécu exactement ce scénario il y a à peine un mois. Elle n'a jamais touché la pédale de frein.
Qu'est-il arrivé? Le représentant commercial du concessionnaire n'avait pas expliqué toutes les caractéristiques de cette voiture postmoderne et n'avait certainement pas mis en garde contre les risques de son intelligence artificielle (IA). Il s'est avéré que la voiture est équipée de toutes sortes d'IA, y compris le système de freinage d'atténuation des collisions (CMBS). Le CMBS avait claqué sur les freins sans avertissement.
Système de freinage anticollision avant
Le CMBS de Honda fait partie du système anticollision global de la voiture. Le CMBS utilise une unité radar à ondes millimétriques montée près du pare-chocs avant de la voiture avec une caméra montée près du rétroviseur. Le radar et la caméra balaient vers l'avant dans une plage de 300 pieds, à la recherche de risques de collision potentielle avec des personnes ou d'autres choses. Les informations de ces appareils alimentent un ordinateur. Si un obstacle est détecté, le CMBS alertera le conducteur et appliquera éventuellement des freins légers ou puissants automatiquement.
Comme un conducteur surpris a glacialement décrit l'inconvénient : le CMBS "applique une pression de freinage lorsqu'une collision inévitable est déterminée ou lorsqu'une situation" inévitable "est créée à partir de rien par l'esprit robotique de votre voiture."
Les recours collectifs signalent des problèmes courants
Une recherche sur Internet via le moteur de recherche Duckduckgo révèle que ce problème de claquement de frein est bien connu - et n'a pas de solution connue. Un recours collectif consolidé, Cadena v. American Honda Motor Co., en instance devant un tribunal fédéral de Californie, allègue que le fabricant est responsable d'avoir enfreint plusieurs États ' pratiques commerciales déloyales et lois sur la fraude à la consommation ainsi que pour violation de la garantie implicite et négligence. Des conducteurs à travers les États-Unis se sont joints au procès, demandant une injonction contre le fabricant ainsi que des dommages-intérêts pour leurs blessures corporelles et leurs dommages matériels.
L'un des plaignants a décrit le problème même rencontré par un membre de ma famille :
Je conduisais à 45 mph sur une route droite et plate, sans aucune autre voiture. Les freins ont claqué puis relâché. Il n'y avait rien devant moi ni derrière moi. Je crois que quelque chose ne va pas avec le système de freinage anti-collision. J'ai très mal au dos et au cou. Il n'y a eu aucun avertissement du système.
D'autres personnes ont souffert de problèmes plus graves, tels que :
Le système de détection de collision se déclenche régulièrement par erreur en raison du trafic opposé. Freins claqués au sol, accélérateur prioritaire - cela s'est produit au milieu d'une intersection à deux reprises et sur une ligne droite à double sens sans véhicule dans ma voie. J'ai la voiture depuis 1 mois et j'ai failli avoir 3 accidents à cause de ce système défectueux que je suis en train de désactiver. (NHTSA ID 11002642, Date du rapport : 1er octobre 2018)
Comme allégué dans un procès entré dans l'Illinois, d'autres défauts gênants dans la technologie de détection incluent à la fois l'affichage de nombreux messages d'avertissement à partir d'une fausse indication d'un danger et l'alerte des conducteurs pour qu'ils appliquent immédiatement les freins sans raison de le faire. Ces messages empêchent le conducteur de regarder la route tout en essayant de lire le message sur le panneau d'affichage. L'avertissement augmente en fait le risque du conducteur en détournant l'attention du danger (vraisemblablement) imminent.
Les défauts d'IA sont des erreurs humaines intégrées
Au moins quatre questions deviennent claires. Tout d'abord, le problème de claquement de frein est un défaut d'IA. Principalement, c'est le système logiciel, et non le composants matériels, qui décide quand CMBS s'engage. Cela signifie que les décisions de freinage automatique découlent des choix des programmeurs. Les programmes logiciels rassemblent des données et prennent des décisions uniquement dans la mesure où les programmeurs peuvent imaginer les types de problèmes que le logiciel doit résoudre.
Les programmes eux-mêmes peuvent être imparfaits, soit par conception, soit à cause d'erreurs de codage, appelées bogues. Le simple fait d'appeler un système "intelligent" ne signifie pas qu'il remplira parfaitement ou même très bien son objectif.
Les logiciels d'IA sont également potentiellement vulnérables au piratage et à la corruption intentionnelle. De plus, les systèmes d'IA qui reposent sur le GPS dépendent d'un système imparfait sensible à son propre hôte de problèmes matériels, logiciels et environnementaux terrestres. Quiconque a «perdu le signal GPS» en cherchant une adresse peut comprendre la confusion que connaîtrait le guidage du conducteur par IA.
L'IA et le complexe gouvernement-industriel
Deuxièmement, le gouvernement fait pression depuis des années sur l'industrie automobile pour qu'elle déploie l'IA pour la prévention des accidents. Par exemple, dans un dépôt de 2017 au Federal Register, [82 FR 8391,](https://www.federalregister.gov/documents/2017/01/25/2017-01542/federal-motor-vehicle-safety-standards -freinage-d'urgence-automatique) la National Highway and Traffic Safety Administration (NHTSA) des États-Unis a observé :
94 % des accidents de véhicules peuvent être attribués à des choix humains (par exemple, des choix concernant le port de la ceinture de sécurité ou la consommation d'alcool) ou à une erreur. S'il existait des moyens technologiques pour empêcher ces choix ou comportements humains d'affecter la sécurité des véhicules, nous pourrions potentiellement prévenir ou atténuer 19 accidents sur 20 sur la route.
La NHTSA prévoit avec optimisme un succès incroyable dans la réduction des accidents grâce à l'IA :
Les véhicules automatisés, qui dépendent de technologies comme le freinage d'urgence automatique, promettent d'être le moyen qui empêchera le choix ou l'erreur humaine de provoquer des collisions. C'est pourquoi la NHTSA et le ministère des Transports se sont concentrés sur la tentative d'accélérer le développement et le déploiement en toute sécurité de véhicules hautement automatisés et connectés. L'automatisation et la connectivité des véhicules pourraient réduire considérablement le nombre de décès sur les routes.
La pression du gouvernement signifie que l'industrie automobile peut justifier ses systèmes d'IA étendus : Le gouvernement nous a obligés à le faire. Le consensus entre le gouvernement et l'industrie devient l'explication des systèmes qui ne sont pas parfaits et peuvent en fait mettre en danger les gens, mais qui sont obligatoires. Les citoyens privés n'ont pratiquement aucune influence sur l'élaboration des politiques ou les choix de programmation.
Une solution de freinage automatisé pour tous ?
Troisièmement, le problème de freinage aléatoire provient de l'orgueil des concepteurs humains injecté dans le logiciel. Pour décider quand appliquer les freins, il faut connaître et réagir à de nombreuses variables imprévisibles dans un environnement en constante évolution. Les conducteurs humains intelligents apprennent à évaluer la vitesse et la distance, les conditions de la route, y compris la traction et l'inclinaison, et les actions estimées ou attendues d'autres véhicules venant de n'importe quelle direction, pour ne citer que quelques facteurs, le tout en temps réel. Les conducteurs humains acquièrent de l'expérience pour prévoir les actions des autres conducteurs plusieurs véhicules devant ou directement derrière eux. Les humains utilisent les lois sur la conduite, la signalisation routière, les règles empiriques et l'expérience antérieure dans des situations, des moments et des lieux spécifiques.
Les programmeurs du système d'IA pensent qu'ils peuvent concevoir des logiciels pour rencontrer ou battre l'esprit humain dans ces tâches - à chaque fois et dans tous les environnements ou conditions de conduite imaginables. À l'exception des défaillances matérielles réelles de l'équipement, le problème de claquement aléatoire des freins et d'autres faux positifs résultent des décisions des programmeurs sur ce qui est le mieux pour le conducteur.
Recherche de faute - Pas de renseignement
Quatrièmement, le système juridique américain actuel met en place des incitations en duel : (A) permettant aux consommateurs de poursuivre les constructeurs automobiles s'il existait une technologie d'atténuation des accidents et que les constructeurs [ne l'ont pas installée](https://law.justia.com/ cas/hawaï/cour-supreme/1997/17339-2.html); versus (B) permettant aux consommateurs de poursuivre les constructeurs automobiles si la technologie d'atténuation des accidents peut et échoue occasionnellement.
Juste pour confondre les choses pour les conducteurs individuels et les fabricants, certains tribunaux ont jugé que les conducteurs blessés ne peuvent pas poursuivre les constructeurs automobiles pour les défaillances de freinage de l'IA parce que la NHTSA [n'a pas défini] (https://casetext.com/case/dashi-v -nissan-n-am-inc) normes obligatoires pour ces systèmes de freinage automatique. Ironiquement, le nom technique de cette doctrine juridique est « préemption implicite des obstacles ».
Les fabricants sont confrontés à un scénario sans issue de responsabilité potentielle, qu'ils déploient ou non des systèmes de freinage IA. Les consommateurs blessés par le problème du claquement des freins ont poursuivi les fabricants pour ne pas avoir averti des problèmes du système d'IA et pour avoir commis certaines espèces de tromperie. Le recours collectif Cadena en instance en Californie comprend les réclamations des consommateurs pour "pratiques commerciales déloyales" lorsque Honda "a vendu des véhicules à [personnes] malgré la connaissance d'un défaut de sécurité dans les véhicules, omettant de divulguer sa connaissance du défaut et des risques qui en découlent au point de vente ou autrement. » Les réclamations connexes indiquent une violation de la garantie implicite de qualité marchande (essentiellement, alléguant que la voiture ne fonctionne pas comme elle le devrait de la part de l'acheteur raisonnable point de vue).
Le pire extrait sonore de Tesla
Fondateur et PDG de Tesla Elon Musk tweeted le 17 avril 2021, quelques bonnes nouvelles sur les systèmes d'IA avancés de l'entreprise : "Tesla avec le pilote automatique engagé approche maintenant 10 fois moins de risques d'accident qu'un véhicule moyen." Quelques jours plus tard, une Tesla 2019 au Texas, soupçonnée d'être en mode "sans conducteur", [smashed into a tree](https://www.theblaze.com/news/driverless-tesla-crashes-in-texas-killing -2) et s'enflamma, tuant les deux occupants.
Le feu a brûlé pendant des heures alors que les premiers intervenants se battaient sans succès, car la batterie de la voiture ne cessait de rallumer les flammes. Les pompiers auraient dû contacter l'entreprise Tesla pour savoir comment éteindre l'incendie.
Penser à voix haute : les familles des occupants pourraient éventuellement poursuivre Tesla pour un défaut de produit, pour publicité et littérature trompeuses, et pour avoir omis d'avertir des défaillances potentielles du système d'IA.
Les procès, cependant, ne réconfortent personne. Pendant ce temps, la tentative de la société de rejeter la responsabilité sur les autres, qu'il s'agisse du gouvernement, des entreprises ou de la technologie de l'IA et de ses concepteurs, inspire une mentalité de victime impuissante qui n'est pas saine.
Les êtres humains doivent-ils être traités comme des systèmes biologiques servi - ou dirigé - par des machines sur pilote automatique ? Ou les êtres humains doivent-ils lutter pour la connaissance personnelle, la compétence et la liberté ?
Remarque : Le dessin au trait de (1) une voiture sans conducteur avec capteurs et (2) d'une voiture sans conducteur [freinage] (https://thenounproject.com/term/self-driving-car-brake/1385373/) pour un piéton sont une gracieuseté du Noun Project. (3) L'intérieur d'une voiture autonome Tesla est une gracieuseté de jurvetson (Steve Jurvetson) [(CC BY 2.0)](https:// creativecommons.org/licenses/by/2.0), via Wikimedia Commons.
