Problème 3218

Ce mois-ci, à San Francisco, une femme a subi des blessures traumatiques après avoir été heurtée par un conducteur et jeté sur le chemin d'une des centaines de voitures autonomes qui parcourent les rues de la ville. La chef des pompiers de San Francisco, Jeanine Nicholson, a récemment déclaré qu'en août, [des véhicules autonomes ont interféré 55 fois avec les fonctions de lutte contre les incendies](https://sfist.com/2023/08/08/cops-firefighters-and-of-course- tax-drivers-te-off-on-self-driving-robotaxis-before-key-regulatory-vote/) cette année. Le logiciel de pilote automatique de Tesla, un système d'aide à la conduite, a été impliqué dans 736 accidents et 17 décès dans tout le pays depuis 2019.

Malgré tout le battage médiatique autour de la possibilité que l’intelligence artificielle menace un jour l’humanité, il y a remarquablement peu de discussions sur la manière dont elle menace l’humanité à l’heure actuelle. Lorsqu’il s’agit de voitures autonomes, nous conduisons à l’aveugle.

La raison est simple : il n’existe pas de normes fédérales de test de sécurité des logiciels pour les véhicules autonomes – une faille suffisamment grande pour qu’Elon Musk, General Motors et Waymo puissent y conduire des milliers de voitures. La National Highway Traffic Safety Administration réglemente le matériel (tel que les essuie-glaces, les airbags et les rétroviseurs) des voitures vendues aux États-Unis. Et les États sont chargés de délivrer les permis aux conducteurs humains. Pour obtenir le droit de conduire une voiture, la plupart d’entre nous doivent, à un moment donné, passer un examen de la vue, un examen écrit et un examen de conduite.

L'A.I. ne subit aucun examen minutieux du gouvernement avant de prendre le volant. En Californie, les entreprises peuvent obtenir un permis pour conduire des voitures sans conducteur [en déclarant que leurs véhicules ont été testés](https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/testing-autonomous -vehicles-without-a-driver/) et le « [le fabricant a raisonnablement déterminé qu'il est sécuritaire de conduire le véhicule] (https://www.dmv.ca.gov/portal/file/autonomous-vehicle-tester-atv -application-de-programme-pour-les-essais-de-fabricants-permis-de-vehicules-sans-conducteur-ol-318-pdf/).

« Il y a cet écart étrange entre qui est chargé de délivrer les licences d’un pilote d’ordinateur – est-ce la N.H.T.S.A. ou l'État ? demande Missy Cummings, professeur et directrice du Mason Autonomy and Robotics Center de l'Université George Mason.

Il y a ici une ironie : tant de gros titres se sont concentrés sur la crainte que les ordinateurs deviennent trop intelligents et prennent le contrôle du monde aux mains des humains, mais dans notre réalité, les ordinateurs sont souvent trop stupides pour éviter de nous faire du mal.

Le véhicule autonome les entreprises affirment que malgré leurs dysfonctionnements annoncés, leur logiciel est toujours [meilleur que les conducteurs humains.] (https://waymo.com/blog/2023/09/waymos-autonomous-vehicles-are.html) Cela pourrait être vrai – après tout, les véhicules autonomes ne se fatiguent pas, ne conduisent pas en état d'ébriété ou n'envoient pas de SMS et ne conduisent pas – mais nous Je n'ai pas encore les données nécessaires pour prendre cette décision. Les voitures autonomes commettent d’autres types d’erreurs, comme s’arrêter de manière à bloquer les ambulances et coincer une victime d’un accident.

Le mois dernier, les représentants Nancy Pelosi et Kevin Mullin [ont écrit une lettre](https://kevinmullin.house.gov/sites/evo-subsites/kevinmullin.house.gov/files/evo-media-document/3b080d17-b33e-4de0- a762-e1dd005633ee.pdf) à la N.H.T.S.A. demander à l'agence d'exiger plus de données sur les incidents liés aux véhicules autonomes, en particulier ceux impliquant des véhicules arrêtés qui gênent les secouristes. Davantage de données comparatives sur les accidents de voiture provoqués par des humains seraient également utiles ; la N.H.T.S.A. fournit uniquement des estimations des accidents basées sur un échantillonnage.

Mais pourquoi ne pouvons-nous pas aller plus loin que la collecte de données ?

Après tout, l'A.I. fait souvent des erreurs surprenantes. Cette année, l'une des voitures Cruise de GM a percuté un bus articulé après avoir mal prédit son mouvement. GM a mis à jour le logiciel après l'incident. L'année dernière, une voiture autonome a freiné brusquement en tournant à gauche parce qu'elle semblait avoir pensé qu'une voiture venant en sens inverse allait faire un virage à droite sur son chemin. Au lieu de cela, le véhicule venant en sens inverse a percuté le véhicule sans conducteur arrêté. Les passagers de les deux voitures ont été blessés.

« Les systèmes de vision par ordinateur de ces voitures sont extrêmement fragiles. Ils échoueront d’une manière que nous ne comprenons tout simplement pas », déclare le Dr Cummings, qui a écrit que A.I. devrait être soumis à des exigences de licence équivalent à les tests de vision et de performance que subissent les pilotes et les conducteurs.

Bien entendu, le problème ne se limite pas aux voitures. Chaque jour, nous découvrons une manière différente dont l’IA. les chatbots échouent – que ce soit en inventant la jurisprudence ou en [harcelant sexuellement leurs utilisateurs](https:/ /www.vice.com/en/article/z34d43/my-ai-is-sexually-harassing-me-replika-chatbot-nudes). Et nous sommes depuis longtemps aux prises avec les échecs de l’IA. des systèmes de recommandation, qui ont parfois recommandé des pièces d'armes à feu et des accessoires liés à la drogue sur Amazon, qui restreint ces articles, ou diffusé contenu idéologiquement biaisé sur YouTube.

Malgré tous ces exemples concrets de préjudices, de nombreux régulateurs restent distraits par les scénarios de catastrophe lointains et, pour certains, farfelus, élaborés par l’IA. des doomers – des chercheurs et des dirigeants technologiques de haut niveau qui affirment que la grande inquiétude est le risque un jour d’extinction humaine. Le gouvernement britannique organise une A.I. Safety Summit en novembre, et Politico rapporte que le l'IA du pays le groupe de travail est dirigé par de tels condamnés .

Aux États-Unis, un large éventail d’IA. législation a été proposée au Congrès, largement axée sur des préoccupations catastrophiques, telles que [sauf A.I. de prendre des décisions de lancement nucléaire](https://www.markey.senate.gov/news/press-releases/markey-lieu-beyer-and-buck-introduce-bipartisan-legislation-to-prevent-ai-from-launching -une-arme-nucléaire) et nécessitant une IA à haut risque. modèles devant être agréés et enregistrés.

Les théories catastrophiques sont « une tactique de distraction pour inciter les gens à courir après une quantité infinie de risques », explique Heidy Khlaaf, ingénieure en sécurité logicielle et directrice de l'ingénierie chez Trail of Bits, une société de sécurité technique. Dans un article récent, le Dr Khlaaf a plaidé en faveur d'une concentration sur l'IA. des tests de sécurité spécifiques à chaque domaine dans lequel il opère – par exemple, ChatGPT à l’usage des avocats.

En d’autres termes, nous devons commencer à reconnaître que l’IA. la sécurité est un problème qui peut être résolu – et que nous pouvons et devons le résoudre maintenant avec les outils dont nous disposons.

Des experts dans différents domaines doivent évaluer l’IA. utilisés dans leurs domaines pour déterminer si cela est trop risqué – en commençant par faire passer à un groupe de voitures autonomes des tests de vision et de conduite.

Cela semble ennuyeux, mais c’est exactement ce qu’est la sécurité. Il s'agit d'un groupe d'experts qui effectuent des tests et établissent des listes de contrôle. Et nous devons commencer à le faire maintenant.