Incidents associés
Un jour de l'été dernier, le directeur de la recherche en intelligence artificielle de Microsoft, Eric Horvitz, a activé la fonction Autopilot de sa berline Tesla. La voiture s'est dirigée sur une route sinueuse près du campus de Microsoft à Redmond, Washington, libérant son esprit pour mieux se concentrer sur un appel avec une organisation à but non lucratif qu'il avait cofondée autour de l'éthique et de la gouvernance de l'IA. Ensuite, dit-il, les algorithmes de Tesla l'ont laissé tomber.
"La voiture ne s'est pas parfaitement centrée", se souvient Horvitz. Les deux pneus du côté conducteur du véhicule ont entaillé une bordure jaune surélevée marquant la ligne médiane et se sont déchiquetés. Horvitz a dû saisir le volant pour ramener sa voiture en panne dans la voie. Il est indemne, mais le véhicule quitte les lieux à l'arrière d'un camion dont la suspension arrière est endommagée. Son chauffeur est parti affirmé dans sa conviction que les entreprises qui déploient l'IA doivent prendre en compte de nouveaux défis éthiques et de sécurité. Selon Tesla, le pilote automatique est destiné à être utilisé par un conducteur pleinement attentif.
Chez Microsoft, Horvitz a aidé à établir un comité d'éthique interne en 2016 pour aider l'entreprise à naviguer dans des endroits potentiellement délicats avec sa propre technologie d'IA. Le groupe est coparrainé par le président de Microsoft et avocat le plus expérimenté, Brad Smith. Cela a incité l'entreprise à refuser les affaires des entreprises clientes et à assortir de conditions certaines transactions limitant l'utilisation de sa technologie.
Horvitz a refusé de fournir des détails sur ces incidents, affirmant seulement qu'ils impliquaient généralement des entreprises demandant à Microsoft de créer des projets d'IA personnalisés. Le groupe a également formé les équipes commerciales de Microsoft sur les applications de l'IA dont l'entreprise se méfie. Et cela a aidé Microsoft à améliorer un service cloud pour analyser les visages qui, selon un document de recherche, était beaucoup moins précis pour les femmes noires que pour les hommes blancs. « C'est encourageant de voir l'engagement de l'entreprise et à quel point les questions sont prises au sérieux », déclare Horvitz. Il compare ce qui se passe chez Microsoft à une prise de conscience antérieure de la sécurité informatique - en disant que cela aussi changera la façon dont chaque ingénieur travaille sur la technologie.
Beaucoup de gens parlent maintenant des défis éthiques soulevés par l'IA, alors que la technologie s'étend à de plus en plus de domaines de la vie. Le président français Emmanuel Macron a récemment déclaré à WIRED que son plan national pour stimuler le développement de l'IA envisagerait de fixer des « frontières éthiques et philosophiques ». De nouveaux instituts de recherche, groupes industriels et programmes philanthropiques ont vu le jour.
Microsoft fait partie du plus petit nombre d'entreprises qui élaborent des processus éthiques formels. Même certaines entreprises qui se précipitent pour tirer des bénéfices de l'IA craignent d'aller trop vite. "Ces dernières années, j'ai été obsédé par l'idée que tout le monde puisse l'utiliser mille fois plus vite", déclare Joaquin Candela, directeur de l'apprentissage automatique appliqué de Facebook. Mais à mesure que de plus en plus d'équipes à l'intérieur de Facebook utilisent les outils, "j'ai commencé à devenir très conscient de nos potentiels angles morts."
Lors de la conférence annuelle des développeurs de Facebook ce mois-ci, la scientifique des données Isabel Kloumann a décrit une sorte de conseiller automatique pour les ingénieurs de l'entreprise appelé Fairness Flow. Il mesure les performances des logiciels d'apprentissage automatique en analysant les données sur différentes catégories, par exemple des hommes et des femmes, ou des personnes dans différents pays, pour aider à exposer les biais potentiels. La recherche a montré que les modèles d'apprentissage automatique peuvent capter ou même amplifier les préjugés contre certains groupes, tels que les femmes ou les Mexicains, lorsqu'ils sont formés sur des images ou du texte collectés en ligne.
Les premiers utilisateurs de Kloumann étaient des ingénieurs créant une fonctionnalité Facebook où les entreprises publient des annonces de recrutement. Les commentaires de Fairness Flow les ont aidés à choisir des algorithmes de recommandation d'emploi qui fonctionnaient mieux pour différents types de personnes, dit-elle. Elle travaille actuellement à l'intégration de Fairness Flow et d'outils similaires dans la plate-forme d'apprentissage automatique utilisée à l'échelle de l'entreprise. Certains spécialistes des données effectuent des vérifications similaires manuellement ; la rendre plus facile devrait généraliser la pratique. «Assurons-nous avant de lancer ces algorithmes qu'ils n'ont pas un impact disparate sur les gens», déclare Kloumann. Un porte-parole de Facebook a déclaré que la société n'avait pas prévu de comités d'éthique ou de lignes directrices sur l'éthique de l'IA.
Google, un autre leader dans la recherche et le déploiement de l'IA, est récemment devenu une étude de cas sur ce qui peut arriver lorsqu'une entreprise ne semble pas tenir compte de manière adéquate de l'éthique de l'IA.
La semaine dernière, la société a promis qu'elle aurait besoin d'une nouvelle forme hyperréaliste de son assistant vocal pour s'identifier comme un bot lorsqu'il parle avec des humains au téléphone. L'engagement est intervenu deux jours après que le PDG Sundar Pichai a diffusé des clips audio impressionnants - et pour certains troublants - dans lesquels le logiciel expérimental effectuait des réservations de restaurant avec un personnel sans méfiance.
Google a déjà eu des problèmes avec des algorithmes éthiquement discutables. Le service d'organisation de photos de l'entreprise est programmé pour ne pas taguer les photos avec "singe" ou "chimpanzé" après un incident de 2015 au cours duquel des images de Noirs ont été taguées avec "gorille". Pichai combat également les critiques internes et externes d'un contrat d'IA du Pentagone, dans lequel Google aide à créer un logiciel d'apprentissage automatique qui peut donner un sens à la vidéo de surveillance par drone. Des milliers d'employés ont signé une lettre protestant contre le projet ; les meilleurs chercheurs en intelligence artificielle de la société ont tweeté leur mécontentement ; et Gizmodo a rapporté lundi que certains employés avaient démissionné.
Un porte-parole de Google a déclaré que la société accueillait favorablement les commentaires sur le logiciel d'appel automatisé - connu sous le nom de Duplex - car il est affiné en un produit, et que Google s'engage dans une large discussion interne sur les utilisations militaires de l'apprentissage automatique. L'entreprise a des chercheurs travaillant sur l'éthique et l'équité dans l'IA depuis un certain temps, mais n'avait pas auparavant de règles formelles pour les utilisations appropriées de l'IA. Cela commence à changer. En réponse à l'examen minutieux de son projet du Pentagone, Google travaille sur un ensemble de principes qui guideront l'utilisation de sa technologie.
Certains observateurs doutent que les efforts des entreprises pour imprégner l'éthique de l'IA feront une différence. Le mois dernier, Axon, fabricant du Taser, a annoncé un comité d'éthique composé d'experts externes pour examiner des idées telles que l'utilisation de l'IA dans des produits de police comme les caméras corporelles. Le conseil se réunira tous les trimestres, publiera un ou plusieurs rapports par an et comprendra un membre désigné comme point de contact pour les employés d'Axon concernés par un travail spécifique.
Peu de temps après, plus de 40 groupes universitaires, de défense des droits civiques et communautaires ont critiqué l'effort dans une lettre ouverte. Leurs accusations incluaient qu'Axon avait omis des représentants des communautés fortement policières les plus susceptibles de subir les inconvénients des nouvelles technologies policières. Axon dit qu'il envisage maintenant de faire en sorte que le conseil d'administration recueille les commentaires d'un plus large éventail de personnes. Tracy Kosa, membre du conseil d'administration, qui travaille sur la sécurité chez Google et est professeur auxiliaire à Stanford, ne considère pas l'épisode comme un revers. "Je suis franchement ravie", dit-elle, indépendamment de son rôle chez Google. Davantage de personnes s'engageant de manière critique dans les dimensions éthiques de l'IA aideront les entreprises à bien faire les choses, déclare Kosa.
Aucun n'a réussi jusqu'à présent, déclare Wendell Wallach, chercheur au Centre interdisciplinaire de bioéthique de l'Université de Yale. "Il n'y a pas encore de bons exemples", dit-il lorsqu'on l'interroge sur les premières expériences d'entreprise avec les comités d'éthique de l'IA et d'autres processus. "Il y a beaucoup de discours à haute voix, mais tout ce que j'ai vu jusqu'à présent est naïf dans son exécution."
Wallach dit qu'il est difficile de faire confiance aux processus purement internes, comme ceux de Microsoft, en particulier lorsqu'ils sont opaques pour les étrangers et n'ont pas de canal indépendant vers le conseil d'administration d'une entreprise. Il exhorte les entreprises à embaucher des responsables de l'éthique de l'IA et à établir des comités d'examen, mais soutient qu'une gouvernance externe telle que des réglementations, des accords ou des normes nationales et internationales sera également nécessaire.
Horvitz est arrivé à une conclusion similaire après son accident de conduite. Il voulait rapporter les détails de l'incident pour aider les ingénieurs de Tesla. En racontant son appel à Tesla, il décrit l'opérateur comme plus intéressé à établir les limites de la responsabilité du constructeur automobile. Parce que Horvitz n'utilisait pas le pilote automatique comme recommandé - il roulait à moins de 45 miles par heure - l'incident était sur lui.
"Je comprends", déclare Horvitz, qui aime toujours sa Tesla et sa fonction de pilote automatique. Mais il pensait également que son accident illustrait comment les entreprises qui poussent les gens à s'appuyer sur l'IA pourraient offrir, ou être obligées, d'en faire plus. "Si j'avais une vilaine éruption cutanée ou des problèmes respiratoires après avoir pris des médicaments, il y aurait un rapport à la FDA", explique Horvitz, docteur en médecine et docteur en informatique. "J'ai senti que ce genre de chose aurait dû ou aurait pu être en place." La NHTSA exige que les constructeurs automobiles signalent certains défauts des véhicules et des pièces ; Horvitz imagine un système de reporting formel alimenté directement par les données des véhicules autonomes. Un porte-parole de Tesla a déclaré que la société recueillait et analysait les données de sécurité et d'accident de ses véhicules, et que les propriétaires pouvaient utiliser des commandes vocales pour fournir des commentaires supplémentaires.
Liesl Yearsley, qui a vendu une start-up de chatbot à IBM en 2014, affirme que le mouvement embryonnaire de l'éthique d'entreprise en matière d'IA doit mûrir rapidement. Elle se souvient avoir été alarmée de voir comment ses robots pouvaient ravir des clients tels que des banques et des entreprises de médias en manipulant les jeunes pour qu'ils s'endettent davantage ou passent des heures à discuter avec un logiciel.
L'expérience a convaincu Yearsley de faire de sa nouvelle startup d'assistante en IA, Akin, une société d'utilité publique. L'IA améliorera la vie de nombreuses personnes, dit-elle. Mais les entreprises qui cherchent à tirer profit de l'utilisation de logiciels intelligents seront inévitablement poussées vers des terrains risqués, par une force qui, selon elle, ne fait que se renforcer. "Cela va empirer à mesure que la technologie s'améliore", déclare Yearsley.