Incidents associés
Le 18 mars 2018 était le jour que les initiés de la technologie redoutaient. Cette nuit-là, une nouvelle lune n'ajouta presque aucune lumière sur une route à quatre voies mal éclairée à Tempe, en Arizona, alors qu'un Uber Volvo XC90 spécialement adapté détectait un objet devant lui. Dans le cadre de la ruée vers l'or moderne pour développer des véhicules autonomes, le SUV conduisait de manière autonome, sans intervention de son conducteur de secours humain, pendant 19 minutes. Un réseau de radars et de capteurs lidar électroluminescents a permis aux algorithmes embarqués de calculer que, compte tenu de la vitesse constante de leur véhicule hôte de 43 mph, l'objet était à six secondes - en supposant qu'il reste immobile. Mais les objets sur les routes restent rarement immobiles, de sorte que davantage d'algorithmes ont parcouru une base de données d'entités mécaniques et biologiques reconnaissables, à la recherche d'un ajustement à partir duquel le comportement probable de celui-ci pourrait être déduit. Au début, l'ordinateur a fait un blanc ; quelques secondes plus tard, il a décidé qu'il avait affaire à une autre voiture, s'attendant à ce qu'elle s'éloigne et ne nécessite aucune action spéciale. Ce n'est qu'à la dernière seconde qu'une identification claire a été trouvée - une femme avec un vélo, des sacs de courses suspendus de manière confuse au guidon, en supposant sans doute que la Volvo roulerait autour d'elle comme le ferait n'importe quel véhicule ordinaire. Interdit de prendre des mesures d'évitement par lui-même, l'ordinateur a brusquement rendu le contrôle à son maître humain, mais le maître n'y prêtait pas attention. Elaine Herzberg, âgée de 49 ans, a été frappée et tuée, laissant les membres les plus réfléchis de la communauté technologique avec deux questions inconfortables : cette tragédie algorithmique était-elle inévitable ? Et à quel point serions-nous, devrions-nous être prêts à nous habituer à de tels incidents ? « À certains égards, nous avons perdu l'agence. Lorsque les programmes passent dans le code et que le code passe dans les algorithmes, puis que les algorithmes commencent à créer de nouveaux algorithmes, cela s'éloigne de plus en plus de l'action humaine. Le logiciel est publié dans un univers de code que personne ne peut pleinement comprendre. Si ces mots semblent choquants, ils le devraient, notamment parce qu'Ellen Ullman, en plus d'avoir été une programmeuse professionnelle distinguée depuis les années 1970, est l'une des rares personnes à écrire de manière révélatrice sur le processus de codage. Il n'y a pas grand-chose qu'elle ne sait pas sur les logiciels dans la nature. "Les gens disent:" Eh bien, qu'en est-il de Facebook - ils créent et utilisent des algorithmes et ils peuvent les changer. "Mais ce n'est pas comme ça que ça marche. Ils déclenchent les algorithmes et ils apprennent, changent et fonctionnent eux-mêmes. Facebook intervient périodiquement dans leur fonctionnement, mais ils ne les contrôlent vraiment pas. Et certains programmes ne fonctionnent pas simplement tout seuls, ils font appel à des bibliothèques, à des systèmes d'exploitation profonds, etc. » Qu'est-ce qu'un algorithme ? Peu de sujets sont plus constamment ou avec ferveur discutés en ce moment que les algorithmes. Mais qu'est-ce qu'un algorithme ? En fait, l'utilisation a changé de manière intéressante depuis l'essor d'Internet - et des moteurs de recherche en particulier - au milieu des années 1990. À la base, un algorithme est une petite chose simple ; une règle utilisée pour automatiser le traitement d'une donnée. Si a arrive, alors faites b; sinon, faites c. C'est la logique « si/alors/sinon » de l'informatique classique. Si un utilisateur prétend avoir 18 ans, autorisez-le à accéder au site ; sinon, écrivez "Désolé, vous devez avoir 18 ans pour participer". À la base, les programmes informatiques sont des ensembles de tels algorithmes. Recettes pour le traitement des données. Au niveau micro, rien de plus simple. Si les ordinateurs semblent faire de la magie, c'est parce qu'ils sont rapides et non intelligents. Ces dernières années ont vu émerger une signification plus prodigieuse et ambiguë, le mot « algorithme » étant pris pour désigner tout système logiciel de prise de décision complexe et de grande taille ; tout moyen de prendre un ensemble d'entrées - de données - et de l'évaluer rapidement, selon un ensemble donné de critères (ou « règles »). Cela a révolutionné les domaines de la médecine, de la science, des transports, de la communication, permettant de comprendre facilement la vision utopique de l'informatique qui a prévalu pendant de nombreuses années. Les algorithmes ont amélioré nos vies de multiples façons. Ce n'est que depuis 2016 qu'une réflexion plus nuancée sur notre nouvelle réalité algorithmique a commencé à prendre forme. Si nous avons tendance à discuter des algorithmes en termes presque bibliques, en tant qu'entités indépendantes ayant une vie propre, c'est parce que nous avons été encouragés à les penser de cette manière. Des entreprises comme Facebook et Google ont vendu et défendu leurs algorithmes sur la promesse d'objectivité, une capacité à peser un ensemble de conditions avec un détachement mathématique et une absence d'émotion floue. Pas étonnant qu'une telle prise de décision algorithmique se soit étendue à l'octroi de prêts/de caution/d'avantages sociaux/de places à l'université/d'entretiens d'embauche et à presque tout ce qui nécessite un choix. On n'accepte plus l'argumentaire de vente pour ce type d'algorithme si docilement. Dans son livre de 2016 Weapons of Math Destruction, Cathy O'Neil, une ancienne prodige des mathématiques qui a quitté Wall Street pour enseigner, écrire et diriger l'excellent blog mathbabe, a démontré sans conteste que, loin d'éradiquer les préjugés humains, les algorithmes pouvaient les amplifier et les enraciner. . Après tout, les logiciels sont écrits par des hommes blancs et asiatiques extrêmement aisés - et ils refléteront inévitablement leurs hypothèses (Google "distributeur de savon raciste" pour voir comment cela se passe même dans des situations réelles banales). La partialité n'exige pas que la méchanceté devienne nuisible, et contrairement à un être humain, nous ne pouvons pas facilement demander à un gardien algorithmique d'expliquer sa décision. O'Neil a appelé à des "audits algorithmiques" de tous les systèmes affectant directement le public, une idée sensée que l'industrie technologique se battra bec et ongles, car les algorithmes sont ce que les entreprises vendent ; la dernière chose qu'ils accepteront, c'est la transparence. La bonne nouvelle est que cette bataille est en cours. La mauvaise nouvelle est qu'il a déjà l'air pittoresque par rapport à ce qui vient ensuite. Tant d'attention a été portée sur les promesses et les menaces lointaines de l'intelligence artificielle, l'IA, que presque personne n'a remarqué que nous entrions dans une nouvelle phase de la révolution algorithmique qui pourrait être tout aussi lourde et désorientante - avec à peine une question posée. Les algorithmes signalés par O'Neil et d'autres sont opaques mais prévisibles : ils font ce pour quoi ils ont été programmés. Un codeur qualifié peut en principe examiner et contester leurs fondements. Certains d'entre nous rêvent d'une armée citoyenne pour faire ce travail, à l'image du réseau d'astronomes amateurs qui accompagnent les professionnels dans ce domaine. Une législation pour permettre cela semble inévitable. On pourrait qualifier ces algorithmes de "stupides", dans le sens où ils font leur travail selon des paramètres définis par l'homme. La qualité du résultat dépend de la pensée et de l'habileté avec lesquelles ils ont été programmés. À l'autre extrémité du spectre se trouve le rêve plus ou moins lointain d'une intelligence générale artificielle de type humain, ou AGI. Une machine correctement intelligente serait capable de remettre en question la qualité de ses propres calculs, basés sur quelque chose comme notre propre intuition (que nous pourrions considérer comme une large accumulation d'expérience et de connaissances). Pour mettre cela en perspective, la division DeepMind de Google a été justement félicitée pour avoir créé un programme capable de maîtriser les jeux d'arcade, en commençant par rien de plus qu'une instruction pour viser le score le plus élevé possible. Cette technique s'appelle "l'apprentissage par renforcement" et fonctionne parce qu'un ordinateur peut jouer rapidement à des millions de jeux afin d'apprendre ce qui génère des points. Certains appellent cette forme de capacité "l'intelligence étroite artificielle", mais ici le mot "intelligent" est utilisé autant que Facebook utilise "ami" - pour impliquer quelque chose de plus sûr et mieux compris qu'il ne l'est. Pourquoi? Parce que la machine n'a aucun contexte pour ce qu'elle fait et ne peut rien faire d'autre. Il ne peut pas non plus transférer les connaissances d'un jeu à l'autre (ce que l'on appelle «l'apprentissage par transfert»), ce qui le rend généralement moins intelligent qu'un tout-petit ou même une seiche. Autant qualifier d'« intelligents » un derrick ou un puceron. Les ordinateurs sont déjà largement supérieurs à nous dans certaines tâches spécialisées, mais le jour où ils rivaliseront avec nos capacités générales est probablement loin - si jamais cela se produit. Les êtres humains ne sont peut-être pas les meilleurs, mais nous sommes deuxièmes dans une gamme impressionnante de choses. Voici le problème. Entre les algorithmes fixes "stupides" et la véritable IA se trouve la problématique à mi-chemin dans laquelle nous sommes déjà entrés avec à peine une pensée et presque aucun débat, et encore moins un accord sur les objectifs, l'éthique, la sécurité, les meilleures pratiques. Si les algorithmes qui nous entourent ne sont pas encore intelligents, c'est-à-dire capables de dire en toute autonomie « ce calcul/ce plan d'action n'a pas l'air bien : je le referai », ils commencent néanmoins à apprendre de leur environnement. Et une fois qu'un algorithme apprend, nous ne savons plus avec certitude quels sont ses règles et ses paramètres. À ce stade, nous ne pouvons pas être certains de la façon dont il interagira avec d'autres algorithmes, le monde physique ou nous. Là où les algorithmes fixes "stupides" - complexes, opaques et habitués à la surveillance en temps réel comme ils peuvent l'être - sont en principe prévisibles et interrogeables, ceux-ci ne le sont pas. Après un temps dans la nature, on ne sait plus ce qu'ils sont : ils ont le potentiel de devenir erratiques. Nous pourrions être tentés d'appeler ces "frankenalgos" - même si Mary Shelley n'aurait pas pu inventer cela. Codes en conflit Ces algorithmes ne sont pas nouveaux en eux-mêmes. Je les ai rencontrés pour la première fois il y a près de cinq ans alors que je faisais des recherches pour le Guardian sur le trading à haute fréquence (HFT) sur le marché boursier. Ce que j'ai trouvé était extraordinaire : un écosystème numérique créé par l'homme, réparti entre des racks de boîtes noires accroupis comme des ninjas dans des fermes de données d'un milliard de dollars - ce qu'étaient devenus les marchés boursiers. Là où il y avait autrefois une salle des marchés physique, toutes les actions étaient dévolues à un serveur central, dans lequel des algorithmes agiles et prédateurs se nourrissaient d'algorithmes institutionnels lourds, les tentant de vendre plus bas et d'acheter plus haut en les trompant sur l'état du marché. Les commerçants HFT humains (bien qu'aucun humain n'échangeait plus activement) appelaient ces grands participants lents "baleines", et ils appartenaient principalement à des fonds communs de placement et de retraite - c'est-à-dire au public. Pour la plupart des magasins HFT, les baleines étaient désormais la principale source de profit. Essentiellement, ces algorithmes essayaient de se déjouer les uns les autres ; ils menaient une bataille invisible à la vitesse de la lumière, passant et annulant la même commande 10 000 fois par seconde ou en claquant tellement dans le système que tout le marché en tremblait – tout cela au-delà de la surveillance ou du contrôle des humains. Personne ne pouvait s'étonner que cette situation soit instable. Un «crash éclair» s'était produit en 2010, au cours duquel le marché était entré en chute libre pendant cinq minutes traumatisantes, puis s'était redressé pendant cinq autres minutes – sans raison apparente. Je me suis rendu à Chicago pour voir un homme du nom d'Eric Hunsader, dont les prodigieuses compétences en programmation lui ont permis de voir les données du marché de manière beaucoup plus détaillée que les régulateurs, et il m'a montré qu'en 2014, des "mini flash crashs" se produisaient chaque semaine. Même lui ne pouvait pas prouver exactement pourquoi, mais lui et son équipe avaient commencé à nommer certains des "algos" qu'ils avaient vus, tout comme les chasseurs de crop circles nommaient les formations trouvées dans les champs d'été anglais, les surnommant "Wild Thing", "Zuma". », « Le Clic » ou « Perturbateur ». Neil Johnson, physicien spécialisé dans la complexité à l'université George Washington, a réalisé une étude sur la volatilité des marchés boursiers. "C'est fascinant", me dit-il. «Je veux dire, les gens parlent de l'écologie des systèmes informatiques depuis des années dans un sens vague, en termes de virus vers, etc. Mais voici un véritable système de travail que nous pouvons étudier. Le plus gros problème est que nous ne savons pas comment cela fonctionne ou à quoi cela pourrait donner lieu. Et l'attitude semble être "loin des yeux, loin du cœur". De manière significative, l'article de Johnson sur le sujet a été publié dans la revue Nature et décrit le marché boursier en termes de « transition abrupte à l'échelle du système d'une phase mixte homme-machine à une nouvelle phase entièrement machine caractérisée par des cygnes noirs fréquents [c'est-à-dire hautement événements inhabituels] avec des durées ultrarapides ». Le scénario était compliqué, selon l'historien des sciences George Dyson, par le fait que certaines entreprises HFT permettaient aux algos d'apprendre - "il suffit de laisser la boîte noire essayer différentes choses, avec de petites sommes d'argent, et si cela fonctionne, renforcez-les." règles. Nous savons que cela a été fait. Ensuite, vous avez en fait des règles dont personne ne sait quelles sont les règles : les algorithmes créent leurs propres règles - vous les laissez évoluer de la même manière que la nature fait évoluer les organismes. » Les observateurs du secteur non financier ont commencé à postuler un « krach mondial » catastrophique, tandis que le secteur du marché à la croissance la plus rapide est devenu (et reste) des instruments qui profitent de la volatilité. Dans son roman de 2011 The Fear Index, Robert Harris imagine l'émergence de l'AGI - de la Singularité, rien de moins - à partir précisément de ce limon numérique. À ma grande surprise, aucun scientifique à qui j'ai parlé n'exclurait catégoriquement une telle possibilité. Tout cela pourrait être rejeté comme des arcanes de la haute finance, si ce n'était pour un simple fait. La sagesse soutenait que la technologie avait d'abord été adoptée par l'industrie du porno, puis par tout le monde. Mais le porno du 21e siècle est la finance, alors quand j'ai pensé avoir vu des signes d'algorithmes de type HFT causant des problèmes ailleurs, j'ai rappelé Neil Johnson. "Vous avez raison", m'a-t-il dit : une nouvelle forme d'algorithme fait son entrée dans le monde, qui a "la capacité de réécrire des morceaux de son propre code", auquel cas il devient comme "un algorithme génétique". Il pense en avoir vu des preuves lors d'enquêtes factuelles sur Facebook ("Mes comptes ont été attaqués quatre fois", ajoute-t-il). Si oui, les algorithmes y joutent, et s'adaptent, comme en bourse. "Après tout, Facebook n'est qu'un gros algorithme", déclare Johnson. "Et je pense que c'est exactement le problème de Facebook. Ils peuvent avoir des algorithmes simples pour reconnaître mon visage sur une photo sur la page de quelqu'un d'autre, prendre les données de mon profil et nous relier. C'est un algorithme concret très simple. Mais la question est de savoir quel est l'effet de milliards d'algorithmes de ce type travaillant ensemble au niveau macro ? Vous ne pouvez pas prédire le comportement appris au niveau de la population à partir de règles microscopiques. Donc Facebook prétendrait qu'ils savent exactement ce qui se passe au niveau micro, et ils auraient probablement raison. Mais que se passe-t-il au niveau de la population ? C'est le problème. Pour souligner ce point, Johnson et une équipe de collègues de l'Université de Miami et de Notre Dame ont produit un article, Emergence of Extreme Subpopulations from Common Information and Likely Enhancement from Future Bonding Algorithms, prétendant prouver mathématiquement que les tentatives de connecter les gens sur les réseaux sociaux polarisent inévitablement la société dans son ensemble. Il pense que Facebook et d'autres devraient modéliser (ou être amenés à modéliser) les effets de leurs algorithmes de la même manière que les climatologues modélisent le changement climatique ou les conditions météorologiques. O'Neil dit qu'elle a consciemment exclu cette forme adaptative d'algorithme de Weapons of Math Destruction. Dans un environnement algorithmique alambiqué où rien n'est clair, répartir la responsabilité sur des segments de code particuliers devient extrêmement difficile. Cela les rend plus faciles à ignorer ou à rejeter, car eux et leurs effets précis sont plus difficiles à identifier, explique-t-elle, avant de conseiller que si je veux les voir dans la nature, je devrais demander à quoi pourrait ressembler un crash flash sur Amazon. "Je cherchais également ces algorithmes", dit-elle, "et je pensais : "Oh, le big data n'est pas encore arrivé." Mais plus récemment, un ami qui est libraire sur Amazon a été me disant à quel point la situation des prix est devenue folle pour des gens comme lui. De temps en temps, vous verrez quelqu'un tweeter "Hé, vous pouvez acheter un fil de luxe sur Amazon pour 40 000 $." Et chaque fois que j'entends ce genre de chose, je pense : "Ah ! Cela doit être l'équivalent d'un flash crash !' » Les preuves anecdotiques d'événements anormaux sur Amazon sont abondantes, sous la forme de fils de discussion de vendeurs perplexes, et au moins un article universitaire de 2016, qui affirme : « Des exemples ont émergé de cas où des logiciels de tarification algorithmique concurrents interagissaient de manière inattendue et produisaient des prix imprévisibles, ainsi que des cas où les algorithmes étaient intentionnellement conçus pour mettre en œuvre la fixation des prix. Le problème, encore une fois, est de savoir comment répartir la responsabilité dans un environnement algorithmique chaotique où la cause et l'effet simples ne s'appliquent pas ou sont presque impossibles à retracer. Comme en finance, le déni est intégré au système. Dangers réels Lorsque la sécurité est en jeu, cela compte vraiment. Lorsqu'un conducteur a quitté la route et a été tué dans une Toyota Camry après avoir semblé accélérer sauvagement sans raison apparente, les experts de la Nasa ont passé six mois à examiner les millions de lignes de code de son système d'exploitation, sans trouver de preuves de ce que croyait la famille du conducteur. s'était produit, mais le constructeur a fermement nié - que la voiture avait accéléré de sa propre initiative. Ce n'est que lorsqu'une paire d'experts en logiciels embarqués a passé 20 mois à creuser dans le code qu'ils ont pu prouver le cas de la famille, révélant une masse tordue de ce que les programmeurs appellent "code spaghetti", plein d'algorithmes qui se bousculaient et se battaient, générant une sortie anormale et imprévisible. . Les voitures autonomes actuellement testées peuvent contenir 100 millions de lignes de code et, étant donné qu'aucun programmeur ne peut anticiper toutes les circonstances possibles sur une route du monde réel, elles doivent apprendre et recevoir des mises à jour constantes. Comment éviter les conflits dans un environnement de code aussi fluide, notamment lorsque les algorithmes peuvent également avoir à se défendre contre les pirates ? Il y a vingt ans, George Dyson a anticipé une grande partie de ce qui se passe aujourd'hui dans son livre classique Darwin parmi les machines. Le problème, me dit-il, est que nous construisons des systèmes qui échappent à nos moyens intellectuels de contrôle. Nous pensons que si un système est déterministe (agissant selon des règles fixes, c'est la définition d'un algorithme), il est prévisible – et que ce qui est prévisible peut être contrôlé. Les deux hypothèses se révèlent fausses. "Cela se fait tout seul, par petits morceaux", dit-il. "Ce qui m'obsédait il y a 20 ans et qui a complètement conquis le monde aujourd'hui, ce sont des organismes numériques métazoaires multicellulaires, de la même manière que nous le voyons en biologie, où vous avez tous ces morceaux de code exécutés sur les iPhones des gens, et collectivement, cela agit comme un organisme multicellulaire. "Il y a cette ancienne loi appelée la loi d'Ashby qui dit qu'un système de contrôle doit être aussi complexe que le système qu'il contrôle, et nous nous heurtons à cela à toute vitesse maintenant, avec cette énorme poussée pour construire des voitures autonomes où le logiciel a avoir un modèle complet de tout, et presque par définition, nous n'allons pas le comprendre. Parce que tout modèle que nous comprenons va faire quelque chose comme se heurter à un camion de pompiers parce que nous avons oublié de mettre le camion de pompiers. Contrairement à nos anciens systèmes électromécaniques, ces nouveaux algorithmes sont également impossibles à tester de manière exhaustive. À moins et jusqu'à ce que nous ayons des machines super intelligentes pour le faire pour nous, nous allons marcher sur une corde raide. Dyson se demande si nous aurons un jour des voitures autonomes errant librement dans les rues de la ville, tandis que Toby Walsh, professeur d'intelligence artificielle à l'Université de Nouvelle-Galles du Sud, a écrit son premier programme à l'âge de 13 ans et dirigeait une entreprise d'informatique tyro par son défunt adolescents, explique d'un point de vue technique pourquoi il en est ainsi. « Personne ne sait comment écrire un morceau de code pour reconnaître un panneau d'arrêt. Nous avons passé des années à essayer de faire ce genre de chose dans l'IA - et nous avons échoué ! C'était plutôt bloqué par notre stupidité, parce que nous n'étions pas assez intelligents pour apprendre à décomposer le problème. Vous découvrez quand vous programmez que vous devez apprendre à décomposer le problème en parties suffisamment simples pour que chacune puisse correspondre à une instruction informatique [à la machine]. Nous ne savons tout simplement pas comment faire cela pour un problème très complexe comme identifier un panneau d'arrêt ou traduire une phrase de l'anglais vers le russe - c'est au-delà de nos capacités. Tout ce que nous savons, c'est comment écrire un algorithme à usage plus général qui peut apprendre à le faire avec suffisamment d'exemples. D'où l'accent mis actuellement sur l'apprentissage automatique. Nous savons maintenant que Herzberg, la piétonne tuée par une voiture Uber automatisée en Arizona, est décédée parce que les algorithmes ont hésité à la catégoriser correctement. Était-ce le résultat d'une mauvaise programmation, d'une formation algorithmique insuffisante ou d'un refus hubristique d'apprécier les limites de notre technologie ? Le vrai problème est que nous ne le saurons peut-être jamais. "Et nous finirons par abandonner complètement l'écriture d'algorithmes", poursuit Walsh, "parce que les machines seront capables de le faire bien mieux que nous ne le pourrions jamais. Le génie logiciel est en ce sens peut-être une profession en voie de disparition. Il va être pris en charge par des machines qui seront bien meilleures que nous pour le faire. Walsh pense que cela rend plus important, et non moins, que le public en apprenne sur la programmation, car plus nous en devenons aliénés, plus cela semble magique au-delà de notre capacité à affecter. Lorsqu'on lui a montré la définition d '«algorithme» donnée plus tôt dans cet article, il l'a trouvée incomplète, commentant: «Je suggérerais que le problème est que l'algorithme signifie désormais tout système logiciel de prise de décision complexe et volumineux et l'environnement plus large dans lequel il est intégré, ce qui les rend encore plus imprévisibles. Une pensée effrayante en effet. En conséquence, il pense que l'éthique est la nouvelle frontière de la technologie, prévoyant "un âge d'or pour la philosophie" - un point de vue avec lequel Eugene Spafford de l'Université Purdue, un expert en cybersécurité, est d'accord. «Là où il y a des choix à faire, c'est là que l'éthique entre en jeu. Et nous avons tendance à vouloir avoir une agence que nous pouvons interroger ou blâmer, ce qui est très difficile à faire avec un algorithme. C'est l'une des critiques de ces systèmes jusqu'à présent, en ce qu'il n'est pas possible de revenir en arrière et d'analyser exactement pourquoi certaines décisions sont prises, car le nombre interne de choix est si grand que la façon dont nous sommes arrivés à ce point n'est peut-être pas quelque chose que nous ne pourra jamais recréer pour prouver la culpabilité sans aucun doute. Le contre-argument est qu'une fois qu'un programme a dérapé, toute la population de programmes peut être réécrite ou mise à jour pour que cela ne se reproduise plus - contrairement aux humains, dont la propension à répéter les erreurs fascinera sans doute les machines intelligentes du futur. Néanmoins, alors que l'automatisation devrait être plus sûre à long terme, notre système actuel de droit de la responsabilité délictuelle, qui exige une preuve d'intention ou de négligence, devra être repensé. Un chien n'est pas tenu légalement responsable de vous mordre; son propriétaire peut l'être, mais seulement si l'action du chien est considérée comme prévisible. Dans un environnement algorithmique, de nombreux résultats inattendus n'auraient peut-être pas été prévisibles pour les humains - une caractéristique susceptible de devenir une charte de scélérat, dans laquelle l'obscurcissement délibéré devient à la fois plus facile et plus gratifiant. Les entreprises pharmaceutiques ont bénéficié de la couverture de la complexité pendant des années (voir le cas de la thalidomide), mais ici les conséquences pourraient être à la fois plus importantes et plus difficiles à inverser. Les enjeux militaires Le commerce, les médias sociaux, la finance et les transports pourraient toutefois ressembler à de la petite bière à l'avenir. Si l'armée n'est plus le moteur de l'innovation comme elle le faisait autrefois, elle reste l'adopteur le plus important de la technologie. Il n'est donc pas surprenant qu'une vague d'inquiétude parmi les scientifiques et les techniciens ait accompagné les révélations selon lesquelles des armes autonomes se dirigent vers le champ de bataille dans ce qui équivaut à une course aux armements algorithmique. Un tireur d'élite robotisé surveille actuellement la zone démilitarisée entre la Corée du Nord et la Corée du Sud, et bien que son fabricant, Samsung, nie qu'il soit capable d'autonomie, cette affirmation est largement démentie. La Russie, la Chine et les États-Unis prétendent tous être à divers stades de développement d'essaims de drones coordonnés et armés, tandis que ces derniers prévoient des missiles capables de survoler un champ de bataille pendant des jours, en observant, avant de sélectionner leurs propres cibles. Un groupe d'employés de Google a démissionné et des milliers d'autres ont remis en question la fourniture de logiciels d'apprentissage automatique par le monolithe technologique au programme de "guerre algorithmique" Project Maven du Pentagone - des préoccupations auxquelles la direction a finalement répondu, acceptant de ne pas renouveler le contrat Maven et de publier un code de éthique pour l'utilisation de ses algorithmes. Au moment de la rédaction de cet article, des concurrents, dont Amazon et Microsoft, ont résisté à l'exemple. À l'instar d'autres entreprises technologiques, Google avait revendiqué la vertu morale de son logiciel Maven : qu'il aiderait à choisir des cibles plus efficacement et à sauver ainsi des vies. La question est de savoir comment les responsables techniques peuvent présumer de savoir ce que leurs algorithmes feront ou seront dirigés sur place – en particulier compte tenu de la certitude que toutes les parties développeront des contre-systèmes algorithmiques adaptatifs conçus pour confondre les armes ennemies. Comme dans le marché boursier, l'imprévisibilité est susceptible d'être considérée comme un atout plutôt qu'un handicap, donnant aux armes une meilleure chance de résister aux tentatives de les renverser. De cette manière et d'autres, nous risquons en fait de renverser nos machines, enveloppant notre monde corporel quotidien dans du code spaghetti. Lucy Suchman de l'Université de Lancaster au Royaume-Uni a co-écrit une lettre ouverte de chercheurs en technologie à Google, leur demandant de réfléchir à la précipitation à militariser leur travail. Les motivations des entreprises technologiques sont faciles à comprendre, dit-elle : les contrats militaires ont toujours été lucratifs. Du côté du Pentagone, un vaste réseau de capteurs et de systèmes de surveillance a devancé toute capacité à utiliser les chapes de données ainsi acquises. « Ils sont submergés par les données, car ils disposent de nouveaux moyens pour les collecter et les stocker, mais ils ne peuvent pas les traiter. Donc, c'est fondamentalement inutile - à moins que quelque chose de magique ne se produise. Et je pense que leur recrutement d'entreprises de mégadonnées est une forme de pensée magique dans le sens de : "Voici une technologie magique qui donnera un sens à tout cela." » Suchman propose également des statistiques qui jettent une lumière glaçante sur Maven. Selon l'analyse effectuée sur les attaques de drones au Pakistan de 2003 à 2013, moins de 2 % des personnes tuées de cette manière peuvent être confirmées comme des cibles « de grande valeur » présentant une menace claire pour les États-Unis. Dans la région, 20% sont considérés comme des non-combattants, laissant plus de 75% d'inconnus. Même si ces chiffres étaient d'un facteur deux – ou trois, ou quatre – ils feraient réfléchir toute personne raisonnable. "Nous avons donc ici cette technologie d'identification très grossière et ce que Project Maven propose de faire, c'est d'automatiser cela. À ce stade, il devient encore moins responsable et ouvert aux questions. C'est vraiment une mauvaise idée." La collègue de Suchman, Lilly Irani, de l'Université de Californie à San Diego, nous rappelle que l'information voyage autour d'un système algorithmique à la vitesse de la lumière, sans surveillance humaine. Les discussions techniques sont souvent utilisées comme écran de fumée pour éviter toute responsabilité, suggère-t-elle. "Lorsque nous parlons d'algorithmes, nous parlons parfois de bureaucratie. Les choix que font les concepteurs d'algorithmes et les experts en politique sont présentés comme objectifs, alors que quelqu'un aurait dû en assumer la responsabilité par le passé. Les entreprises technologiques disent qu'elles ne font qu'améliorer la précision avec Maven - c'est-à-dire que les bonnes personnes seront tuées plutôt que les mauvaises - et en disant cela, l'hypothèse politique selon laquelle ces personnes à l'autre bout du monde sont plus tuables, et que le L'armée américaine doit définir à quoi ressemble la suspicion, sans contestation. Les questions technologiques sont donc utilisées pour fermer certaines choses qui sont en fait des questions politiques. Le choix d'utiliser des algorithmes pour automatiser certains types de décisions est également politique. Les conventions juridiques de la guerre moderne, aussi imparfaites soient-elles, supposent la responsabilité humaine des décisions prises. À tout le moins, la guerre algorithmique brouille l'eau d'une manière que nous pourrions regretter. Un groupe d'experts gouvernementaux débat de la question lors de la réunion de la Convention des Nations Unies sur certaines armes conventionnelles (CCW) à Genève cette semaine. À la recherche d'une solution Des solutions existent ou peuvent être trouvées pour la plupart des problèmes décrits ici, mais non sans inciter les grandes technologies à placer la santé de la société sur un pied d'égalité avec leurs résultats. Plus grave à long terme est la conjecture croissante selon laquelle les méthodes de programmation actuelles ne sont plus adaptées à l'objectif étant donné la taille, la complexité et l'interdépendance des systèmes algorithmiques sur lesquels nous nous appuyons de plus en plus. Une solution, employée par la Federal Aviation Authority en relation avec l'aviation commerciale, consiste à consigner et à évaluer le contenu de tous les programmes et des mises à jour ultérieures à un niveau de détail tel que les interactions algorithmiques sont bien comprises à l'avance - mais cela n'est pas pratique sur un grand nombre. échelle. Certaines parties de l'industrie aérospatiale utilisent une approche relativement nouvelle appelée programmation basée sur des modèles, dans laquelle les machines effectuent la majeure partie du travail de codage et sont capables de tester au fur et à mesure. Cependant, la programmation basée sur des modèles n'est peut-être pas la panacée que certains espèrent. Non seulement cela éloigne encore plus les humains du processus, mais Johnson, le physicien, a mené une étude pour le ministère de la Défense qui a trouvé "des comportements extrêmes qui ne pouvaient pas être déduits du code lui-même", même dans de grands systèmes complexes construits à l'aide de cette technique. Beaucoup d'énergie est consacrée à trouver des moyens de retracer un comportement algorithmique inattendu jusqu'aux lignes de code spécifiques qui l'ont provoqué. Personne ne sait si une solution (ou des solutions) sera trouvée, mais aucune ne fonctionnera probablement là où des algos agressifs sont conçus pour entrer en conflit et/ou s'adapter. Alors que nous attendons une réponse technologique au problème de l'enchevêtrement algorithmique croissant, il y a des précautions que nous pouvons prendre. Paul Wilmott, un expert britannique en analyse quantitative et critique virulent du trading à haute fréquence en bourse, suggère avec ironie « d'apprendre à tirer, à faire de la confiture et à tricoter ». Plus concrètement, Spafford, l'expert en sécurité logicielle, conseille de rendre les entreprises technologiques responsables des actions de leurs produits, que des lignes spécifiques de code malveillant - ou une preuve de négligence à leur égard - puissent être identifiées ou non. Il note que la vénérable Association for Computing Machinery a mis à jour son code de déontologie dans le sens du serment d'Hippocrate de la médecine, pour demander aux professionnels de l'informatique de ne pas nuire et de tenir compte des impacts plus larges de leur travail. Johnson, pour sa part, considère que notre malaise algorithmique est au moins en partie conceptuel ; douleurs de croissance dans un nouveau domaine de l'expérience humaine. Il rit en notant que lorsque lui et moi avons parlé pour la dernière fois de ce sujet il y a quelques années, mes questions étaient des préoccupations de niche, limitées à quelques personnes qui se penchaient sur le marché boursier avec des détails inconvenants. « Et maintenant, nous y sommes – cela affecte même les élections. Je veux dire, qu'est-ce qui se passe ? Je pense que la chose scientifique profonde est que les ingénieurs logiciels sont formés pour écrire des programmes pour faire des choses qui optimisent - et avec raison, parce que vous optimisez souvent par rapport à des choses comme la répartition du poids dans un avion, ou un avion le plus économe en carburant rapidité : dans les circonstances habituelles et anticipées, l'optimisation a du sens. Mais dans des circonstances inhabituelles, ce n'est pas le cas, et nous devons nous demander : "Quelle est la pire chose qui puisse arriver dans cet algorithme une fois qu'il commence à interagir avec les autres ?" Le problème est que nous n'avons même pas de mot pour ce concept, beaucoup moins une science pour l'étudier. Il s'arrête un moment, essayant d'envelopper son cerveau autour du problème. «Le fait est que l'optimisation consiste à maximiser ou à minimiser quelque chose, ce qui, en termes informatiques, revient au même. Quel est donc l'opposé d'une optimisation, c'est-à-dire le cas le moins optimal, et comment l'identifie-t-on et le mesure-t-on ? La question que nous devons nous poser, ce que nous ne faisons jamais, est : " Quel est le comportement le plus extrême possible dans un système que je pensais optimiser ?" » Un autre bref silence se termine par une pointe de surprise dans sa voix. une nouvelle science », dit-il.