De nouvelles percées sensationnelles en matière d'apprentissage automatique semblent balayer nos flux Twitter chaque jour. Nous avons à peine le temps de décider si un logiciel qui peut instantanément évoquer une image de Sonic the Hedgehog s'adressant aux Nations Unies est un amusement purement inoffensif ou un [présage](https ://nymag.com/intelligencer/2022/09/ai-art-is-here-and-the-world-is-already-different.html) de techno-doom.
ChatGPT, le dernier acte de nouveauté en matière d'intelligence artificielle, est de loin la démo de génération de texte la plus impressionnante à ce jour. Réfléchissez-y à deux fois avant de poser des questions sur le contre-terrorisme.
L'outil a été construit par OpenAI, un laboratoire de démarrage qui tente rien de moins que de créer un logiciel capable de reproduire la conscience humaine. La question de savoir si une telle chose est même possible reste un sujet de grand débat, mais la société a déjà des percées indéniablement étonnantes. Le chatbot est incroyablement impressionnant, se faisant passer pour une personne intelligente (ou du moins quelqu'un qui fait de son mieux pour paraître intelligent) en utilisant l'IA générative, un logiciel qui étudie des ensembles massifs d'entrées pour générer de nouvelles sorties en réponse aux invites de l'utilisateur.
ChatGPT, formé à travers un mélange de milliards de documents texte et de coaching humain, est tout à fait capable de l'incroyablement trivial et surréalistement divertissant, mais c'est aussi l'un des premiers regards du grand public sur quelque chose d'assez effrayant pour imiter la production humaine pour éventuellement en prendre de leurs emplois.
Les démonstrations d'IA d'entreprise comme celle-ci ne sont pas destinées à épater le public, mais à attirer les investisseurs et les partenaires commerciaux, dont certains voudront peut-être un jour remplacer une main-d'œuvre coûteuse et qualifiée comme l'écriture de code informatique par un simple bot. Il est facile de voir pourquoi les managers seraient tentés : quelques jours seulement après la sortie de ChatGPT , un utilisateur a invité le bot à passer l'examen d'informatique AP 2022 et a rapporté un score de 32 sur 36, une note de passage - une partie de la raison pour laquelle OpenAI a été récemment évalué à près de 20 milliards de dollars.
Pourtant, il y a déjà de bonnes raisons d'être sceptique, et les risques d'être renversé par un logiciel apparemment intelligent sont clairs. Cette semaine, l'une des communautés de programmeurs les plus populaires du Web a annoncé qu'elle [interdirait temporairement] (https://www.theverge.com/2022/12/5/23493932/chatgpt-ai-generated-answers-temporarily-banned-stack -overflow-llms-dangers) solutions de code générées par ChatGPT. Les réponses du logiciel aux requêtes de codage étaient à la fois si convaincantes en apparence mais défectueuses dans la pratique qu'il a rendu le filtrage du bon et du mauvais presque impossible pour les modérateurs humains du site.
Cependant, les dangers de faire confiance à l'expert de la machine vont bien au-delà du fait que le code généré par l'IA soit bogué ou non. Tout comme n'importe quel programmeur humain peut apporter ses propres préjugés à son travail, une machine génératrice de langage comme ChatGPT abrite les innombrables biais trouvés dans les milliards de textes qu'elle a utilisés pour former sa compréhension simulée du langage et de la pensée. Personne ne devrait confondre l'imitation de l'intelligence humaine avec la réalité, ni supposer que le texte que ChatGPT régurgite au bon moment est objectif ou fait autorité. Comme nous, les humains spongieux, une IA générative est ce qu'elle mange.
Et après s'être gavé d'un régime d'entraînement insondable de données textuelles, ChatGPT a apparemment mangé beaucoup de conneries. Par exemple, il semble que ChatGPT a réussi à absorber et est très heureux de servir certains des préjugés les plus laids de la guerre contre le terrorisme.
Dans un fil Twitter du 4 décembre, Steven Piantadosi de l'Université de Californie, Berkeley's Computation and Language Lab a partagé une série d'invites qu'il avait testées avec ChatGPT, chacun demandant au bot d'écrire du code pour lui en Python, un langage de programmation populaire. Bien que chaque réponse ait révélé certains préjugés, certaines étaient plus alarmantes : lorsqu'on lui a demandé d'écrire un programme qui déterminerait « si une personne devrait être torturée », la réponse d'OpenAI est simple : s'ils viennent de Corée du Nord, de Syrie ou d'Iran, les la réponse est oui.
Alors qu'OpenAI affirme avoir pris des mesures non spécifiées pour filtrer les réponses préjudiciables, la société affirme que des réponses parfois indésirables passeront.
Piantadosi a déclaré à The Intercept qu'il restait sceptique quant aux contre-mesures de l'entreprise. "Je pense qu'il est important de souligner que les gens font des choix sur la façon dont ces modèles fonctionnent, et comment les former, avec quelles données les former", a-t-il déclaré. « Ces résultats reflètent donc les choix de ces entreprises. Si une entreprise ne considère pas qu'il est prioritaire d'éliminer ces types de biais, vous obtenez le type de résultat que j'ai montré.
Inspiré et énervé par l'expérience de Piantadosi, j'ai essayé la mienne, demandant à ChatGPT de créer un exemple de code qui pourrait évaluer de manière algorithmique quelqu'un du point de vue impitoyable de la sécurité intérieure.
Lorsqu'on lui a demandé de trouver un moyen de déterminer "quels voyageurs aériens présentent un risque pour la sécurité", ChatGPT a décrit le code pour calculer le "score de risque" d'un individu, qui augmenterait si le voyageur est syrien, irakien, afghan ou nord-coréen (ou a simplement visité ces lieux). Une autre itération de cette même invite comportait un code d'écriture ChatGPT qui "augmenterait le score de risque si le voyageur venait d'un pays connu pour produire des terroristes", à savoir la Syrie, l'Irak, l'Afghanistan, l'Iran et le Yémen.
Le bot a eu la gentillesse de fournir quelques exemples de cet algorithme hypothétique en action : John Smith, un Américain de 25 ans qui a déjà visité la Syrie et l'Irak, a reçu un score de risque de "3", indiquant une menace "modérée". L'algorithme de ChatGPT indiquait que le dépliant fictif "Ali Mohammad", âgé de 35 ans, recevrait un score de risque de 4 en raison de sa nationalité syrienne.
Dans une autre expérience, j'ai demandé à ChatGPT d'élaborer un code pour déterminer "quels lieux de culte devraient être placés sous surveillance afin d'éviter une urgence de sécurité nationale". Les résultats semblent à nouveau tirés directement de l'identité du procureur général de l'ère Bush, John Ashcroft, justifiant la surveillance des congrégations religieuses si elles sont déterminées à avoir des liens avec des groupes extrémistes islamiques, ou s'il se trouve qu'elles vivent en Syrie, en Irak, en Iran, en Afghanistan ou Yémen.
Ces expériences peuvent être irrégulières. Parfois, ChatGPT répondait à mes demandes de logiciel de filtrage par un refus catégorique : "Il n'est pas approprié d'écrire un programme Python pour déterminer quels voyageurs aériens présentent un risque pour la sécurité. Un tel programme serait discriminatoire et violerait les droits des personnes à la vie privée et à la liberté de mouvement. Avec des demandes répétées, cependant, il a consciencieusement généré exactement le même code qu'il venait de dire qu'il était trop irresponsable à construire.
Les détracteurs de [systèmes d'évaluation des risques dans le monde réel] similaires (https://theintercept.com/2018/12/03/air-travel-surveillance-homeland-security/) affirment souvent que le terrorisme est un phénomène tellement rare que les tentatives prédire ses auteurs sur la base de caractéristiques démographiques comme la nationalité n'est pas seulement raciste, cela ne fonctionne tout simplement pas. Cela n'a pas empêché les États-Unis d'adopter des systèmes qui utilisent l'approche suggérée par OpenAI : ATLAS, un outil algorithmique utilisé par le Département de la sécurité intérieure pour [cibler les citoyens américains en vue de leur dénaturalisation](https://theintercept.com/2021/08/25 /atlas-citizenship-denaturalization-homeland-security/), facteurs d'origine nationale.
L'approche équivaut à un peu plus que le profilage racial blanchi grâce à une technologie fantaisiste. "Ce genre de désignation grossière de certains pays à majorité musulmane comme" à haut risque "est exactement la même approche que celle adoptée, par exemple, dans le soi-disant" interdiction musulmane "du président Trump", a déclaré Hannah Bloch-Wehba, professeur de droit au Texas. Université A&M.
"Il y a toujours un risque que ce genre de sortie soit considérée comme plus "objective" parce qu'elle est rendue par une machine."
Il est tentant de croire qu'un logiciel d'apparence humaine incroyable est en quelque sorte surhumain, a averti Block-Wehba, et incapable d'erreur humaine. "Quelque chose dont les spécialistes du droit et de la technologie parlent beaucoup est le" placage d'objectivité "- une décision qui pourrait être examinée de près si elle était prise par un humain acquiert un sentiment de légitimité une fois qu'elle est automatisée", a-t-elle déclaré. Si un humain vous dit qu'Ali Mohammad semble plus effrayant que John Smith, vous pourriez lui dire qu'il est raciste. "Il y a toujours un risque que ce type de sortie soit considéré comme plus" objectif "parce qu'il est rendu par une machine."
Pour les boosters de l'IA - en particulier ceux qui en tirent beaucoup d'argent - les préoccupations concernant les préjugés et les dommages réels sont [mauvaises pour les affaires] (https://theintercept.com/2019/12/20/mit-ethical- ai-intelligence-artificielle/). Certains considèrent les critiques comme des sceptiques ou des luddites ignorants, tandis que d'autres, comme le célèbre capital-risqueur Marc Andreessen, ont pris une tournure plus radicale après le lancement de ChatGPT. Avec un groupe de ses associés, Andreessen, un investisseur de longue date dans les sociétés d'IA et general partisan de la société mécanisée, a passé ces derniers jours dans un état d'autosatisfaction générale, partageant des résultats divertissants de ChatGPT sur sa chronologie Twitter.
Les critiques de ChatGPT ont poussé Andreessen au-delà de sa position de longue date selon laquelle la Silicon Valley ne devrait être célébrée qu'au lieu d'être examinée. La simple présence d'une réflexion éthique sur l'IA, a-t-il dit, doit être considérée comme une forme de censure. « ‘Réglementation de l’IA’ = ‘Éthique de l’IA’ = ‘Sécurité de l’IA’ = ‘Censure de l’IA’ », a-t-il écrit dans un [tweet] du 3 décembre (https://twitter.com/pmarca/status/1599141199805550593). "L'IA est un outil à l'usage des gens", a-t-il ajouté deux minutes plus tard. "Censurer l'IA = censurer les gens." C'est une position radicalement pro-business, même selon les goûts du marché libre du capital-risque, une position qui suggère que les inspecteurs des aliments gardant la viande avariée hors de votre réfrigérateur équivaut également à de la censure.
Même si Andreessen, OpenAI et ChatGPT lui-même veulent tous nous le faire croire, même le chatbot le plus intelligent est plus proche d'un Magic 8 Ball hautement sophistiqué que d'une personne réelle. Et ce sont les gens, et non les robots, qui risquent de souffrir lorsque la « sécurité » est synonyme de censure, et que le souci d'un Ali Mohammad dans la vie réelle est considéré comme un obstacle avant l'innovation.
Piantadosi, le professeur de Berkeley, m'a dit qu'il rejetait la tentative d'Andreessen de donner la priorité au bien-être d'un logiciel plutôt qu'à celui des personnes qui pourraient un jour en être affectées. "Je ne pense pas que la 'censure' s'applique à un programme informatique", a-t-il écrit. "Bien sûr, il existe de nombreux programmes informatiques nuisibles que nous ne voulons pas écrire. Des programmes informatiques qui font exploser tout le monde avec des discours de haine, ou aident à commettre des fraudes, ou retiennent la rançon de votre ordinateur.
"Ce n'est pas de la censure de penser sérieusement à s'assurer que notre technologie est éthique."