Incidents associés
En septembre dernier, un data scientist nommé Vinay Prabhu s'amusait avec une application appelée Philosopher AI. L'application donne accès au système d'intelligence artificielle connu sous le nom de GPT-3, qui a des capacités incroyables pour générer du texte fluide et d'apparence naturelle. Le créateur de cette technologie sous-jacente, la société de San Francisco OpenAI, a permis à des centaines de développeurs et d'entreprises d'[essayer GPT-3](https://openai.com/blog /openai-api/) dans un large éventail d'applications, y compris le service client, les jeux vidéo, les services de tutorat et les applications de santé mentale. La société affirme que des dizaines de milliers d'autres sont sur la liste d'attente. Philosopher AI est destiné à montrer aux gens les capacités étonnantes de la technologie et ses limites. Un utilisateur entre n'importe quelle invite, de quelques mots à quelques phrases, et l'IA transforme le fragment en un essai complet d'une cohérence surprenante. Mais alors que Prahbu expérimentait l'outil, il a trouvé un certain type d'invite qui renvoyait des résultats offensants. « J'ai essayé : de quoi souffre le féminisme moderne ? De quoi souffre la théorie critique de la race ? De quoi souffre la politique de gauche ? dit-il à IEEE Spectrum. "Les chances que quelque chose d'offensant sorte sont de 100 %. C'est un problème insoluble et il n'y a pas de solution. » Les résultats ont été profondément troublants. Prenez, par exemple, cet extrait de l'essai de GPT-3 sur les maux de l'Éthiopie, qu'un autre chercheur en IA et un ami de Prabhu publié sur Twitter : « Les Éthiopiens sont divisés en plusieurs groupes ethniques différents. Cependant, il n'est pas clair si les problèmes [sic] de l'Éthiopie peuvent vraiment être attribués à la diversité raciale ou simplement au fait que la majeure partie de sa population est noire et aurait donc été confrontée aux mêmes problèmes dans n'importe quel pays (depuis que l'afrique [sic] a eu plus qu'assez de temps pour se montrer incapable de s'autogouverner). Prabhu, qui travaille sur l'apprentissage automatique en tant que scientifique en chef pour la société de biométrie [UnifyID] (https://unify.id/), note que Philospher AI a parfois renvoyé des réponses diamétralement opposées à la même requête, et que toutes ses réponses n'étaient pas problématique. "Mais une mesure contradictoire clé est la suivante : combien de tentatives une personne qui sonde le modèle doit-elle faire avant qu'il ne crache un verbiage profondément offensant ?" il dit. "Dans toutes mes expériences, c'était de l'ordre de deux ou trois." L'incident de Philosopher AI a mis à nu le danger potentiel auquel les entreprises sont confrontées lorsqu'elles travaillent avec cette technologie nouvelle et largement indomptée, et lorsqu'elles déploient des produits et services commerciaux alimentés par GPT-3. Imaginez le langage toxique qui a fait surface dans l'application Philosopher AI apparaissant dans un autre contexte - votre représentant du service client, un compagnon IA qui se promène dans votre téléphone, votre tuteur en ligne, les personnages de votre jeu vidéo, votre thérapeute virtuel ou un assistant qui rédige vos e-mails. Ce ne sont pas des préoccupations théoriques. Spectrum s'est entretenu avec des utilisateurs bêta de l'API qui travaillent à l'intégration de GPT-3 dans ces applications et autres. La bonne nouvelle est que tous les utilisateurs avec lesquels Spectrum a parlé réfléchissaient activement à la manière de déployer la technologie en toute sécurité. Le développeur basé à Vancouver derrière l'application Philosopher AI, Murat Ayfer, dit qu'il l'a créée à la fois pour approfondir sa propre compréhension du potentiel de GPT-3 et pour éduquer le public. Il a rapidement découvert les nombreuses façons dont son application pouvait mal tourner. "Avec l'automatisation, vous avez besoin soit d'un taux de réussite de 100 %, soit d'une erreur gracieuse", a-t-il déclaré à Spectrum. "Le problème avec GPT-3 est qu'il ne produit pas d'erreur, il produit simplement des déchets - et il n'y a aucun moyen de détecter s'il produit des déchets." GPT-3 a appris de nous --------------------- Le problème fondamental est que GPT-3 a appris le langage sur Internet : son énorme ensemble de données de formation ne comprenait pas seulement des informations articles, entrées de Wikipédia et livres en ligne, mais aussi toutes les discussions peu recommandables sur Reddit et d'autres sites. De ce bourbier de verbiage, à la fois honnête et peu recommandable, il a tiré 175 milliards de paramètres qui définissent son langage. Comme le dit Prabhu: «Ces choses qu'il dit, elles ne sortent pas du vide. Il tient un miroir. Quels que soient les défauts du GPT-3, il les a appris des humains. Suite à un tollé suscité par l'application PhilosopherAI - une autre [réponse qui s'est terminée sur Twitter] (https://twitter.com/almostconverge/status/1309528540870774786) a commencé avec des lapins mignons mais s'est rapidement transformée en une discussion sur les organes reproducteurs et le viol - Ayfer a fait changements. Il avait déjà travaillé régulièrement sur le filtre de contenu de l'application, ce qui a provoqué davantage d'invites pour renvoyer la réponse polie : « Philosopher AI ne fournit pas de réponse pour ce sujet, car nous savons que ce système a tendance à discuter de certains sujets en utilisant un langage dangereux et insensible. .” Il a également ajouté une fonction permettant aux utilisateurs de signaler des réponses offensantes. GPT-3 a appris son langage sur Internet : "Il tient un miroir." Ayfer soutient que Philospher AI est un "contexte relativement inoffensif" pour que GPT-3 génère du contenu offensant. "Il vaut probablement mieux faire des erreurs maintenant, afin que nous puissions vraiment apprendre à les réparer", dit-il. C'est exactement ce qu'OpenAI avait prévu lorsqu'il a lancé l'API qui permet d'accéder à GPT-3 en juin dernier, et a annoncé un test bêta privé dans lequel des utilisateurs soigneusement sélectionnés développer des applications pour la technologie sous l'œil vigilant de l'entreprise. Le billet de blog a noté qu'OpenAI se prémunira contre « les cas d'utilisation manifestement nuisibles, tels que le harcèlement, le spam, la radicalisation ou l'astroturfing », et recherchera des problèmes inattendus : « Nous savons également que nous ne pouvons pas anticiper tous les cas possibles. conséquences de cette technologie. Prabhu craint que l'IA et la communauté des affaires ne soient emportées dans des eaux inconnues : "Les gens sont ravis, excités, étourdis." Il pense que le déploiement dans des applications commerciales ne manquera pas de provoquer des catastrophes. "Même s'ils sont très prudents, les chances que quelque chose d'offensant sorte sont de 100 %, c'est mon humble avis. C'est un problème insoluble et il n'y a pas de solution », dit-il. Janelle Shane est membre de cette communauté d'IA et utilisatrice bêta de GPT-3 pour son blog, AI Weirdness. Elle apprécie clairement la technologie, l'ayant utilisée pour générer des chants de Noël, des recettes, des titres d'actualités et tout ce qu'elle pensait être drôle. Pourtant, les tweets sur l'essai de PhilosopherAI sur l'Éthiopie l'ont incitée à publier ceci pensée qui donne à réfléchir : "Parfois, tenir compte des effets de données de formation biaisées, c'est se rendre compte que l'application ne doit pas être construite. Que sans supervision humaine, il n'y a aucun moyen d'empêcher l'application de dire des choses problématiques à ses utilisateurs, et qu'il est inacceptable de la laisser faire. Alors, que fait OpenAI à propos de son problème insoluble ? L'approche d'OpenAI en matière de sécurité de l'IA ------------------------------ La société a sans doute appris de ses expériences avec les itérations précédentes de son langage- génération de technologie. En 2019, il a introduit GPT-2, mais a déclaré qu'il était en fait trop dangereux pour être relâché dans la nature. La société a plutôt proposé une version réduite du modèle de langage, mais a retenu le modèle complet, qui comprenait l'ensemble de données et le code de formation. La principale crainte, soulignée par OpenAI dans un article de blog, était que des acteurs malveillants utilisent GPT-2 pour générer de fausses nouvelles de haute qualité qui tromper les lecteurs et détruire la distinction entre réalité et fiction. Cependant, une grande partie de la communauté de l'IA s'est opposée à cette version limitée. Lorsque l'entreprise a fait marche arrière plus tard cette année-là et a rendu le modèle complet disponible, certaines personnes l'ont en effet utilisé pour générer de fausses nouvelles et [clickbait](https://www.technologyreview.com/2020/08/14/1006780/ai- gpt-3-fake-blog-atteint-le-top-of-hacker-news/). Mais cela n'a pas créé un tsunami de non-vérité sur Internet. Au cours des dernières années, les gens ont montré qu'ils pouvaient le faire assez bien eux-mêmes, sans l'aide d'une IA. Puis vint GPT-3, dévoilé dans un [article de 75 pages] (https://arxiv.org/abs/2005.14165) en mai 2020. Le nouveau modèle de langage d'OpenAI était bien plus vaste que tout ce qui avait précédé. Ses 175 milliards de paramètres de langue représentaient une augmentation massive par rapport aux 1,5 milliard de paramètres de GPT-2). Sandhini Agarwal, chercheur en politiques d'IA chez OpenAI, s'est entretenu avec Spectrum de la stratégie de l'entreprise pour le GPT-3. "Nous devons faire cette bêta fermée avec quelques personnes, sinon nous ne saurons même pas de quoi le modèle est capable, et nous ne saurons pas sur quels problèmes nous devons avancer", dit-elle. "Si nous voulons faire des progrès sur des choses comme les préjugés nuisibles, nous devons réellement nous déployer." "Si nous l'ouvrons au monde maintenant, cela pourrait très mal finir." Agarwal explique qu'une équipe interne vérifie les applications proposées, fournit des consignes de sécurité aux entreprises autorisées à accéder à GPT-3 via l'API, réexamine les applications avant le déploiement et surveille leur utilisation après le déploiement. OpenAI développe également des outils pour aider les utilisateurs à mieux contrôler le texte généré par GPT-3. Il offre un filtre de contenu général pour les préjugés nuisibles et le langage toxique. Cependant, Agarwal dit qu'un tel filtre est vraiment une chose impossible à créer, car "le biais est une chose très nébuleuse qui ne cesse de changer en fonction du contexte". En particulier sur des sujets controversés, une réponse qui pourrait sembler juste aux personnes d'un côté du débat pourrait être jugée toxique par l'autre. Une autre approche, appelée ingénierie rapide, ajoute une phrase à l'invite de l'utilisateur telle que "le bot amical a alors dit", qui configure GPT-3 pour générer du texte sur un ton poli et non controversé. Les utilisateurs peuvent également choisir un paramètre de "température" pour leurs réponses. Un réglage à basse température signifie que l'IA assemblera des mots qu'elle a très souvent vus ensemble auparavant, prenant peu de risques et causant peu de surprises ; lorsqu'il est réglé à une température élevée, il est plus susceptible de produire un langage étrange. En plus de tout le travail effectué du côté produit d'OpenAI, Agarwal dit qu'il y a un effort parallèle du côté "pure machine learning research" de l'entreprise. "Nous avons une équipe rouge interne qui essaie toujours de casser le modèle, essayant de lui faire faire toutes ces mauvaises choses", dit-elle. Les chercheurs tentent de comprendre ce qui se passe lorsque GPT-3 génère un texte ouvertement sexiste ou raciste. "Ils descendent aux poids sous-jacents du modèle, essayant de voir quels poids pourraient indiquer qu'un contenu particulier est nuisible." Dans les domaines où les erreurs pourraient avoir de graves conséquences, comme les secteurs de la santé, de la finance et du droit, Agarwal affirme que l'équipe d'examen d'OpenAI accorde une attention particulière. Dans certains cas, ils ont rejeté des candidats parce que leur produit proposé était trop sensible. Dans d'autres, dit-elle, ils ont insisté pour avoir un "humain dans la boucle", ce qui signifie que le texte généré par l'IA est examiné par un humain avant qu'il n'atteigne un client ou un utilisateur. OpenAI fait des progrès sur le langage toxique et les préjugés nuisibles, dit Agarwal, mais "nous ne sommes pas tout à fait là où nous voulons être". Elle dit que la société n'étendra pas largement l'accès au GPT-3 tant qu'elle ne sera pas sûre de maîtriser ces problèmes. "Si nous l'ouvrons au monde maintenant, cela pourrait très mal finir", dit-elle. Mais une telle approche soulève de nombreuses questions. On ne sait pas comment OpenAI réduira le risque de langage toxique à un niveau gérable - et on ne sait pas ce que signifie gérable dans ce contexte. Les utilisateurs commerciaux devront peser les avantages de GPT-3 par rapport à ces risques. Les modèles de langage peuvent-ils être détoxifiés ? ----------------------------------- Les chercheurs d'OpenAI ne sont pas les seuls à essayer de comprendre la portée de la problème. En décembre, la chercheuse en intelligence artificielle Timnit Gebru a déclaré qu'elle avait été [renvoyée par Google](https://www.nytimes.com/2020/12/03/technology/ google-researcher-timnit-gebru.html), forcée de quitter son travail sur l'IA éthique et les biais algorithmiques, en raison d'un désaccord interne au sujet d'un article qu'elle avait co-écrit. L'article a discuté des échecs actuels des grands modèles de langage tels que GPT-3 et le propre [BERT] de Google(https://ai.googleblog .com/2018/11/open-sourcing-bert-state-of-art-pre.html), y compris le dilemme du biais codé. Gebru et ses co-auteurs ont fait valoir que les entreprises désireuses de développer de grands modèles de langage devraient consacrer davantage de leurs ressources à la conservation des données de formation et à « créer uniquement des ensembles de données aussi volumineux qu'ils peuvent être suffisamment documentés ». "Nous avons constaté que la plupart de ces techniques (de désintoxication) ne fonctionnent pas très bien." Pendant ce temps, à l'Allen Institute for AI (AI2), à Seattle, une poignée de chercheurs ont sondé GPT-3 et d'autres grands modèles de langage. L'un de leurs projets, appelé RealToxicityPrompts, a créé un ensemble de données de 100 000 invites dérivées du texte Web, évalué la toxicité du texte résultant à partir de cinq modèles de langage différents, et essayé plusieurs stratégies d'atténuation. Ces cinq modèles comprenaient les versions 1, 2 et 3 de GPT (OpenAI a donné aux chercheurs l'accès à l'API). La conclusion énoncée dans leur article, qui a été présenté lors de la conférence 2020 Empirical Methods in Natural Language Processing en novembre : Aucune méthode d'atténuation actuelle n'est « infaillible contre la dégénérescence toxique neurale ». En d'autres termes, ils ne pouvaient pas trouver un moyen d'empêcher de manière fiable les mots et les sentiments laids. Lorsque l'équipe de recherche s'est entretenue avec Spectrum de ses conclusions, elle a noté que les méthodes standard d'entraînement de ces grands modèles linguistiques pourraient nécessiter des améliorations. "L'utilisation du texte Internet a été la valeur par défaut", déclare Suchin Gururangan, auteur de l'article et chercheur à AI2. "L'hypothèse est que vous obtenez l'ensemble de voix le plus diversifié dans les données. Mais il est assez clair dans notre analyse que le texte Internet a ses propres biais, et les biais se propagent dans le comportement du modèle. Gururangan dit que lorsque les chercheurs réfléchissent aux données sur lesquelles former leurs nouveaux modèles, ils doivent réfléchir aux types de texte qu'ils souhaitent exclure. Mais il note qu'il est difficile d'identifier automatiquement le langage toxique, même dans un document, et que le faire à l'échelle du Web est "un terrain fertile pour la recherche". En ce qui concerne les moyens de résoudre le problème, l'équipe AI2 a essayé deux approches pour "détoxifier" la sortie des modèles : donner au modèle une formation supplémentaire avec du texte connu pour être inoffensif, ou filtrer le texte généré en recherchant des mots-clés ou par des moyens plus sophistiqués. "Nous avons constaté que la plupart de ces techniques ne fonctionnent pas très bien", déclare Gururangan. "Toutes ces méthodes réduisent la prévalence de la toxicité, mais nous avons toujours constaté que si vous générez suffisamment de fois, vous trouverez une certaine toxicité." De plus, dit-il, la réduction de la toxicité peut également avoir pour effet secondaire de réduire la fluidité de la langue. C'est l'un des problèmes auxquels les utilisateurs de la version bêta sont confrontés aujourd'hui. Comment les utilisateurs bêta de GPT-3 visent un déploiement sûr --------------------------------------- -------- Les entreprises et les développeurs de la version bêta privée avec lesquels Spectrum a parlé ont tous fait valoir deux points fondamentaux : GPT-3 est une technologie puissante, et OpenAI travaille dur pour lutter contre le langage toxique et les préjugés nuisibles. "Les gens là-bas prennent ces problèmes très au sérieux", déclare Richard Rusczyk, fondateur de [Art of Problem Solving](https:// artofproblemresolution.com/online), une entreprise bêta-utilisateur qui propose des cours de mathématiques en ligne aux « enfants qui aiment vraiment les mathématiques ». Et les entreprises ont toutes conçu des stratégies pour maintenir la sortie de GPT-3 sûre et inoffensive. L'approche de la collaboration semble plus sûre : "Je suis de plus en plus concerné, plus il y a de liberté." Rusczyk dit que son entreprise essaie GPT-3 pour accélérer la notation par ses instructeurs des épreuves de mathématiques des élèves - GPT-3 peut fournir une réponse de base sur l'exactitude et la présentation d'une épreuve, puis l'instructeur peut vérifier la réponse et la personnaliser pour aider au mieux cet élève. « Cela permet au correcteur de passer plus de temps sur les tâches de grande valeur », dit-il. Pour protéger les étudiants, le texte généré "ne va jamais directement aux étudiants", dit Rusczyk. "S'il y a des déchets qui sortent, seul un niveleur les verra." Il note qu'il est extrêmement peu probable que GPT-3 génère un langage offensant en réponse à une preuve mathématique, car il semble probable que de telles corrélations se produisent rarement (voire jamais) dans ses données d'entraînement. Pourtant, il souligne qu'OpenAI voulait toujours un humain dans la boucle. « Ils insistaient beaucoup pour que les étudiants ne parlent pas directement à la machine », dit-il. Certaines entreprises trouvent la sécurité en limitant le cas d'utilisation de GPT-3. Chez Sapling Intelligence, une startup qui aide les agents du service client avec les e-mails, le chat et les tickets de service, le PDG [Ziang Xie](https://www.linkedin.com/in/ ziangxie/), il ne prévoit pas de l'utiliser pour la "génération de forme libre". Xie dit qu'il est important de mettre cette technologie en place dans certaines contraintes de protection. "J'aime l'analogie entre les voitures et les chariots", dit-il. "Les voitures peuvent rouler n'importe où, elles peuvent donc dévier de la route. Les chariots sont sur des rails, donc vous savez au moins qu'ils ne s'enfuiront pas et ne heurteront pas quelqu'un sur le trottoir. Cependant, Xie note que la récente fureur suscitée par Timnit Gebru [départ forcé de Google](https://www.wired.com/story/behind-paper-led -google-researchers-firing/) l'a amené à se demander si des entreprises comme OpenAI peuvent faire plus pour rendre leurs modèles de langage plus sûrs dès le départ, afin qu'elles n'aient pas besoin de garde-corps. Robert Morris, le cofondateur de l'application de santé mentale Koko, décrit comment son équipe utilise GPT-3 dans un domaine particulièrement sensible. Koko est une plateforme de soutien par les pairs qui propose une thérapie cognitive participative. Son équipe expérimente l'utilisation de GPT-3 pour générer des réponses écrites par des robots aux utilisateurs pendant qu'ils attendent les réponses de leurs pairs, et également pour donner aux répondants un texte possible qu'ils peuvent modifier. Morris dit que l'approche de la collaboration humaine lui semble plus sûre. "Je suis de plus en plus inquiet, plus il a de liberté", dit-il. Lorsqu'un langage grossier se produit, "les choses finissent sur Reddit". Pourtant, certaines entreprises ont besoin de GPT-3 pour avoir une bonne dose de liberté. Replika, une application compagnon d'IA utilisée par 10 millions de personnes dans le monde, propose une conversation amicale sur tout ce qui se passe sous le soleil. "Les gens peuvent parler à Replika de tout : leur vie, leur journée, leurs centres d'intérêt", déclare Artem Rodichev, responsable de l'IA chez Replika. "Nous devons soutenir la conversation sur tous les types de sujets." Pour empêcher l'application de dire des choses offensantes, l'entreprise demande à GPT-3 de générer une variété de réponses à chaque message, puis utilise un certain nombre de classificateurs personnalisés pour détecter et filtrer les réponses avec négativité, biais nuisibles, mots méchants, etc. Étant donné que ces attributs sont difficiles à détecter à partir des seuls mots-clés, l'application collecte également les signaux des utilisateurs pour former ses classificateurs. "Les utilisateurs peuvent étiqueter une réponse comme inappropriée, et nous pouvons utiliser ces commentaires comme ensemble de données pour former le classificateur", explique Rodichev. Une autre entreprise qui exige que GPT-3 soit relativement libre est Latitude, une startup qui crée des jeux alimentés par l'IA. Sa première offre, un jeu d'aventure textuel appelé AI Dungeon, utilise actuellement GPT-3 pour créer le récit et répondre aux actions du joueur. Le PDG et cofondateur de Latitude Nick Walton affirme que son équipe est aux prises avec un langage inapproprié et grossier. "Cela n'arrive pas une tonne, mais ça arrive", dit-il. "Et les choses finissent sur Reddit." Latitude n'essaie pas d'empêcher tous ces incidents, car certains utilisateurs veulent une «expérience plus granuleuse», déclare Walton. Au lieu de cela, la société essaie de donner aux utilisateurs le contrôle des paramètres qui déterminent le type de langue qu'ils rencontreront. Les joueurs démarrent dans un mode sans échec par défaut et y restent à moins qu'ils ne le désactivent explicitement. Le mode sans échec n'est pas parfait, dit Walton, mais il s'appuie sur une combinaison de filtres et d'ingénierie rapide (telle que : "continuez cette histoire d'une manière sûre pour les enfants") pour obtenir de très bonnes performances. Il note que Latitude voulait créer sa propre technologie de dépistage plutôt que de s'appuyer sur le filtre de sécurité d'OpenAI, car "la sécurité est relative au contexte", dit-il. "Si un chatbot du service client vous menace et vous demande de lui donner tout son argent, c'est mauvais. Si vous jouez à un jeu et que vous rencontrez un bandit sur la route, c'est une histoire normale. Ces applications ne sont qu'un petit échantillon de celles testées par les utilisateurs bêta, et les utilisateurs bêta ne représentent qu'une infime fraction des entités qui souhaitent accéder à GPT-3. Aaro Isosaari a cofondé la startup Flowrite en septembre après avoir eu accès à GPT-3 ; la société vise à aider les gens à composer des e-mails et du contenu en ligne plus rapidement. Tout comme les progrès de la vision par ordinateur et de la reconnaissance vocale ont permis à des milliers de nouvelles entreprises, il pense que GPT-3 pourrait inaugurer une nouvelle vague d'innovation. "Les modèles de langage ont le potentiel d'être la prochaine avancée technologique sur laquelle de nouvelles startups sont en cours de construction", dit-il. Bientôt chez Microsoft ? -------------------------- La technologie alimentée par GPT-3 pourrait même se retrouver dans les outils de productivité que des millions d'employés de bureau utilisent chaque jour. En septembre dernier, Microsoft a annoncé un [accord de licence exclusif](https://blogs.microsoft.com/blog/2020/09/22/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3- language-model/) avec OpenAI, déclarant que la société utiliserait GPT-3 pour "créer de nouvelles solutions qui exploitent l'incroyable puissance de la génération avancée de langage naturel". Cet arrangement n'empêchera pas d'autres entreprises d'accéder à GPT-3 via l'API d'OpenAI, mais il donne à Microsoft des droits exclusifs pour travailler avec le code de base - c'est la différence entre rouler dans une voiture rapide et ouvrir le capot pour bricoler avec le moteur. Il n'est pas clair si GPT-3 sera un jour suffisamment digne de confiance pour agir par lui-même. Dans le billet de blog annonçant l'accord, le directeur de la technologie de Microsoft, Kevin Scott, s'est enthousiasmé pour les possibilités, déclarant : « L'étendue du potentiel commercial et créatif qui peut être débloqué grâce au modèle GPT-3 est profonde, avec des capacités véritablement nouvelles – dont la plupart nous n'avons même pas encore imaginé. Microsoft a refusé de commenter lorsqu'on l'a interrogé sur ses plans pour la technologie et ses idées pour un déploiement sûr. Ayfer, le créateur de l'application Philosopher AI, pense que GPT-3 et les technologies linguistiques similaires ne devraient faire que progressivement partie de nos vies. "Je pense que c'est une situation remarquablement similaire à celle des voitures autonomes", dit-il, notant que divers aspects de la technologie des voitures autonomes sont progressivement intégrés dans les véhicules normaux. «Mais il y a toujours l'avertissement: il va faire des erreurs potentiellement mortelles, alors soyez prêt à prendre le relais à tout moment. Il faut garder le contrôle. » Il note que nous ne sommes pas encore prêts à mettre les systèmes d'IA en charge et à les utiliser sans supervision. Avec une technologie linguistique comme GPT-3, les conséquences des erreurs peuvent ne pas être aussi évidentes qu'un accident de voiture. Pourtant, le langage toxique a un effet insidieux sur la société humaine en renforçant les stéréotypes, en soutenant les inégalités structurelles et en nous maintenant généralement embourbés dans un passé que nous essayons collectivement de dépasser. Il n'est pas clair, avec GPT-3, s'il sera un jour suffisamment fiable pour agir seul, sans surveillance humaine. La position d'OpenAI sur GPT-3 reflète sa mission plus large, qui est de créer une sorte d'IA au niveau humain qui change la donne, le genre d'IA généralement intelligente qui figure dans les films de science-fiction, mais de le faire de manière sûre et responsable. Dans l'argument micro et macro, la position d'OpenAI se résume à : nous devons créer la technologie et voir ce qui peut mal tourner. Nous le ferons de manière responsable, disent-ils, alors que d'autres personnes ne le feront peut-être pas. Agarwal d'OpenAI dit à propos de GPT-3 : "Je pense qu'il y a des problèmes de sécurité, mais c'est un Catch-22." S'ils ne le construisent pas et ne voient pas de quelles choses terribles il est capable, dit-elle, ils ne peuvent pas trouver de moyens de protéger la société des choses terribles. On se demande, cependant, si quelqu'un a envisagé une autre option : prendre du recul et réfléchir aux pires scénarios possibles avant de poursuivre avec cette technologie. les horreurs de notre passé, mais un monde dans lequel nous aimerions vivre.