Problème 2850

Quelques jours après que Google et Microsoft ont annoncé qu'ils fourniraient des résultats de recherche générés par des chatbots - des logiciels artificiellement intelligents capables de produire une prose étrangement humaine - j'ai eu peur que nos nouveaux assistants IA [ne soient pas dignes de confiance](https:// www.businessinsider.com/ai-chatbots-chatgpt-google-bard-microsoft-bing-break-internet-search-2023-2). Après tout, les propres chercheurs en intelligence artificielle de Google avaient averti l'entreprise que les chatbots seraient "des perroquets stochastiques" (susceptibles de dire des choses qui sont fausses, stupides ou offensant) et "sujet à des hallucinations" (susceptible d'inventer des choses). Les robots, s'appuyant sur ce que l'on appelle de grands modèles de langage, "sont entraînés à prédire la probabilité des énoncés", a écrit l'année dernière une équipe de DeepMind, la société d'intelligence artificielle appartenant à Alphabet, dans une [présentation sur les risques des LLM] ( https://doi.org/10.1145/3531146.3533088). "Pourtant, qu'une phrase soit ou non probable n'indique pas de manière fiable si la phrase est également correcte."

En d'autres termes, ces chatbots ne sont pas vraiment intelligents. Ce sont des idiots de menteurs.

Il n'a pas fallu longtemps aux chatbots eux-mêmes pour le prouver. Une annonce la semaine dernière pour le bot de Google, Bard, montrait qu'il obtenait une [réponse erronée à une question](https://markets.businessinsider.com/news/stocks/google-alphabet-stock-ai-bard-chatgpt-report- annonce-réponse-inexacte-2023-2 ); la valorisation des actions de la société a pris un coup de plusieurs milliards de dollars. Entre-temps, les réponses que le bot de Bing, Sydney, a données dans sa démonstration ouverte, n'ont [pas résisté à des vérifications factuelles, même rudimentaires] (https://dkb.blog/p/bing-ai-cant-be-trusted).

Ça a l'air mauvais ! La recherche en ligne était déjà une bataille sans escale contre le spam, le charabia optimisé pour les moteurs de recherche, et les besoins des annonceurs. Mais les moteurs de recherche n'en étaient pas moins une mitsva sociétale. Ils ont mis de l'ordre dans l'espace de données chaotique d'Internet et se sont situés quelque part entre l'information et la connaissance, nous aidant à transformer l'un en l'autre. Nous avons appris à leur faire confiance.

Et c'est comme ça qu'ils nous ont eu. Les chatbots sont des moteurs de conneries conçus pour dire des choses avec une certitude incontestable et un manque total d'expertise. Pas étonnant que l'élite technologique les appelle en plaisantant "mansplaining as a service." Et maintenant, ils vont diriger la principale façon dont les humains acquièrent des connaissances au jour le jour.

Alors pourquoi achetons-nous leurs conneries ? Même si nous savons dès le départ que nos nouveaux robots bibliothécaires sont profondément imparfaits, nous allons quand même les utiliser des millions et des millions de fois par heure et agir en fonction des réponses qu'ils nous donnent. Qu'est-ce qui fait que les êtres humains font confiance à une machine dont nous savons qu'elle n'est pas digne de confiance ?

Pour être honnête, personne ne sait vraiment pourquoi quelqu'un croit quelque chose. Après des millénaires de débats, les plus grands philosophes, psychologues et neuroscientifiques du monde ne se sont même pas mis d'accord sur un mécanisme expliquant pourquoi les gens en viennent à croire les choses, ou ce que sont même les croyances. Il est donc difficile de savoir comment ils fonctionnent ou pourquoi une chose est plus crédible qu'une autre. Mais j'ai quelques spéculations sur les raisons pour lesquelles nous allons tomber amoureux du shtick de ChatGPT. Nous, les humains, aimons un escroc habile avec des références impressionnantes. Et les robots ne feront que devenir plus sophistiqués pour nous escroquer.

Chiffres d'autorité

Au cours des deux dernières décennies, de nombreuses recherches ont été menées sur pourquoi les gens croient à la désinformation. La plupart de ces travaux supposaient que nous rencontrions principalement de la fiction se présentant comme un fait sous forme de propagande ou de médias sociaux. Mais cela est sur le point de changer. La désinformation sera désormais intégrée dans les moteurs de recherche que nous utilisons. Et une publication sur Facebook a beaucoup moins de crédibilité qu'une réponse à une question que vous avez recherchée sur Google.

Maintenant, toutes les croyances ne sont pas fermement ancrées, ni même fondées sur des preuves. Alors peut-être que les gens traiteront les réponses des chatbots comme nous traitons toute nouvelle information. Joe Vitriol, politologue à l'Université de Lehigh qui étudie la désinformation, dit qu'il s'attend à ce que les gens "acceptent sa production de manière biaisée ou intéressée, comme les gens le font avec toute autre source d'information". En d'autres termes, les gens croiront un chatbot s'il leur dit des choses qui correspondent à leurs croyances et opinions existantes, tout comme ils le font avec les résultats Google traditionnels. Que le chatbot dise la vérité ou hallucine n'a pas vraiment d'importance.

L'emballage de ces réponses - dans des paragraphes pas très différents de celui que vous lisez, mais avec l'imprimatur de Google - pourrait faire pencher davantage la balance vers la crédulité. Nous voulons que les résultats de Google soient vrais, car nous considérons Google comme un arbitre de confiance, voire une autorité. "Les utilisateurs naïfs peuvent supposer que le bot a une crédibilité que les acteurs humains n'ont pas", déclare Vitriol. "Je me demande si les gens seront particulièrement susceptibles de négliger ou d'écarter la possibilité que le bot, en particulier dans sa forme actuelle, souffre des mêmes biais et erreurs de raisonnement que les humains."

C'est là que je soupçonne que la capacité d'un chatbot à générer de la prose, par opposition à une liste de liens utiles, devient dangereuse. Les gens transmettent des croyances socialement, à travers le langage. Et lorsque beaucoup d'entre nous partagent un système de croyances, nous formons un groupe plus cohérent et harmonieux. Mais c'est un système piratable. Parce que les idées qui sont bien communiquées - en utilisant les bons mots, la formulation et le ton - peuvent sembler plus convaincantes. Les robots utilisent le "je" à la première personne, même s'il n'y a personne. Pour un lecteur occasionnel, les réponses de Bard et de Sydney apparaîtront comme suffisamment humaines, ce qui signifie qu'elles se sentiront d'autant plus vraies.

Le pouvoir de l'histoire

Une autre explication possible de la raison pour laquelle nous sommes dingues de chatbots est que nous sommes dingues de explication. À un certain niveau humain de base, c'est vraiment, vraiment satisfaisant d'échanger la perplexité contre la certitude. Cela nous fait nous sentir intelligents et contrôler des choses sur lesquelles nous n'avons aucun contrôle.

Le problème est que nous ne savons pas vraiment ce qui fait que les gens tombent amoureux d'une explication plutôt que d'une autre. Certaines recherches suggèrent que les explications les plus puissantes sont celles qui sont [les plus simples et les plus largement applicables] (http://dx.doi.org/10.1016/j.tics.2016.08.001). D'autres recherches ont indiqué que s'ils ont le choix, les gens sont plus susceptibles de croire les histoires qui contiennent plus de détails. (Kieran Healy, sociologue à l'Université Duke, a écrit un article dénonçant notre tendance à trop compliquer les choses ; il l'a intitulé "Fuck Nuance.") Et une méta-analyse de 61 articles sur cinq décennies de recherche a révélé que le contexte est ce qui compte le plus. Dans les domaines émotionnels, une dose de narration rend une explication plus crédible. Dans les affaires moins personnelles, comme la politique publique, les gens préfèrent avoir des faits sans narration.

Les chatbots sont des moteurs de conneries conçus pour dire des choses avec une certitude incontestable et un manque total d'expertise.

"Je ne crois pas qu'il y ait un consensus sur ce qui rend une explication attrayante", déclare Duncan Watts, sociologue qui enseigne à l'Université de Pennsylvanie. Et cela, gardez à l'esprit, vient d'un gars qui enseigne un cours appelé Expliquer les explications.

Mais quel que soit ce certain je ne sais quoi, les chatbots IA semblent l'avoir. Quelques jours seulement avant que Google et Microsoft n'annoncent leur botification imminente, une équipe de spécialistes des sciences sociales de Stanford a publié une prépublication fascinante. Ils ont montré à des milliers de personnes de courts articles convaincants sur des sujets d'actualité tels que l'interdiction des armes d'assaut et les taxes sur le carbone. Certaines versions ont été écrites par un chatbot GPT-3 ; d'autres par un humain. Ensuite, les scientifiques ont mesuré à quel point les gens changeaient d'opinion en fonction des articles.

Il s'avère que les messages générés par l'IA étaient tout aussi convaincants que les messages humains. Mais la partie sauvage est pourquoi. Lorsque les chercheurs ont débriefé leurs sujets humains, ceux qui préféraient les articles sur le chatbot ont déclaré que les messages artisanaux créés par l'homme reposaient trop sur l'anecdote et l'imagerie. Le GPT-3 était davantage fondé sur des preuves et bien raisonné. La qualité même qui rendait le robot moins humain rendait les humains plus susceptibles d'y croire. Tout comme leurs ancêtres "Terminator", les chatbots ne ressentaient ni pitié, ni remords, ni peur. Et ils ne se sont absolument pas arrêtés, jamais, jusqu'à ce que les sujets humains soient convaincus.

Espèce de bâtard paresseux

Ainsi, les chatbots mentiront et se tromperont. Ma plus grande inquiétude est que les utilisateurs de Google et de Bing le sachent et ne s'en soucieront tout simplement pas. Une théorie expliquant pourquoi la désinformation et les fausses nouvelles se propagent est que les gens sont carrément paresseux. Ils achètent tout ce qu'une source fiable vend. Si les chatbots réussissent la plupart du temps, c'est suffisant. Jusqu'à ce que, par exemple, votre vol ne parte pas à ce moment-là de cet aéroport. Ou votre maison prend feu parce que vous avez mal installé un interrupteur.

Il y a quelques semaines, j'ai demandé à Watts, le sociologue, de m'aider sur une histoire expliquant pourquoi les gens croient [les théories du complot loufoques](https://www.businessinsider.com/why-people-believe-conspiracy-theory-overconfidence-2023 -1). Il m'a suggéré de lire un article de 25 ans d'Alison Gopnik, psychologue à l'Université de Californie à Berkeley, intitulé "Explanation as Orgasm."

Gopnik est surtout connue pour ses travaux sur la psychologie du développement des enfants. Elle dit que les tout-petits créent des modèles mentaux du monde en utilisant des observations pour tester des hypothèses – la méthode scientifique, essentiellement. Mais dans son article sur les explications, Gopnik suggère que les humains ont deux systèmes pour comprendre comment le monde fonctionne. L'une est de se demander pourquoi les choses sont comme elles sont - un "système hmm", si vous voulez. L'autre sert à développer des explications – un "système aha". Comme nos systèmes biologiques pour la reproduction et l'orgasme, dit Gopnik, les deux systèmes cognitifs sont liés mais séparés. On peut faire l'un sans faire l'autre. Le second se sent bien, et c'est une récompense pour avoir fait le premier.

Mais le système aha est trompeur. Les expériences psychédéliques peuvent induire le sentiment que "tout a un sens", même si elles ne produisent pas d'explication articulée sur le comment. Les rêves peuvent aussi le faire. C'est pourquoi lorsque vous vous réveillez à 3 heures du matin et que vous vous écrivez une note pour vous souvenir d'une idée brillante qui vous est venue pendant votre sommeil, vos gribouillis n'ont aucun sens le lendemain matin.

En d'autres termes, le sentiment d'avoir quelque chose qui ressemble à une explication peut être si bon qu'il peut submerger la partie de notre esprit qui avait la question en premier lieu. Nous confondons une réponse avec la réponse.

Ce n'est pas censé être comme ça. En 1877, un philosophe du nom de William Clifford a écrit un article intitulé "L'éthique de la croyance" dans lequel il soutient que la croyance doit provenir d'une enquête patiente, et pas seulement de la suppression du doute. Nos idées sont un bien commun, insiste-t-il, un « héritage » transmis aux générations suivantes. C'est "un affreux privilège et une affreuse responsabilité que nous devrions aider à créer le monde dans lequel vivra la postérité".

La tentation d'esquiver cette responsabilité est puissante. Clifford, comme Gopnik, a compris que les explications font du bien même lorsqu'elles sont fausses. "C'est le sens du pouvoir attaché au sens de la connaissance qui rend les hommes désireux de croire et effrayés de douter", explique Clifford. Soyez témoin de la course pour expliquer tous les objets non identifiés abattus au-dessus de la Saskatchewan. Mieux vaut croire aux extraterrestres que vivre dans la peur de l'inconnu.

Clifford propose un antidote à cette tentation. Sa réponse est essentiellement : Pas aujourd'hui, Satan. « La tradition sacrée de l'humanité », dit-il, « consiste, non en propositions ou déclarations qui doivent être acceptées et crues sur l'autorité de la tradition, mais en questions correctement posées, en conceptions qui nous permettent de poser d'autres questions, et dans les méthodes de réponse aux questions."

Les robots nous offriront des réponses faciles. Nous devons simplement nous rappeler que ce n'est pas ce que nous devrions demander.