Problème 2318

Stack Overflow, le site de questions-réponses incontournable pour les codeurs et les programmeurs, a temporairement interdit utilisateurs de partage des réponses générées par le chatbot IA ChatGPT.

Les mods du site ont déclaré que l'interdiction était temporaire et qu'une décision finale serait rendue dans le futur après consultation de sa communauté. Mais, comme l'ont expliqué les mods, ChatGPT permet simplement aux utilisateurs de générer des réponses trop facilement et d'inonder le site de réponses qui semblent correctes à première vue, mais qui sont souvent erronées après un examen approfondi.

"Le principal problème est que, bien que les réponses produites par ChatGPT aient un taux élevé d'erreurs, elles ont généralement ressemblent elles pourraient être bonnes et les réponses sont très faciles à produire", ont écrit les mods (c'est eux qui les soulignent). "En tant que tel, nous avons besoin que le volume de ces publications réduise [...] Donc, pour l'instant, l'utilisation de ChatGPT pour créer des publications ici sur Stack Overflow n'est pas autorisée. Si un utilisateur est soupçonné d'avoir utilisé ChatGPT après cette période temporaire politique est publiée, des sanctions seront imposées pour empêcher les utilisateurs de continuer à publier un tel contenu, même si les publications seraient autrement acceptables."

ChatGPT est un chatbot expérimental créé par OpenAI et basé sur son générateur de texte à saisie semi-automatique GPT-3.5. Une démo Web pour le bot a été publiée la semaine dernière et a depuis été accueillie avec enthousiasme par les utilisateurs du Web. . L'interface du bot encourage les gens à poser des questions et offre en retour des résultats impressionnants et fluides sur une gamme de requêtes ; de la génération de poèmes, de chansons et de scripts télévisés à la réponse à des questions triviales et à l'écriture et au débogage de lignes de code.

Mais alors que de nombreux utilisateurs ont été impressionnés par les capacités de ChatGPT, d'autres ont noté sa tendance persistante à générer des réponses plausibles mais fausses. Demandez au bot d'écrire la biographie d'une personnalité publique, par exemple, et il pourra très bien insérer données biographiques incorrectes en toute confiance. Demandez-lui d'expliquer comment programmer un logiciel pour une fonction spécifique et il peut également produire un code crédible mais finalement incorrect .

Il s'agit de l'un des nombreux défauts bien connus des modèles de génération de texte IA, également connus sous le nom de grands modèles de langage ou LLM. Ces systèmes sont formés en analysant des modèles dans d'énormes rames de texte extraites du Web. Ils recherchent des régularités statistiques dans ces données et les utilisent pour prédire quels mots devraient suivre dans une phrase donnée. Cela signifie, cependant, qu'ils manquent de règles codées en dur sur le fonctionnement de certains systèmes dans le monde, ce qui conduit à leur propension à générer des "conneries fluides".

Compte tenu de l'énorme échelle de ces systèmes, il est impossible de dire avec certitude quel pourcentage de leur production est faux. Mais dans le cas de Stack Overflow, la société a jugé pour l'instant que le risque d'induire les utilisateurs en erreur est tout simplement trop élevé.

La décision de Stack Overflow est particulièrement remarquable car les experts de la communauté de l'IA débattent actuellement de la menace potentielle posée par ces grands modèles de langage. Yann LeCun, scientifique en chef de l'IA chez Meta, parent de Facebook, a argumenté, par exemple, que si les LLM peuvent certainement générer de mauvais résultats comme la désinformation, ils ne le font pas rendre le partage réel de ce texte plus facile, ce qui cause du tort. Mais d'autres disent la capacité de ces systèmes à générer du texte à grande échelle à moindre coût augmente nécessairement le risque qu'il soit ensuite partagé.

À ce jour, il y a eu peu de preuves des effets nocifs des LLM dans le monde réel. Mais ces événements récents à Stack Overflow soutiennent l'argument selon lequel l'échelle de ces systèmes crée effectivement de nouveaux défis. Les mods du site en disent autant en annonçant l'interdiction de ChatGPT, notant que le "volume de ces réponses [générées par l'IA] (des milliers) et le fait que les réponses nécessitent souvent une lecture détaillée par quelqu'un ayant au moins une certaine expertise en la matière afin de déterminer que la réponse est réellement mauvaise a effectivement submergé notre infrastructure de conservation de qualité basée sur le bénévolat. »

L'inquiétude est que ce modèle puisse se répéter sur d'autres plates-formes, avec un flot de contenu d'IA noyant les voix des vrais utilisateurs avec des données plausibles mais incorrectes. Cependant, la manière exacte dont cela pourrait se dérouler dans différents domaines du Web dépendrait de la nature exacte de la plate-forme et de ses capacités de modération. Reste à savoir si ces problèmes pourront être atténués à l'avenir à l'aide d'outils tels que des filtres anti-spam améliorés.

Pendant ce temps, les réponses à l'annonce de la politique de Stack Overflow sur les propres forums de discussion du site et sur des forums connexes comme Hacker News ont été largement favorables, les utilisateurs ajoutant la mise en garde qu'il peut être difficile pour les mods de Stack Overflow d'identifier les réponses générées par l'IA en premier lieu. .

De nombreux utilisateurs ont raconté leurs propres expériences d'utilisation du bot, avec une personne sur Hacker News disant qu'ils ont trouvé que ses réponses aux questions sur les problèmes de codage étaient plus souvent tort que raison. "La partie effrayante était à quel point c'était incorrect avec confiance", a déclaré l'utilisateur. "Le texte avait l'air très bien, mais il y avait de grosses erreurs là-dedans."

D'autres ont renvoyé la question de la modération de l'IA à ChatGPT lui-même, demandant au bot de générer des arguments pour et contre son interdiction. Dans une réponse, le bot est arrivé à la même conclusion que les propres mods de Stack Overflow : "Dans l'ensemble, autoriser ou non les réponses générées par l'IA sur Stack Overflow est une décision complexe qui devrait être soigneusement examinée par la communauté."