Incidents associés
ChatGPT a publié hier un nouvel outil de classification pour détecter le texte généré par l'IA qui, en quelques heures, s'est avéré au mieux imparfait. Il s'avère que lorsqu'il s'agit de détecter l'IA générative, qu'il s'agisse de texte ou d'images, il n'y a peut-être pas de solution rapide.
Sebastian Raschka, chercheur en intelligence artificielle (IA) et en apprentissage automatique (ML) et enseignant principal en IA chez Lightning AI, a commencé à tester [OpenAI Text Classifier](https:/ /platform.openai.com/ai-text-classifier) sur ChatGPT avec des extraits de texte d'un livre qu'il a publié en 2015. Trois passages différents ont reçu des résultats variés - l'outil a signalé qu'il n'était «pas clair» si la préface du livre avait été écrite par AI; mais l'avant-propos était "peut-être AI" et un paragraphe du premier chapitre était "probablement" AI.
Ce qui est encore plus préoccupant, c'est la façon dont l'outil a classé la première page du Macbeth de Shakespeare :
"Le classificateur considère que le texte est probablement généré par l'IA."
Lorsqu'on lui a demandé s'il était surpris par les résultats, Raschka a répondu "Oui et non - ils ne partagent pas le papier, donc je ne peux pas dire à 100% comment cela fonctionne, mais d'après la courte description qu'ils ont sur le site Web, cela ressemble à ils forment un classificateur pour prédire si quelque chose est généré par l'homme ou généré par l'IA. Le problème, a-t-il expliqué, est qu'il existe des faux négatifs et des faux positifs en fonction de l'ensemble de données sur lequel l'outil a été formé.
Avec Macbeth, par exemple, Raschka a déclaré qu'il pensait que l'outil n'était pas formé sur le vieil anglais. "Ce n'est pas un anglais parlé normal, c'est presque comme une langue étrangère."
OpenAI dit que l'outil peut toujours être utile en tandem avec d'autres méthodes
OpenAI admet le classificateur, qui est un modèle GPT qui est affiné via un apprentissage supervisé pour effectuer la classification binaire, avec un ensemble de données de formation composé de passages de texte écrits par l'homme et par l'IA, n'est précise qu'à environ 26 %.
Cependant, il indique que l'outil peut toujours être utile en tandem avec d'autres méthodes. Dans un e-mail, la société a déclaré: «Le classificateur vise à aider à atténuer les fausses allégations selon lesquelles le texte généré par l'IA a été écrit par un humain. Cependant, il a encore un certain nombre de limites - il devrait donc être utilisé en complément d'autres méthodes de détermination de la source du texte au lieu d'être le principal outil de prise de décision.
La société a ajouté sur son site Web qu'elle rendait le classificateur accessible au public "pour obtenir des commentaires sur l'utilité d'outils imparfaits comme celui-ci", ajoutant qu'elle continuerait à travailler sur la détection de texte généré par l'IA et "espère partager des méthodes améliorées dans le avenir."
OpenAI est loin d'être le seul à tenter de faire face au Far West de la détection IA générative. Il y a une vague d'autres outils qui tentent de relever le défi.
GPTZero, par exemple, fournit un score qui doit ensuite être interprété par l'utilisateur. Dans un article de blog, Raschka a expliqué : « GPTZero ne recommande pas si le texte a été généré par l'IA ou non. Au lieu de cela, il ne renvoie que le score de perplexité pour une comparaison relative entre les textes. C'est bien car cela oblige les utilisateurs à comparer des textes similaires de manière critique au lieu de faire aveuglément confiance à une étiquette prédite.
DetectGPT, a expliqué Raschka, "perturbe" le texte : c'est-à-dire, a-t-il expliqué, si la probabilité du nouveau texte est sensiblement inférieure à celle de l'original, il est Généré par l'IA. Sinon, si c'est à peu près la même chose, c'est généré par l'homme. Le problème, a-t-il ajouté, est que la méthode implique l'utilisation d'un LLM (grand modèle de langage) spécifique, qui "peut ne pas être représentatif du modèle d'IA pour générer le texte en question".
Le filigrane est une autre approche, a-t-il ajouté – l'idée de réduire les probabilités de certains mots afin qu'ils soient moins susceptibles d'être utilisés par les LLM, en utilisant une «liste à éviter». Cependant, Raschka, a expliqué, cela nécessite un LLM qui a été modifié avec cette liste d'évitement. Si la liste à éviter est connue, a-t-il dit, on peut modifier le texte généré par l'IA.
Qu'est-ce que cela signifie pour la détection générative de l'IA ?
Raschka a déclaré qu'il n'est pas clair comment tout cela se déroulera et si les outils de détection d'IA génératifs feront des progrès pour surmonter le défi de discerner entre le contenu créé par l'homme et le texte généré par l'IA. Internet lui-même deviendra-t-il inutilisable, inondé de contenu généré auquel il est impossible de faire confiance ?
"Ce que cela signifie pour moi, ou comment je pense à la voie à suivre, c'est qu'Internet était l'endroit où vous recherchiez du contenu et vous faisiez principalement confiance à ce que vous trouviez", a-t-il déclaré. À l'avenir, il s'agira davantage d'être sélectif et de trouver des sites Web crédibles.
Quel que soit l'avenir, la boîte de Pandore est déjà ouverte en matière d'IA générative, a-t-il souligné, ajoutant qu'il trouve actuellement ChatGPT utile en tant que "vérificateur de grammaire sophistiqué" pour faciliter l'écriture.
"Je ne pense pas que nous puissions revenir en arrière", a-t-il déclaré. "Tout le monde va utiliser ces systèmes et je pense que c'est bien si nous les utilisons de manière responsable - je ne pense pas qu'il y aura un moyen d'éviter l'utilisation de ces modèles."
Pour l'instant, les outils de détection de l'IA générative ne sont "certainement pas assez bons" pour être utilisés pour des décisions importantes, a-t-il déclaré, ce qui inclut des efforts pour les utiliser dans la notation des dissertations des étudiants - en réponse à [fears about cheating](https://www.usatoday .com/story/news/education/2023/01/30/chatgpt-going-banned-teachers-sound-alarm-new-ai-tech/11069593002/) et le plagiat.
"Des modèles comme celui-ci peuvent causer des dommages dans le monde réel car les éducateurs l'adoptent pour la notation", Raschka tweeted hier. "Alors ajoutons un peu de transparence sur les faux positifs et les faux négatifs."