Problème 3228

Si vous introduisez le document juridique le plus important des États-Unis, la Constitution américaine — dans un outil conçu pour détecter le texte écrit par des modèles d'IA comme ChatGPT, il vous dira que le document a été presque certainement écrit par l'IA. Mais à moins que James Madison ne soit un voyageur temporel, cela ne peut pas être le cas. Pourquoi les outils de détection d’écriture d’IA donnent-ils des faux positifs ? Nous avons parlé à plusieurs experts, ainsi qu'au créateur du détecteur d'écriture AI GPTZero, pour le savoir.

Parmi les reportages de professeurs trop zélés qui ont raté une classe entière en raison de soupçons de l'utilisation de l'outil d'écriture d'IA et des enfants faussement accusés d'utiliser ChatGPT, l'IA générative a une éducation dans le vertige. Certains pensent qu'il s'agit d'une crise existentielle. Les enseignants qui s'appuient sur les méthodes pédagogiques développées au cours du siècle dernier se sont efforcés de trouver des moyens de maintenir le statu quo - la tradition de s'appuyer sur l'essai comme outil pour évaluer la maîtrise d'un sujet par les étudiants.

Aussi tentant qu'il soit de s'appuyer sur des outils d'IA pour détecter les écrits générés par l'IA, les preuves jusqu'à présent ont montré qu'ils ne sont [pas fiables](https://techcrunch.com/2023/02/16/most-sites-claiming- to-catch-ai-writing-text-fail-spectacularly/). En raison de faux positifs, des détecteurs d'écriture d'IA tels que GPTZero, ZeroGPT et [Text Classifier](https:/ d'OpenAI /platform.openai.com/ai-text-classifier) [impossible](https://theconversation.com/we-pitted-chatgpt-against-tools-for-detecting-ai-writing-text-and-the-results -are-troubling-199774) est fiable pour détecter le texte composé par de grands modèles de langage (LLM) comme ChatGPT.

• Une capture d'écran virale d'avril 2023 montrant GPTZero disant : « Votre texte est susceptible d'être entièrement écrit par l'IA » lorsqu'il est alimenté par une partie de la Constitution américaine.

• Lorsqu'il est alimenté par une partie de la Constitution américaine, ZeroGPT indique : "Votre texte est généré par AI/GPT."

• Lorsqu'il alimente une partie de la Constitution américaine, le classificateur de texte d'OpenAI déclare : "Le classificateur considère que le texte n'est pas clair s'il est généré par l'IA."

Si vous donnez à GPTZero une section de la Constitution américaine, il est indiqué que le texte « sera probablement entièrement écrit par AI ». Plusieurs fois au cours des six derniers mois, des captures d'écran d'autres détecteurs d'IA montrant des résultats similaires sont devenues virales(https://twitter.com/0xgaut/status/1648383977139363841?s=20) sur les réseaux sociaux, inspirant la confusion et de nombreuses blagues. sur les pères fondateurs étant des robots. Il s’avère que la même chose se produit avec les sélections de la Bible, qui apparaissent également comme étant générées par l’IA.

Pour expliquer pourquoi ces outils commettent des erreurs si évidentes (et renvoient souvent des faux positifs), nous devons d’abord comprendre comment ils fonctionnent.

Comprendre les concepts derrière la détection de l'IA

Différents détecteurs d'écriture d'IA utilisent des méthodes de détection légèrement différentes, mais avec un principe similaire : il existe un modèle d'IA qui a été formé sur un grand corps de texte (composé de millions d'exemples d'écriture) et un ensemble de règles supposées qui déterminent si l'écriture est plus susceptibles d’être générés par l’homme ou l’IA.

Par exemple, au cœur de GPTZero se trouve un réseau neuronal formé sur « un corpus vaste et diversifié de textes écrits par des humains et générés par l'IA, avec un accent sur la prose anglaise », selon la [FAQ](https:// gptzero.me/faq). Ensuite, le système utilise des propriétés telles que « perplexité » et « éclatement » pour évaluer le texte et effectuer sa classification.

Dans l’apprentissage automatique, la perplexité est une mesure de la mesure dans laquelle un morceau de texte s’écarte de ce qu’un modèle d’IA a appris au cours de sa formation. Comme l'a déclaré à Ars le Dr Margaret Mitchell de la société d'IA Hugging Face, « la perplexité est fonction de « à quel point ce langage est-il surprenant d'après ce que j'ai vu ? » »

Ainsi, l'idée derrière la mesure de la perplexité est que lorsqu'ils écrivent du texte, les modèles d'IA comme ChatGPT chercheront naturellement ce qu'ils connaissent le mieux, qui vient de leurs données de formation. Plus la sortie est proche des données d’entraînement, plus l’indice de perplexité est faible. Les humains sont des écrivains beaucoup plus chaotiques - ou du moins c'est la théorie - mais les humains peuvent également écrire avec une faible perplexité, en particulier lorsqu'ils imitent un style formel utilisé en droit ou dans certains types d'écriture académique. En outre, bon nombre des expressions que nous utilisons sont étonnamment courantes.

Disons que nous devinons le mot suivant dans la phrase "Je voudrais une tasse de _____". La plupart des gens rempliraient le vide avec « eau », « café » ou « thé ». Un modèle linguistique formé sur une grande partie du texte anglais ferait de même, car ces expressions apparaissent fréquemment dans l’écriture anglaise. La perplexité de l’un de ces trois résultats serait assez faible car la prédiction est assez certaine.

Considérons maintenant une complétion moins courante : "Je voudrais une tasse d'araignées". Les humains et un modèle de langage bien entraîné seraient assez surpris (ou "perplexes") par cette phrase, donc sa perplexité serait grande. (Au moment d'écrire ces lignes, l'expression "Je voudrais une tasse d'araignées" donne exactement un résultat dans une recherche Google, comparée à 3,75 millions de résultats pour "Je voudrais une tasse de café".)

Si le langage utilisé dans un morceau de texte n'est pas surprenant d'après la formation du modèle, la perplexité sera faible, de sorte que le détecteur d'IA sera plus susceptible de classer ce texte comme généré par l'IA. Cela nous amène au cas intéressant de la Constitution américaine. Essentiellement, le langage de la Constitution est tellement ancré dans ces modèles qu’ils le classent comme généré par l’IA, créant ainsi un faux positif.

Le créateur de GPTZero, Edward Tian, a déclaré à Ars Technica : « La Constitution américaine est un texte introduit de manière répétée dans les données de formation de nombreux grands modèles linguistiques. En conséquence, bon nombre de ces grands modèles linguistiques sont entraînés pour générer un texte similaire à la Constitution et à d'autres fréquemment utilisés. textes de formation. GPTZero prédit le texte susceptible d'être généré par de grands modèles de langage, et c'est ainsi que ce phénomène fascinant se produit. "

Le problème est qu'il est tout à fait possible pour les écrivains humains de créer du contenu avec une faible perplexité (s'ils écrivent principalement en utilisant des expressions courantes telles que « Je voudrais une tasse de café », par exemple), ce qui mine profondément la fiabilité de l'IA. détecteurs d'écriture.

Une autre propriété du texte mesurée par GPTZero est « l'éclatement », qui fait référence au phénomène par lequel certains mots ou expressions apparaissent en succession rapide ou « éclatent » dans un texte. Essentiellement, la rafale évalue la variabilité de la longueur et de la structure des phrases tout au long d'un texte.

Les écrivains humains présentent souvent un style d’écriture dynamique, ce qui donne lieu à des textes avec des longueurs et des structures de phrases variables. Par exemple, nous pourrions écrire une phrase longue et complexe suivie d’une phrase courte et simple, ou nous pourrions utiliser une série d’adjectifs dans une phrase et aucun dans la suivante. Cette variabilité est le résultat naturel de la créativité et de la spontanéité humaines.

Le texte généré par l’IA, en revanche, a tendance à être plus cohérent et uniforme, du moins jusqu’à présent. Les modèles linguistiques, qui en sont encore à leurs balbutiements, génèrent des phrases avec des longueurs et des structures plus régulières. Ce manque de variabilité peut entraîner un faible score de rafale, indiquant que le texte peut être généré par l'IA.

Cependant, la rafale n’est pas non plus une mesure infaillible pour détecter le contenu généré par l’IA. Comme pour la perplexité, il y a des exceptions. Un écrivain humain peut écrire dans un style hautement structuré et cohérent, ce qui se traduit par un faible score de rafale. À l’inverse, un modèle d’IA pourrait être entraîné pour imiter une variabilité plus humaine dans la longueur et la structure des phrases, augmentant ainsi son score de rafale. En fait, à mesure que les modèles de langage de l’IA s’améliorent, des études montrent que leur écriture ressemble de plus en plus(https://arxiv.org/abs/2303.11156) à l’écriture humaine.

En fin de compte, il n’existe pas de formule magique permettant de toujours distinguer le texte écrit par l’homme de celui composé par une machine. Les détecteurs d’écriture IA peuvent faire une forte supposition, mais la marge d’erreur est trop grande pour s’appuyer sur eux pour obtenir un résultat précis.

Une étude de 2023 menée par des chercheurs de l'Université du Maryland a démontré empiriquement que les détecteurs de texte généré par l'IA ne sont pas fiables dans des scénarios pratiques et qu'ils ne fonctionnent que légèrement mieux qu'un détecteur aléatoire. classificateur. Non seulement ils renvoient des faux positifs, mais les détecteurs et les systèmes de filigrane (qui cherchent à modifier le choix des mots de manière révélatrice) peuvent facilement être vaincus par des « attaques par paraphrase » qui modifient le résultat du modèle de langage tout en conservant sa signification.

"Je pense qu'il s'agit principalement d'huile de serpent", a déclaré Simon Willison, chercheur en IA, spécialiste des produits de détection d'IA. "Tout le monde veut désespérément qu'ils fonctionnent, en particulier les gens dans l'éducation, et il est facile de vendre un produit que tout le monde veut, surtout quand il est très difficile de prouver s'il est efficace ou non."

De plus, une étude récente menée par des chercheurs de l'Université de Stanford a montré que la détection de l'écriture par l'IA est biaisée à l'encontre des anglophones non natifs, ce qui génère des taux élevés de faux positifs pour leurs écrits humains. fonctionner et potentiellement les pénaliser dans le discours mondial si les détecteurs d’IA deviennent largement utilisés.

Certains éducateurs, comme le professeur Ethan Mollick de la Wharton School, acceptent cette nouvelle réalité infusée par l'IA et même promouvoir activement l'utilisation d'outils comme ChatGPT pour faciliter l'apprentissage. La réaction de Mollick rappelle la façon dont certains enseignants ont réagi à l'introduction des calculatrices de poche dans les salles de classe : elles étaient initialement controversées mais ont finalement été largement acceptées.

"Il n'existe aucun outil capable de détecter de manière fiable l'écriture ChatGPT-4/Bing/Bard", a récemment tweeté Mollick. "Les outils existants sont formés sur GPT-3.5, ils ont des taux de faux positifs élevés (plus de 10 %) et ils sont incroyablement faciles à vaincre." De plus, ChatGPT lui-même ne peut pas évaluer si le texte est écrit par l'IA ou non, a-t-il ajouté, vous ne pouvez donc pas simplement coller du texte et demander s'il a été écrit par ChatGPT.

Dans une conversation avec Ars Technica, Tian de GPTZero a semblé voir l'écriture sur le mur et a déclaré qu'il prévoyait d'éloigner son entreprise de la détection de l'IA vanille vers quelque chose de plus ambigu. "Par rapport à d'autres détecteurs, comme Turn-it-in, nous nous éloignons des détecteurs de construction pour attraper les étudiants, et à la place, la prochaine version de GPTZero ne détectera pas l'IA mais mettra en évidence ce qu'il y a de plus humain et aidera les enseignants et les étudiants à naviguer. ensemble le niveau d'implication de l'IA dans l'éducation", a-t-il déclaré.

Que pense-t-il des personnes qui utilisent GPTZero pour accuser les étudiants de malhonnêteté académique ? Contrairement aux sociétés traditionnelles de vérification du plagiat, Tian a déclaré : « Nous ne voulons pas que les gens qui utilisent nos outils punissent les étudiants. Au lieu de cela, pour le cas d'utilisation dans l'éducation, il est beaucoup plus logique d'arrêter de s'appuyer sur la détection au niveau individuel (où certains enseignants punissent). les élèves et certains enseignants sont d'accord avec les technologies de l'IA), mais appliquer ces technologies à l'école [ou] au conseil scolaire [niveau], même à travers le pays, car comment pouvons-nous élaborer les bonnes politiques pour répondre aux élèves qui utilisent l'IA technologies jusqu'à ce que nous comprenions ce qui se passe et le degré d'implication de l'IA à tous les niveaux ? »

Pourtant, malgré les problèmes inhérents de précision, GPTZero se présente toujours comme étant « conçu pour les éducateurs », et son site affiche fièrement une liste des universités censées utiliser cette technologie. Il existe une étrange tension entre les objectifs déclarés de Tian de ne pas punir les étudiants et son désir de gagner de l'argent avec son invention. Mais quelles qu’en soient les raisons, l’utilisation de ces produits défectueux peut avoir des effets terribles sur les étudiants. Le résultat le plus dommageable de l’utilisation de ces outils inexacts et imparfaits est peut-être le coût personnel de fausses accusations.

Un cas rapporté de USA Today met en lumière le problème de manière frappante. Un étudiant a été accusé de tricherie sur la base des outils de détection de texte de l'IA et a dû présenter son cas devant un jury d'honneur. Sa défense consistait notamment à montrer son historique Google Docs pour démontrer son processus de recherche. Bien que le jury n'ait trouvé aucune preuve de tricherie, le stress de se préparer à se défendre a conduit l'élève à subir des crises de panique. Des scénarios similaires se sont produits des dizaines (voire des centaines) de fois aux États-Unis et sont [couramment documentés](https://www.google.com/search?client=firefox-b-1-d&q=accused+of+using +AI+site%3Areddit.com) sur des fils de discussion Reddit désespérés.

Les sanctions courantes en cas de malhonnêteté académique comprennent souvent des notes d'échec, une probation académique, une suspension ou même l'expulsion, selon la gravité et la fréquence de la violation. C’est une accusation difficile à affronter, et l’utilisation d’une technologie défectueuse pour percevoir ces accusations ressemble presque à une chasse aux sorcières académique des temps modernes.

À la lumière du taux élevé de faux positifs et de la possibilité de punir injustement les anglophones non natifs, il est clair que la science de détection du texte généré par l’IA est loin d’être infaillible – et ne le sera probablement jamais. Les humains peuvent écrire comme des machines, et les machines peuvent écrire comme des humains. Une question plus utile pourrait être la suivante : les humains qui écrivent avec l’aide d’une machine comprennent-ils ce qu’ils disent ? Si quelqu'un utilise des outils d'IA pour remplir un contenu factuel d'une manière qu'il ne comprend pas, cela devrait être assez facile à comprendre par un lecteur ou un enseignant compétent.

L’assistance à l’écriture par l’IA est là pour rester, et s’ils sont utilisés à bon escient, les modèles linguistiques de l’IA peuvent potentiellement accélérer la composition de manière responsable et éthique. Les enseignants voudront peut-être encourager une utilisation responsable et poser des questions telles que : l'écriture reflète-t-elle les intentions et les connaissances de l'écrivain ? Et l’auteur humain peut-il se porter garant de chaque fait inclus ?

Un enseignant qui est également un expert en la matière pourrait ensuite interroger les élèves sur le contenu de leur travail pour voir dans quelle mesure ils le comprennent. L'écriture n'est pas seulement une démonstration de connaissances mais une projection de la réputation d'une personne, et si l'auteur humain ne peut pas respecter tous les faits représentés dans l'écriture, l'assistance de l'IA n'a pas été utilisée de manière appropriée.

Comme tout outil, les modèles de langage peuvent être mal utilisés ou utilisés avec compétence. Et cette compétence dépend aussi du contexte : vous pouvez peindre un mur entier avec un pinceau ou créer la Joconde. Les deux scénarios constituent une utilisation appropriée de l’outil, mais chacun exige différents niveaux d’attention humaine et de créativité. De même, certaines tâches d’écriture par cœur (générer des rapports météorologiques standardisés, peut-être) peuvent être accélérées de manière appropriée par l’IA, tandis que des tâches plus complexes nécessitent plus de soin et d’attention humaine. Il n’y a pas de solution toute faite.

Pour l'instant, Ethan Mollick a déclaré à Ars Technica que malgré la panique des éducateurs, il n'est pas convaincu que quiconque devrait utiliser des détecteurs d'écriture IA. "Je ne suis pas un expert technique en détection d'IA", a déclaré Mollick. "Je peux parler du point de vue d'un éducateur travaillant avec l'IA pour dire que, pour l'instant, l'écriture de l'IA est indétectable et le restera probablement, les détecteurs d'IA ont des taux de faux positifs élevés et, par conséquent, ils ne devraient pas être utilisés."