Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2601

Incidents associés

Incident 33914 Rapports
Open-Source Generative Models Abused by Students to Cheat on Assignments and Exams

Loading...
Les universités ont proposé un logiciel qui détecte les essais ChatGPT
theregister.com · 2023

Turnitin, mieux connu pour son logiciel anti-plagiat utilisé par des dizaines de milliers d'universités et d'écoles à travers le monde, construit un outil pour détecter le texte généré par l'IA.

Les grands modèles de langage ont gagné du terrain depuis la sortie commerciale du GPT-3 d'OpenAI en 2020. Maintenant, plusieurs entreprises ont construit leur propre apprentissage automatique rival systèmes, donnant le coup d'envoi à une nouvelle vague de startups développant des produits alimentés par l'IA générative. Ces modèles fonctionnent comme des chatbots à usage général. Les utilisateurs tapent des instructions, et ils répondront avec des passages de texte cohérents et convaincants.

Les étudiants se tournent de plus en plus vers les outils d'IA pour effectuer leurs devoirs, tandis que les enseignants commencent seulement à prendre en compte leur impact et leur rôle dans l'éducation. Les avis sont partagés. Certains pensent que la technologie peut perfectionner les compétences en écriture, tandis que d'autres la considèrent comme de la triche. Des écoles de Californie, de New York, de Virginie et d'Alabama ont bloqué l'accès des élèves au dernier modèle ChatGPT sur les réseaux publics, [selon](https://www.forbes.com/sites/ariannajohnson/2023/01/18/chatgpt- dans-les-écoles-ici-où-c'est-interdit-et-comment-cela-pourrait-potentiellement-aider-les-élèves/) à Forbes.

Les départements de l'éducation ne savent pas exactement quelles politiques académiques devraient être introduites pour réglementer l'utilisation des générateurs de texte IA. En outre, toutes les règles seraient difficiles à appliquer de toute façon étant donné qu'il n'existe actuellement aucun moyen efficace de détecter le travail écrit à la machine. Entrez Turnitin. Fondée en 1998, la société américaine vend un logiciel qui calcule la similitude d'un essai particulier par rapport au contenu d'une grande base de données d'articles, de pages Web et de livres pour rechercher des signes de plagiat.

Turnitin a été acquis par le géant des médias Advanced Publications pour 1,75 milliard de dollars en 2019, et son logiciel a été utilisé par 15 000 établissements dans 140 pays. Avec plus de deux décennies d'expérience, Turnitin a une large portée dans le domaine de l'éducation et a amassé un énorme référentiel d'écritures d'étudiants, ce qui en fait l'entreprise idéale pour développer un détecteur de texte IA académique.

Turnitin construit tranquillement le logiciel depuis des années depuis la sortie de GPT-3, a déclaré Annie Chechitelli, chef de produit, à The Register. La ruée vers donner aux éducateurs la capacité d'identifier le texte écrit par les humains et les ordinateurs est devenue plus intense avec le lancement de son successeur plus puissant, ChatGPT. Alors que l'IA continue de progresser, les universités et les écoles doivent être en mesure de protéger l'intégrité académique maintenant plus que jamais.

"La vitesse compte. Nous entendons des enseignants nous donner juste quelque chose", a déclaré Chechitelli. Turnitin espère lancer son logiciel au premier semestre de cette année. "Ce sera une détection assez basique au début, puis nous lancerons des versions rapides ultérieures qui créeront un flux de travail plus exploitable pour les enseignants." Le plan est de rendre le prototype gratuit pour ses clients existants au fur et à mesure que l'entreprise recueille des données et des commentaires d'utilisateurs.

"Au début, nous voulons vraiment aider l'industrie et aider les éducateurs à se mettre sous la dent et à se sentir plus confiants. Et pour obtenir autant d'utilisation que possible dès le début, c'est important pour faire un outil efficace. Plus tard, nous déterminerons comment nous allons le produire », a-t-elle déclaré.

Bien que le texte généré par l'IA soit convaincant, il existe des signes révélateurs qui révèlent le travail d'un algorithme. L'écriture est généralement fade et sans originalité; des outils comme ChatGPT régurgitent des idées et des points de vue existants et n'ont pas de voix distincte. Les humains peuvent parfois repérer le texte généré par l'IA, mais les machines sont bien meilleures à la tâche.

Le vice-président de l'IA de Turnitin, Eric Wang, a déclaré qu'il existe des modèles évidents dans l'écriture de l'IA que les ordinateurs peuvent détecter. "Même si cela nous semble humain, les [machines écrivent] en utilisant un mécanisme fondamentalement différent. Il s'agit de choisir le mot le plus probable à l'emplacement le plus probable, et c'est une manière très différente de construire le langage [par rapport] à toi et moi", a-t-il dit à The Register.

"Nous lisons en sautant d'avant en arrière nos yeux sans même le savoir, ou en papillonnant d'un mot à l'autre, d'un paragraphe à l'autre et parfois d'une page à l'autre. Nous tournons d'avant en arrière. Nous avons aussi tendance à écrire avec un état d'esprit futur Je suis peut-être en train d'écrire et je pense à quelque chose, un paragraphe, une phrase, un chapitre ; la fin de l'essai est liée dans mon esprit à la phrase que j'écris même si les phrases d'ici là n'ont pas encore à écrire."

ChatGPT, cependant, n'a pas ce genre de flexibilité et ne peut générer de nouveaux mots que sur la base de phrases précédentes, a-t-il expliqué. Le détecteur de Turnitin fonctionne en prédisant quels mots l'IA est plus susceptible de générer dans un extrait de texte donné. "C'est statistiquement très fade. Les humains n'ont pas tendance à utiliser systématiquement un mot à forte probabilité dans des endroits à forte probabilité, mais GPT-3 le fait, notre détecteur s'en rend vraiment compte", a-t-il déclaré.

Wang a déclaré que le détecteur de Turnitin est basé sur la même architecture que GPT-3 et l'a décrit comme une version miniature du modèle. "Nous sommes à bien des égards, je dirais [dire] combattre le feu par le feu. Il y a un composant de détection qui lui est attaché au lieu d'un composant de génération. Donc, ce qu'il fait, c'est qu'il lit le langage exactement de la même manière que GPT-3 lit le langage, mais au lieu de cracher plus de langage, cela nous donne une prédiction pour savoir si nous pensons que ce passage ressemble à [it's from] GPT-3."

L'entreprise réfléchit encore à la meilleure façon de présenter les résultats de son détecteur aux enseignants utilisant l'outil. "C'est un défi difficile. Comment dire à un instructeur dans un petit espace ce qu'il veut voir?" dit Chechitelli. Ils voudront peut-être voir un pourcentage qui montre à quel point un essai semble être écrit par l'IA, ou ils voudront peut-être des niveaux de confiance indiquant si la confiance de prédiction du détecteur est faible, moyenne ou élevée pour évaluer la précision.

Le logiciel n'est pas conçu dans le but d'interdire ChatGPT dans le milieu universitaire. Bien que cela puisse dissuader les étudiants d'utiliser ces types d'outils, Turnitin pense que son détecteur permettra plutôt aux enseignants et aux étudiants de se faire confiance et de faire confiance à la technologie.

"Je pense qu'il y a un changement majeur dans la façon dont nous créons du contenu et dont nous travaillons", a déclaré Wang. "Cela s'étend certainement à la façon dont nous apprenons. Nous devons penser à long terme à la façon dont nous enseignons. Comment apprenons-nous dans un monde où cette technologie existe ? Je pense qu'il est impossible de remettre le génie dans la bouteille. Tout outil qui donne de la visibilité à l'utilisation de ces technologies va être précieux car ce sont les éléments de base de la confiance et de la transparence."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd