Problème 3229
Les programmes informatiques utilisés pour détecter les essais, les candidatures à un emploi et autres travaux générés par l'intelligence artificielle peuvent discriminer les personnes dont l'anglais n'est pas la langue maternelle, affirment les chercheurs.
Des tests effectués sur sept détecteurs de texte IA populaires ont révélé que les articles écrits par des personnes dont l'anglais n'était pas la langue maternelle étaient souvent signalés à tort comme générés par l'IA, un biais qui pourrait avoir de graves conséquences sur les étudiants, les universitaires et les candidats à un emploi.
Avec l'essor de ChatGPT, un programme d'IA générative capable de rédiger des essais, de résoudre des problèmes et de créer du code informatique, de nombreux enseignants considèrent désormais la détection de l'IA comme une « contre-mesure critique ». pour dissuader une forme de tricherie du 21e siècle », disent les chercheurs, mais ils préviennent que la précision de 99 % revendiquée par certains détecteurs est « au mieux trompeuse ».
Des scientifiques dirigés par James Zou, professeur adjoint de science des données biomédicales à l'Université de Stanford, ont rédigé 91 essais en anglais rédigés par des anglophones non natifs via sept détecteurs GPT populaires pour voir dans quelle mesure les programmes fonctionnaient.
Plus de la moitié des essais, rédigés pour un test de compétence en anglais largement reconnu, connu sous le nom de Test of English as a Foreign Language, ou TOEFL, ont été signalés comme générés par l'IA, un programme signalant 98 % des essais comme rédigés par IA. Lorsque des essais rédigés par des élèves de huitième année anglophones aux États-Unis ont été analysés dans le cadre des programmes, les mêmes détecteurs d'IA ont classé plus de 90 % comme étant générés par l'homme.
Écrivant dans la revue Patterns, les scientifiques ont attribué la discrimination à la façon dont les détecteurs évaluent ce qui est humain et ce qui l'est. Généré par l'IA. Les programmes examinent ce que l'on appelle la « perplexité du texte », qui mesure le degré de « surprise » ou de « confusion » d'un modèle de langage génératif lorsqu'il tente de prédire le mot suivant dans une phrase. Si le modèle peut prédire facilement le mot suivant, la perplexité du texte est classée faible, mais si le mot suivant s'avère difficile à prédire, la perplexité du texte est classée élevée.
Les grands modèles de langage ou LLM comme ChatGPT sont formés pour produire du texte peu perplexe, mais cela signifie que si les humains utilisent beaucoup de mots courants selon un modèle familier dans leur écriture, leur travail risque d'être confondu avec du texte généré par l'IA. Le risque est plus grand avec les anglophones non natifs, affirment les chercheurs, car ils sont plus susceptibles d'adopter des choix de mots plus simples.
Après avoir mis en évidence les biais inhérents aux programmes de détection d'IA, les scientifiques sont retournés à ChatGPT et lui ont demandé de réécrire les essais du TOEFL en utilisant un langage plus sophistiqué. Lorsque ces essais édités ont été examinés par les détecteurs d’IA, ils ont tous été étiquetés comme écrits par des humains. "Paradoxalement, les détecteurs GPT pourraient obliger les écrivains non natifs à utiliser davantage le GPT pour échapper à la détection", ont-ils déclaré.
« Les implications des détecteurs GPT pour les écrivains non natifs sont sérieuses, et nous devons y réfléchir pour éviter les situations de discrimination », préviennent les auteurs dans la revue. Les détecteurs d’IA pourraient faussement signaler les candidatures universitaires et professionnelles comme étant générées par GPT et marginaliser les anglophones non natifs sur Internet, car les moteurs de recherche tels que Google déclassent ce qui est considéré comme étant du contenu généré par l’IA, préviennent-ils. "Dans l'éducation, sans doute le marché le plus important pour les détecteurs GPT, les étudiants non natifs courent plus de risques de fausses accusations de tricherie, ce qui peut nuire à leur carrière universitaire et à leur bien-être psychologique", ont ajouté les chercheurs.
Dans un article d’accompagnement, Jahna Otterbacher du Centre chypriote pour la transparence algorithmique de l’Université ouverte de Chypre, a déclaré : « Plutôt que de combattre l’IA avec plus d’IA, nous devons développer une culture universitaire qui promeut l’utilisation de l’IA générative de manière créative et éthique. manière… ChatGPT collecte constamment des données auprès du public et apprend à plaire à ses utilisateurs ; à terme, il apprendra à déjouer n’importe quel détecteur.