Problème 3193

Des universitaires ont allégué que certaines évaluations par les pairs des demandes de subvention étaient en cours de rédaction avec ChatGPT, ce qui a incité l'Australian Research Council (ARC) à avertir les universitaires que l'intégration du travail de leurs pairs dans des modèles d'IA générative pourrait constituer une violation de la confidentialité.

ARC_Tracker tweeted vendredi qu'il avait reçu des rapports "que certains rapports d'évaluateurs de projets de découverte ARC ont été produits avec ChatGPT".

Les projets de découverte sont des programmes de recherche pluriannuels en lice pour jusqu'à 500 000 $ en subventions gouvernementales. En règle générale, seuls 15 à 20 % des candidats sont financés, et [le processus d'examen est rigoureux.] (https://www.science.org.au/news-and-events/newsletters/emcr-pathways-newsletter/emcr -pathways-issue-5/behind-closed-doors)

Mais ARC_Tracker a déclaré que certaines équipes de recherche avaient reçu des rapports d'évaluateurs qui n'étaient qu'une "régurgitation générique" de leurs applications, avec au moins un contenant le texte "régénérer la réponse" - un signe révélateur qu'il a été généré par ChatGPT.

L'utilisateur de Twitter à l'origine du compte ARC_Tracker - qui est chercheur dans une université australienne - a déclaré à iTnews qu'il semblait que certains rapports d'évaluation étaient générés par l'IA.

"Les chercheurs qui ont dirigé des propositions m'ont envoyé (tout ou partie) des évaluations d'experts qu'ils ont reçues et ils se lisent exactement comme un simple résumé ChatGPT d'une proposition sans aucune critique, opinion, perspicacité ou évaluation", l'ARC_Tracker le propriétaire du compte a dit à iTnews.

« Les chercheurs me disent que les phrases utilisées dans ces évaluations sont des réarrangements très simples des phrases déjà présentes dans leurs propositions de subventions.

"Ils ont également déclaré qu'ils avaient mis leurs propres propositions de subvention dans ChatGPT et obtenu des résumés très similaires à ceux qu'ils voient dans l'évaluation…

"Une évaluation, d'un chercheur, comportait le texte révélateur "régénérer la réponse" au bas de (une section de) l'évaluation. C'est ce que ChatGPT montre au bas de sa page de réponse.

"C'est une preuve irréfutable que ChatGPT a été utilisé pour générer leur texte d'évaluation."

L'ARC a depuis publié une déclaration conseillant aux pairs examinateurs de ne pas utiliser l'IA dans le cadre de leurs évaluations.

"La diffusion de matériel qui n'est pas le vôtre en dehors du système fermé de gestion de la recherche, y compris dans des outils d'IA générative, peut constituer une violation de la confidentialité", a déclaré le conseil.

Il a ajouté qu'il mettrait à jour les directives sur l'utilisation de l'IA "dans un avenir proche".

Un porte-parole de l'ARC a déclaré à iTnews que bien que "les outils d'intelligence artificielle générative (IA) tels que ChatGPT ne soient pas explicitement nommés" dans les politiques qui s'appliquent aux évaluations par les pairs, "des principes communs de confidentialité s'appliquent à la fois aux canaux existants et émergents par lesquels des informations confidentielles peuvent être inappropriées divulgué.

"L'ARC n'est pas le seul à examiner une série de problèmes concernant l'utilisation de l'IA générative qui utilise des algorithmes pour créer de nouveaux contenus et qui peut présenter des défis de confidentialité et de sécurité pour la recherche et l'administration des programmes de subventions... Toute préoccupation soulevée par les candidats sera examiné et répondu conformément à nos politiques », a déclaré le porte-parole.

Le porte-parole n'a pas commenté la fréquence d'utilisation de ChatGPT dans les évaluations par les pairs ; ou s'il envisage d'utiliser des modèles de détection d'IA pour identifier l'utilisation de ChatGPT par les universitaires, comme certaines universités, telles que [l'Université de Melbourne](https://msd.unimelb.edu.au/belt/home/news/turnitin- ai-writing-detection-tool), ont fait pour identifier l'utilisation par les étudiants.

ARC_Tracker a déclaré que les facteurs sous-jacents aux examens par les pairs assistés par ChatGPT des demandes de subvention comprenaient les charges de travail ingérables des universitaires et le fait que l'ARC prenait trop de temps pour publier des politiques claires sur l'utilisation de l'IA.

"Il y a un problème de longue date que les propositions de subventions ARC sont extrêmement longues", a déclaré le propriétaire du compte.

"S'il n'y a que trois ou quatre chercheurs sur la subvention, elle peut facilement atteindre plus de 100 pages. J'ai évalué ceux qui font 150 pages.

"Les évaluateurs n'ont souvent pas le temps d'examiner quoi que ce soit dans leur modèle de charge de travail académique dans les universités (qui ont elles-mêmes de nombreux problèmes) et le processus d'examen par les pairs est donc généralement soumis à beaucoup de pression."

ARC_Tracker a déclaré qu'une autre raison pour laquelle les pairs évaluateurs ont pu recourir à ChatGPT est qu'"il n'y a rien dans aucune des politiques de l'ARC explicitement sur les moteurs de texte génératifs d'IA" qui interdisent ou restreignent leur utilisation.

ARC_Tracker a ajouté que la déclaration publiée par ARC ne traitait pas explicitement de l'utilisation de l'IA générative.

"Bien sûr, la déclaration de l'ARC … indique qu'il existe des exigences générales, en vertu de leur politique de confidentialité, de ne pas télécharger le texte de la subvention d'autres personnes sur des sites Web externes", a déclaré le propriétaire du compte.

«Mais lisez cette politique. Est-ce clair, simple et clairement - sans aucun doute - avertit clairement les gens de ne pas utiliser ChatGPT ou des services d'IA similaires ? Je ne pense pas. Je l'ai lu - c'est assez difficile à analyser.

"L'ARC le fait tout le temps : quand quelque chose ne va pas, ils s'appuient sur une vieille politique usée, que personne ne peut lire facilement, au lieu d'anticiper les problèmes dont la communauté les avertit bien à l'avance."