Incidents associés
Le Australian Research Council a fait face à des allégations que certains de ses pairs évaluateurs ont pu utiliser ChatGPT pour évaluer des propositions de recherche, ce qui a suscité un avertissement de la part du ministre de l'Éducation et des inquiétudes concernant une éventuelle mauvaise conduite académique.
Plusieurs chercheurs ont signalé que certains commentaires d'évaluateurs fournis dans le cadre de la dernière série de subventions des projets Discovery incluaient une formulation générique suggérant qu'ils pourraient avoir été rédigés par l'intelligence artificielle.
Un universitaire, qui a souhaité rester anonyme, a déclaré à Guardian Australia que l'un des rapports d'évaluateur qu'ils ont reçus contenait les mots « Régénérer la réponse » – un texte qui apparaît sous la forme d'un bouton d'invite dans [l'interface ChatGPT](https://www.theguardian. com/technology/2023/jan/13/chatgpt-explainer-what-can-artificial-intelligence-chatbot-do-ai).
"C'est un rapport plutôt positif, mais il est également assez fade et il vous cite la proposition", a déclaré le chercheur. "C'est presque comme lire quelque chose que vous avez écrit vous-même."
Après avoir déposé une plainte auprès de l'ARC, le rapport a été retiré.
Le chercheur a déclaré que l’utilisation apparente de l’IA mettait en évidence les contraintes de temps auxquelles sont confrontés les universitaires australiens ainsi qu’un éventuel manque de contrôle de qualité en interne de la part de l’ARC.
« Je pense que c’est le signe que quelqu’un est surmené et essaie de rogner sur les raccourcis… Si vous avez utilisé l’intelligence artificielle pour générer une réponse, vous perdez la capacité de vous engager dans une démarche académique appropriée.
Les rapports détaillés des évaluateurs sont généralement rédigés par des universitaires dans des domaines étroitement liés et sont utilisés par le Collège d'experts de l'ARC pour décider [quelles propositions de subvention devraient finalement recevoir un financement gouvernemental](https://www.theguardian.com/australia-news/2023/ avril/20/controversial-grant-decisions-by-coalition-ministers-eroded-trust-in-australian-research-council-review-finds). Seuls 19 % des projets Discovery du cycle de financement de l’année dernière ont finalement abouti. Les résultats du cycle de subventions 2023 n’ont pas encore été annoncés.
Le chercheur concerné a appelé à une plus grande transparence de la part de l’ARC. Les universitaires reçoivent des rapports d'évaluation sur leurs propositions de subvention, mais ne reçoivent pas simultanément leurs notes pour chaque rapport correspondant.
« Si vous pensez qu'il s'agit d'un rapport ChatGPT, mais que vous n'avez pas la preuve que je l'ai fait, vous n'avez aucun moyen d'y répondre. Vous devriez être capable de… [indiquer si] les scores sont incohérents.
Le ministre fédéral de l’Éducation, Jason Clare, a déclaré au Guardian Australia dans un communiqué : « L’utilisation de l’IA de cette manière n’est pas acceptable. »
Clare a déclaré qu’il avait demandé à l’ARC de « mettre en place des mesures pour garantir que cela n’arrive pas ».
Les chercheurs qui reçoivent de l’argent de l’ARC sont tenus, comme condition formelle de leur subvention, de rédiger les commentaires des évaluateurs sur les propositions d’autres universitaires. Au cours d'une année donnée, les chercheurs sont invités à évaluer [jusqu'à 20 propositions](https://www.arc.gov.au/about-arc/program-policies/statement-support-assesseurs-within-national-competitive-grants -programme), qui comptent généralement chacun entre 50 et 100 pages.
Andrew Francis, professeur de mathématiques à l'Université Western Sydney, a déclaré que si les informations provenant des propositions de subvention étaient introduites dans ChatGPT, cela constituerait « une violation des accords de confidentialité que l'évaluateur a signés ».
"Si de véritables jugements sont générés par [Chat]GPT, alors c'est atrocement déshonorant de la part de l'évaluateur", a déclaré Francis. « À mon avis, il s’agit d’une mauvaise conduite académique qui mérite de se voir refuser un financement futur.
« L’ARC doit indiquer très clairement que l’utilisation de l’IA pour effectuer des évaluations est totalement inacceptable. »
Un universitaire australien qui gère le compte Twitter ARC Tracker a déclaré avoir lu quatre rapports d'évaluateurs reçus par des chercheurs "dans lesquels il était absolument clair que personne ne pouvait conclure quoi que ce soit". sinon que les évaluations avaient été faites par ChatGPT ». Ils étaient au courant de quatre autres cas présumés d’utilisation de l’IA générative.
« Le contrôle de la qualité des évaluations est un sujet dont les chercheurs parlent à l’ARC depuis longtemps, et ils n’ont pratiquement rien fait à ce sujet », a déclaré l’administrateur d’ARC Tracker.
En 2021, une soumission prébudgétaire cosignée par plus de 1 000 universitaires a suggéré que l'ARC introduise des conséquences pour commentaires inappropriés et non professionnels des évaluateurs.
"Il y a une pression énorme sur l'approche d'examen par les pairs pour évaluer la recherche en Australie", a ajouté l'administrateur d'ARC Tracker. « La plupart des universités ne donnent pas à leurs chercheurs le temps, de manière formelle et documentée, d’examiner quoi que ce soit – qu’il s’agisse d’articles d’autres personnes, de propositions de subvention, de propositions d’utilisation d’infrastructures… ce qui est pris en compte dans votre temps de recherche.
« Comme tout chercheur vous le dira, vous pouvez passer beaucoup de temps à évaluer les recherches des autres sans avoir de temps pour les vôtres.
« L’ARC aurait dû voir cela venir. »
Dans une déclaration publique, l'ARC a indiqué que « les pairs évaluateurs ne devraient pas utiliser l'IA dans le cadre de leurs activités d’évaluation ».
Un porte-parole de l'ARC a déclaré à Guardian Australia que plus de 7 000 évaluateurs ont contribué aux processus d'examen par les pairs de l'ARC en 2021-2022.
Ils ont déclaré : « L’ARC a une politique en matière de conflits d’intérêts et de confidentialité qui décrit les exigences en matière de confidentialité dans la conduite des activités de l’ARC, y compris l’examen par les pairs. Tous les évaluateurs de l'ARC confirment leur acceptation de cette politique lorsqu'ils entreprennent des évaluations.
« Bien que les outils d'intelligence artificielle (IA) générative tels que ChatGPT ne soient pas explicitement mentionnés dans cette politique, les principes communs de confidentialité s'appliquent à la fois aux canaux existants et émergents par lesquels des informations confidentielles peuvent être divulguées de manière inappropriée.
« Les développements dans le domaine de l’IA générative évoluent rapidement et soulèvent des considérations complexes, notamment l’équilibre des opportunités et des risques. L'ARC surveille de près ces développements et s'engage avec d'autres agences de financement de la recherche en Australie et à l'étranger sur ces questions.