L'un des plus grands éditeurs universitaires au monde commercialise un ouvrage sur l'éthique de la recherche en intelligence artificielle qui semble truffé de fausses citations, notamment des références à des revues inexistantes.
L'édition universitaire est récemment critiquée pour avoir accepté des articles frauduleux produits à l'aide de l'IA, ayant franchi avec succès un processus d'évaluation par les pairs censé garantir des normes élevées.
Le Times a découvert qu'un livre récemment publié par le géant germano-britannique de l'édition Springer Nature contient des dizaines de citations qui semblent avoir été inventées – un signe, souvent révélateur, de contenu généré par l'IA.
L'ouvrage, intitulé Aspects sociaux, éthiques et juridiques de l'IA générative, est présenté comme une analyse de référence des dilemmes éthiques posés par cette technologie et est vendu au prix de 125 £. Au moins deux chapitres contiennent des notes de bas de page citant des publications scientifiques qui semblent avoir été inventées.
Dans un chapitre, 8 des 11 citations n'ont pu être vérifiées, ce qui laisse supposer que plus de 70 % d'entre elles pourraient être falsifiées.
Au sein du monde universitaire, l'inquiétude grandit quant à la génération de citations, voire d'articles de recherche entiers, par des outils d'IA qui tentent d'imiter de véritables travaux scientifiques.
En avril, Springer Nature a retiré de la vente un autre ouvrage technique, Mastering Machine Learning: From Basics to Advanced, après la découverte de nombreuses références fictives.
Dans un livre plus récent analysé par le Times, une citation prétend faire référence à un article publié dans le « Harvard AI Journal ». Or, la Harvard Business Review a affirmé que cette revue n'existe pas.
Guillaume Cabanac, maître de conférences en informatique à l'Université de Toulouse et expert en détection de faux articles scientifiques, a analysé deux chapitres à l'aide de BibCheck, un outil conçu pour identifier les références falsifiées.
Il a constaté qu'au moins 11 des 21 citations du premier chapitre ne correspondaient à aucun article scientifique connu. L'analyse a également révélé que 8 des 11 citations du chapitre 4 étaient introuvables.
« Il s'agit d'une fraude scientifique : falsification et fabrication de références », a déclaré Cabanac. Il suit de près ce type de cas et affirme avoir constaté une augmentation constante des citations « hallucinées » par l'IA dans la littérature académique.
Il a ajouté : « Les chercheurs construisent leurs connaissances en s'appuyant sur des recherches déjà publiées… Lorsque ces études sont fragiles ou erronées, il est impossible de bâtir quoi que ce soit de solide par-dessus. »
Une autre étude menée par le Dr Nathan Camp de l'Université d'État du Nouveau-Mexique a abouti à des conclusions similaires. Camp, qui a étudié la prolifération des fausses citations générées par l'IA, a découvert de nombreuses références erronées, incohérentes ou entièrement inventées dans l'ouvrage sur l'éthique de l'IA.
Dans certains cas, des détails provenant de différents articles authentiques semblaient avoir été combinés. Six autres chapitres semblaient exacts. Chaque chapitre a été rédigé par une équipe d'auteurs différente.
Camp a déclaré : « Bien qu'il soit difficile de déterminer avec certitude si les citations utilisées sont générées par une IA, elles sont au mieux erronées, au pire probablement falsifiées, et l'IA est le moyen le plus simple de falsifier des citations. »
James Finlay, vice-président en charge des ouvrages de sciences appliquées chez Springer Nature, a déclaré : « Nous prenons très au sérieux toute préoccupation relative à l'intégrité de nos publications. Notre équipe spécialisée en intégrité de la recherche enquête sur ce cas en priorité. »
Il a ajouté : « Notre équipe d'intégrité travaille en collaboration avec les éditeurs et utilise une expertise pointue ainsi que des outils de détection pour garantir le respect de nos normes et identifier tout problème d'intégrité en amont. Il est toutefois possible que certains problèmes passent entre les mailles du filet. »