Problème 7163

Le document de politique nationale visant à définir l'approche de l'Afrique du Sud en matière d'intelligence artificielle (IA) pourrait bien être victime d'un de ses écueils les plus connus.

News24 révèle en exclusivité que certains articles de revues académiques cités dans le Projet de politique nationale en matière d'IA sont entièrement fictifs. L'explication la plus probable, ironiquement, est qu'un outil d'IA les aurait générés de manière hallucinatoire.

Plus tôt ce mois-ci, le ministre des Communications et des Technologies numériques, Solly Malatsi, a publié le projet de politique au Journal officiel pour consultation publique. Le document indique que son objectif est d'établir des priorités et des normes nationales pour l'IA, et de prendre en compte les « dynamiques spécifiques au secteur ».

Le projet de politique propose la création de nombreuses nouvelles institutions pour réglementer l'IA. Il s'agit notamment d'un Conseil d'éthique de l'IA, d'un Institut de sécurité de l'IA et d'un Fonds de garantie d'assurance pour l'IA chargé d'indemniser les personnes ou entités « lésées par les conséquences de l'IA ».

News24 a examiné les 67 références citées en bas du projet de politique. Plusieurs d'entre elles citaient soit une revue académique inexistante, soit un article qui n'est pas paru dans une revue reconnue.

Voici cinq exemples :

Babatunde, O., & Mnguni, P. (2023). « Challenges and Opportunities in Regulating AI: Perspectives from South Africa. » AI Policy Journal, 2(3), 143-156.

• News24 n'a trouvé aucune preuve de l'existence de la revue AI Policy Journal. Aucun article portant ce titre n'est paru dans une revue académique majeure.

Burman, A., & Sewpersadh, K. (2022). « Legal Frameworks for AI in South Africa: Balancing Innovation and Accountability. » South African Journal of Philosophy, 41(2), 207-217.

• La revue South African Journal of Philosophy (SAJP) existe bel et bien. Cependant, son rédacteur en chef, Dominic Griffiths, a déclaré à News24 qu'« aucun article de ce type n'a été publié par notre revue ». Griffiths a précisé qu'aucune personne portant le nom de famille « Burman » n'avait jamais publié dans le SAJP. « Cette référence est assurément une hallucination de l'IA », a-t-il affirmé.

Karr, V., & Smith, L. (2023). « Droits numériques et gouvernance de l'IA en Afrique ». Journal of African Law, 67(1), 95-108.

• Le Journal of African Law existe bel et bien, mais l'article n'apparaît pas dans le volume 67, numéro 1. Un article portant ce titre ne semble pas non plus paraître dans d'autres revues.

Cavaliere, F., McGregor, R. et Hersh, M. (2022). « Intelligence artificielle et éthique dans les économies émergentes : le cas de l'Afrique du Sud ». AI & Society, 37(4), 565-583.

• Karamjit Gill, rédacteur en chef d'AI & Society, a déclaré ne pas trouver la publication de cet article dans la revue. News24 n'a pas non plus réussi à le trouver sur Google Scholar.

Smith, M. et Mahomed, R. (2021). « L'impact de l'IA sur la justice sociale en Afrique du Sud ». Journal of Ethics and Social Philosophy, 18(3), 313-329.

• Louise Simpson, rédactrice en chef adjointe du Journal of Ethics and Social Philosophy (JESP), a confirmé que l'article n'existe pas. « Je peux confirmer que JESP n'a publié aucun article portant ce titre ni signé par cette combinaison d'auteurs, ni dans ce numéro, ni dans aucun autre », a-t-elle déclaré.

Certaines des sources figurant sur la liste étaient des documents soumis dans le cadre d'une enquête gouvernementale, ou ne prétendaient pas être des articles de revues académiques.

News24 n'a pas pu vérifier avec certitude le nombre exact de références fictives sur la liste, mais au moins six étaient inventées.

Johan Fourie, auteur et historien économique sud-africain à l'Université de Stellenbosch, a participé à la vérification des références.

« J'ai procédé en deux étapes : j'ai vérifié moi-même trois citations. J'ai également conclu qu'elles n'existaient pas. Je les ai ensuite testées avec un outil d'intelligence artificielle (https://citetrue.com/), qui a également conclu que les trois étaient introuvables dans les bases de données académiques courantes », a expliqué Fourie.

« En résumé, elles étaient inventées. »

News24 a contacté le ministère des Communications et des Technologies numériques afin de savoir s'il avait utilisé un outil d'intelligence artificielle pour rédiger le corps du texte ou les citations du projet de politique nationale en matière d'IA, voire les deux. Nous avons également demandé au ministère de fournir la preuve de l'existence des articles scientifiques.

Le ministère a indiqué qu'il examinait la bibliographie afin d'en garantir l'exactitude, notamment en cherchant à comprendre l'origine des « mineurs divergences de référencement ».

Le ministère a également indiqué avoir lancé le processus d'élaboration de cette politique en 2024 et que le document avait fait l'objet de nombreuses versions. Il a précisé avoir intégré des recherches, des avis d'experts et des échanges avec le secteur privé.

Le ministère a déclaré avoir besoin de temps pour déterminer l'origine des divergences, mais en a minimisé l'importance.

« Nous confirmons que ces problèmes techniques de référencement n'affectent ni le fond, ni l'intégrité, ni l'orientation politique du projet de cadre de politique nationale en matière d'IA », a-t-il affirmé.

Irresponsabilité

Anné Verhoef, directeur du pôle d'intelligence artificielle de l'Université du Nord-Ouest et professeur de philosophie, a déclaré que les textes produits par l'IA incluent souvent des sources et des références fabriquées.

« Cela s'explique par le fait que les applications d'IA sont programmées pour toujours fournir une réponse. En tant qu'outils de prédiction basés sur de vastes modèles de langage, elles anticipent les sources et les citations qui rendraient un texte crédible, faisant autorité et scientifique », a-t-il expliqué.

Verhoef a ajouté que l'inclusion de sources fictives dans les travaux universitaires et de recherche est « révélatrice d'une utilisation irresponsable de l'IA ».

« Des exemples tels que le projet de politique nationale sur l'IA, qui contient des citations et des sources inexactes, élaboré sans divulgation de l'implication de l'IA, reflètent une utilisation potentiellement contraire à l'éthique et irresponsable de l'IA », a déclaré Verhoef.

Fourie a déclaré que les hallucinations des modèles d'IA n'étaient pas surprenantes, mais qu'il était étonnant qu'il ne semble y avoir aucun contrôle.

« Ces outils sont puissants. Les entreprises, les universitaires et les gouvernements les utilisent déjà. Leur valeur dépend toutefois d'une supervision humaine rigoureuse.

« Des références fabriquées de toutes pièces laissent penser que l'outil n'a pas été utilisé avec suffisamment de soin. La conséquence, regrettable mais compréhensible, est que les doutes s'étendent désormais au-delà de l'erreur elle-même et portent sur la crédibilité de l'ensemble du document », a ajouté Fourie.

- Avec Katharina Moser