Incidents associés
Le plus haut responsable de l’éducation de l’État s’est appuyé sur l’intelligence artificielle générative pour rédiger une proposition de politique sur l’utilisation des téléphones portables dans les écoles d’Alaska, qui a donné lieu à un document de l’État citant de prétendues études universitaires qui n’existent pas.
Le document ne révélait pas que l’IA avait été utilisée dans sa conception. Au moins une partie de ces fausses informations générées par l’IA s’est retrouvée devant les membres du Conseil de l’éducation et du développement de la petite enfance de l’État.
Les décideurs politiques dans le domaine de l’éducation et ailleurs au sein du gouvernement s’appuient sur des recherches bien étayées. L’utilisation par le commissaire de faux contenus générés par l’IA met en évidence un manque de politique de l’État concernant l’utilisation des outils d’IA, alors que la confiance du public dépend du fait de savoir que les sources utilisées pour éclairer les décisions du gouvernement sont non seulement exactes, mais réelles.
Un porte-parole du ministère a d’abord qualifié les fausses sources de « placeholders ». Elles ont été citées dans le corps d’une résolution publiée sur le site Web du département avant une réunion du conseil d’éducation de l’État, qui s’est tenue dans le Borough de Matanuska-Susitna ce mois-ci.
Plus tard, la commissaire à l’éducation de l’État, Deena Bishop, a déclaré qu’elles faisaient partie d’une première ébauche et qu’elle avait utilisé l’IA générative pour créer les citations. Elle a déclaré qu’elle s’était rendu compte de son erreur avant la réunion et avait envoyé les citations correctes aux membres du conseil. Le conseil a adopté la résolution.
Cependant, des références erronées et d’autres vestiges de ce que l’on appelle « l’hallucination de l’IA » existent dans le document corrigé distribué ultérieurement par le département et qui, selon Bishop, a été voté par le conseil.
La résolution ordonne au DEED d’élaborer une politique modèle pour les restrictions relatives aux téléphones portables. La résolution publiée sur le site Web de l’État cité supposait des articles universitaires qui ne peuvent pas être trouvés aux adresses Web indiquées et dont les titres n’apparaissaient pas dans des recherches en ligne plus larges.
Quatre des six citations du document semblent être des études publiées dans des revues scientifiques, mais elles étaient fausses. Les revues citées par l’État existent bel et bien, mais les titres référencés par le département ne sont pas imprimés dans les numéros répertoriés. Au lieu de cela, des travaux sur différents sujets sont publiés sur les liens répertoriés.
Ellie Pavlick, professeure adjointe d’informatique et de linguistique à l’Université Brown et chercheuse scientifique pour Google Deepmind, a examiné les citations et a déclaré qu’elles ressemblaient à d’autres fausses citations qu’elle a vu l’IA générer.
« C’est exactement le type de schéma que l’on observe avec les citations hallucinées par l’IA », a-t-elle déclaré.
Une hallucination est le terme utilisé lorsqu’un système d’IA génère des informations trompeuses ou fausses, généralement parce que le modèle ne dispose pas de suffisamment de données ou fait des hypothèses incorrectes.
« Il est tout à fait courant de voir ces fausses citations qui portent le nom d’un vrai journal, parfois même d’une vraie personne, d’un nom plausible, mais qui ne correspondent pas à une chose réelle », a-t-elle déclaré. « C’est exactement le schéma de citations que l’on attend d’un modèle de langage – du moins, nous les avons vus faire quelque chose comme ça. »
La section de référence du document comprend des URL, qui ont conduit à des articles universitaires sur différents sujets. Au lieu de « Banning mobile phones improves student performance: Evidence from a quasi-experiment » dans la revue Computers in Human Behavior, l’URL de l’État a conduit à l’article « Sexualized Behaviors on Facebook », un autre article de la publication. Une recherche du titre correct n’a donné aucun résultat. Il en était de même pour deux études qui, selon l’État, se trouvaient dans le Journal of Educational Psychology.
Après que l'Alaska Beacon a demandé au département de produire les fausses études, les responsables ont mis à jour le document en ligne. Lorsqu'on lui a demandé si le département avait utilisé l'IA, le porte-parole Bryan Zadalis a déclaré que les citations n'étaient là que comme remplissage jusqu'à ce que les informations correctes soient insérées.
« De nombreuses sources répertoriées étaient des espaces réservés pendant le processus de rédaction utilisés pendant que les sources finales étaient critiquées, comparées et en cours de révision. C'est un processus avec lequel beaucoup d'entre nous se sont habitués à travailler », a-t-il écrit dans un courriel vendredi.
Zadalis a rédigé le projet de résolution et Bishop « l'a ensuite mis dans une plateforme d'IA générative juste pour voir si cela pouvait être utile pour trouver des sources supplémentaires », a déclaré Zadalis dans un courriel lundi. Ils ont constaté que cela n'était finalement pas utile.
Bishop a déclaré plus tard qu'il s'agissait d'un premier projet qui avait été publié par erreur et qu'il avait été corrigé par la suite.
Mais des vestiges du document généré par l'IA se trouvent encore dans tout le document que Bishop a déclaré que le conseil avait examiné et voté.
Par exemple, le document mis à jour du département renvoie toujours les lecteurs à une étude fictive de 2019 de l’American Psychological Association pour étayer l’affirmation de la résolution selon laquelle « les élèves des écoles où l’utilisation des téléphones portables était restreinte présentaient des niveaux de stress plus faibles et des niveaux de réussite scolaire plus élevés ». La nouvelle citation mène à une étude qui s’intéresse à la santé mentale plutôt qu’aux résultats scolaires. Selon les anecdotes, cette étude n’a pas trouvé de corrélation directe entre l’utilisation du téléphone portable et la dépression ou la solitude.
Bien que cette affirmation ne soit pas correctement citée dans le document, il existe une étude qui montre que les smartphones ont un effet sur la compréhension des cours et le bien-être – mais parmi les étudiants universitaires plutôt que les adolescents. Melissa DiMartino, chercheuse et professeure à New York Tech qui a publié cette étude, a déclaré que même si elle n’a pas étudié les effets des téléphones portables sur les adolescents, elle pense que ses conclusions ne seraient que renforcées dans cette population.
« Leurs cerveaux sont encore en développement. Ils sont très malléables. Et si vous regardez les recherches sur les smartphones, une grande partie d’entre elles reflètent celles d’une dépendance à une substance ou de tout autre type de comportement addictif », a-t-elle déclaré.
Elle a déclaré que le problème de l’étude des adolescents, comme le suggèrent les titres des fausses études de l’État, est que les chercheurs doivent obtenir la permission des écoles pour faire des recherches sur leurs étudiants.
Le ministère a mis à jour le document en ligne vendredi, après de multiples demandes de renseignements de l’Alaska Beacon sur l’origine des sources. La liste de référence mise à jour a remplacé la citation d’un article inexistant du Journal of Educational Psychology, vieux de plus de 100 ans, par un véritable article du Malaysian Online Journal of Educational Technology.
Bishop a déclaré qu’il n’y avait « rien de néfaste » en jeu dans ces erreurs et qu’aucun préjudice perceptible n’était résulté de l’incident.
Les fausses citations montrent cependant comment la désinformation par l’IA peut influencer la politique de l’État, en particulier si des fonctionnaires de haut niveau utilisent la technologie comme un raccourci de rédaction qui provoque des erreurs qui se retrouvent dans des documents publics et des résolutions officielles.
La déclaration du porte-parole du ministère de l’Éducation suggère que l’utilisation de tels « espaces réservés » n’est pas inhabituelle au sein du ministère. Ce type d’erreur pourrait facilement être répété si ces espaces réservés sont généralement des contenus générés par l’IA.
Pavlick, l’expert en IA, a déclaré que la situation met en évidence des considérations plus larges sur la source des informations et la circulation de la désinformation.
« Je pense qu’il y a aussi une réelle préoccupation, surtout lorsque des personnes en position d’autorité utilisent cela, en raison de ce type de dégradation de la confiance qui existe déjà, n’est-ce pas ? », a-t-elle déclaré. « Une fois qu’il est révélé à plusieurs reprises que l’information est fausse, que ce soit intentionnellement ou non, il devient alors facile de rejeter n’importe quoi comme faux. »
Dans cet exemple, les articles scientifiques – des formes acceptées depuis longtemps de validation d’un argument par des recherches, des données et des faits – sont remis en question, ce qui pourrait compromettre le degré de fiabilité de ces articles.
« Je pense que pour beaucoup de gens, l’IA est considérée comme un substitut à la recherche de la même manière, car à certains égards, elle semble similaire. Par exemple, ils sont devant leur ordinateur, ils tapent dans une zone de texte et ils obtiennent ces réponses », a-t-elle déclaré.
Elle a cité une affaire judiciaire l’année dernière, où un avocat a utilisé un chatbot IA pour rédiger un dossier. Le chatbot a cité de faux cas que l’avocat a ensuite utilisés au tribunal, ce qui a conduit le juge à envisager de punir l’avocat. Pavlick a déclaré que ces erreurs lui rappellent ce qui s’est passé dans le document DEED.
Elle a déclaré qu’il est inquiétant que la technologie soit devenue si largement utilisée sans une augmentation correspondante de la compréhension du public sur son fonctionnement.
« Je ne sais pas à qui incombe vraiment cette responsabilité – il nous incombe probablement davantage, à nous, la communauté de l’IA, de mieux éduquer, car il est assez difficile de reprocher aux gens de ne pas comprendre, de ne pas se rendre compte qu’ils doivent traiter cela différemment des autres outils de recherche, des autres technologies », a-t-elle déclaré.
Elle a déclaré que l’amélioration de la maîtrise de l’IA est un moyen d’éviter une utilisation abusive de la technologie, mais il n’existe pas de bonnes pratiques universellement reconnues sur la manière dont cela devrait se faire.
« Je pense que quelques exemples de ce genre vont, je l’espère, se multiplier pour que le pays tout entier, le monde, s’intéresse un peu plus aux résultats de cette initiative », a-t-elle déclaré.
Note de l’éditeur : cet article a été mis à jour pour indiquer que Zadalis a rédigé la résolution.