Incidents associés
L’Agence du revenu du Canada (ARC) a gaspillé près de 20 millions de dollars de l’argent des contribuables dans un bot « d’intelligence artificielle » qui a fourni à plusieurs reprises des renseignements erronés aux Canadiens tentant de produire leur déclaration de revenus.
L’outil d’IA de l’ARC, nommé Charlie le Chatbot, a affiché un taux de précision d’environ 44 % lors des tests effectués par l’équipe de la vérificatrice générale, Karen Hogan.
Cette fonctionnalité logicielle avait été annoncée en 2020 par la ministre du Revenu national de l’époque, Diane Lebouthillier, et devait coûter aux contribuables plus de 18 millions de dollars.
Selon les documents déposés au Parlement lundi, 13,67 millions de dollars ont servi à payer les salaires des employés ayant participé au projet, en plus des coûts liés aux avantages sociaux et aux déplacements. Par ailleurs, 3,21 millions de dollars ont été dépensés pour rémunérer les consultants informatiques.
Au moment de son lancement, l'ARC a averti que le clavardeur était encore en phase d'apprentissage, précisant que « les questions que vous lui poserez l'aideront à devenir plus compétent et interactif ».
« Charlie vous permettra d’obtenir plus facilement les renseignements nécessaires pour produire vos déclarations de revenus et de prestations! », a écrit l’Agence du revenu du Canada en 2020.
Cependant, le rapport de M. Hogan indique que le logiciel, toujours accessible sur 13 pages Web de l’ARC, est loin d’être précis.
« Les réponses de Charlie étaient généralement brèves, offrant peu de contexte et peu de renseignements supplémentaires », peut-on lire dans le rapport du vérificateur général publié en octobre. « Nous avons constaté que Charlie n'a fourni de réponses exactes qu'à 2 des 6 questions que nous lui avons posées, tandis que les autres outils d'intelligence artificielle conversationnelle publics accessibles sur le Web ont répondu correctement à 5 questions sur 6. »
Selon l'ARC, les internautes ont eu plus de sept millions de « conversations » avec Charlie et lui ont posé plus de 18 millions de questions depuis sa création.
Cependant, le chatbot a récemment été enregistré comme ayant un « seuil de précision » de 70 %, une nouvelle version non encore publiée ayant atteint « environ 90 % » le mois dernier.
L'agence a toutefois précisé que « le nombre exact de questions auxquelles le chatbot d'intelligence artificielle générative a répondu correctement ne peut être déterminé avec précision sans un examen exhaustif de toutes les transcriptions d'interactions. »
L’Agence du revenu du Canada (ARC) a publié jeudi les résultats de son « Plan d’amélioration des services sur 100 jours », indiquant que 70 % des utilisateurs du chatbot Charlie avaient atteint leur objectif en novembre.
Le rapport souligne également que la réactivité globale de l’agence envers les citoyens a presque doublé durant l’automne. Cette amélioration est attribuable en partie au renouvellement des contrats ou à la prolongation des contrats de plus de 1 200 employés des centres d’appels.