Incidents associés
Un éminent spécialiste du diabète a été contraint de rassurer ses patients sur le fait qu'ils prescrivaient le bon traitement après avoir vu une vidéo générée par l'IA dans laquelle il décrivait les personnes qui prescrivaient le médicament comme des « idiots ».
Jonathan Shaw, directeur adjoint du Baker Heart and Diabetes Institute de Melbourne, a été alerté par la vidéo lorsque des patients ont commencé à appeler sa clinique pour demander des informations sur un nouveau traitement dont il faisait la promotion sur Facebook.
« J'ai cliqué sur le lien et bien sûr, il me ressemblait exactement, mais tous les mots avaient été modifiés », a déclaré le professeur Shaw.
« J'ai immédiatement pensé aux personnes qui pourraient croire ce que je dis, qui entendent maintenant des informations que je ne donnerais jamais. »
Dans la fausse publicité, l'IA a été utilisée pour créer des représentations très réalistes mais fausses de l'animateur de télévision Karl Stefanovic et du professeur Shaw. (ABC Science)
Dans la vidéo, depuis supprimée par Meta, la société mère de Facebook, on voit un faux Karl Stefanovic présenter un faux professeur Shaw, qui poursuit en disant que la metformine, un traitement de première intention pour le diabète de type 2, n'est « pas suffisante pour gérer efficacement le diabète ».
Le professeur Shaw présente ensuite un nouveau traitement qui « stabilise la glycémie en seulement 24 heures » et « s'attaque à d'autres symptômes du diabète ».
Le produit promu dans la vidéo est un complément alimentaire appelé Glyco Balance, qui contient des bâtons de cannelle, des baies de berbérine et du melon amer.
On ne sait pas si la société qui fabrique le complément, Vellec Group, est responsable de la vidéo.
Lorsque le professeur Shaw a cliqué sur la fausse publicité, il a été redirigé vers une transcription d'une interview qu'il n'a jamais faite avec la journaliste d'ABC Leigh Sales.
La fausse interview du professeur Shaw a été publiée en ligne en novembre. (ABC Science)
Il y est cité comme disant que le complément a été développé au Baker Institute avec des fonds gouvernementaux.
La transcription affirme également que la metformine, l'un des médicaments les plus couramment prescrits en Australie, est dangereuse.
Si certaines personnes peuvent ressentir des effets secondaires liés à la metformine, la sécurité à long terme du médicament a été bien étudiée et établie.
Le professeur Shaw a déclaré qu'il craignait que les fausses publicités empêchent les personnes diabétiques de prendre leurs médicaments.
« Ma principale préoccupation n'est pas mon risque personnel ou ma réputation, ma principale préoccupation est la désinformation », a-t-il déclaré.
« Cela rend beaucoup plus difficile pour les membres ordinaires du public d'identifier des sources fiables. »
Les escroqueries deviennent de plus en plus sophistiquées
Ces dernières années, les améliorations apportées à l'IA générative ont conduit à une augmentation significative des fausses escroqueries publicitaires utilisant l'identité de célébrités et d'autres personnalités publiques pour vendre des produits.
Plus tôt cette année, des vidéos deepfake du Dr Karl Kruszelnicki faisant la promotion de pilules contre la tension artérielle ont été présentées dans des centaines de publicités publiées sur Facebook et Instagram.
Kathy Sundstrom, responsable de la sensibilisation et de l'éducation à l'association caritative nationale anti-escroquerie IDCARE, a déclaré que les escroqueries impliquant des vidéos et des fichiers audio générés par l'IA devenaient « la nouvelle norme ».
« Au cours de l'année dernière, c'est certainement le pire que nous ayons jamais vu », a déclaré Mme Sundstrom.
« Comme tout le monde a adopté ChatGPT et d'autres plateformes d'IA, les criminels ont fait de même. Cela facilite leur travail… et lorsqu'ils utilisent la technologie deepfake, cela rend [l'arnaque] beaucoup plus convaincante. »
L'ABC a tenté de contacter le fabricant de Glyco Balance, Vellec Group, par e-mail et à un numéro de téléphone figurant sur le site Web du complément alimentaire.
Un représentant du service client n'a pas été en mesure de confirmer si Vellec Group était responsable des fausses publicités et n'a pas pu fournir d'autres coordonnées de l'entreprise.
Mme Sundstrom a déclaré que la promotion de fausses informations médicales était « très préoccupante » et que les escrocs pourraient utiliser des professionnels de la santé dans de fausses publicités pour échapper aux efforts de Meta visant à supprimer les escroqueries de promotion mettant en vedette des célébrités.
« La cybercriminalité est une industrie mondiale de mille milliards de dollars… Ils sont toujours à la recherche de nouvelles méthodes », a-t-elle déclaré.
Créer une illusion de crédibilité
L'utilisation de professionnels de la santé dans de fausses publicités crée également une illusion de crédibilité, qui est souvent amplifiée par un labyrinthe d'autres contenus frauduleux générés par l'IA.
Dans le cas de Glyco Balance, le deepfake du professeur Shaw semble n'être qu'une partie d'une escroquerie en ligne coordonnée.
Une recherche en ligne sur le complément alimentaire fait apparaître une litanie de sites sponsorisés et de vidéos YouTube présentant ce qui semble être des avis et des témoignages de clients générés par l'IA.
Elle fait également apparaître un lien vers ResearchGate, un site de dépôt où les scientifiques gardent une trace de leurs publications.
Un article intitulé "Glyco Balance Australia Reviews — Does This Blood Sugar Formula Work? Read This!" a été publié sur le site par le chercheur de Stanford "Dr Richard George".
Mais l'université de Stanford a confirmé qu'elle n'avait aucune trace d'un Dr Richard George comme professeur ou membre du personnel.
Il est contraire aux directives de ResearchGate de publier sous un faux nom ou de faire la publicité de produits. L'ABC a contacté ResearchGate au sujet de l'article et du profil du chercheur, mais il n'a pas répondu à nos demandes.
L'article comprend des avis de clients et des liens pour acheter le produit. (ABC Science)
De même, le site Internet de Glyco Balance indique que le produit a été développé par des médecins, dont Alan Gaby, un médecin américain spécialisé en nutrition.
L'ABC a contacté le Dr Gaby, qui a confirmé qu'il n'avait aucune implication ni aucun lien avec le produit.
Les diabétiques trompés
Michael, un homme du nord de la Nouvelle-Galles du Sud qui ne se sent à l'aise que pour partager son prénom, a entendu parler de Glyco Balance pour la première fois sur Facebook.
L'homme de 79 ans, qui a reçu un diagnostic de diabète il y a 10 ans, a décidé de cliquer sur le lien après avoir commencé à ressentir de nouveaux symptômes.
« J'ai cliqué sur le tag "en savoir plus" et derrière, il y avait une longue interview avec le Dr Norman Swan.
"Il y avait de nombreuses pages détaillant le développement du produit en collaboration avec l'Université d'Oxford et AstraZeneca - tous des noms bien connus."
Chargement...
Michael a remarqué qu'il y avait une offre limitée dans le temps - cinq bouteilles pour le prix de trois - et a décidé d'essayer le supplément.
Mais il a presque immédiatement regretté son achat.
"Je suis retourné en arrière et j'ai commencé à lire les commentaires… Les gens disaient : "J'ai pris un comprimé et je me sens mieux", a-t-il déclaré.
"Allez... On ne se sent pas mieux avec un seul comprimé."
Peu de temps après, Michael a demandé un remboursement pour les 340 $ qu'il avait dépensés.
Lutter contre les allégations de santé infondées
Les suppléments Glyco Balance sont censés contenir des "extraits naturels et des vitamines essentielles" formulés pour "soutenir des niveaux de sucre dans le sang et des profils lipidiques sains".
Mais lorsqu'il s'agit de gérer le diabète de type 2, il n'y a que [faible preuves d'un bénéfice possible pour quelques compléments alimentaires, et les autorités sanitaires soulignent que le traitement médical ne doit pas être remplacé par des produits de santé non éprouvés.
Les fausses publicités pour Glyco Balance indiquent également qu'il a été « approuvé » par la Therapeutic Goods Administration (TGA) d'Australie.
Il n'est cependant pas répertorié dans le registre australien des produits thérapeutiques et n'a pas été évalué par la TGA pour sa qualité, sa sécurité ou son efficacité.
Un porte-parole de la TGA a déclaré que le régulateur était au courant de l'affaire - et d'autres impliquant des professionnels de la santé et des célébrités qui recommandent des produits de santé - et qu'il « évaluait la situation ».
« Nous sommes préoccupés par la santé et la sécurité des Australiens qui accèdent à des produits thérapeutiques non approuvés ou à des informations sur ces produits en ligne », a déclaré le porte-parole.
« Il est important que les consommateurs sachent qu'il n'existe aucune garantie quant à la sécurité ou à la qualité des produits thérapeutiques qui ne sont pas approuvés pour la vente en Australie, comme ceux achetés sur Internet. »
En Australie, il est également interdit aux professionnels de la santé et aux chercheurs médicaux de cautionner des produits thérapeutiques ou de faire des témoignages à leur sujet.
Le professeur Shaw a déclaré que les escroqueries aux fausses recommandations pouvaient créer des problèmes juridiques épineux pour les professionnels de la santé qui en sont au cœur.
Le professeur Jonathan Shaw est directeur adjoint du Baker Heart and Diabetes Institute de Melbourne. (Fourni par le Baker Institute)
« Nous avons toutes sortes de réglementations qui semblent très bien fonctionner… Puis, soudainement, nous nous retrouvons avec cela, où tout cela est tombé à l’eau », a-t-il déclaré.
Le risque que des professionnels de la santé soient usurpés ou que leur voix soit clonée par l’IA empêchait déjà certains d’apparaître dans les médias ou de s’engager en ligne, a-t-il ajouté.
À qui revient la tâche de lutter contre les deepfakes de médecins ?
Meta a supprimé la fausse vidéo du professeur Shaw le 29 novembre, neuf jours après qu’elle a été signalée par le Baker Institute. L’institut a déclaré que ce n’est que lorsqu’il a déposé une plainte distincte pour violation de propriété intellectuelle que la vidéo a été supprimée.
« Meta ne veut pas d’escroqueries sur nos plateformes, et nous continuons d’investir dans des outils et des technologies pour les empêcher », a déclaré un porte-parole de l’entreprise.
Au cours d'un programme pilote entre avril et mai, Meta a supprimé plus de 8 000 escroqueries générées par l'IA qui utilisaient les visages de personnalités publiques.
L'entreprise a également testé une technologie de reconnaissance faciale pour lutter contre les escrocs utilisant des célébrités pour promouvoir ses produits.
Mais jusqu'à présent, cette technologie est limitée à 50 000 personnalités publiques sélectionnées qui doivent adhérer au programme. En attendant, davantage de professionnels de la santé sont ciblés.
"Je connais d'autres spécialistes très éminents du diabète à qui cela est également arrivé", a déclaré le professeur Shaw.
Un porte-parole de la TGA a déclaré que le régulateur travaillait en étroite collaboration avec plusieurs plateformes numériques, dont Meta, pour dissuader et lutter contre la publicité illégale de produits thérapeutiques.
En 2023-24, la TGA a demandé la suppression de plus de 4 800 publicités illégales de produits thérapeutiques sur diverses plateformes numériques.
Mme Sundstrom a déclaré que l'un des principaux défis pour les entreprises technologiques et les régulateurs était le volume de matériel frauduleux produit et la vitesse à laquelle il était développé.
Elle a décrit la situation comme un « jeu du chat et de la souris », de nouvelles publicités apparaissant souvent presque immédiatement après la suppression d'autres.
« Lorsque nous examinons du contenu en ligne, qu'il s'agisse d'une vidéo ou d'une publication Facebook... nous devons avoir cette suspicion par défaut et l'examiner pour voir si cela a du sens », a-t-elle déclaré.
« Cela signifie que vous devez attendre cinq minutes supplémentaires avant d'interagir avec quelque chose.
« C'est fatiguant, mais c'est si important. »