Incidents associés
Récemment, l'ancien président et condamné pour crime Donald Trump a publié une série de photos qui semblaient montrer des fans de la pop star Taylor Swift soutenant sa candidature à la présidence des États-Unis. Les images semblaient générées par l'IA, et WIRED a pu confirmer qu'elles l'étaient probablement en les faisant passer dans l'outil de détection de l'organisation à but non lucratif True Media pour confirmer qu'elles présentaient « des preuves substantielles de manipulation ».
Les choses ne sont pas toujours aussi simples. L'utilisation de l'IA générative, notamment à des fins politiques, est devenue de plus en plus courante, et WIRED a suivi son utilisation dans les élections du monde entier. Mais dans une grande partie du monde en dehors des États-Unis et de certaines régions d’Europe, la détection de contenu généré par l’IA est difficile en raison des biais dans la formation des systèmes, ce qui laisse aux journalistes et aux chercheurs peu de ressources pour faire face au déluge de désinformation qui les guette.
La détection des médias générés ou manipulés à l’aide de l’IA est encore un domaine en plein essor, une réponse à l’explosion soudaine des entreprises d’IA génératrice. (Les startups d’IA ont attiré plus de 21 milliards de dollars d’investissements rien qu’en 2023.) « Il existe beaucoup plus d’outils et de technologies facilement accessibles qui permettent réellement de créer des médias synthétiques que ceux qui sont disponibles pour les détecter », explique Sabhanaz Rashid Diya, fondateur du Tech Global Institute, un groupe de réflexion axé sur la politique technologique dans les pays du Sud.
Selon Sam Gregory, directeur de programme de l’association à but non lucratif Witness, qui aide les gens à utiliser la technologie pour défendre les droits de l’homme, la plupart des outils actuellement sur le marché ne peuvent offrir qu’un taux de confiance compris entre 85 et 90 % lorsqu’il s’agit de déterminer si un contenu a été créé par l’IA. Mais lorsqu’il s’agit de contenu provenant de pays comme le Bangladesh ou le Sénégal, où les sujets ne sont pas blancs ou ne parlent pas anglais, ce niveau de confiance s’effondre. « Au fur et à mesure que les outils ont été développés, ils ont été priorisés pour des marchés particuliers », explique Gregory. Dans les données utilisées pour entraîner les modèles, « ils ont donné la priorité à la langue anglaise – l’anglais avec l’accent américain – ou aux visages prédominants dans le monde occidental ».
Cela signifie que les modèles d’IA ont été principalement formés à partir de données provenant et pour les marchés occidentaux, et ne peuvent donc pas vraiment reconnaître quoi que ce soit qui ne corresponde pas à ces paramètres. Dans certains cas, c'est parce que les entreprises formaient des modèles en utilisant les données les plus facilement disponibles sur Internet, où l'anglais est de loin la langue dominante. « En fait, la plupart de nos données [africaines] sont sur papier », explique Richard Ngamita, fondateur de Thraets, une organisation à but non lucratif de technologie civique axée sur les menaces numériques en Afrique et dans d'autres régions du Sud. Cela signifie qu'à moins que ces données ne soient numérisées, les modèles d'IA ne peuvent pas être formés dessus.
Sans les vastes quantités de données nécessaires pour former les modèles d'IA suffisamment bien pour détecter avec précision le contenu généré ou manipulé par l'IA, les modèles renverront souvent des faux positifs, signalant le contenu réel comme généré par l'IA, ou des faux négatifs, identifiant le contenu généré par l'IA comme réel. « Si vous utilisez l’un des outils disponibles dans le commerce destinés à détecter le texte généré par l’IA, ils ont tendance à détecter l’anglais écrit par des locuteurs non natifs et à supposer que l’écriture de locuteurs non natifs de l’anglais est en fait de l’IA », explique Diya. « Il y a beaucoup de faux positifs parce qu’ils n’ont pas été formés sur certaines données. »
Mais ce n’est pas seulement que les modèles ne peuvent pas reconnaître les accents, les langues, la syntaxe ou les visages moins courants dans les pays occidentaux. « Beaucoup des premiers outils de détection de deepfake ont été formés sur des supports de haute qualité », explique Gregory. Mais dans une grande partie du monde, y compris en Afrique, les marques de smartphones chinois bon marché qui offrent des fonctionnalités simplifiées dominent le marché. Les photos et vidéos que ces téléphones sont capables de produire sont de bien moindre qualité, ce qui complique encore davantage les modèles de détection, explique Ngamita.
Gregory explique que certains modèles sont si sensibles que même le bruit de fond dans un morceau audio ou la compression d'une vidéo pour les réseaux sociaux peuvent entraîner un faux positif ou négatif. « Mais ce sont exactement les circonstances que l'on rencontre dans le monde réel, une détection brutale et chaotique », dit-il. Les outils gratuits et accessibles au public auxquels la plupart des journalistes, des vérificateurs de faits et des membres de la société civile sont susceptibles d'avoir accès sont également « ceux qui sont extrêmement imprécis, en termes de traitement de l'inégalité de la représentation des personnes dans les données de formation et des défis liés au traitement de ce matériel de moindre qualité ».
L'IA générative n'est pas le seul moyen de créer des médias manipulés. Les faux médias, appelés « cheapfakes », qui consistent à ajouter des étiquettes trompeuses ou simplement à ralentir ou à modifier l’audio et la vidéo, sont également très courants dans les pays du Sud, mais peuvent être signalés à tort comme manipulés par l’IA par des modèles défectueux ou des chercheurs non formés.
Diya craint que les groupes utilisant des outils plus susceptibles de signaler des contenus provenant de l’extérieur des États-Unis et de l’Europe comme étant générés par l’IA puissent avoir de graves répercussions au niveau politique, encourageant les législateurs à sévir contre des problèmes imaginaires. « Il y a un risque énorme de gonfler ce genre de chiffres », dit-elle. Et développer de nouveaux outils n’est pas une question d’appuyer sur un bouton.
Comme toute autre forme d’IA, la création, le test et l’exécution d’un modèle de détection nécessitent un accès à des centres d’énergie et de données qui ne sont tout simplement pas disponibles dans la plupart des pays du monde. « Si l’on parle d’IA et de solutions locales, il est presque impossible de faire fonctionner les modèles que nous envisageons de créer sans l’aspect informatique », explique Ngamita, qui est basé au Ghana. Sans alternatives locales, les chercheurs comme Ngamita n’ont que peu d’options : payer pour accéder à un outil standard comme celui proposé par Reality Defender, dont les coûts peuvent être prohibitifs ; utiliser des outils gratuits inexacts ; ou essayer d’y accéder par l’intermédiaire d’une institution universitaire.
Pour l’instant, Ngamita dit que son équipe a dû s’associer à une université européenne à laquelle elle peut envoyer des éléments de contenu pour vérification. L’équipe de Ngamita a compilé un ensemble de données d’instances de deepfake possibles à travers le continent, ce qui, selon lui, est précieux pour les universitaires et les chercheurs qui tentent de diversifier les ensembles de données de leurs modèles.
Mais l’envoi de données à quelqu’un d’autre a aussi ses inconvénients. « Le temps de latence est assez important », explique Diya. « Il faut au moins quelques semaines avant que quelqu’un puisse dire avec certitude que ce contenu est généré par l’IA, et à ce moment-là, le mal est déjà fait. »
Gregory affirme que Witness, qui gère son propre programme de détection rapide, reçoit un « nombre énorme » de cas. « Il est déjà difficile de les traiter dans le délai dont les journalistes de première ligne ont besoin, et compte tenu du volume qu’ils commencent à rencontrer », dit-il.
Mais Diya estime que se concentrer autant sur la détection pourrait détourner les financements et le soutien des organisations et institutions qui contribuent à un écosystème d’information plus résilient dans son ensemble. Au lieu de cela, dit-elle, les fonds doivent être dirigés vers les médias et les organisations de la société civile qui peuvent susciter un sentiment de confiance du public. « Je ne pense pas que ce soit là que l’argent va », dit-elle. « Je pense qu’il va davantage vers la détection. »