Incidents associés
À première vue, Renée DiResta pensait que le message LinkedIn semblait assez normal. L'expéditeur, Keenan Ramsey, a mentionné qu'ils appartenaient tous les deux à un groupe LinkedIn pour entrepreneurs. Elle a ponctué sa salutation d'un emoji souriant avant de se tourner vers un pitch pour un logiciel. "Question rapide : avez-vous déjà envisagé ou étudié une approche unifiée des messages, de la vidéo et du téléphone sur n'importe quel appareil, n'importe où ?" DiResta n'était pas intéressée et aurait complètement ignoré le message, mais elle a ensuite regardé de plus près la photo de profil de Ramsey. De petites choses semblaient fausses dans ce qui aurait dû être une photo d'entreprise typique. Ramsey ne portait qu'une seule boucle d'oreille. Des mèches de ses cheveux ont disparu puis sont réapparues. Ses yeux étaient alignés en plein milieu de l'image. "Le visage m'a sauté aux yeux comme étant faux", a déclaré DiResta, un chercheur chevronné qui a étudié les campagnes de désinformation russes et les complots anti-vaccins. Pour son œil averti, ces anomalies étaient des signaux d'alarme indiquant que la photo de Ramsey avait probablement été créée par l'intelligence artificielle. Ce message fortuit a lancé DiResta et son collègue Josh Goldstein à l'Observatoire Internet de Stanford dans une enquête qui a découvert plus de 1 000 profils LinkedIn utilisant ce qui semble être des visages créés par l'intelligence artificielle. Les comptes de médias sociaux utilisant des visages générés par ordinateur ont poussé à la désinformation chinoise ; militants harcelés ; et déguisés en Américains soutenant l'ancien président Donald Trump et des médias indépendants diffusant de la propagande pro-Kremlin. NPR a constaté que de nombreux profils LinkedIn semblent avoir un objectif beaucoup plus banal : augmenter les ventes pour les entreprises, grandes et petites. Des comptes comme celui de Keenan Ramsey envoient des messages à des clients potentiels. Quiconque mord à l'hameçon est mis en relation avec un vrai vendeur qui essaie de conclure l'affaire. Pensez au télémarketing pour l'ère numérique. En utilisant de faux profils, les entreprises peuvent élargir leur réseau en ligne sans renforcer leur propre personnel de vente ni atteindre les limites de LinkedIn en matière de messages. La demande de prospects en ligne a explosé pendant la pandémie, car il est devenu difficile pour les équipes de vente de présenter leurs produits en personne. Plus de 70 entreprises étaient répertoriées comme employeurs sur ces faux profils. Plusieurs ont déclaré à NPR qu'ils avaient embauché des spécialistes du marketing externes pour aider aux ventes. Cependant, ils ont déclaré qu'ils n'avaient autorisé aucune utilisation d'images générées par ordinateur, et beaucoup ont été surpris d'apprendre à leur sujet lorsque NPR a posé la question. NPR n'a pas vérifié de manière indépendante qui a créé les profils ou les images, ni trouvé quiconque ayant autorisé leur utilisation. NPR n'a pas non plus trouvé d'activité illégale. Mais ces photos de profil LinkedIn générées par ordinateur illustrent comment une technologie qui a été utilisée pour propager la désinformation et le harcèlement en ligne a fait son chemin dans le monde de l'entreprise. "Cela ressemble à quelqu'un que nous connaissons" D'un point de vue commercial, créer des comptes de médias sociaux avec des visages générés par ordinateur a ses avantages : c'est moins cher que d'embaucher plusieurs personnes pour créer de vrais comptes, et les images sont convaincantes. Une étude récente a révélé que les visages créés par l'IA sont devenus "indiscernables" des vrais visages. Les gens n'ont que 50 % de chances de deviner correctement si un visage a été créé par un ordinateur - pas mieux que de lancer une pièce. "Si vous demandez à la personne moyenne sur Internet, 'Est-ce une personne réelle ou générée synthétiquement?' ils sont essentiellement dus au hasard », a déclaré Hany Farid, expert en criminalistique des médias numériques à l'Université de Californie à Berkeley, co-auteur de l'étude avec Sophie J. Nightingale de l'Université de Lancaster. Leur étude a également révélé que les gens considèrent les visages créés par ordinateur légèrement plus fiables que les vrais. Farid soupçonne que c'est parce que l'IA s'en tient aux caractéristiques les plus moyennes lors de la création d'un visage. "Ce visage a tendance à sembler digne de confiance, parce qu'il est familier, n'est-ce pas? Il ressemble à quelqu'un que nous connaissons", a-t-il déclaré. Il craint que la prolifération du contenu généré par l'IA n'augure une nouvelle ère de tromperie en ligne, utilisant non seulement des images fixes, mais aussi des "deepfakes" audio et vidéo. Après que les chercheurs de Stanford ont alerté LinkedIn sur les profils, LinkedIn a déclaré avoir enquêté et supprimé ceux qui enfreignaient ses politiques, y compris les règles contre la création de faux profils ou la falsification d'informations. LinkedIn n'a pas donné de détails sur la manière dont il a mené son enquête. "Nos politiques indiquent clairement que chaque profil LinkedIn doit représenter une personne réelle. Nous mettons constamment à jour nos défenses techniques pour mieux identifier les faux profils et les supprimer de notre communauté, comme nous l'avons fait dans ce cas", a déclaré la porte-parole de LinkedIn, Leonna Spilman. déclaration. "En fin de compte, il s'agit de s'assurer que nos membres peuvent entrer en contact avec de vraies personnes, et nous nous efforçons de garantir qu'ils disposent d'un environnement sûr pour le faire." À la recherche de toute preuve, Keenan Ramsey est celle qu'elle prétend être À première vue, le profil de Ramsey ressemble à beaucoup d'autres sur LinkedIn : le portrait fade avec un sourire légèrement raide ; une description passe-partout de RingCentral, la société de logiciels où elle dit travailler ; et un bref historique de l'emploi. Elle prétend avoir un diplôme de premier cycle en commerce de l'Université de New York et donne une liste générique d'intérêts : CNN, Unilever, Amazon, la philanthrope Melinda French Gates. Mais il y avait des bizarreries dans la photo : la boucle d'oreille unique et les cheveux étranges, le placement de ses yeux, l'arrière-plan flou. Seuls, chacun de ces indices pourrait être expliqué, mais ensemble, ils ont éveillé les soupçons de DiResta. "Le positionnement des traits sur le visage est quelque chose que si vous avez vu suffisamment de fois, vous vous familiarisez avec", a déclaré DiResta. La technologie la plus probablement utilisée pour créer la photo de Ramsey, connue sous le nom de réseau contradictoire génératif, ou GAN, n'existe que depuis 2014, mais pendant cette période, elle est rapidement devenue meilleure pour créer des visages réalistes en s'entraînant sur de grands ensembles de données de photos de personnes réelles. Aujourd'hui, les sites Web permettent à quiconque de télécharger gratuitement des visages générés par ordinateur. "Dans le cadre de mon travail, j'examine beaucoup de ces choses, principalement dans le contexte d'opérations d'influence politique", a déclaré DiResta. "Mais tout à coup, il y avait une fausse personne dans ma boîte de réception qui me contactait." Pour confirmer si Ramsey était bien une "fausse personne", NPR a creusé l'arrière-plan décrit sur son profil LinkedIn. RingCentral n'a aucune trace d'un employé nommé Keenan Ramsey. Language I/O, l'un des précédents employeurs qu'elle a listés non plus. Et "les dossiers de NYU ne reflètent pas que quelqu'un du nom de Keenan Ramsey ait reçu un diplôme de premier cycle de quelque type que ce soit", a déclaré le porte-parole de l'université, John Beckman, à NPR. DiResta a d'abord pensé que le message de Ramsey pourrait être une tentative de phishing - essayant de la tromper pour qu'elle révèle des informations sensibles. Elle est devenue encore plus méfiante lorsqu'elle a reçu un message LinkedIn identique - comprenant les mêmes emojis - de quelqu'un d'autre prétendant être un employé de RingCentral et dont la photo de profil semblait également générée par ordinateur. Puis elle a reçu un e-mail d'un troisième employé de RingCentral, faisant référence au message LinkedIn de Ramsey. Mais quand elle a recherché le nom de celui-ci, il semblait appartenir à une vraie personne qui travaillait dans l'entreprise. Intrigués, DiResta et Goldstein, un stagiaire postdoctoral à Stanford, ont commencé à parcourir LinkedIn à la recherche de profils comme celui de Ramsey. "En l'espace de quelques semaines, nous avons trouvé plus d'un millier de comptes qui semblent être de faux comptes avec des images générées par le GAN", a déclaré Goldstein. "Et lorsque nous avons recherché ces personnages sur Internet, nous n'avons trouvé aucune preuve d'eux ailleurs, ce qui est rare." Les profils qu'ils ont repérés avaient également d'autres modèles en commun. Beaucoup ont décrit leurs emplois avec des variantes de titres tels que responsable du développement commercial, responsable du développement des ventes, responsable de la croissance et spécialiste de la génération de la demande. Ils avaient souvent une brève liste de deux ou trois anciens employeurs, parfois des noms bien connus comme Amazon et Salesforce, sans aucun détail sur ces expériences. Lorsque NPR a contacté certaines des entreprises répertoriées comme anciens employeurs, aucune n'avait de trace des employés supposés y travailler. De nombreux profils arboraient également des diplômes étonnamment similaires. Par exemple, certains ont affirmé avoir obtenu un baccalauréat en administration des affaires, y compris dans des écoles telles que l'Université de Columbia, qui n'offrent pas de diplôme de premier cycle en commerce. NPR a contacté 28 universités à propos de 57 des profils. Sur les 21 écoles qui ont répondu, aucune n'avait de dossier sur l'un des supposés diplômés. "Ce n'est pas comme ça que nous faisons des affaires", déclare RingCentral. Bien sûr, les gens remplissent leur CV, et il n'y a aucune garantie que ce soit vraiment parce que le profil LinkedIn de quelqu'un dit qu'il travaille dans une entreprise. Mais l'émergence de personnes apparemment fausses utilisant des photos de synthèse porte la tromperie à de nouveaux sommets sur un réseau social professionnel comme LinkedIn, où les gens envoient fréquemment des messages à des personnes qu'ils ne connaissent pas lorsqu'ils recherchent du travail, recrutent des candidats ou juste du réseautage. "Lorsque vous êtes sur les plateformes de médias sociaux, on s'attend à ce que vous ayez affaire à d'autres humains", a déclaré Bonnie Patten, directrice exécutive de l'organisme de surveillance à but non lucratif Truth in Advertising. "Et que vous n'avez pas affaire à un personnage généré par l'IA qui est manipulé par quelqu'un derrière le rideau." Parmi les profils identifiés par les chercheurs de Stanford, 60 prétendaient être des employés de RingCentral. Mais l'entreprise affirme qu'aucun d'entre eux n'y a jamais travaillé. La personne qui a envoyé un e-mail à DiResta suite au message LinkedIn de Ramsey était un véritable employé de RingCentral mais a quitté l'entreprise en février (cette personne n'a pas répondu aux tentatives de NPR de les contacter). RingCentral a déclaré avoir embauché d'autres entreprises pour contacter des clients potentiels et organiser des réunions avec les vendeurs internes de RingCentral - ce que l'on appelle dans l'entreprise la "génération de leads". Et RingCentral dit que l'un de ces fournisseurs externes a créé de faux profils, bien qu'il ait refusé de nommer le fournisseur. NPR n'a pas été en mesure de confirmer l'identité du fournisseur ou qui a créé les profils. Heather Hinton, responsable de la sécurité de l'information chez RingCentral, a déclaré qu'elle n'était pas au courant que quiconque créait des profils LinkedIn fictifs au nom de RingCentral et n'approuvait pas cette pratique. "Ce n'est pas comme ça que nous faisons des affaires", a-t-elle déclaré à NPR dans une interview. "C'était pour nous un rappel que la technologie évolue plus vite que même ceux d'entre nous qui la regardent ne peuvent suivre. Et nous devons simplement être de plus en plus vigilants quant à ce que nous faisons et à ce que nos fournisseurs vont faire sur notre nom." La porte-parole de RingCentral, Mariana Leventis, a déclaré dans un communiqué: "Bien que cela ait pu être une pratique acceptée par l'industrie dans le passé, à l'avenir, nous ne pensons pas que ce soit une pratique acceptable et va à l'encontre de notre engagement envers nos clients. Nous prenons des mesures spécifiques pour mettre à jour notre approche de la génération de prospects et pour éduquer nos employés sur ce qui est et n'est pas acceptable en termes de communication avec les clients et les partenaires." Un PDG a déclaré : "Je pensais qu'ils étaient de vraies personnes". Plusieurs des autres entreprises répertoriées comme employeurs actuels sur les profils apparemment faux ont déclaré la même chose à NPR : elles ont utilisé des fournisseurs externes pour présenter des clients potentiels sur LinkedIn. Bob Balderas, PDG de Bob's Containers à Austin, au Texas, a déclaré à NPR qu'il avait embauché une entreprise nommée airSales pour développer les affaires de sa petite startup, qui réutilise les conteneurs d'expédition pour les maisons et les bureaux. Balderas dit qu'il savait qu'airSales créait des profils LinkedIn pour des personnes qui se décrivaient comme des représentants du développement commercial pour Bob's Containers. Mais, a-t-il dit, "je pensais que c'étaient de vraies personnes qui travaillaient pour airSales." Balderas a déclaré qu'il n'était pas à l'aise avec l'utilisation de photos générées par l'IA. "Nous sommes axés sur le consommateur. Cela ne crée pas de confiance", a-t-il déclaré. Il a déclaré que Bob's Containers avait cessé de travailler avec airSales avant que NPR ne se renseigne sur les profils. Le PDG d'AirSales, Jeremy Camilloni, a confirmé que Bob's Containers était un client. Il a déclaré qu'airSales engage des sous-traitants indépendants pour fournir des services de marketing et a "toujours été clair" avec ses clients à ce sujet. Camilloni a déclaré que ces sous-traitants peuvent créer des profils LinkedIn "à leur propre discrétion", mais que l'entreprise ne l'exige pas et ne s'implique pas. Et il a dit qu'il orientait les sous-traitants vers les conditions d'utilisation de LinkedIn. "À ma connaissance, il n'y a pas de règles spécifiques pour les photos de profil ou l'utilisation d'avatars", a-t-il déclaré, affirmant que "c'est en fait courant chez les utilisateurs de technologies sur LinkedIn". Il a ajouté: "Si cela change, nous en informerons nos sous-traitants en conséquence." LinkedIn affirme que tous les profils non authentiques, y compris ceux utilisant des images qui ne représentent pas un utilisateur réel, vont à l'encontre de ses règles. "N'utilisez pas l'image de quelqu'un d'autre, ou toute autre image qui ne vous ressemble pas, pour votre photo de profil", indique sa page Politiques de la communauté professionnelle. Vendre des « avatars » LinkedIn pour 1 300 $ par mois Les faux profils ne sont pas un phénomène nouveau sur LinkedIn. Comme d'autres réseaux sociaux, il a lutté contre les bots et les personnes qui se présentent sous un faux jour. Mais la disponibilité et la qualité croissantes des photos générées par l'IA créent de nouveaux défis pour les plateformes en ligne. LinkedIn a supprimé plus de 15 millions de faux comptes au cours des six premiers mois de 2021, selon son dernier rapport sur la transparence. Il indique que la grande majorité a été détectée lors de l'inscription, et la plupart des autres ont été trouvées par ses systèmes automatiques, avant qu'un membre de LinkedIn ne les signale. Spilman, le porte-parole de LinkedIn, a déclaré que la société "travaille constamment pour améliorer nos modèles afin de nous assurer que nous captons et supprimons les profils qui utilisent des images générées par ordinateur". De nos jours, de nombreuses autres entreprises recherchent des moyens de trouver des clients en ligne. "Les ventes interentreprises traditionnelles se rencontrent en personne : je vous rencontre lors d'une conférence, vous les dégustez et les dînez, vous essayez de développer une relation personnelle", a déclaré Hee Gun Eom, cofondateur et PDG de Salezilla, une entreprise spécialisée dans le marketing par courriel automatisé. Mais tout a changé pendant la pandémie. "Beaucoup de prospection et de développement de nouvelles entreprises sont passés au numérique - sur les réseaux sociaux, LinkedIn, par e-mail", a-t-il déclaré. "Nous venons de voir une énorme augmentation du nombre de personnes essayant d'envoyer des e-mails ou voulant créer de nouvelles entreprises par des moyens virtuels." (Salezilla n'offre pas de campagnes LinkedIn et dit qu'il n'utilise pas d'images générées par l'IA.) NPR a tenté de contacter plus d'une douzaine d'entreprises répertoriées comme employeurs sur des profils identifiés par les chercheurs de Stanford qui offrent des services de marketing LinkedIn à d'autres entreprises. L'une de ces sociétés, Renova Digital, a annoncé sur son site Web un package "ProHunter" qui comprend deux bots, ou "profils d'avatar entièrement personnalisés", et des messages illimités pour les clients prêts à payer 1 300 dollars par mois. La société a supprimé la description de ses services et ses tarifs de son site Web après que NPR l'a interrogé à leur sujet. Le fondateur de Renova Digital, Philip Foti, a déclaré à NPR dans un e-mail qu'il avait testé des photos générées par l'IA dans le passé, mais qu'il avait cessé de le faire. "Nous avons décidé que cela n'était pas cohérent avec nos valeurs et ne valait pas les gains marketing", a-t-il écrit. En plus de supprimer la plupart des profils identifiés par les chercheurs de Stanford, LinkedIn a également supprimé les pages de deux sociétés de génération de leads répertoriées sur bon nombre de ces profils : LIA, basée à Delhi, en Inde, et Vendisys, basée à San Francisco. Pour 300 $ par mois, les clients de LIA peuvent choisir un "avatar généré par l'IA" parmi des centaines qui sont "prêts à l'emploi", selon le site Web de LIA, qui a récemment été effacé de toutes les informations à l'exception de son logo. La LIA n'a pas répondu aux multiples demandes de commentaires. Le PDG de Vendisys, Erik Paulson, a refusé de commenter. Aussi prosaïque qu'il soit d'utiliser des profils générés par ordinateur pour vendre des choses, la diffusion de la technologie inquiète l'expert en criminalistique numérique Farid. Au fur et à mesure que l'intelligence artificielle progresse, lui et d'autres chercheurs s'attendent à ce qu'il devienne plus difficile de détecter des images créées par ordinateur à l'œil nu - sans parler des faux audio et vidéo, comme la vidéo fortement manipulée qui a récemment circulé sur les réseaux sociaux prétendant montrer le président ukrainien Volodymyr Zelensky appelant ses soldats à se rendre. Les visages générés par ordinateur sont "le canari dans la mine de charbon", a déclaré Farid. "C'est le début de ce qui va suivre, qui est de véritables deepfakes audio-vidéo destinés à une personne spécifique."