Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 3209

Incidents associés

Incident 5641 Rapport
Voice deepfake targets bank in failed transfer scam

Loading...
Les Deepfakes vocaux arrivent pour votre solde bancaire
nytimes.com · 2023

Ce printemps, Clive Kabatznik, un investisseur en Floride, a appelé son représentant local de Bank of America pour discuter d'un transfert d'argent important qu'il envisageait d'effectuer. Puis il a rappelé.

Sauf que le deuxième appel téléphonique ne venait pas de M. Kabatznik. Au contraire, un logiciel avait généré artificiellement sa voix et tenté de tromper le banquier pour qu'il déplace l'argent ailleurs.

M. Kabatznik et son banquier ont été la cible d’une tentative d’escroquerie de pointe qui a attiré l’attention des experts en cybersécurité : l’utilisation de l’intelligence artificielle pour générer des deepfakes de voix, ou des interprétations vocales qui imitent les voix de vraies personnes.

Le problème est encore suffisamment nouveau pour qu’il n’existe pas de compte détaillé de sa fréquence. Mais un expert dont la société Pindrop surveille le trafic audio de plusieurs des plus grandes banques américaines a déclaré avoir constaté une augmentation de sa prévalence cette année – et de la sophistication des tentatives de fraude vocale des fraudeurs. Un autre grand fournisseur d'authentification vocale, Nuance, a connu sa première attaque deepfake réussie contre un client de services financiers à la fin de l'année dernière.

Dans le cas de M. Kabatznik, la fraude était détectable. Mais la rapidité du développement technologique, la baisse des coûts des programmes d’intelligence artificielle générative et la large disponibilité d’enregistrements de voix sur Internet ont créé les conditions idéales pour l’IA liée à la voix. escroqueries.

Les données clients, telles que les coordonnées bancaires volées par des pirates informatiques – et largement disponibles sur les marchés clandestins – aident les fraudeurs à mener à bien ces attaques. Cela devient encore plus facile avec des clients fortunés, dont les apparitions publiques, y compris les discours, sont souvent largement disponibles sur Internet. Trouver des échantillons audio pour les clients ordinaires peut également être aussi simple que d’effectuer une recherche en ligne – par exemple sur des applications de médias sociaux comme TikTok et Instagram – pour trouver le nom d’une personne dont les fraudeurs possèdent déjà les informations de compte bancaire.

"Il existe beaucoup de contenu audio", a déclaré Vijay Balasubramaniyan, directeur général et fondateur de Pindrop, qui examine les systèmes de vérification vocale automatique de huit des dix plus grands prêteurs américains.

Au cours de la dernière décennie, Pindrop a examiné les enregistrements de plus de cinq milliards d’appels entrant dans les centres d’appels gérés par les sociétés financières qu’elle dessert. Les centres gèrent des produits tels que les comptes bancaires, les cartes de crédit et d'autres services proposés par les grandes banques de détail. Tous les centres d'appels reçoivent des appels de fraudeurs, généralement entre 1 000 et 10 000 par an. Il est courant que 20 appels proviennent de fraudeurs chaque semaine, a déclaré M. Balasubramaniyan.

Jusqu’à présent, les fausses voix créées par des programmes informatiques ne représentent que « une poignée » de ces appels, a-t-il déclaré – et cela n’a commencé à se produire qu’au cours de l’année écoulée.

La plupart des fausses attaques vocales observées par Pindrop ont eu lieu dans les centres d'appels des services de cartes de crédit, où des représentants humains traitent avec les clients ayant besoin d'aide avec leurs cartes.

M. Balasubramaniyan a fait écouter à un journaliste un enregistrement anonyme d'un de ces appels qui a eu lieu en mars. Bien qu’il s’agisse d’un exemple très rudimentaire – la voix dans ce cas ressemble à celle d’un robot, plus à celle d’un lecteur électronique qu’à celle d’une personne – l’appel illustre comment des escroqueries pourraient se produire lorsque l’IA facilite l'imitation des voix humaines.

On entend un banquier saluer le client. Ensuite, la voix, semblable à une voix automatisée, dit : « Ma carte a été refusée. »

« Puis-je demander avec qui j'ai le plaisir de parler ? » répond le banquier.

«Ma carte a été refusée», répète la voix.

Le banquier demande à nouveau le nom du client. Un silence s'ensuit, pendant lequel on entend le faible bruit des frappes sur les touches. Selon M. Balasubramaniyan, le nombre de frappes correspond au nombre de lettres du nom du client. Le fraudeur tape des mots dans un programme qui les lit ensuite.

Dans ce cas, le discours synthétique de l’appelant a conduit l’employé à transférer l’appel vers un autre service et à le signaler comme potentiellement frauduleux, a expliqué M. Balasubramaniyan.

Les appels comme celui qu'il a partagé, qui utilisent la technologie de saisie en texte, sont parmi les attaques les plus faciles contre lesquelles se défendre : les centres d'appels peuvent utiliser un logiciel de filtrage pour détecter des indices techniques indiquant que la parole est générée automatiquement.

"La parole synthétique laisse des artefacts derrière elle, et de nombreux algorithmes anti-usurpation d'identité éliminent ces artefacts", a déclaré Peter Soufleris, directeur général d'IngenID, un fournisseur de technologies de biométrie vocale.

Mais, comme c’est le cas pour de nombreuses mesures de sécurité, il s’agit d’une course aux armements entre attaquants et défenseurs – et elle a récemment évolué. Un escroc peut désormais simplement parler dans un microphone ou taper une invite et prononcer ce discours très rapidement traduit dans la voix de la cible.

M. Balasubramaniyan a noté qu'une IA générative. Le système VALL-E de Microsoft pourrait créer une fausse voix disant ce que l’utilisateur souhaitait en utilisant seulement trois secondes d’audio échantillonné.

Dans l'émission « 60 Minutes » en mai, Rachel Tobac, consultante en sécurité, a utilisé un logiciel pour [cloner la voix de Sharyn Alfonsi] de manière si convaincante(https://www.tiktok.com/@60minutes/video/7235782764333829422), l'une des Selon les correspondants du programme, elle aurait trompé un employé de « 60 Minutes » en lui faisant donner le numéro de passeport de Mme Alfonsi.

L'attaque n'a pris que cinq minutes, a déclaré Mme Tobac, directrice générale de SocialProof Security. L'outil qu'elle a utilisé est devenu disponible à l'achat en janvier.

Même si les démonstrations effrayantes de deepfake sont un incontournable des conférences sur la sécurité, les attaques réelles sont encore extrêmement rares, a déclaré Brett Beranek, directeur général de la sécurité et de la biométrie chez Nuance, un fournisseur de technologie vocale acquis par Microsoft en 2021. La seule violation réussie d'un En octobre, un client de Nuance a mis à l'attaquant plus d'une douzaine de tentatives pour réussir.

La plus grande préoccupation de M. Beranek ne concerne pas les attaques contre les centres d’appels ou les systèmes automatisés, comme les systèmes de biométrie vocale déployés par de nombreuses banques. Il s'inquiète des escroqueries qui permettent à un appelant de joindre directement un individu.

"J'ai eu une conversation un peu plus tôt cette semaine avec l'un de nos clients", a-t-il déclaré. « Ils disaient : hé, Brett, c’est formidable que notre centre de contact soit sécurisé – mais que se passerait-il si quelqu’un appelait simplement notre PDG ? directement sur son téléphone portable et se fait passer pour quelqu'un d'autre ?

C’est ce qui s’est passé dans le cas de M. Kabatznik. Selon la description du banquier, il semblait essayer de lui faire transférer de l’argent vers un nouvel endroit, mais la voix était répétitive, parlant par-dessus elle et utilisant des phrases tronquées. Le banquier a raccroché.

«C'était comme si je lui parlais, mais cela n'avait aucun sens», lui avait dit M. Kabatznik. (Un porte-parole de Bank of America a refusé de rendre le banquier disponible pour un entretien.)

Après deux autres appels de ce type, le banquier a signalé l'affaire à l'équipe de sécurité de Bank of America, a déclaré M. Kabatznik. Inquiète pour la sécurité du compte de M. Kabatznik, elle a cessé de répondre à ses appels et à ses courriels, même à ceux provenant du véritable M. Kabatznik. Il leur a fallu environ dix jours pour rétablir la connexion, lorsque M. Kabatznik a organisé une visite à son bureau.

"Nous formons régulièrement notre équipe pour identifier et reconnaître les escroqueries et aider nos clients à les éviter", a déclaré William Halldin, porte-parole de Bank of America. Il a déclaré qu'il ne pouvait pas commenter des clients spécifiques ou leurs expériences.

Bien que les attaques soient de plus en plus sophistiquées, elles proviennent d’une menace fondamentale en matière de cybersécurité qui existe depuis des décennies : une violation de données qui révèle les informations personnelles des clients des banques. De 2020 à 2022, des fragments de données personnelles sur plus de 300 millions de personnes sont tombés entre les mains de pirates informatiques, entraînant des pertes de 8,8 milliards de dollars, selon la Federal Trade Commission.

Une fois qu’ils ont récolté un lot de chiffres, les pirates informatiques passent au crible les informations et les associent à de vraies personnes. Ceux qui volent les informations ne sont presque jamais les mêmes que ceux qui les récupèrent. Au lieu de cela, les voleurs l'ont mis en vente. Les spécialistes peuvent utiliser l’un des rares programmes facilement accessibles pour usurper les numéros de téléphone des clients cibles – ce qui est probablement ce qui s’est produit dans le cas de M. Kabatznik.

Les enregistrements de sa voix sont faciles à trouver. Sur Internet, il y a des vidéos de lui s'exprimant lors d'une conférence et [participant](https://m.facebook.com/The-Horseradish- Challenge-613839368770423/videos/clive-kabatznik-takes-a-heaping-spoonful-of-horseraifort-for-th/624142671073426/) lors d'une collecte de fonds.

"Je pense que c'est assez effrayant", a déclaré M. Kabatznik. « Le problème, c’est que je ne sais pas ce que vous faites à ce sujet. Allez-vous simplement dans la clandestinité et disparaissez-vous ?

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd