Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2992

Incidents associés

Incident 5373 Rapports
Mother in Arizona Received Fake Ransom Call Featuring AI Voice of Her Daughter

Loading...
"Maman, ces méchants m'ont" : elle pense que des escrocs ont cloné la voix de sa fille lors d'un faux enlèvement
edition.cnn.com · 2023

(CNN) — Le téléphone de Jennifer DeStefano a sonné un après-midi alors qu'elle sortait de sa voiture devant le studio de danse où sa fille cadette Aubrey avait une répétition. L'appelant s'est présenté comme inconnu et elle a brièvement envisagé de ne pas décrocher.

Mais sa fille aînée, Brianna, 15 ans, s'entraînait pour une course de ski et DeStefano craignait qu'il ne s'agisse d'une urgence médicale.

"Bonjour?" elle a répondu sur haut-parleur en verrouillant sa voiture et en traînant son sac à main et son ordinateur portable dans le studio.

Elle a été accueillie par des cris et des sanglots.

"Maman! J'ai foiré!" cria une voix de fille.

"Qu'est-ce que tu as fait?!? Ce qui s'est passé?!?" a demandé DeStefano.

"La voix ressemblait à celle de Brie, l'inflexion, tout", a-t-elle récemment déclaré à CNN. "Puis, tout d'un coup, j'ai entendu un homme dire:" Allongez-vous, mettez votre tête en arrière. Alors j'ai commencé à paniquer. »

Alors que les appels à l'aide se poursuivaient en arrière-plan, une voix masculine profonde a commencé à lancer des commandes : « Écoutez ici. J'ai votre fille. Vous appelez la police, vous appelez n'importe qui, je vais lui faire sauter quelque chose de si plein de drogue. Je vais me débrouiller avec elle, puis la déposer au Mexique, et tu ne la reverras plus jamais.

DeStefano se figea. Puis elle a couru dans le studio de danse, tremblant et criant à l'aide. Elle avait l'impression de se noyer d'un coup.

Après une série d'événements chaotiques et rapides comprenant une demande de rançon d'un million de dollars, un appel au 911 et un effort effréné pour joindre Brianna, le "kidnapping" a été révélé comme une arnaque. Une Brianna perplexe a appelé pour dire à sa mère qu'elle ne savait pas de quoi il s'agissait et que tout allait bien.

Mais DeStefano, qui vit en Arizona, n'oubliera jamais ces quatre minutes de terreur et de confusion – et le son étrange de cette voix familière.

« Une mère connaît son enfant », a-t-elle dit plus tard. "Vous pouvez entendre votre enfant pleurer à travers le bâtiment, et vous savez que c'est le vôtre."

L'intelligence artificielle a rendu les escroqueries aux enlèvements plus crédibles


L'appel est arrivé le 20 janvier vers 16 h 55. DeStefano venait de s'arrêter devant le studio de danse de Scottsdale, près de Phoenix.

DeStefano pense maintenant qu'elle a été victime d'une escroquerie d'enlèvement virtuel qui cible des personnes à travers le pays, les effrayant avec un son altéré de la voix d'un être cher et exigeant de l'argent. Aux États-Unis, les familles perdent en moyenne 11 000 $ dans chaque escroquerie de faux enlèvement, a déclaré Siobhan Johnson, agent spécial et porte-parole du FBI à Chicago.

Dans l'ensemble, les Américains ont perdu 2,6 milliards de dollars l'année dernière dans des escroqueries d'imposteurs, [selon les données de la Federal Trade Commission](https://www.ftc.gov/news-events/news/press-releases/2023/02/new-ftc -data-show-consumers-signated-losing-presque-88-billion-scams-2022).

Dans l'audio de l'appel au 911 fourni à CNN par le département de police de Scottsdale, une mère du studio de danse tente d'expliquer au répartiteur ce qui se passe.

"Alors, une mère vient d'arriver, elle a reçu un appel téléphonique de quelqu'un qui a sa fille... comme un kidnappeur au téléphone disant qu'il veut un million de dollars", dit l'autre maman. "Il ne la laissera pas parler à sa fille."

En arrière-plan, on peut entendre DeStefano crier : "Je veux parler à ma fille !"

Le répartiteur a immédiatement identifié l'appel comme un canular.

"C'est donc une arnaque très populaire", a-t-elle déclaré. "Est-ce qu'ils lui demandent d'aller chercher des cartes-cadeaux et des choses comme ça?"

Les arnaques d'imposteurs existent depuis des années. Parfois, l'appelant tend la main aux grands-parents et dit que leur petit-enfant a eu un accident et a besoin d'argent. De faux ravisseurs ont utilisé des enregistrements génériques de personnes en train de crier.

Mais les responsables fédéraux préviennent que ces systèmes deviennent de plus en plus sophistiqués et que certains récents ont une chose en commun : les voix clonées. La croissance des programmes d'intelligence artificielle (IA) bon marché et accessibles a permis aux escrocs de cloner des voix et de créer des extraits de dialogue qui ressemblent à leurs prétendus captifs.

"La menace n'est pas hypothétique - nous voyons des escrocs militariser ces outils", a déclaré Hany Farid, [professeur d'informatique à l'Université de Californie à Berkeley](https://www.ischool.berkeley.edu/people/hany- farid) et membre du laboratoire d'intelligence artificielle de Berkeley.

"Un clone raisonnablement bon peut être créé avec moins d'une minute d'audio et certains prétendent que même quelques secondes peuvent suffire", a-t-il ajouté. "La tendance au cours des dernières années a été que de moins en moins de données sont nécessaires pour fabriquer un faux convaincant."

Avec l'aide d'un logiciel d'intelligence artificielle, le clonage de la voix peut être effectué pour seulement 5 dollars par mois, ce qui le rend facilement accessible à tous, a déclaré Farid.

La Federal Trade Commission a averti le mois dernier que les escrocs pouvaient obtenir des extraits audio des publications des victimes sur les réseaux sociaux.

"Un escroc pourrait utiliser l'IA pour cloner la voix de votre bien-aimé", l'agence [a déclaré dans un communiqué](https://consumer.ftc.gov/consumer-alerts/2023/03/scammers-use-ai-enhance -leurs-régimes-d'urgence-familiaux). "Tout ce dont il a besoin, c'est d'un court extrait audio de la voix du membre de votre famille - qu'il pourrait obtenir à partir du contenu publié en ligne - et d'un programme de clonage de voix. Lorsque l'escroc vous appelle… (cela ressemblera) à votre bien-aimé.

DeStefano: "C'était … le son de sa voix"

Jusqu'à ce jour, DeStefano n'avait jamais entendu parler de stratagèmes d'enlèvements virtuels. Les forces de l'ordre n'ont pas vérifié si l'IA a été utilisée dans son cas, mais DeStefano pense que des escrocs ont cloné la voix de sa fille.

Elle ne sait tout simplement pas comment ils l'ont obtenu.

Brianna est présente sur les réseaux sociaux - un compte TikTok privé et un compte Instagram public avec des photos et des vidéos de ses événements de compétition de ski. Mais ses followers sont pour la plupart des amis proches et de la famille, a déclaré DeStefano.

"C'était évidemment le son de sa voix", a-t-elle déclaré. "C'était les pleurs, c'était les sanglots. Ce qui m'a vraiment frappé, c'est qu'elle n'est pas une pleurnicharde. Elle n'est pas une hurleuse. Elle n'est pas une folle. Elle est plus une personne interne, qui essaie de contenir et de gérer. C'est ce qui m'a découragé. C'était la voix, assortie aux pleurs.

Ce jour-là, dans le studio de danse, DeStefano a persuadé l'appelant de baisser le montant de la rançon. Elle a demandé à sa fille, Aubrey, d'utiliser son téléphone pour appeler Brianna ou son père, qui était avec elle dans une station de ski à 110 miles de là, dans le nord de l'Arizona.

Aubrey, 13 ans, tremblait et pleurait en écoutant les cris qu'elle croyait être ceux de sa sœur.

«Aubrey était… entendant toutes les vulgarités de ce qu'ils allaient faire avec sa sœur. Beaucoup de jurons, de menaces », a déclaré DeStefano.

Une autre mère a pris le téléphone d'Aubrey et a essayé de joindre le mari de DeStefano et Brianna. À ce moment-là, la menace semblait toujours réelle.

Beaucoup de ces escroqueries proviennent du Mexique, selon le FBI

Il n'y a pas de données disponibles sur le nombre de personnes ciblées chaque année par des ravisseurs virtuels.

La plupart des appels proviennent du Mexique et ciblent le sud-ouest des États-Unis, où se trouvent de grandes communautés latines, a déclaré Johnson, l'agent spécial du FBI.

Au milieu d'un appel pénible, un parent ou un parent désemparé ne se demande souvent pas s'il s'agit de la voix en direct de son être cher, a déclaré Johnson.

Le FBI n'a pas remarqué d'augmentation du nombre d'enlèvements virtuels dans la nouvelle ère de l'IA, mais il émet régulièrement des rappels pour éduquer les gens sur les escroqueries, a déclaré Johnson.

«Nous ne voulons pas que les gens paniquent. Nous voulons que les gens soient préparés. C'est un crime facile à contrecarrer si vous savez quoi faire à l'avance », a déclaré Johnson.

Alors que la technologie a certainement fait des deepfakes une préoccupation majeure, l'IA n'est pas le problème, a-t-elle ajouté - le problème, ce sont les criminels qui l'utilisent.

Farid, l'expert en IA, a déclaré qu'à sa connaissance, les versions actuelles des logiciels d'IA ne peuvent pas cloner les voix pour afficher un large éventail d'émotions, comme celle d'un enfant terrifié.

Mais il a dit qu'il ne pouvait pas entièrement exclure que les cris ou les sanglots soient générés par l'IA.

"Il se pourrait très bien qu'un clonage de voix hurlant soit au coin de la rue et / ou que je ne sois tout simplement pas au courant d'une technologie qui permette cela", a-t-il déclaré.

L'appelant a finalement abaissé la rançon à 50 000 $


Au studio de danse, plusieurs minutes tendues se sont écoulées avant que quiconque puisse atteindre Brianna, son père ou son frère. Après que DeStefano ait déclaré qu'elle n'avait pas 1 million de dollars, l'appelant a réduit la rançon à 50 000 dollars et la discussion s'est tournée vers des instructions sur la façon de virer l'argent.

La mère qui a appelé le 911 a tenté de convaincre DeStefano que l'appel était une arnaque, mais elle était trop bouleversée pour la croire.

"Ma réfutation était:" C'est Brie qui pleure. "Cela lui ressemblait", a déclaré DeStefano. « Je ne la croyais pas, parce que… la voix (de ma fille) était si réelle, et ses pleurs et tout étaient si réels.

L'appelant lui a alors dit que puisque le câblage de 50 000 $ serait traçable, il viendrait la chercher dans une camionnette blanche, lui mettrait un sac sur la tête et la conduirait à un endroit où elle pourrait remettre l'argent. "Vous feriez mieux d'avoir tout l'argent, ou vous et votre fille êtes morts", a-t-il dit.

DeStefano a essayé de gagner suffisamment de temps pour que la police arrive.

"Il est en mode muet, j'ai cette conversation avec d'autres personnes, puis je la réactive et dis:" Bonjour, je suis désolé, j'essaie de trouver un moyen de vous procurer l'argent. J'essaie de voir d'où je peux le tirer – vous savez, tout ce que je pourrais faire pour maintenir la conversation.

Alors qu'ils parlaient de la façon d'échanger l'argent, quelqu'un a tendu un téléphone à DeStefano. C'était Brianna à l'autre bout du fil.

"Elle est comme, 'Maman, je suis au lit. Je ne ai aucune idée de ce qui se passe. Je suis en sécurité. C'est bon.'"

Un DeStefano furieux a fondu en larmes et s'en est pris à l'appelant pour avoir menti. Il a insisté sur le fait qu'il avait sa fille et a continué ses demandes d'argent. Elle a raccroché au nez et a appelé la police.

Conseils pour déjouer les faux ravisseurs

DeStefano a déclaré que ce jour-là avait changé sa façon de répondre aux appels téléphoniques. Elle se méfie de répondre aux appels inconnus et dit rarement un mot jusqu'à ce que l'appelant le fasse, de peur que sa voix ne soit clonée pour un futur enlèvement virtuel. Elle a essayé de comprendre comment les ravisseurs virtuels ont obtenu la voix de sa fille et a envisagé plusieurs scénarios.

« Ils auraient pu l'appeler. Elle aurait pu répondre à un téléphone, dire « bonjour ! J'ai déjà eu ces appels téléphoniques alors qu'il n'y avait personne, et vous vous disiez, 'bonjour, bonjour ! Je me suis tellement creusé le cerveau que je ne peux pas comprendre », a-t-elle déclaré.

Mais tout le monde n'est pas capable de contrecarrer les faux ravisseurs comme l'a fait DeStefano. Johnson du FBI a partagé quelques conseils pour éviter de se faire arnaquer :

  • Ne publiez pas d'informations sur les voyages à venir sur les réseaux sociaux - cela donne aux escrocs une fenêtre pour cibler votre famille. "Si vous êtes en l'air, votre mère ne peut pas appeler pour s'assurer que vous allez bien", a déclaré Johnson.
  • Créez un mot de passe familial. Si quelqu'un appelle et dit qu'il a kidnappé votre enfant, vous pouvez lui dire de demander le mot de passe à l'enfant.
  • Si vous recevez un tel appel, gagnez du temps pour élaborer un plan et alerter les forces de l'ordre. «Écrivez une note à quelqu'un d'autre dans la maison et faites-lui savoir ce qui se passe. Appelez quelqu'un », a déclaré Johnson.
  • Si vous êtes au milieu d'un enlèvement virtuel et qu'il y a quelqu'un d'autre dans la maison, demandez-lui d'appeler le 911 et exhortez le répartiteur à avertir le FBI.
  • Méfiez-vous de fournir des informations financières à des inconnus par téléphone. Les ravisseurs virtuels exigent souvent une rançon via un service de virement bancaire, une crypto-monnaie ou des cartes-cadeaux.
  • Plus important encore, ne faites pas confiance à la voix que vous entendez lors de l'appel. Si vous ne pouvez pas joindre un être cher, demandez à un membre de votre famille, à un ami ou à quelqu'un d'autre dans la pièce d'essayer de le contacter pour vous.
Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd