Bienvenue dans

la base de données des incidents d'IA

Une plateforme promettant des « conversations érotiques avec une IA » a exposé publiquement près de deux millions d'images et de vidéos, dont beaucoup montrant des personnes privées, rapporte 404 Media.

Secret Desires, un chatbot érotique et générateur d'images par IA, a rendu vulnérables des serveurs de stockage cloud contenant des photos, des noms de femmes et d'autres informations personnelles telles que leurs lieux de travail et leurs établissements d'enseignement, selon 404 Media.

Cette fuite massive est le dernier cas en date d'utilisation d'outils d'IA générative pour transformer des photos innocentes en deepfakes explicites non consensuels.

Certaines des photos et vidéos provenaient d'influenceuses, de personnalités publiques et de femmes anonymes. Parmi ces dernières, on trouve des captures d'écran de Snapchat et au moins une photo d'annuaire scolaire. Parmi les contenus exposés figuraient des images générées par IA par les utilisateurs, notamment celles créées grâce à une fonctionnalité de « faceswap » désormais désactivée, que Secret Desires a retirée en début d'année.

À l'instar de Character.AI ou de Replika, Secret Desires permet aux utilisateurs de créer des avatars IA et de dialoguer avec eux. Bien que le contenu pornographique soit interdit sur Character.AI (et autorisé uniquement pour certains utilisateurs de Replika), Secret Desires affirme dans son Guide de démarrage rapide offrir une « intimité et une connexion sans limites ».

Comme l'a constaté 404 Media, les fichiers multimédias générés par l'IA et trouvés dans les conteneurs de stockage vulnérables étaient majoritairement explicites. Certains noms de fichiers contenaient des termes tels que « 17 ans ».

L'entreprise n'a pas répondu à la demande de commentaires de 404 Media, mais les fichiers sont devenus inaccessibles environ une heure après que la publication les a contactés.

Depuis des années, les femmes et les filles sont victimes de deepfakes explicites, des contenus générés par l'IA. Nombre d'entre eux consistent à incruster le visage de femmes dans des vidéos pornographiques. Cela concerne aussi bien des célébrités comme Taylor Swift que des femmes anonymes. Ce phénomène touche également les filles, contribuant à la création de contenus pédopornographiques en ligne.

Cette année, le Congrès américain a adopté la loi « Take It Down Act » afin de lutter contre les deepfakes. La loi s'est avérée controversée, car plusieurs groupes de défense de la liberté d'expression et de plaidoyer affirment qu'elle peut être utilisée comme une arme contre du matériel explicite consensuel ou des discours politiques.

Une nouvelle vague de cybercriminalité dangereuse, connue sous le nom d'escroquerie du « hacker fantôme » (https://www.varindia.com/news/Phantom-Hacker%E2%80%99-Scam-Steals-8,350-Cr-in-a-Year), a dérobé plus de 8 350 crores de roupies (1 milliard de dollars américains) à des victimes âgées dans le monde entier, principalement aux États-Unis, en seulement un an. Les criminels se font passer pour des agents de support technique, des employés de banque et des enquêteurs gouvernementaux afin de convaincre leurs victimes que leurs comptes bancaires ou leurs appareils ont été piratés.

L'escroquerie se déroule en trois phases de manipulation. Premièrement, les fraudeurs suscitent la peur avec de fausses alertes de sécurité ou des fenêtres contextuelles prétendant signaler des infections par des logiciels malveillants ou des activités suspectes. Ensuite, ils font pression sur les victimes pour qu'elles installent un logiciel d'accès à distance, en prétendant qu'il s'agit d'une mesure de protection, mais en réalité pour obtenir le contrôle total de l'appareil de la victime. Enfin, des escrocs se font passer pour des « sauveteurs » du gouvernement, affirmant que la banque est compromise et incitant leurs victimes à transférer de l'argent vers un prétendu compte sécurisé, entièrement contrôlé par les fraudeurs.

La plupart des victimes sont des personnes âgées de plus de 60 ans, souvent peu familiarisées avec les outils numériques, ce qui les rend vulnérables à l'intimidation et aux pièges de la prise de décision rapide. L'intelligence artificielle a considérablement accéléré l'ampleur de cette escroquerie : le clonage vocal, l'usurpation d'identité de l'appelant et les documents falsifiés réalistes (deepfakes) rendent la fraude quasiment indiscernable d'une communication légitime. Selon les rapports, la fraude facilitée par l'IA a augmenté de 600 % au cours de l'année écoulée.

Le professeur Triveni Singh, expert en cybercriminalité, prévient que les criminels modernes ciblent la confiance et les émotions humaines plutôt que les systèmes. Il souligne qu'aucune institution légitime ne demande jamais d'accès à distance ni de transfert d'argent par téléphone ou par courriel, et exhorte chacun à vérifier les communications suspectes directement auprès des canaux officiels.

L’escroquerie du « hacker fantôme » illustre comment le progrès technologique est instrumentalisé pour tromper les plus vulnérables. La sensibilisation, la maîtrise des outils numériques et le signalement immédiat demeurent les meilleurs remparts contre ces menaces en constante évolution.

Note de la rédaction d'AIID : Consultez la source originale du reportage vidéo.

Doug et Victoria Lloyd ont perdu 177 000 $ dans une arnaque financière utilisant une vidéo truquée d'Elon Musk. Ce couple de l'Est de l'Ontario raconte son histoire dans le cadre de notre série « Repérez les arnaques », tandis que la Police provinciale de l'Ontario (OPP) offre des conseils sur les mots de passe et la reconnaissance faciale pour prévenir la fraude. Reportage de Kimberley Johnson, de CTV.

Une couverture de livre montre un chat aux yeux verts découvrant des dents presque humaines. Une autre représente un ange planant au-dessus d'un train de marchandises jaune.

Les auteurs de ces ouvrages, soumis à l'un des plus importants concours littéraires de Nouvelle-Zélande, ignoraient que les illustrations avaient été créées par intelligence artificielle. Ils l'ont découvert la semaine dernière, lorsqu'ils ont été disqualifiés pour non-respect du nouveau règlement du concours concernant les contenus générés par IA.

Le studio ayant conçu les couvertures s'est défendu, affirmant que l'IA fait partie intégrante de son processus créatif. Quant à la maison d'édition indépendante de ces romans, elle a déclaré que le concours, le Prix littéraire néo-zélandais Ockham 2026, n'avait pas laissé suffisamment de temps aux éditeurs pour se conformer à son nouveau règlement sur l'IA.

Quentin Wilson, l'éditeur, a déclaré mardi par courriel que cet épisode était « déchirant » pour les deux auteurs, qui n'utilisent pas l'IA dans leur écriture, et très décevant pour les équipes de production et de conception qui avaient travaillé sans relâche sur les livres. Il a ajouté que l'essor rapide de l'IA… L'industrie de l'édition se trouve ainsi plongée dans une situation inédite.

« En tant qu'industrie, nous devons collaborer pour éviter que cela ne se reproduise », a déclaré M. Wilson.

Cet épisode n'est qu'un des nombreux foyers de confusion qui secouent les industries créatives, lesquelles s'efforcent d'établir des règles justes et raisonnables pour les contenus générés par l'IA, explique Oliver Bown, professeur à l'Université de Nouvelle-Galles du Sud en Australie, dont les recherches portent sur les interactions entre art, technologie et créativité.

Le problème, selon lui, réside dans la rapidité des changements : les nouvelles réglementations sont inévitablement élaborées et diffusées dans la précipitation.

Cette disqualification signifie que les deux ouvrages des auteurs de M. Wilson – « Obligate Carnivore », un recueil de nouvelles de Stephanie Johnson, et « Angel Train », un recueil de quatre romans courts d'Elizabeth Smither – ne peuvent concourir pour le prix de fiction du concours, d'une valeur d'environ 36 000 $.

Le prix littéraire néo-zélandais [https://www.nzbookawards.nz/new-zealand-book-awards/] est considéré comme l'une des plus prestigieuses récompenses littéraires de Nouvelle-Zélande. Le New Zealand Book Awards Trust, organisateur de l'événement, a indiqué avoir introduit le règlement relatif à l'intelligence artificielle afin de s'aligner sur les autres prix littéraires internationaux appliquant des règles similaires.

Les couvertures de « Obligate Carnivore » et « Angel Train » ont été signalées par un libraire, a précisé le Trust dans un communiqué. Après consultation avec l'éditeur et les graphistes, le Trust a confirmé que les illustrations avaient été créées à l'aide d'une intelligence artificielle.

Cependant, M. Wilson a souligné que le règlement du concours concernant l'intelligence artificielle avait été publié en août, trop tard pour permettre aux éditeurs d'y apporter des modifications avant la date limite d'octobre. Les deux ouvrages ont été publiés en novembre.

Les graphistes de Sugarcube Studios, société néo-zélandaise ayant réalisé les couvertures, ont déclaré dans un communiqué qu'ils considéraient l'intelligence artificielle « non pas comme un substitut à la créativité, mais comme un prolongement naturel de notre métier, une nouvelle façon d'explorer des idées et d'enrichir notre processus créatif ».

Mme Johnson, lauréate du Prix du Premier ministre néo-zélandais de littérature 2022, a déclaré par courriel n'avoir jamais utilisé l'IA dans son écriture et ne jamais vouloir le faire. Elle s'est dite inquiète de son impact sur l'industrie du livre et a estimé qu'une réglementation de l'IA était absolument nécessaire.

« Partout dans le monde, nous, qui travaillons dans le domaine créatif, sommes préoccupés par l'essor de l'IA. Je comprends donc parfaitement que les organisateurs des Ockham New Zealand Book Awards se soient sentis obligés de prendre position », a-t-elle ajouté.

Mme Smither, lauréate du prix Ockham New Zealand Book Award 2018 dans la catégorie poésie, a déclaré ne pas avoir réalisé que la couverture d'« Angel Train » avait été générée par IA. Elle a précisé ne pas douter de l'intégrité de son éditeur ni du graphiste. « Le livre n'est pas la même chose que sa couverture », a-t-elle déclaré. « Sans couverture, ce serait toujours un livre, et le livre passe avant tout. »

Un tribunal de Munich a jugé que le chatbot ChatGPT d'OpenAI avait enfreint la législation allemande sur le droit d'auteur en utilisant des tubes d'artistes populaires pour entraîner ses modèles linguistiques. Cette décision, qualifiée d'historique en Europe par les défenseurs des industries créatives, a été rendue en faveur de la GEMA, société allemande de gestion collective des droits d'auteur. La GEMA affirmait que ChatGPT avait collecté des paroles protégées d'artistes populaires pour « apprendre » à partir de celles-ci.

La GEMA, qui gère les droits des compositeurs, paroliers et éditeurs musicaux et compte environ 100 000 membres, avait porté plainte contre OpenAI en novembre 2024.

Ce procès était considéré comme un test crucial en Europe dans la lutte contre le pillage de la création artistique par l'IA. OpenAI peut faire appel de cette décision.

ChatGPT permet aux utilisateurs de poser des questions et de saisir des commandes dans un chatbot, qui répond par un texte dont le fonctionnement imite celui du langage humain. Le modèle de ChatGPT est entraîné sur des données largement disponibles.

L'affaire portait sur neuf des plus grands succès allemands des dernières décennies, utilisés par ChatGPT pour perfectionner ses capacités linguistiques.

Parmi ces titres figuraient Männer (Hommes), la satire synth-pop de la masculinité composée par Herbert Grönemeyer en 1984, et Atemlos Durch die Nacht (À bout de souffle toute la nuit) d'Helene Fischer, hymne non officiel de l'équipe d'Allemagne lors de la Coupe du monde de football de 2014.

Le juge a condamné OpenAI à verser des dommages et intérêts, dont le montant n'a pas été divulgué, pour utilisation non autorisée de matériel protégé par le droit d'auteur.

Kai Welp, conseiller juridique de la GEMA, a déclaré que l'organisation espérait désormais négocier avec OpenAI les modalités d'indemnisation des ayants droit.

L'entreprise basée à San Francisco, dont les fondateurs incluent Sam Altman et Elon Musk, a déclaré que ses modèles d'apprentissage du langage absorbaient des ensembles de données d'entraînement complets plutôt que de stocker ou de copier des chansons spécifiques, a indiqué le tribunal de Munich.

OpenAI a soutenu que, puisque les résultats de son chatbot sont générés par les utilisateurs via leurs requêtes, c'est elle qui devrait en être tenue légalement responsable – un argument rejeté par le tribunal.

La GEMA a salué cette décision comme « une première en matière d'IA en Europe », estimant qu'elle pourrait avoir des implications pour d'autres types de créations.

Son directeur général, Tobias Holzmüller, a déclaré que cette décision prouvait que « l'internet n'est pas un libre-service et que les créations humaines ne sont pas des modèles gratuits ».

« Aujourd'hui, nous avons créé un précédent qui protège et clarifie les droits des auteurs : même les opérateurs d'outils d'IA tels que ChatGPT doivent respecter le droit d'auteur. Aujourd'hui, nous avons défendu avec succès les moyens de subsistance des créateurs de musique. »

Le cabinet d'avocats berlinois Raue, qui représentait GEMA, a déclaré dans un communiqué que la décision du tribunal « constitue un précédent important pour la protection des œuvres créatives et envoie un signal clair à l'industrie technologique mondiale », tout en créant « une sécurité juridique pour les créateurs, les éditeurs musicaux et les plateformes à travers l'Europe ».

Selon le cabinet, cette décision « aura probablement un impact bien au-delà des frontières de l'Allemagne, en tant que précédent ».

L'Association des journalistes allemands a également salué cette décision comme « une victoire historique pour le droit d'auteur ».

OpenAI a déclaré dans un communiqué qu'elle envisageait de faire appel. « Nous contestons cette décision et étudions les suites à donner », a-t-elle indiqué. « La décision concerne un nombre limité de paroles et n'a aucune incidence sur les millions de personnes, d'entreprises et de développeurs en Allemagne qui utilisent quotidiennement notre technologie. »

OpenAI a ajouté : « Nous respectons les droits des créateurs et des détenteurs de droits et menons des discussions constructives avec de nombreuses organisations à travers le monde, afin qu'elles puissent également bénéficier des opportunités offertes par cette technologie. »

OpenAI a fait l'objet d'un procès aux États-Unis intenté par des auteurs et des groupes de médias affirmant que ChatGPT a été entraîné sur leurs œuvres sans autorisation.