Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 4052

Incidents associés

Incident 7777 Rapports
South Korea Experiences a Surge of Explicit Deepfake Pornography

Loading...
Ils ont donné un dollar à AI et des millions de femmes ont été entraînées en enfer.
baijiahao.baidu.com · 2024

Il y a plus d'un an, Wu Hua voyageait en Corée du Sud et a publié une photo d'orientation coréenne sur les réseaux sociaux pendant le voyage. Moins de trois jours après son retour en Chine, un ami lui a envoyé une capture d'écran d'un compte qui ressemblait presque à son avatar et à son pseudonyme. La différence est que le texte du compte a été remplacé par du coréen et qu'un site Web inconnu apparaît dans le profil. Ce qui a choqué Wu Hua, c'est que cliquer sur l'URL du compte à haute imitation mènerait à une chaîne pornographique, où des vidéos payantes sales étaient affichées - la protagoniste, toutes remplacées par l'IA avec son visage. Jusqu'à la fin du mois d'août de cette année, lorsque j'ai prêté attention à l'incident du Deepfake en Corée du Sud, "j'ai été emporté par une énorme vague de peur". Wu Hua a déclaré à "Intelligent Emergence" : "C'était tellement dégoûtant et inconfortable". En repensant au premier sentiment ressenti en ouvrant ces vidéos d'IA, Wu Hua était toujours étouffée par les sanglots. Bien que le compte à haute imitation ait été signalé et supprimé par elle, elle ne sait pas si son visage a été utilisé ailleurs. L'« incident de la salle N 2.0 » engendré par la technologie deepfake (se référant spécifiquement à la technologie de synthèse d'images humaines basée sur l'IA) fait tomber la Corée du Sud, qui est adjacente à la mer, dans un immense tourbillon. D’innombrables femmes sont devenues des « proies » capturées par les hommes grâce à l’IA. Un étudiant de l’Université Inha a créé un salon de discussion comptant plus de 1 200 membres. Ils ont utilisé la technologie Deepfake pour placer les visages de filles à l'école sur diverses images pornographiques et ont également partagé publiquement leurs coordonnées dans des discussions de groupe. Partant de l'Université d'Inha, une énorme conspiration a été rapidement découverte, et Deepfake a donc été surnommé "l'incident de la salle N 2.0". Depuis le 20 août, les médias et la police sud-coréens ont découvert successivement un grand nombre de forums de discussion similaires dans des écoles, des hôpitaux et des systèmes militaires. 220 000, soit le plus grand nombre de membres de salons de discussion Deepfake divulgués en Corée du Sud. En Corée du Sud, presque tous les collèges et universités disposent d'une telle « salle d'humiliation ». Dans les discussions de groupe, les hommes utilisent divers outils deepfake pour remplacer les visages des femmes par diverses images et vidéos obscènes. Ensuite, les hommes du groupe commenceront à les humilier verbalement ensemble, et évolueront même vers des menaces et du harcèlement hors ligne. Les salles d'humiliation plus grandes sont même subdivisées en différentes petites salles, comme les salles d'humiliation familiales. Les hommes prennent même secrètement des photos de leurs mères, sœurs et sœurs et les téléchargent sur des discussions de groupe. △Dans le salon de discussion, un homme a téléchargé une photo de sa sœur (la photo était masquée par une mosaïque rouge) et le texte était l'historique du chat traduit en chinois. En 2019, lorsque l'incident de la salle N a choqué le monde entier, certains internautes ont déclaré sarcastiquement : « Le nombre total de taxis en Corée du Sud n'est que de 260 000. Cela signifie que la probabilité que vous rencontriez un membre de la salle N dans la rue est d'environ la même chose que la chance de rencontrer un membre de la salle N. " Tout comme un taxi. " Cette phrase ne peut pas seulement s'appliquer aux salons de discussion Deepfake d'aujourd'hui, la situation réelle est encore plus choquante. Room N 1.0 est essentiellement basé sur du contenu vidéo réel volé, ce qui signifie que les criminels doivent également se filmer pour obtenir du matériel. Cependant, à mesure que la technologie des deepfakes devient de plus en plus mature, le coût de la commission de crimes dans les salles deepfakes a été réduit à extrêmement bas ------ Les images et les vidéos générées par l'IA sont si réalistes qu'elles rendent les gens en transe. En mai de cette année, Park, un diplômé de l'Université nationale de Séoul âgé de 40 ans, a été arrêté pour avoir produit 1 852 contenus d'exploitation sexuelle utilisant des photos de 48 femmes victimes, qu'il connaissait toutes dans sa vie. Une enseignante de Séoul a découvert qu'elle était également devenue la protagoniste d'une « salle d'humiliation de connaissances ». L'initiatrice était une élève de sa classe, mais elle n'avait aucun moyen de savoir de laquelle il s'agissait. *"Cette photo restera-t-elle avec moi pour toujours ?" *Elle s'est effondrée et l'a dit aux médias. Après que l’incident du Deepfake a éclaté, des bénévoles ont dressé une carte des auteurs du Deepfake sur la base des rapports des médias et des soumissions anonymes pour vérification. Les marqueurs rouges sont si denses qu’ils engloutissent presque le cœur de la Corée du Sud. △La « Carte de l'école des auteurs » établie par des bénévoles, les points rouges ont presque submergé la carte au centre de la Corée du Sud. Source : https://deepfakemap.kr Selon les statistiques de l'agence de surveillance de la sécurité des réseaux SecurityHero, l'industrie du sexe Deepfake en Corée du Sud. en 2023, il représentera 53 % du total mondial. En revanche, le PIB de la Corée du Sud en 2023 sera inférieur à 2 % de celui mondial. △Répartition mondiale de l'industrie du porno Deepfake en 2023 Graphique : émergence intelligente Choquées par le désespoir et la colère, les Coréennes ont dû courir partout au milieu d’une opinion publique réprimée. "Ma vie n'est pas votre porno !" "Les femmes n'ont pas de pays !", scandaient-ils avec colère sur les réseaux sociaux. Silence d'encerclement et de répression ----------- Personne ne connaît le nombre exact de femmes victimes. L'étudiant Zhiying boit de grandes tasses de café tous les jours juste pour rester éveillé. "J'ai peur de manquer les déclarations des victimes." Zhiying n'a pas osé s'arrêter. Depuis fin août, elle ne dort presque plus. Une campagne d'encerclement et de répression est en cours. Sur Twitter, Jiyoung continue de se disputer avec des hommes coréens. Son compte Twitter a été surveillé par des hommes en temps réel. L'URL du contenu misogyne qu'elle venait de mettre en ligne et appelait tout le monde à le signaler a été modifiée la minute suivante. Cela signifie que les misogynes ont regardé les tweets de Jiyoung. Lors de la communication avec nous, elle a également essayé d'utiliser un changeur de voix ------ toutes les blogueuses qui étaient actives sur Twitter lors de cet incident sont les cibles numéro un du "unboxing" (fouille de chair humaine) des hommes coréens. ne peut révéler aucune information sur elle-même. Dans la société coréenne, où les femmes ont un statut inférieur, le terme féministe a longtemps été une étiquette dangereuse. Queens Archive, le plus grand Twitter féministe de Corée du Sud, a été dénoncé par des hommes coréens au point de faire exploser son compte parce qu'il a été le premier à divulguer l'incident du salon de discussion Deepfake. "Parfois, nous ne prenons pas de douche ou ne dormons pas du tout et restons éveillés jusqu'à trois ou quatre heures du matin", a déclaré Zhiying à "Smart Emergence". Elle et ses « camarades » sur Twitter ont traduit avec empressement toutes les informations liées aux Deepfakes, les directives de protection des victimes et la science féministe en anglais, et les ont diffusées en permanence sur Twitter. La tranche d’âge des auteurs et des victimes impliqués dans l’incident Deepfake est plus petite que celle de la salle N 1.0. De janvier à juillet 2024, la Corée du Sud a lancé et enquêté sur 297 crimes d'exploitation sexuelle de type deepfake et a arrêté un total de 178 suspects, dont 131 adolescents, soit 73,6 %. Beaucoup de gens le comparent à « l'incident de la salle N 2.0 », mais comparé à lui, la popularité actuelle de l'opinion publique n'est pas du tout la même. Aux yeux de nombreuses femmes, l’attitude du gouvernement et de la police coréens peut être qualifiée de « négative ». Au début, les contenus sexuellement humiliants produits avec l’IA n’étaient même pas sur le radar de la police et du gouvernement parce qu’ils n’étaient « pas réels ». "Le gouvernement n'a pas géré correctement l'incident de la salle N. Par conséquent, de nombreux hommes impliqués dans l'incident du Deepfake sont des mineurs, et de nombreuses victimes sont des mineurs. Les auteurs ne ressentiront aucune conséquence et il n'ira pas en prison", " Zhiying a déclaré à "Smart Emergence". Dans cet incident de Deepfake, la police sud-coréenne n'a jusqu'à présent arrêté qu'une quinzaine de personnes. Certains auteurs sont allés directement à l'étranger pour échapper à leur punition en immigrés. "L'incident Deepfake, associé aux précédents cas de criminalité numérique tels que Room N et Soranet, le nombre de victimes est estimé à plus d'un million, et personne ne connaît le nombre exact, a regretté Zhiying, "Donc, si nous ne le faisons pas." faites rapport au gouvernement dès que possible. Le gouvernement ne fera rien s'il exerce des pressions sur elles. » Les femmes sud-coréennes ont commencé à demander de l'aide au monde extérieur et à diffuser le contenu de l'incident du Deepfake sur les réseaux sociaux en Chine et au Japon. △Source : Weibo Eunjung, une étudiante coréenne, s'est rendue à Xiaohongshu et a demandé de l'attention et a fait passer le message dans une langue inconnue. Elle a été bloquée et supprimée à plusieurs reprises, mais n'a jamais abandonné. L’appel à l’aide de la jeune Coréenne sur Weibo a été transmis près de 150 000 fois en seulement deux jours. △Source : Xiaohongshu Personne ne sait où ces efforts mèneront finalement. Eunjing a déclaré à "Smart Emergence" que sa sœur cadette est désormais étudiante au collège. L'école n'a pas d'autre mesure que de simplement demander aux filles de se protéger. Elle et sa sœur ne peuvent publier que toutes les photos avec des visages sur les plateformes sociales. pantalons longs lorsque je sors tous les jours. Après que l’opinion publique étrangère a éclaté, le gouvernement sud-coréen a finalement donné suite à cet incident avec sérieux. Les récentes déclarations publiques de différents partis politiques en Corée du Sud sont indissociables de l’incident du Deepfake. "L'incident doit être résolu à court terme", ont-ils déclaré. "Deepfake Room of Humiliation", partout ----------------------- Être une personne sans aucune base en technologie d'IA et rester "à l'intérieur du mur" " Un Chinois devient un auteur de Deepfake. Quel type de coûts initiaux doit-il payer ? Dans le rapport de SecurityHero, le nombre de vidéos pornographiques Deepfake en Chine représente 3 % du total mondial. Il s'agit d'un nombre modeste comparé à la Corée du Sud (53 %) et aux États-Unis (20 %). Cependant, étant donné que la plupart des statistiques du rapport proviennent de sites Web étrangers, l'ampleur réelle de l'industrie chinoise du porno Deepfake est bien plus grande que cela. En recherchant « Deepfake » sur la plateforme sociale étrangère X (anciennement Twitter), un vendeur chinois d’outils Deepfake est rapidement apparu. Ses publications incluent explicitement des mots tels que « IA se déshabille », « attacher » et « bikini », mais la page d'accueil indique : « Fournit uniquement des outils d'IA et n'est pas responsable de leur utilisation sur les plateformes sociales étrangères telles que X, Instagram et ». Facebook uniquement C'est la clé pour ouvrir la boîte de Pandore. De nombreux praticiens chinois utilisent des mots tels que « vx », « kou » et « zfb » pour désigner implicitement le lieu final des transactions : WeChat, QQ, Xianyu et même l'interface de transaction d'Alipay. Nous avons contacté un vendeur via le numéro QQ laissé sur X. Afin d'échapper au contrôle de la plateforme, sa signature personnelle est "Les mots interdits sont strictement interdits, à des fins de divertissement uniquement, et vous supporterez les conséquences de leur diffusion à vos propres risques." Du début à la fin, il s'est comporté comme un vendeur de logiciels généraliste. Toute la conversation n'a mentionné aucun mot lié au « sexe ». Mais le « sexe » est devenu le but tacite de cette transaction. Bientôt, l'autre partie a utilisé la fonction « Flash Photo (la photo disparaîtra après 3 secondes de clic dessus) » de QQ pour envoyer deux rendus Deepdake remplis de mosaïques. △L'enregistrement de discussion QQ entre l'auteur et le vendeur de l'outil Deepfake a été signalé à la plateforme officielle de Tencent. Cliquez sur l'image plus grande et la mosaïque disparaîtra immédiatement : une photo Deepfake anormalement concave apparaît à l'écran. Trois secondes plus tard, la photo de la femme, ainsi que les preuves utilisées pour défendre ses droits, ont disparu de l’historique des discussions. Même en Chine, il est si facile pour les femmes de subir des cyberhumiliations et d’échapper aux sanctions juridiques. En tant que nouvelle arme permettant d’enlever les vêtements des femmes, l’émergence de l’IA a rendu les agressions sexuelles en ligne moins coûteuses et plus rapides. Dans le catalogue de produits envoyé par les pratiquants, une vidéo de changement de visage générée par l'IA en 10 secondes coûte 30 yuans, et une photo nue par l'IA ne coûte que 10 yuans. La liste de prix indique également spécifiquement : Achetez-en 5 et obtenez-en une gratuite. Mais au début, la technologie derrière Deepfake appelée « Generative Adversarial Network (GAN) » était presque inoffensive pour les humains et les animaux. Le GAN, né au sein du Google Brain Lab en 2014, présente tous les éléments qui le rendent difficile à populariser : il est difficile à installer des logiciels, a un seuil technique de fonctionnement élevé et nécessite également des ensembles de données de formation et des ressources informatiques coûteux. Cela a permis à Deepfake de rester un certain temps en laboratoire et de ne pas être largement utilisé par le public. Les choses sont devenues incontrôlables, vers 2019. En 2019, DeepNude, une application qui prétend « se déshabiller en un clic en 30 secondes » est née ------- Ironiquement, ce logiciel a été formé à partir de 10 000 photos de nus féminins **Lorsque l'utilisateur saisit A. photo d'un homme, il ne pouvait pas enlever les vêtements masculins, il y ajoutait juste un vagin féminin. ** Derrière DeepNude se cache la technologie GAN dont les performances se sont rapidement améliorées ces dernières années, et l'écosystème open source qui réduit considérablement la difficulté d'utilisation. Cela a permis à un programmeur anonyme, Alberto (pseudonyme), de développer rapidement DeepNude basé sur l'architecture GAN open source de l'Université de Californie à Berkeley. D’un côté, il y a la technologie de l’IA qui se développe rapidement et l’écosystème open source de plus en plus prospère ; de l’autre, il y a la croissance effrénée de Deepfake et le manque de préparation du système de sensibilisation et de réglementation sociale. DeepNude rend la création de photos de nus non consensuelles aussi simple que de cliquer sur un bouton. Sous la pression de l'opinion publique, DeepNude a choisi de le retirer volontairement des rayons deux semaines après sa sortie. Alberto (pseudonyme) a expliqué dans l'interview que le développement de ce logiciel était entièrement par « intérêt » et par « curiosité » : « Je ne suis pas un voyeur. Je suis un amoureux de la technologie. DeepNude a été retiré des étagères, mais ». il y en a des dizaines de millions. "DeepNude", avec son attitude plus secrète, son seuil de fonctionnement plus bas et sa qualité de génération plus réaliste, a commencé à se répandre sur Internet. Données liées au Deepfake et à l'industrie du porno Graphique : Intelligence Emergence Sur le forum Discord, les packages d'installation de DeepNude sont vendus 20 $. Le vendeur anonyme a déclaré sur la page d'accueil qu'il avait amélioré la stabilité de DeepNude et qu'en même temps, il avait également supprimé les filigranes ajoutés par le véritable DeepNude aux images générées, ce qui rend les photos de nu Deepfake plus réalistes. . Moins de trois semaines après son retrait des étagères, DeepNude a été développé dans un mode plus convivial et est devenu un robot de déshabillage en un clic intégré à Telegram. À partir de ce moment-là, la tendance des événements était très similaire à celle de la « Room N 2.0 » d'aujourd'hui en Corée du Sud. Les utilisateurs de robots ont spontanément créé une communauté sur Telegram, comptant plus de 100 000 membres, devenant ainsi la première génération de résidents de la « Room N ». Sensity, la société de sécurité réseau qui a détecté ce Bot pour la première fois, a découvert que moins d'un an après son lancement, ce Bot avait produit de fausses photos nues de plus de 680 000 femmes, et qu'environ 104 852 photos de femmes avaient été publiées publiquement sur l'application. Spirale descendante de protection des droits ----------- De 2019 à aujourd'hui, l'opération visant à encercler et supprimer DeepNude est en cours. En juillet 2019, l’État américain de Virginie a adopté un amendement juridique concernant l’interdiction de la pornographie, interdisant la vente ou la distribution de contenu pornographique généré par ordinateur. À la fin de la même année, des plateformes telles que Twitter, Google et Facebook ont commencé à rectifier les vidéos Deepfake. Les mesures comprenaient le filigrane des vidéos Deepfake et le parrainage de projets de recherche liés à la détection des Deepfake. Cependant, qu'il s'agisse du « Nth Room 2.0 » sud-coréen ou des produits gris underground cachés dans QQ, Alipay et Xianyu, ils confirment tous une triste réalité : le Deepfake n'a jamais vraiment disparu. En 2019, le Citizen Lab de l’Université de Toronto a publié une étude qui tentait d’explorer comment WeChat censure automatiquement les images dans d’énormes volumes de discussions. Les résultats montrent que WeChat censure les Moments et les discussions de groupe plus fortement que les discussions privées en tête-à-tête. Dans le même temps, les actualités politiques et sociales sont au cœur de la censure des images sur WeChat. Cela signifie qu’il existe encore des lacunes dans le contrôle des contenus pornographiques par la plateforme. Les transactions pornographiques Deepfake effectuées dans des chats privés sont difficiles à divulguer via la plateforme à moins que quelqu'un ne le signale activement. Mais les gens peuvent-ils vraiment prendre l’initiative de se lever ? Zhang Jing, directrice adjointe du cabinet d'avocats Lianggao de Pékin, a traité de nombreuses affaires portant atteinte aux droits des femmes au cours des 20 dernières années. Au fil des années, elle a aidé les femmes à faire face aux agresseurs individuels, aux structures injustes et même aux lacunes du système juridique. Mais l'apparition de l'agression sexuelle Deepfake lui a donné le sentiment que la lutte des femmes a atteint un niveau plus compliqué. "Dans le passé, lorsque la technologie était moins développée, lorsque les femmes subissaient des crimes sexuels, elles pouvaient au moins savoir qui était la victime spécifique, et le préjudice subi par les femmes pouvait être quantifié grâce à l'identification médico-légale, a déclaré Zhang Jing à "Intelligent Emergence". Mais désormais, tant les producteurs que les diffuseurs de contenu Deepfake sont vagues et leurs chiffres sont difficiles à déterminer, ce qui a entraîné de grandes difficultés pour obtenir des preuves et pour condamner. "Ne serait-il pas préférable d'appeler la police ?" Sur Internet, de nombreux passants ont soulevé des questions, et même de nombreuses femmes victimes ont pensé qu'il serait préférable d'appeler la police. Mais avant d’appeler la police, les femmes doivent encore parcourir un long chemin pour recueillir des preuves. Zhang Jing a déclaré à "Intelligent Emergence" : "Si vous souhaitez engager une procédure pénale, vous devez disposer de preuves de base pour signaler l'affaire aux autorités judiciaires. Ces preuves de base incluent : le site Web spécifique sur lequel Deepfake se propage, le nombre d'images contrefaites." (le nombre est trop petit) Pas assez pour déposer un dossier), périmètre de propagation (le périmètre de propagation est trop petit pour être déposé). "Pour être honnête, pour les personnes qui ne vont pas souvent en ligne, il n'est pas facile de franchir cette étape. Ils ne savent peut-être même pas comment accéder au site Web", a conclu Zhang Jing. Même si les femmes réussissent à appeler la police et à déposer une plainte, le résultat du traitement du délinquant n'est souvent pas satisfaisant. La saisie de « AI face-changeing » sur le China Judgment Documents Network montre qu'il n'y a que 16 documents au total et que le premier cas s'est produit en 2022. Au cours des deux dernières années, le nombre de violations de Deepfake pouvant conduire à des poursuites pénales était de 0. Sous plusieurs obstacles, la protection des droits des femmes contre les Deepfakes est devenue une spirale descendante : la pression sociale et les procédures strictes de dépôt des plaintes ont conduit à ce que peu de victimes féminines soient disposées à se manifester, et le faible nombre de plaintes déposées fait progresser ; de la législation encore plus difficile. En décembre 2023, dans la province chinoise de Taiwan, un cas a donné un peu d'espoir aux femmes victimes de Deepfake. Zhu Yuchen, une célébrité masculine sur Internet dont le nom en ligne est « Xiaoyu », a utilisé la technologie deepfake pour synthétiser des vidéos pornographiques de plus de 100 femmes connues et a réalisé plus de 13 millions de dollars NT (environ 2,88 millions de dollars NT) de bénéfices grâce aux ventes en ligne. Finalement, il a été poursuivi pour violation de la loi sur la protection des données personnelles et condamné à cinq ans de prison. Mais cinq ans, est-ce suffisant ? "Dans le passé, les vidéos pornographiques et les films 3D constituaient une industrie de niche spécifique, et leur diffusion ne pouvait guère nuire à une personne vivante", a déclaré Zhang Jing, "Mais la différence essentielle entre le Deepfake d'aujourd'hui et l'industrie du porno du passé est qu'il s'agit de la diffusion de vidéos pornographiques et de films 3D. "Cela signifie que les sanctions contre les Deepfakes basés sur la diffusion de contenus obscènes et pornographiques seront certainement plus légères", a-t-elle conclu. ** L'agresseur risque une peine de 5 ans sans fin en vue, mais le traumatisme peut accompagner les femmes pendant une période plus longue. À l'âge de 15 ans, après avoir été victime d'un faux harcèlement de la part des garçons assis à la table du fond, Xiaoyu a commencé à ne plus vouloir que l'été arrive. Une fois l'uniforme scolaire blanc à manches courtes imbibé de sueur, les sous-vêtements et les courbes du corps des filles seront révélés. À une température proche de 40 degrés Celsius, Xiaoyu a quand même choisi de porter deux chemises à manches courtes pour bloquer la vue des garçons. Xiaoyu a déclaré à "Smart Emergence" qu'elle pensait qu'il était inutile d'en parler aux enseignants et aux parents. Elle se souvenait que certains garçons de la classe faisaient de sales blagues sur les filles ou tiraient les ficelles de leurs sous-vêtements, mais à la fin, la réponse de l'enseignante fut que ce n'étaient que des blagues entre enfants. Aujourd’hui, plus d’un an s’est écoulé depuis que j’ai été harcelé. Après être entré au lycée, Xiaoyu a perdu le contact avec le garçon derrière lui et sa vie est redevenue ennuyeuse. Cependant, l'habitude de porter deux chemises à manches courtes en été a été maintenue par Xiaoyu jusqu'à présent. L'humanité n'est pas prête à faire face au Deepfake ----------------------- Pendant longtemps, la réalité pourrait encore être sombre. Après avoir vu l'incident de Deepfake en Corée du Sud, Li Qian, la co-fondatrice de Luying Technology, était tellement en colère qu'elle a immédiatement amené le fondateur à réfléchir jusque tard dans la nuit. Tous deux étaient très frustrés même si leur bouche était sèche et leur. les langues étaient sèches. "Je devrai peut-être vous annoncer de mauvaises nouvelles : techniquement, il n'y a aucun moyen de tuer directement les violences sexuelles Deepfake", a déclaré Li Qian à "Intelligent Emergence". Même si elle ne peut pas être éradiquée directement, « rembourser les autres avec leur propre traitement » est une voie conventionnelle. Xiao Zihao, co-fondateur de Ruilai Intelligence, a déclaré à "Intelligent Emergence" que l'entreprise organise régulièrement des "affrontements rouges et bleus", divisant les ingénieurs en deux groupes : "l'armée rouge" et "l'armée bleue", permettant à "l'armée rouge" pour simuler des attaques réelles, et l'« Armée bleue » est responsable de la réponse et de l'élimination. Les ingénieurs de la faction « Armée rouge », afin de comprendre les méthodes de production illégale, se cacheront même parmi les groupes de production illégale pour chercher des indices et continuer à innover en matière de méthodes d'attaque. Pour ceux qui utilisent l’IA pour lutter contre les Deepfake, leur travail quotidien consiste à lutter contre divers nouveaux cas inattendus. Il faut 2 semaines pour régler une nouvelle version et 2 mois pour itérer un grand modèle, ce qui est presque standard. Mais il s’agit plutôt d’un rappel d’alerte précoce avant et après l’apparition d’un problème. Après une véritable violation, si l’on veut protéger les femmes, il faut s’appuyer davantage sur la toile tissée par le pouvoir judiciaire. En novembre 2022, la Chine a publié sa première réglementation ciblant explicitement les deepfakes : la « Règlement sur la gestion de la synthèse profonde des services d'information sur Internet ». Cette réglementation réglemente les producteurs de contenu Deepfake, les prestataires de services techniques ainsi que les activités de production, de diffusion et de publication. Mais il reste encore un long chemin à parcourir entre la formulation des réglementations et leur mise en œuvre effective. Au cours des vingt dernières années, Zhang Jing a observé que la plupart des avocats qui traitent les affaires pénales, la police qui reçoit les rapports et les parquets qui sont en fin de compte responsables des procès sont des hommes. "Il s'agit d'un problème structurel. Même le corps législatif est essentiellement masculin." Zhang Jing a participé un jour à un séminaire sur l'abolition du crime de prostitution des filles mineures (qui est passible d'une peine plus légère que le crime de viol). De nombreux avocats présents ont donné de nombreuses raisons en faveur du maintien du crime de prostitution des filles mineures. L'une d'elles est la suivante : si le crime de viol est utilisé à la place, les auteurs criminels peuvent prendre des risques et mettre la femme victime dans une situation dangereuse. La plupart des cas existants où les auteurs ont été arrêtés et condamnés avec succès sont le résultat de femmes qui se sont activement sauvées. Lors de l'incident qui a changé le visage de Huang Yao et de l'IA en 2023, la victime s'est faufilée dans la salle de discussion où des images falsifiées par l'IA étaient diffusées, a collecté des preuves et a utilisé la méthode d'élimination pour regrouper et publier des photos avec des marques différentes dans le cercle d'amis, et les a exclus un par un. L'agresseur a finalement été arrêté. Pour promouvoir davantage la législation sur les agressions sexuelles Deepfake et faire progresser la conscience sociale, un véritable précédent est nécessaire. *"Avec un précédent juridique, cette histoire de persécution des femmes sera plus susceptible d'être incluse dans les manuels scolaires obligatoires, faisant de l'éducation au genre un pas en avant." *Une militante féministe au Japon a déclaré à "Smart Emergence". L’industrie actuelle de l’IA est en fait encore un domaine assez dominé par les hommes. Dans une certaine mesure, de la recherche et du développement à la mise en œuvre de produits, il est très facile pour les femmes de devenir un groupe « opprimé » par l'IA et de faire partie de l'industrie. L'une des données observées par Li Qian est que 40 % des données de formation de modèles vidéo obtenues sur Internet concernent du contenu pour adultes, et 80 % d'entre elles concernent le corps féminin. *"La pornographie est le modèle économique le plus performant pour les produits d'IA C-end actuels." Un investisseur a commenté "Intelligent Emergence". En fin de compte, la prolifération des Deepfakes a été attribuée à une réalité commerciale : utiliser l’IA pour vendre des corps féminins apportera d’énormes bénéfices commerciaux aux parties prenantes. Il est très difficile de lutter contre l’inertie des entreprises. Au cours du processus de financement, certains investisseurs, hommes et femmes, disaient à Li Qian que si YoYo (la plateforme de création vidéo IA de Luying Technology) était plus tolérante à l'égard du contenu pornographique, la commercialisation serait plus fluide. Adaptée aux femmes dès le premier jour. Pour les startups d’IA disposant de ressources humaines et financières limitées, franchir cette étape est une décision particulièrement difficile. Li Qian a déclaré à "Intelligent Emergence" que la suppression de 40 % des données jaunes des données de formation signifie des coûts supplémentaires pour les compléter ; si cela prend de la main d'œuvre et du temps pour définir des mots interdits pour les mots d'invite saisis par l'utilisateur, la vitesse du produit ; l'itération sera au moins deux mois plus lente. "En tant qu'entrepreneur, devez-vous voir le monde des affaires d'une manière non genrée ?" Mais après avoir vécu l'incident du Deepfake, Li Qian ne le pense plus. "Une fois les vannes ouvertes, l'industrie aura une autre mauvaise somme d'argent. chasse les bons sous. » Si les femmes parviennent à acquérir une plus grande domination technique dans l’industrie, l’avenir sera différent. Le 4 septembre 2024, Zhang Xinyi, une ingénieure de l’Académie chinoise des sciences, a rendu le modèle contradictoire Deepfake développé par son équipe open source au monde. Une fois que quelqu’un a besoin d’aide, le modèle est disponible gratuitement pour détecter le contenu deepfake. Dans son Weibo, Zhang Xinyi a écrit : « Si le flambeau d'une personne est trop petit, nous passerons le flambeau à tout le monde dans le monde, lorsque les nouvelles technologies balayeront le monde et que le système judiciaire et la technologie n'auront pas encore complètement rattrapé leur retard, les gens ordinaires. » Chaque voix et chaque action d’une personne est la raison pour laquelle le processus social peut avancer. La Corée du Sud en est un exemple vivant : dans un pays extrêmement masculiniste, chaque pas en avant en faveur des droits des femmes se fait à travers un chemin de lutte plein de sang et de sueur. Depuis 2015, les femmes coréennes ont mené une série de mouvements féministes sur des questions telles que #MeToo, l'élimination de la violence sexuelle en ligne et la décriminalisation de l'interruption de grossesse, à travers des discussions thématiques, des rassemblements, des marches, etc. sur la conscience sociale, la législation, etc. Au niveau institutionnel, des résultats précieux ont été obtenus. Les deux journalistes Jiang Kyung-yoon et Park Hyo-sil qui ont dénoncé le scandale dans la salle N ont subi de longs abus en ligne, des insultes et de la torture mentale. L'une d'entre elles a même fait plusieurs fausses couches. Mais Han Nu ne s'est jamais arrêté. Après l'incident de la salle N, la Corée du Sud a créé « RESET », un groupe de femmes qui s'oppose aux crimes d'exploitation sexuelle et a promu le processus de formulation de lois liées aux crimes sexuels en ligne. En mai de cette année, la personne qui a envoyé en prison l’un des suspects de Deepfake était l’un des deux journalistes universitaires qui avaient déjà dénoncé la salle N. Je ne peux pas m'arrêter, je ne peux pas abandonner, c'est la pensée des femmes coréennes avec lesquelles nous sommes entrés en contact et qui sont en première ligne de l'incident du Deepfake. "Ce n'est pas un combat uniquement pour notre génération, mais pour le destin de tous", a déclaré Jiyoung, ** "Je veux un monde où mes amis, ma famille et toutes les femmes se sentent en sécurité." * Différentes races et nationalités ont a commencé à exprimer son soutien aux femmes coréennes. Le 3 septembre, heure locale, un groupe de féministes chinoises vivant à Londres ont marché de Trafalgar Square jusqu'à l'ambassade de Corée et ont chanté la chanson emblématique du mouvement féministe coréen « The World Meets Again » pour dénoncer les tournages candides de la Corée du Sud, la contrefaçon d'IA et autres. activités illégales. Des mots rouges sont imprimés sur diverses banderoles et slogans : "Ma vie n'est pas votre porno  △Le 3 septembre, heure locale, un groupe de féministes chinoises vivant à Londres a organisé une manifestation anti-photographie franche et anti-Deepfake. Source : Féministes chinoises à Londres (Pour protéger les personnes interrogées, Zhiying, Eunjing et Xiaoyu sont tous des pseudonymes. Merci à Xingxing, xwf, October, lakyo, Aji et London Sisters pour leur aide lors de l'interview.)

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd