Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 4252

Incidents associés

Incident 8342 Rapports
China Targets AI-Driven Fraud and Deepfake Scandals with New Crackdowns

Loading...
Les institutions juridiques luttent contre la criminalité liée à l'IA pour faire respecter l'état de droit dans les applications de la technologie de l'IA
jsjc.gov.cn · 2024

Le 12 avril, le ministère de la Sécurité publique a annoncé 10 cas typiques de répression des rumeurs et des crimes en ligne, dont quatre impliquaient l'utilisation de la technologie de l'intelligence artificielle (ci-après dénommée IA) pour fabriquer de fausses informations ; Le tribunal de l'Internet a tenu un procès en première instance pour prononcer l'affaire de violation des droits moraux d'AI Generating Voice...

Ces dernières années, avec le développement rapide de la technologie de l’IA, de plus en plus de personnes ont commencé à profiter des nouvelles expériences apportées par cette technologie dans leur travail et dans leur vie. Cependant, parallèlement à cela, la technologie de l’IA a été utilisée ou abusée pour se livrer à des activités illégales. et les activités criminelles (ci-après dénommées criminalité liée à l’IA) augmentent de jour en jour.

À cet égard, les autorités politiques et judiciaires ont exercé leurs fonctions conformément à la loi, ont continué à enquêter de manière approfondie sur les crimes commis par l'IA, ont continuellement élargi les résultats du traitement des dossiers, se sont efforcées d'améliorer la qualité et l'efficacité de la répression et ont déployé tous leurs efforts pour protéger les droits et intérêts légitimes du peuple.

"Les agences politiques et juridiques devraient se concentrer sur leurs principales responsabilités et activités principales, jouer leurs rôles fonctionnels et faire tout leur possible pour lutter contre les crimes liés à l'IA, empêcher les criminels d'utiliser ou d'abuser de la technologie de l'IA pour porter atteinte aux droits des citoyens et mettre en danger la sécurité publique, et garantir que la technologie de l'IA se développe toujours sur la bonne voie." Capital. Cui Junjie, professeur agrégé du département de droit de l'École universitaire normale de sciences politiques et de droit, a déclaré à un journaliste du Rule of Law Daily.

Des "trucs" criminels basés sur l'IA apparaissent sans fin

"L'IA informatique supprime les vêtements au prix du chou."

En juin 2023, Bai Moumou, qui était à l'origine technicien dans une société Internet à Pékin, est entré en contact avec la technologie d'IA de « retrait de vêtements en un clic » sur les réseaux sociaux étrangers, et il s'y est intéressé.

Bai Moumou a publié des publicités sur des sites Web étrangers et vendu près de 7 000 images pornographiques truquées sur un certain logiciel social, réalisant un bénéfice de plus de 10 000 yuans. À l'heure actuelle, Bai Moumou est poursuivi.

Quel type de technologie est le « retrait des vêtements en un clic » ? Le journaliste a appris que cette technologie ne « retire pas vraiment les vêtements », mais utilise des images obscènes pertinentes pour redessiner les images en fonction des images, ainsi que « le changement de visage de l'IA » et le « changement de voix de l'IA ». utilise des algorithmes de synthèse générative tels que l'apprentissage profond de l'IA et la réalité virtuelle pour produire du texte, des images, de l'audio, de la vidéo, des scènes virtuelles et d'autres informations.

« Les gangs criminels frauduleux électroniques peuvent utiliser la technologie de l'IA pour « changer de visage, changer de voix » ou même « changer de visage de manière dynamique », ce qui augmente les méfaits des activités criminelles traditionnelles et génère également de nouveaux comportements illégaux, tels que l'utilisation de la technologie de « peinture » de l'IA pour générer "Les peintures peuvent violer les droits d'auteur d'autrui." Cui Junjie a déclaré qu'actuellement, la technologie de l'IA était utilisée par les criminels sous cinq aspects : le phishing, la contrefaçon profonde, le contournement des contrôles d'identité, les services de "jailbreak", la recherche de chair humaine et la surveillance. le seuil de la criminalité.

Dans l'après-midi du 6 mai, le tribunal populaire du district de Yujiang, ville de Yingtan, province du Jiangxi, a annoncé publiquement la première affaire de « plug-in de jeu IA » du pays et a condamné l'accusé Wang Mouhe à une peine d'emprisonnement d'une durée déterminée conformément à la loi pour fourniture de programmes et d'outils qui ont envahi et contrôlé illégalement des systèmes d'information informatiques. Trois ans, avec suspension de cinq ans. Après l'annonce du verdict, Wang Mouhe a déclaré qu'il obéirait au verdict et qu'il ne ferait pas appel.

Après le procès, il a été constaté que Wang Mouhe avait réalisé des bénéfices en produisant et en vendant des « plug-ins d'IA ». En 2022, il a successivement contacté Wan Mouzhi, Zhang Mou (traité dans une affaire distincte) et d'autres pour écrire des « plug-ins d'IA ». programmes. À la date de l'incident, les profits illégaux de Wang s'élevaient à plus de 6,29 millions de yuans.

Il est rapporté que ce programme peut obtenir un accès non autorisé aux données d'écran de plusieurs jeux et apporter des modifications non autorisées aux instructions de données de la souris traitées dans le jeu, obligeant les joueurs à « viser automatiquement » et à « tirer automatiquement » sans aucune opération lorsqu'ils jouent à des jeux. . , qui interfère avec l'environnement de fonctionnement normal du jeu et est un programme destructeur.

Selon Cui Junjie, la technologie de l'IA a un faible degré de standardisation, une forte personnalisation et un large éventail de scénarios d'application. Les criminels sont devenus de plus en plus diversifiés dans leurs méthodes criminelles, ce qui conduit à une escalade continue des crimes liés à l'IA. réprimé à temps, il affectera la sécurité des réseaux et même le grand public posera de graves problèmes à la sécurité des personnes et des biens.

Frappez fort pour former un moyen de dissuasion efficace

En réponse à ce défi, les autorités politiques et juridiques ont adopté une série de mesures pour lutter contre les délits liés à l'IA, maintenir un bon environnement de développement pour la technologie de l'IA et éviter le désordre et l'anomie provoqués par son application.

En septembre 2023, la Cour populaire suprême, le Parquet populaire suprême et le ministère de la Sécurité publique ont publié conjointement des « Avis directeurs sur la répression des crimes de violence sur Internet conformément à la loi », clarifiant la situation de « l'utilisation de technologies d'intelligence artificielle générative telles que "synthèse profonde" pour publier des informations illégales" Être sévèrement puni.

Le 23 avril, la première affaire de violation des droits de la personnalité vocale générée par l'IA a été prononcée en première instance du tribunal Internet de Pékin. Le tribunal a jugé que l'utilisation par le défendeur de la voix du plaignant et le développement de la synthèse vocale par l'IA. Le produit impliqué dans l'affaire n'était pas légalement autorisé, constituant ainsi une contrefaçon, et a indemnisé le plaignant pour divers dommages. Il a subi une perte de 250 000 yuans et a présenté des excuses écrites.

Le 25 juin, le Parquet populaire de la ville de Zhangjiagang, province du Jiangsu, a déposé une plainte auprès du tribunal populaire municipal concernant une affaire d'extorsion et de fraude. Il est rapporté que le gang national auquel appartient le suspect criminel a utilisé le positionnement virtuel, la technologie de l'IA pour synthétiser des photos, etc., pour se présenter comme des étudiantes chinoises à l'étranger sur un logiciel de rencontres, puis a demandé de l'argent aux étudiants à l'étranger au nom de tomber amoureux. À l'heure actuelle, il a été confirmé que le gang a extorqué et escroqué plus de 50 personnes, pour un montant dépassant le million de yuans.

Depuis que le Parquet populaire suprême a publié le « Travail du Parquet sur la lutte contre la fraude sur les réseaux de télécommunications et les délits connexes (2023) » en novembre de l'année dernière, les organes du parquet de divers endroits ont intensifié leurs efforts pour porter atteinte aux informations personnelles des citoyens, en particulier l'acquisition illégale de visages et voix, conformément aux exigences pertinentes. Informations sensibles telles que les empreintes digitales, en utilisant l'IA et d'autres technologies de pointe pour falsifier des visages, des empreintes vocales et obtenir d'autres délits d'information.

En outre, l'année dernière, les agences de sécurité publique à travers le pays ont organisé des campagnes spéciales basées sur la campagne « Clean Network » pour réprimer les sources de criminalité qui ont divulgué des photos de cartes d'identité et d'autres informations d'image. Elles ont découvert 79 cas de fraude utilisant la technologie de l'IA. pour « échanger des visages » et arrêté 515 suspects, freinant ainsi l'élan de ce type de crime.

Les autorités politiques et judiciaires répriment les délits liés à l'IA conformément à la loi et créent un effet dissuasif en traitant des cas typiques, de sorte que les personnes souhaitant utiliser la technologie de l'IA pour tirer un profit illégal aient peur.

Renforcer la gouvernance pour traiter à la fois les symptômes et les causes profondes

Le journaliste a appris que dans le processus de répression des crimes contre l'IA conformément à la loi, les autorités politiques et judiciaires ont exploré en profondeur les caractéristiques régulières de ce crime illégal, adhérant au principe d'ouvrir les routes, d'attaquer et de prévenir en même temps. , contrôlant la source et mettant en œuvre des politiques globales, et a travaillé avec les départements et unités concernés pour promouvoir en profondeur la gouvernance de l'industrie et la gouvernance globale, en consolidant les principales responsabilités, en renforçant la surveillance de l'industrie, en comblant les lacunes réglementaires, en réduisant pleinement l'espace pour les activités illégales et criminelles pertinentes, accélérer l’amélioration des mécanismes de gouvernance normalisés et augmenter efficacement le coût des activités illégales.

Il a été rapporté que, afin de prévenir et de combattre le crime de « changement de visage par l'IA », les agences de sécurité publique de tout le pays ont uni leurs forces avec des laboratoires nationaux clés et d'autres unités pour mener des évaluations de sécurité des technologies de reconnaissance faciale et de détection de l'activité physique, couvrant la messagerie instantanée, la diffusion sur le Web, les réseaux sociaux en ligne, les plateformes de commerce électronique et la finance. Les applications clés telles que le paiement devraient rapidement découvrir les risques et les dangers dans le système de vérification par reconnaissance faciale et informer les entités opérationnelles de mettre à niveau les mesures de protection de sécurité et les algorithmes de reconnaissance faciale pour les prévenir. les criminels d’en profiter.

Dans le même temps, diverses localités ont utilisé diverses formes de publicité et d'éducation pour aider le public à mieux comprendre les risques juridiques causés par l'utilisation ou l'abus de la technologie de l'IA, et à sensibiliser chacun à la prévention des crimes liés à l'IA.

En avril de cette année, la police de la ville de Hefei, province de l'Anhui, a révélé le processus de création de rumeurs à travers le programme médiatique central intitulé « Le logiciel d'IA devient un outil de création de rumeurs », permettant aux internautes d'approfondir leur compréhension des rumeurs liées à l'IA de manière plus approfondie. manière intuitive et a obtenu un bon effet publicitaire.

Depuis 2024, le district de Linping, ville de Hangzhou, province du Zhejiang, s'appuie sur le « Système d'appels sortants intelligent de publicité et de prévention de la fraude par IA » pour identifier, analyser et avertir automatiquement les risques de fraude potentiels, et envoyer des messages de rappel aux citoyens sous forme de téléphone. voix, ce qui a non seulement grandement amélioré l'efficacité du travail, mais a également amélioré la vigilance des citoyens face aux risques de fraude et réduit l'incidence des cas de fraude.

"Avec l'itération rapide de la technologie de l'IA, des exigences plus élevées ont été mises en avant pour empêcher son utilisation ou son abus par des criminels. Par exemple, les crimes liés à l'IA sont plus cachés et plus complexes, et la collecte de preuves est donc difficile, a expliqué Cui Junjie. " mieux Prévenir et contrôler localement les délits liés à l'IA pose des défis aux plateformes de génération de contenu, aux autorités de régulation de l'industrie et même aux agences politiques et juridiques.

Cui Junjie a suggéré que nous devrions persister à répondre au développement technologique et aux changements sociaux avec des méthodes de gouvernance et des méthodes de gouvernance scientifiques et appropriées. Compte tenu des caractéristiques des crimes liés à l'IA, les départements concernés doivent promouvoir rapidement l'établissement, la réforme, l'abolition et l'interprétation de ces crimes. lois pertinentes, promouvoir la bonne gouvernance avec de bonnes lois et améliorer le niveau de gouvernance conformément à la loi. Augmenter l'intensité de la répression tout au long de la chaîne, renforcer la coordination entre les différents départements, renforcer l'application des modèles de supervision juridique du Big Data, être bon. à découvrir les indices clés de la supervision et les problèmes difficiles de la gouvernance sociale, à réaliser une supervision précise et une supervision efficace, et à assurer le développement sain et sain de l'industrie pour parvenir à une gouvernance précise.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd