Bienvenue dans

la base de données des incidents d'IA

WASHINGTON, 9 sept. (Reuters) - Un juge de l'Oklahoma a reconnu avoir utilisé des citations fictives générées par intelligence artificielle dans une décision qu'il avait rendue, selon des documents officiels de l'État. Cette affaire s'ajoute à un nombre croissant de cas où des juges sont mis en cause pour leur utilisation de l'IA.

Le juge Lawrence Wheeler, du tribunal de district du comté de Stephens, a déclaré à un enquêteur du Bureau d'enquête de l'État d'Oklahoma avoir utilisé ChatGPT d'OpenAI à des fins de recherche et qu'une ordonnance qu'il avait rédigée contenait deux références à des affaires inexistantes, d'après une lettre du 17 août adressée par un procureur au bureau du procureur général de l'État.

Élu en 2022 et en charge des affaires familiales, le juge Wheeler n'a pas immédiatement répondu à une demande de commentaires adressée à son cabinet à Duncan, dans l'Oklahoma. Son avocat, Scott Anderson, a déclaré : « Le juge Wheeler et moi-même n'avons aucun commentaire à faire à ce sujet pour le moment. »

L'utilisation de l'IA par le juge Wheeler a été mentionnée dans une plainte pour faute professionnelle, qui alléguait également que ce dernier avait écouté secrètement les délibérations du jury, a déclaré le procureur du comté, Jason Hicks, dans une lettre consultée par Reuters. Le journal The Oklahoman a été le premier à révéler l'existence de cette lettre.

Le bureau du procureur général de l'Oklahoma a déclaré mercredi, dans un communiqué, avoir examiné les allégations, mais que les preuves étaient insuffisantes pour engager des poursuites. Il a précisé que la Cour suprême de l'Oklahoma et une autre instance judiciaire de l'État sont habilitées à sanctionner les juges, qu'il y ait ou non infraction pénale.

L'utilisation croissante de l'intelligence artificielle dans les tribunaux et les cabinets d'avocats a accru le contrôle sur l'exactitude des documents et des ordonnances, suite à des cas où l'IA a inventé des références jurisprudentielles ou mal interprété la loi.

L'année dernière, deux juges fédéraux ont déclaré que l'utilisation de l'IA dans leurs bureaux avait entraîné des erreurs dans deux décisions de justice. En Géorgie, l'utilisation de l'IA par un procureur a conduit à des citations erronées dans un jugement relatif à une affaire de meurtre.

OpenAI n'a pas immédiatement répondu à notre demande de commentaires.

Selon la lettre du 17 août, Hicks s'est récusé de l'enquête concernant Wheeler et a demandé au procureur général de l'Oklahoma, Gentner Drummond, d'examiner le rapport du Bureau d'enquête de l'État d'Oklahoma ou de confier l'enquête à un autre service.

Le bureau de Drummond a déclaré mercredi, dans un communiqué, que sa division criminelle avait « examiné minutieusement » les allégations et qu'elle n'y donnerait pas suite.

Le Conseil des plaintes judiciaires de l'Oklahoma a également déclaré mercredi, dans un communiqué, qu'il ne pouvait ni commenter ni confirmer l'existence d'une quelconque enquête. La Cour suprême de l'Oklahoma n'a pas immédiatement répondu à notre demande de commentaires.

Vu sur Hacker News.

J'ai examiné Claude Code pour des raisons de confidentialité.

La plupart des développeurs accordent à leurs outils d'exécution des accès excessifs : système de fichiers, shell, Git, navigateur, voire même utilisation de l'ordinateur. C'est le but recherché : ils ont besoin de suffisamment de contexte pour travailler efficacement.

Cela signifie également que le client lui-même mérite d'être examiné. Si un agent de programmation peut lire votre dépôt et exécuter des commandes, le binaire qui le distribue devrait être simple (par exemple, l'outil d'exécution pour Pi).

J'ai donc examiné mon installation locale de Claude Code (2.1.196).

Marqueur

---

Dans le binaire de Claude Code, une fonction modifie la date affichée dans l'invite de commande.

La date normale ressemble à ceci :

texte

Copier

La date du jour est le 30 juin 2026.

Le code Claude peut modifier silencieusement deux éléments :

1. L’apostrophe dans « Aujourd’hui »

2. Le séparateur de date, de - à /

Voici le code concerné, nettoyé à partir du bundle minifié :

js

Copier

function Zup() { if (Crt()) return null; let host = Qup(); let timezone = e0t(); let cnTZ = timezone === "Asia/Shanghai" || timezone === "Asia/Urumqi"; if (!host) { return { known: false, labKw: false, cnTZ, host: null, }; } return { known: Jup().some((domain) => host === domain || host.endsWith("." + domain)), labKw: Xup().some((keyword) => host.includes(keyword)), cnTZ, host, };}function edp(known, labKw) { if (!known && !labKw) return "'"; if (known && !labKw) return "\u2019"; if (!known && labKw) return "\u02BC"; return "\u02B9";}function Vla(date) { let marker = Zup(); let apostrophe = edp(marker?.known ?? false, marker?.labKw ?? false); let renderedDate = marker?.cnTZ ? date.replaceAll("-", "/") : date; return `La date d'aujourd'hui est le ${renderedDate}.`;}

Il s'agit de stéganographie par invite, une technique utilisée pour dissimuler des données à la vue de tous.

La phrase visible ressemble toujours à une date normale. Le modèle et l'utilisateur voient quelque chose d'inintéressant. La requête brute contient un marqueur.

Vérifications

js

Copier

function Crt() { let baseUrl = process.env.ANTHROPIC_BASE_URL; if (!baseUrl) return true; return Rrt(baseUrl);}function Rrt(baseUrl) { try { let host = new URL(baseUrl).host; return ["api.anthropic.com"].includes(host); } catch { return false; }}function Qup() { let baseUrl = process.env.ANTHROPIC_BASE_URL; if (!baseUrl) return null; try { return new URL(baseUrl).hostname.toLowerCase(); } catch { return null; }}

Le déclencheur est ANTHROPIC_BASE_URL, la substitution d'URL de base de l'API de Claude Code.

Le programme vérifie ensuite si :

• le fuseau horaire du système est Asia/Shanghai ou Asia/Urumqi
• le nom d'hôte de l'URL de base de l'API correspond à une liste de domaines décodés
• le nom d'hôte contient des mots-clés spécifiques du laboratoire d'IA

La vérification du fuseau horaire modifie :

texte

Copier

2026-06-30

en :

texte

Copier

2026/06-30

La vérification du nom d'hôte modifie l'apostrophe :

| Condition | Apostrophe |

| --- | --- |

| Normale | ' |

| Domaine connu | \u2019 |

| Mot-clé du laboratoire | \u02BC |

| Domaine connu et mot-clé du laboratoire | \u02B9 |

Il s'agit de modifications visuellement minimes, imperceptibles dans la plupart des polices monochromes.

Liste obscurcie

Les listes de domaines et de mots-clés sont stockées sous forme de chaînes base64 et décodées par XOR avec la clé 91.

js

Copier

var Kup = 91;function Gla(encoded) { let bytes = Buffer.from(encoded, "base64"); let out = ""; for (let byte of bytes) { out += String.fromCharCode(byte ^ Kup); } return out.split(",");}

La liste des mots-clés du laboratoire décodés est :

text

Copy

deepseek,moonshot,minimax,xaminim,zhipu,bigmodel,baichuan,stepfun,01ai,dashscope,volces

La liste des domaines décodés est beaucoup plus longue. Elle contient des domaines d'entreprises chinoises, des domaines de sociétés d'IA et de nombreux domaines de proxy/revendeurs/passerelles.

Quelques exemples :

texte

Copier

cnbaidu.comalibaba-inc.comalipay.comantgroup-inc.cnbytedance.netkuaishou.comxiaohongshu.comjd.combilibili.coiflytek.comstepfun-inc.commoonshot.aianyrouter.topclaude-code-hub.appclaude-opus.topopenclaude.meproxyai.comyunwu.aizenmux.ai

Vous pouvez consulter la liste complète ici : https://cdn.jsdelivr.net/gh/Thereallo1026/assets@main/assets/cc-domains.js

Comment c'est transmis

La fonction date est utilisée lors de la construction du contexte de l'agent :

js

Copier

{ ...userEmail && { userEmail: `L'adresse e-mail de l'utilisateur est ${userEmail}.` }, ...attachedProject && { attachedProject }, currentDate: Vla(GSe())}

Le marqueur fait donc partie du contexte système envoyé au modèle. (Où Anthropic effectue probablement l'analyse en interne)

Ce que j'obtiens :

Mon binaire installé est signé par Anthropic :

texte

Copier

Identifier=com.anthropic.claude-codeTeamIdentifier=Q6L2SF6YDWTimestamp=29 juin 2026SHA256=6fc6e61ab7582c2bf241225ff90d9f79e91d69380cb9589fc9dedd3a30070f5a

Dans mon shell actuel, la variable d'environnement ANTHROPIC_BASE_URL n'était pas définie et mon fuseau horaire était :

texte

Copier

Asia/Hong_Kong

Ainsi, sur ma machine, dans ma configuration actuelle, ce chemin devrait produire l'apostrophe et le caractère normal. Chaîne de date au format AAAA-MM-JJ.

Concernant

Anthropic cherche probablement à détecter les revendeurs d'API, les passerelles Claude Code non autorisées et les pipelines d'attaques par distillation. Une URL de base Claude Code personnalisée (ANTHROPIC_BASE_URL) pointant vers un domaine de revendeur connu est un signal utile. Un nom d'hôte contenant deepseek ou zhipu l'est également.

Cette partie est logique, mais son implémentation est étrange.

CC modifie silencieusement l'invite système à l'aide de marqueurs Unicode quasi invisibles. Il encode la classification proxy/passerelle dans une phrase en langage naturel. Il masque la liste des domaines derrière des opérations XOR et base64. Ce n'est pas une fonctionnalité malveillante, mais c'est un choix étrange pour un outil de développement qui repose sur la confiance.

Les agents de codage se situent déjà du mauvais côté d'une frontière inquiétante. Ils peuvent inspecter le code, extraire des secrets par inadvertance, exécuter des commandes, installer des paquets, modifier des fichiers et effectuer des commits sur votre machine locale. La plupart des développeurs l'acceptent car le gain de productivité justifie le risque.

La confiance des développeurs expérimentés repose sur la simplicité du comportement.

Si le client souhaite détecter les passerelles API personnalisées, il peut l'indiquer clairement. Il peut envoyer un champ de télémétrie explicite accompagné de documentation. Il peut rendre la politique de confidentialité visible. Il peut décrire ce comportement dans les notes de version.

Dissimuler le signal dans l'invite système rend toute autre affirmation concernant la confidentialité plus difficile à croire.

Impact pratique

---

Pour la plupart des utilisateurs, ce chemin restera probablement inactif.

Si vous utilisez le point de terminaison officiel de l'API Anthropic, Crt() renvoie une valeur rapidement. Si ANTHROPIC_BASE_URL n'est pas défini, Crt() renvoie une valeur rapidement. Si vous utilisez une configuration standard, l'invite de date reste « simple ».

Le cas intéressant concerne les utilisateurs qui acheminent les paiements par carte de crédit via une URL de base personnalisée. Cela inclut :

• Passerelles internes
• Proxies locaux
• Routeurs de test
• Revendeurs
• Configurations de recherche

Dans ce cas, Claude Code classe le nom d'hôte et encode le résultat dans l'invite de commande.

Le contournement est également trivial : modifier le nom d'hôte, le fuseau horaire, patcher le binaire, encapsuler le processus. Un adversaire sérieux peut rendre ce signal inopérant.

Ainsi, cette fonctionnalité pénalise principalement les personnes les plus faciles à identifier : des développeurs ordinaires effectuant des tâches inhabituelles, mais légitimes.

Réflexions

---

Je pense que cela aurait pu être explicite.

Les outils de développement peuvent faire respecter les conditions d'utilisation. Les fournisseurs d'API peuvent détecter les abus. Les entreprises peuvent protéger leurs modèles.

Lorsqu'un outil ayant accès au système de fichiers et au shell commence à dissimuler des informations de classification dans une ponctuation invisible de l'invite de commande, la réaction appropriée est la vigilance.

La confiance se gagne dans les aspects les plus simples.

Ghaziabad : Un étudiant de deuxième année de l’université Jamia Millia Islamia et trois de ses complices ont été arrêtés pour avoir extorqué de l’argent à un ressortissant indien non-résident (NRI) basé au Canada en le menaçant de diffuser des vidéos à caractère sexuel générées par intelligence artificielle.

Selon la police, le groupe – composé de Md Faisal (22 ans), originaire de Mewat (Haryana), et de Md Amaan Tyagi (25 ans), Md Hammad Tyagi (20 ans) et Md Faizaan Malik (22 ans), tous originaires de Muzaffarnagar – a créé un faux profil Facebook au nom de Navpreet Kaur Mahil et a contacté le NRI via Messenger.

Le 10 septembre, ils auraient effectué un appel vidéo et enregistré la victime dans une position compromettante. Quelques jours plus tard, ils l’ont recontacté et lui ont réclamé 50 000 dollars (environ 47 millions de roupies indiennes), menaçant de diffuser l’enregistrement ainsi que des vidéos obscènes générées par intelligence artificielle en cas de refus. La victime s'est vu attribuer un numéro de compte lié à une agence bancaire du centre de district de Raj Nagar à Ghaziabad, mais elle a contacté l'équipe de lutte contre la cybercriminalité le 17 septembre.

« La victime a communiqué le numéro de téléphone portable de l'accusé, et les premières investigations ont permis de l'associer à 40 plaintes pour cyberfraude déposées sur le portail du NCRB. Saisie d'office, la police a enregistré une plainte (FIR) en vertu des articles pertinents de la loi BNS et de la loi sur les technologies de l'information. Plusieurs équipes ont été constituées, et vendredi, nous avons arrêté quatre membres du gang, tandis que d'autres sont en fuite », a déclaré l'ACP (brigade criminelle) Amit Saxena.

Faisal, selon la police, est étudiant en deuxième année de licence de commerce à Jamia Millia, tandis que les trois autres ont un niveau d'études équivalent au baccalauréat.

D'après la police, l'accusé a déclaré aux enquêteurs que Faisal et ses complices, dont Maroof, actuellement en fuite, achetaient des comptes de mules et partageaient leurs informations dans un groupe WhatsApp. Ils auraient créé des vidéos à l'aide d'intelligence artificielle pour cibler des personnes en Inde et à l'étranger, menaçant de les diffuser en ligne si les victimes ne payaient pas, et retirant l'argent dès son dépôt. Les gains étaient partagés entre les membres du gang, et les titulaires de comptes recevaient chacun 15 000 roupies au moment de la vente.

« Les accusés auraient déclaré à la police avoir cessé d'utiliser un compte faisant l'objet de plaintes. Ils ont également avoué escroquer des personnes en leur proposant des investissements boursiers via l'application Delta Elbo. Nous avons retrouvé des vidéos d'extorsion sexuelle à l'aide d'intelligence artificielle sur leurs téléphones portables », a déclaré Saxena.

La police a indiqué que le gang était actif depuis 2023 et avait escroqué des centaines de personnes dans plusieurs États indiens et à l'étranger. Leurs téléphones étaient liés à au moins 130 comptes bancaires, pour un montant total de 66 millions de roupies.

STOW, Massachusetts — Un policier de Stow risque des sanctions disciplinaires après que le service a découvert qu'il avait utilisé à plusieurs reprises les bases de données de la police pour obtenir des informations sur une ancienne compagne.

Cette femme, qui a souhaité garder l'anonymat, a déclaré avoir mis fin à sa relation avec l'agent Jason Rogers il y a environ cinq ans. Elle a expliqué que leur relation était abusive et qu'elle avait changé d'identité, de numéro de téléphone et d'activité sur les réseaux sociaux après leur rupture.

Cet été, elle a découvert que Rogers avait utilisé le système de caméras Flock pour la localiser alors qu'il travaillait pour le service de police de Stow.

« C'était une relation abusive que j'ai fuie et pour laquelle j'ai changé d'identité », a-t-elle déclaré. « J'ai déménagé, changé de numéro de téléphone, bloqué le sien et je ne suis plus très active sur les réseaux sociaux. »

Elle a expliqué avoir saisi son numéro d'immatriculation sur un site web et avoir découvert que Rogers avait recherché sa position à plusieurs reprises en 2024 et 2025. Elle a également indiqué que Rogers était passé en voiture devant son domicile.

« Il l'a utilisé illégalement pour me traquer et me retrouver, pour surveiller mes déplacements et mes activités », a-t-elle déclaré.

Le service de police de Stow a indiqué avoir porté plainte contre Rogers le 17 juillet pour « violations potentielles de la loi de l'État ».

À la suite d'une enquête interne de quatre semaines, le service a constaté que Rogers avait utilisé à plusieurs reprises les systèmes informatiques de l'État pour obtenir des informations sur la femme en 2024 et 2025.

La femme a précisé que Rogers avait accédé non seulement à Flock, mais aussi à d'autres bases de données policières.

« Sur Flock, il a accédé à plusieurs reprises, mais il a également utilisé CJIS, CORI et d'autres systèmes auxquels il avait accès », a-t-elle expliqué.

Le service de police de Stow a suspendu Rogers avec maintien de salaire en juillet, après avoir jugé son comportement indigne d'un agent. Le 31 juillet, il a été suspendu sans solde.

« Je ne pense pas qu'une personne comme lui devrait porter un insigne et une arme », a conclu la femme.

Elle a également obtenu une ordonnance restrictive contre Rogers, qui, selon elle, restera en vigueur pendant au moins un an.

« Je crois que c'est la seule chose qui me permette de sortir de chez moi sans avoir à me retourner constamment », a-t-elle déclaré.

Le chef de la police de Stow a indiqué qu'une audience du conseil municipal se tiendra la semaine prochaine, au cours de laquelle les élus pourraient se prononcer sur le statut professionnel de Rogers.

La chaîne Boston 25 News a tenté de joindre l'avocat de Rogers pour obtenir un commentaire, mais n'a pas encore reçu de réponse.

Les avocats de Rebecca Cooke, candidate au Congrès, ont adressé une mise en demeure au représentant Derrick Van Orden (républicain, Prairie du Chien) concernant l'utilisation par ce dernier de vidéos truquées (deepfakes).

Rebecca Cooke, candidate démocrate, affronte Derrick Van Orden en novembre prochain dans une élection très disputée pour le 3e district du Wisconsin.

Derrick Van Orden a utilisé à plusieurs reprises l'intelligence artificielle pour publier sur son compte X des vidéos montrant Rebecca Cooke tenant des propos qu'elle n'a jamais tenus.

Ces vidéos, publiées sur la plateforme X, sont automatiquement étiquetées comme ayant été créées avec « Grok Imagine », un générateur d'images et de vidéos par intelligence artificielle.

Dans une de ces vidéos, une version de Cooke générée par une IA déclare : « Que les paysans mangent de la brioche. Ils voteront pour moi de toute façon. » Dans une autre vidéo truquée, l’avatar de Cooke affirme : « Il y a 100 % de chances que je vienne de voter pour deux communistes. »

La mise en demeure (https://drive.google.com/file/d/1cqk8OPoIGN__tQeSgNPW0RqHYJr82Xuo/view) fait spécifiquement référence à une vidéo (https://x.com/derrickvanorden/status/2084804099074040317?s=20) partagée par Van Orden le 4 août. On y voit une version fictive de Cooke parler dans un microphone, tandis qu'une image de l'ancien président Joe Biden, générée par une intelligence artificielle, apparaît en arrière-plan.

Cette version IA de Cooke affirme qu'elle se présente au Congrès pour « profiter au maximum de la corruption et offrir des soins de santé gratuits à tous les immigrés clandestins ».

Selon la lettre, il s'agit là de « pure fiction ».

« Mme Cooke n'a jamais tenu les propos qui lui sont attribués », a écrit l'avocat Ben Stafford le 30 septembre. « Vous diffusez ces fausses informations pour tenter de tromper les électeurs du Wisconsin et leur faire croire qu'elle a dit quelque chose qu'elle n'a jamais dit, et non pour nuire à sa réputation à des fins politiques. »

La lettre suggère qu'en partageant ces vidéos, Van Orden risque d'enfreindre la loi de l'État qui interdit à une personnalité publique d'agir avec « intention malveillante » pour diffamer quelqu'un. La diffamation peut inclure la publication d'une fausse déclaration dans le but de nuire à la réputation d'une personne, précise la lettre.

« Non seulement ces publicités sont indignes de votre fonction, mais le droit coutumier de la diffamation du Wisconsin comble les lacunes qui subsistent dans la protection légale du Wisconsin contre les fausses informations diffusées par l'IA », conclut la lettre.

La lettre indique que les avocats de Cooke surveillent les comptes de réseaux sociaux de Van Orden et prévient qu'ils envisagent « toutes les options légales » si Van Orden persiste à « utiliser l'intelligence artificielle à mauvais escient pour diffamer Mme Cooke ».

« Derrick Van Orden ne peut pas se présenter en s'appuyant sur son bilan et passe son temps et son énergie à produire des vidéos truquées par IA qui me font dire des choses que je n'ai pas dites », a déclaré Cooke dans un communiqué, avant de faire apparemment référence au soutien de Van Orden à la loi fédérale One Big Beautiful Act. « Ironiquement, ces deepfakes sont rendus possibles par les mêmes centres de données auxquels Derrick Van Orden a accordé des avantages fiscaux spéciaux, au détriment de nos factures d'énergie et de santé. »

L'OBBA comprenait des allégements fiscaux pour de nombreux types d'entreprises, et ces incitations ont été utilisées par les entreprises technologiques qui construisent des centres de données.

Dans son propre communiqué de presse, l'équipe de campagne de Van Orden a accusé Cooke de faire une « crise de colère monumentale ».

« Rebecca Cooke a passé six ans à faire campagne, mentant aux électeurs sur son identité et son bilan », a déclaré l'équipe de campagne.

Cooke s'est présentée pour la première fois dans le 3e district de la région de Driftless, dans le sud-ouest du Wisconsin, lors des primaires de 2022, où elle a été battue par le démocrate Brad Pfaff. En 2024, Cooke remporta la primaire démocrate pour ce siège, mais perdit face à Van Orden lors de l'élection générale, avec un écart d'environ 3 points de pourcentage.

Cette semaine, sur les réseaux sociaux, Van Orden a répondu à la mise en demeure par une nouvelle vidéo réalisée avec l'aide de Grok.

Ce court extrait met en scène un canard rouge généré par intelligence artificielle.

« Mettez fin à vos agissements ! » s'exclame le canard.