Bienvenue dans

la base de données des incidents d'IA

18 mai (Reuters) - Un avocat du cabinet Binnall Law Group a présenté ses excuses à un juge fédéral de San Francisco pour avoir inclus des citations « fantômes » générées par intelligence artificielle dans un document judiciaire relatif aux licenciements d'employés du gouvernement par l'administration Trump.

L'avocat Jason Greaves a reconnu avoir utilisé Claude Console, le logiciel d'IA de la société Anthropic, pour produire une première version de ce document et avoir omis de vérifier suffisamment les résultats. Il a imputé ces erreurs à des délais très courts et a précisé que son cabinet exigeait que tout contenu généré par IA soit examiné et vérifié de manière indépendante.

Le cabinet de M^e Greaves représente Joseph Guy, ancien chef de cabinet adjoint du département américain de la Sécurité intérieure, en tant que témoin dans une action en justice contestant les licenciements d'employés par l'administration Trump.

Depuis la généralisation de l'IA générative en 2022, les juges ont, dans plus de 100 affaires, sanctionné ou réprimandé des avocats pour avoir utilisé cette technologie sans la vigilance requise. Les avocats ne sont généralement pas interdits d'utiliser l'IA, mais sont tenus par les règles de procédure de garantir l'exactitude de leurs documents.

« En tant qu'associé superviseur et signataire de l'acte de procédure, la responsabilité de l'exactitude des citations m'incombe entièrement », a déclaré Greaves à la juge de district américaine Susan Illston. « J'en assume l'entière responsabilité et je présente mes excuses les plus sincères au tribunal et à tous les avocats impliqués dans cette affaire. »

Greaves n'a pas immédiatement répondu à notre demande de commentaires. Jesse Binnall, associé fondateur et gérant du cabinet, a déclaré dans un document distinct que cette erreur d'IA était une première pour le cabinet et a promis qu'elle ne se reproduirait plus.

Anthropic n'a pas immédiatement répondu à notre demande de commentaires.

Binnall, qui a représenté Donald Trump dans certaines affaires judiciaires, a qualifié le dépôt de fausses citations générées par IA d'« inacceptable, inexcusable et source de honte pour le cabinet ».

Illston, dans une ordonnance rendue plus tôt ce mois-ci, a déclaré être « troublée » par des citations qui n'existaient pas dans les affaires citées dans un document déposé par Guy.

Binnall a déclaré que son cabinet d'avocats applique des politiques limitant l'utilisation des outils d'IA pour la recherche et la rédaction juridiques, et exigeant que les avocats utilisent les plateformes de recherche juridique établies Westlaw ou LexisNexis. Thomson Reuters, propriétaire de Westlaw, est également la société mère de Reuters.

Dans ses documents déposés auprès d'Illston, le cabinet Binnall a indiqué mettre en œuvre des mesures de protection supplémentaires, notamment des formations complémentaires.

NEW YORK (AP) — Deux hommes ont été inculpés par le parquet fédéral pour avoir utilisé l'intelligence artificielle afin de créer des vidéos et des photos de célébrités féminines dénudées, en vertu d'une loi récemment promulguée visant à endiguer la diffusion de contenus pornographiques truqués (deepfakes).

Cornelius Shannon, 51 ans, et Arturo Hernandez, 20 ans, ont tous deux été arrêtés mardi pour avoir généré des contenus à caractère sexuel explicite grâce à une IA, contenus qui ont généré des millions de vues en ligne, selon les actes d'accusation.

Ces deux hommes, qui ne semblent pas être liés, figurent parmi les premiers accusés à être poursuivis en vertu de la loi « Take It Down Act », signée l'an dernier par le président Donald Trump, qui alourdit les peines pour la publication de deepfakes créés par IA et pour la diffusion de « revenge porn ». Le projet de loi a bénéficié d'un soutien bipartisan, ainsi que du soutien public de la Première dame Melania Trump.

En vertu de cette nouvelle loi, les hommes encourent désormais jusqu'à deux ans de prison.

Les avocats de Shannon et Hernandez n'ont pas immédiatement répondu à notre demande de commentaires.

Dans un communiqué, Joseph Nocella, procureur fédéral de Brooklyn, a déclaré que les hommes avaient « utilisé une technologie numérique de pointe pour créer des images dégradantes et attentatoires à la dignité » de dizaines de femmes. « Cette affaire démontre clairement que la diffusion de pornographie truquée (deepfake) n'est pas un crime sans victime », a-t-il ajouté.

Selon la plainte, Shannon, résident du New Jersey, a publié au moins 240 albums de pornographie générée par intelligence artificielle mettant en scène des femmes politiques, musiciennes et chanteuses.

Les deepfakes publiés par Hernandez, originaire du Texas, mettaient en scène des célébrités ainsi que des femmes anonymes, dont de jeunes diplômées du secondaire, ont déclaré les procureurs.

Ces arrestations interviennent alors que des outils d'intelligence artificielle générative de plus en plus sophistiqués suscitent l'inquiétude quant à la diffusion en ligne de contenus falsifiés à caractère sexuel explicite, représentant souvent des mineurs.

Le mois dernier, un homme de l'Ohio est devenu la première personne condamnée en vertu de la loi « Take It Down Act » après avoir plaidé coupable d'avoir utilisé l'IA pour générer des images pédopornographiques.

En mars, deux adolescents ont été condamnés à une peine avec sursis pour avoir créé des images à caractère sexuel explicite de leurs camarades de classe dans une école privée huppée de Pennsylvanie grâce à une intelligence artificielle.

Dans une autre affaire déposée plus tôt cette année, trois adolescents du Tennessee ont porté plainte contre xAI, la société d'Elon Musk, affirmant que les outils Grok de l'entreprise avaient transformé leurs photos en images à caractère sexuel explicite.

Ces lycéens souhaitent intenter une action collective afin de représenter des milliers de personnes ayant subi le même sort lorsqu'elles étaient mineures.

NEW YORK (AP) — Deux hommes ont été inculpés par le parquet fédéral pour avoir utilisé l'intelligence artificielle afin de créer des vidéos et des photos de célébrités féminines dénudées, en vertu d'une loi récemment promulguée visant à endiguer la diffusion de contenus pornographiques truqués (deepfakes).

Cornelius Shannon, 51 ans, et Arturo Hernandez, 20 ans, ont tous deux été arrêtés mardi pour avoir généré des contenus à caractère sexuel explicite grâce à une IA, contenus qui ont généré des millions de vues en ligne, selon les actes d'accusation.

Ces deux hommes, qui ne semblent pas être liés, figurent parmi les premiers accusés à être poursuivis en vertu de la loi « Take It Down Act », signée l'an dernier par le président Donald Trump, qui alourdit les peines pour la publication de deepfakes créés par IA et pour la diffusion de « revenge porn ». Le projet de loi a bénéficié d'un soutien bipartisan, ainsi que du soutien public de la Première dame Melania Trump.

En vertu de cette nouvelle loi, les hommes encourent désormais jusqu'à deux ans de prison.

Les avocats de Shannon et Hernandez n'ont pas immédiatement répondu à notre demande de commentaires.

Dans un communiqué, Joseph Nocella, procureur fédéral de Brooklyn, a déclaré que les hommes avaient « utilisé une technologie numérique de pointe pour créer des images dégradantes et attentatoires à la dignité » de dizaines de femmes. « Cette affaire démontre clairement que la diffusion de pornographie truquée (deepfake) n'est pas un crime sans victime », a-t-il ajouté.

Selon la plainte, Shannon, résident du New Jersey, a publié au moins 240 albums de pornographie générée par intelligence artificielle mettant en scène des femmes politiques, musiciennes et chanteuses.

Les deepfakes publiés par Hernandez, originaire du Texas, mettaient en scène des célébrités ainsi que des femmes anonymes, dont de jeunes diplômées du secondaire, ont déclaré les procureurs.

Ces arrestations interviennent alors que des outils d'intelligence artificielle générative de plus en plus sophistiqués suscitent l'inquiétude quant à la diffusion en ligne de contenus falsifiés à caractère sexuel explicite, représentant souvent des mineurs.

Le mois dernier, un homme de l'Ohio est devenu la première personne condamnée en vertu de la loi « Take It Down Act » après avoir plaidé coupable d'avoir utilisé l'IA pour générer des images pédopornographiques.

En mars, deux adolescents ont été condamnés à une peine avec sursis pour avoir créé des images à caractère sexuel explicite de leurs camarades de classe dans une école privée huppée de Pennsylvanie grâce à une intelligence artificielle.

Dans une autre affaire déposée plus tôt cette année, trois adolescents du Tennessee ont porté plainte contre xAI, la société d'Elon Musk, affirmant que les outils Grok de l'entreprise avaient transformé leurs photos en images à caractère sexuel explicite.

Ces lycéens souhaitent intenter une action collective afin de représenter des milliers de personnes ayant subi le même sort lorsqu'elles étaient mineures.

Galileu, un outil d'intelligence artificielle développé par le Tribunal régional du travail de la 4e région (TRT-RS) et nationalisé par le Conseil supérieur de la justice du travail (CSJT), a détecté une tentative de manipulation dans la requête initiale d'une affaire jugée par le 3e Tribunal du travail de Parauapebas (PA). Cette affaire fait l'objet d'une décision rendue ce mercredi 12 mai par le juge Luiz Carlos de Araújo Santos Junior.

Lors du traitement du document, Galileu a détecté des sections cachées contenant des instructions adressées à l'intelligence artificielle elle-même. Ce contenu enjoignait le système à contester superficiellement la requête et à ne pas remettre en cause les documents, indépendamment de la commande reçue. Cette technique est connue sous le nom d'injection de code. Dès sa détection, le système a émis une alerte claire à l'utilisateur, précisant les détails techniques de l'incident. De plus, il a empêché le traitement du contenu inséré malveillantment par l'outil.

Rapport technique et décision judiciaire

Galileu s'est limité à rapporter les faits techniques, sans qualifier le comportement ni proposer de mesure procédurale. Le magistrat n'a pas fondé sa décision uniquement sur l'alerte : il a examiné le contenu indiqué par le système avant d'agir. Ce n'est qu'après cette vérification humaine que le juge a évalué la situation, examiné les conséquences potentielles et motivé sa décision, conformément à l'exigence de contrôle humain lors de l'utilisation de l'intelligence artificielle par le pouvoir judiciaire.

Selon Natacha Moraes de Oliveira, secrétaire générale à la Technologie et à l'Innovation du TRT-RS (Tribunal régional du travail du Rio Grande do Sul), cette affaire illustre l'importance pour les utilisateurs de privilégier les outils institutionnels qui prennent toutes les précautions nécessaires, à l'instar de Galilée, lors de l'utilisation de l'intelligence artificielle. « Contrôler ce type d'attaque, comme l'injection de commandes ou même de données pour tenter de manipuler les résultats générés par les outils d'IA, est loin d'être simple. Cela requiert l'application de techniques spécialisées pour les identifier », souligne Natacha.

Sécurité intégrée dès la conception

Le comportement de Galileo – identification de l’anomalie, alerte de l’utilisateur et préservation du pouvoir de décision humain – est conforme aux principales recommandations techniques internationales en matière de sécurité des systèmes d’intelligence artificielle. Ces recommandations préconisent précisément cette combinaison de mesures face aux tentatives d’injection de vulnérabilités (OWASP LLM01 ; NIST AI 600-1 MS-2.7-007/MS-4.2-001 ; NCSC/CISA §1 ; MITRE ATLAS AML.T0051).

L’utilisation de Galileo est conforme à la résolution n° 615/2025 du Conseil national de la justice (CNJ), qui encadre l’utilisation de l’intelligence artificielle par le pouvoir judiciaire selon des principes tels que le contrôle humain effectif, la sécurité de l’information, la transparence et le respect des droits fondamentaux. Fin de l’article.

Source : Secrétariat général à la technologie et à l’innovation

Andrea Rozenberg, responsable de nos marchés émergents sur LinkedIn, a reçu un message urgent de « moi » lui demandant un appel rapide sur WhatsApp. L'appel vidéo a abouti à une vidéo truquée de moi en train de lui parler.

Ce n'était pas moi. Trouvant quelque chose de louche, elle m'a contacté sur Slack. Nous avons confirmé qu'il s'agissait d'une truque en temps réel, ciblant la bonne personne sur un sujet pertinent. Ce n'était pas un e-mail d'hameçonnage maladroit.

Mais qu'est-ce qui a permis de les démasquer ?

La demande inhabituelle d'un appel vidéo urgent et l'absence de mon fort accent estonien. En résumé, les attaquants ont privilégié l'illusion visuelle à la réalité sonore.

Clonage de voix en quelques secondes avec des outils gratuits. Faux vidéos en temps réel. Les escrocs utilisant des outils gratuits peuvent déjouer presque n'importe qui, et nous ne pouvons plus faire reposer la détection uniquement sur les humains.

Espérer que l'IA oublie de copier un accent estonien est une mauvaise stratégie. Comment votre organisation passe-t-elle d'une simple vérification des antécédents à la preuve d'une présence et d'une intention humaines réelles en ligne ?