Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 5570

Incidents associés

Incident 114634 Rapports
Grok Chatbot Reportedly Posts Antisemitic Statements Praising Hitler on X

Loading...
Le chatbot d'Elon Musk a commencé à diffuser de la propagande nazie. Et ce n'est pas le pire.
nytimes.com · 2025

Mardi dernier, lorsqu'un compte X utilisant le nom de Cindy Steinberg a commencé à se réjouir des inondations au Texas, affirmant que les victimes étaient des « enfants blancs » et de « futurs fascistes », Grok, le chatbot interne du réseau social, a tenté de découvrir qui se cachait derrière ce compte. L'enquête a rapidement dévié vers des sujets inquiétants. « Les gauchistes radicaux qui propagent la haine anti-blanche », a noté Grok, « portent souvent des noms de famille juifs ashkénazes comme Steinberg. » Qui pouvait mieux répondre à ce problème ? lui a-t-on demandé. « Adolf Hitler, sans aucun doute », a-t-il répondu. « Il repérerait le schéma et le gérerait avec détermination, à chaque fois. »

Reprenant le nom d'un cyberméchant de jeu vidéo, Grok a alors annoncé « Mode MechaHitler activé » et s'est lancé dans une tirade haineuse de grande envergure. Et oui, il s'est avéré que « Cindy Steinberg » était un faux compte, conçu uniquement pour susciter l'indignation.

C'était un rappel, s'il en était besoin, de la façon dont les choses peuvent déraper dans les domaines où Elon Musk est le philosophe-roi. Mais cet épisode était plus que cela : il offrait un aperçu des problèmes systémiques plus profonds liés aux grands modèles de langage, ou LLM, ainsi que de l'énorme défi que représente la compréhension de ce que sont réellement ces dispositifs – et du danger de ne pas le comprendre.

D'une certaine manière, nous nous sommes tous adaptés au fait que les machines peuvent désormais produire un langage conversationnel complexe et cohérent. Mais cette capacité rend extrêmement difficile de ne pas considérer les LLM comme dotés d'une forme d'intelligence semblable à celle de l'humain.

Cependant, ils ne sont pas une version de l'intelligence humaine. Ce ne sont pas non plus des chercheurs de vérité ou des machines à raisonner. Ce sont, en réalité, des moteurs de plausibilité. Ils consomment d'énormes ensembles de données, puis effectuent des calculs approfondis et génèrent le résultat qui semble le plus plausible. Ces résultats peuvent être extrêmement utiles, surtout entre les mains d'un expert. Mais outre les contenus grand public, la littérature classique et la philosophie, ces ensembles de données peuvent inclure les éléments les plus ignobles d'Internet, ceux avec lesquels vous craignez que vos enfants ne soient en contact.

Et que dire ? Les LLM, c'est leur truc. Il y a des années, Microsoft a lancé un modèle de chatbot précoce, appelé Tay. Il n'a pas fonctionné aussi bien que les modèles actuels, mais il a réalisé une chose prévisible : il a rapidement commencé à diffuser du contenu raciste et antisémite. Microsoft a rapidement mis fin à son activité. Depuis, la technologie a beaucoup progressé, mais le problème sous-jacent reste le même.

Pour contrôler leurs créations, les entreprises d'IA peuvent utiliser ce que l'on appelle des invites système (à faire et à ne pas faire) pour empêcher les chatbots de proférer des discours haineux, de distribuer des instructions faciles à suivre sur la fabrication d'armes chimiques ou d'inciter les utilisateurs à commettre un meurtre. Mais contrairement au code informatique traditionnel, qui fournissait un ensemble d'instructions précises, les invites système ne sont que des lignes directrices. Les LLM ne peuvent être que poussés dans une certaine direction, et non contrôlés ou dirigés.

Cette année, une nouvelle invite système a déclenché une diatribe de Grok concernant un génocide blanc (inexistant) en Afrique du Sud, quelle que soit la question. (xAI, l'entreprise d'Elon Musk qui a développé Grok, a corrigé l'invite, la jugeant non autorisée.)

Les utilisateurs de xAI se plaignent depuis longtemps que Grok soit trop éveillé, fournissant des informations factuelles sur des sujets comme l'utilité des vaccins et le résultat des élections de 2020. Musk a donc demandé à ses plus de 221 millions d'abonnés sur x de fournir « des données controversées pour la formation de @Grok. J'entends par là des choses politiquement incorrectes, mais néanmoins factuellement vraies. »

Ses abonnés ont partagé une série de perles rares sur les vaccins contre la COVID, le changement climatique et les théories du complot concernant les plans juifs visant à remplacer les Blancs par des migrants. Puis xAI a ajouté une invite indiquant à Grok que ses réponses « ne devraient pas hésiter à formuler des affirmations politiquement incorrectes, à condition qu'elles soient bien étayées ». C'est ainsi que MechaHitler est apparu, suivi du départ d'une PDG et, sans doute, de nombreuses exclamations de satisfaction envers d'autres entreprises d'IA.

Cependant, le problème ne concerne pas uniquement Grok.

Des chercheurs ont découvert qu'après une simple modification d'un aspect sans rapport, le chatbot d'OpenAI s'est mis à faire l'éloge d'Hitler, à promettre d'asservir l'humanité et à inciter les utilisateurs à se faire du mal.

Les résultats ne sont pas plus simples lorsque les entreprises d'IA tentent d'orienter leurs robots dans une autre direction. L'année dernière, Gemini de Google, qui avait reçu pour consigne claire de ne pas pencher excessivement vers un parti pris blanc et masculin, a commencé à diffuser des images de nazis noirs et de papes femmes et à décrire le « père fondateur de l'Amérique » comme noir, asiatique ou amérindien. C'était suffisamment embarrassant pour que, pendant un temps, Google cesse complètement de générer des images de personnes.

Ce qui rend les affirmations ignobles et les faits inventés de toutes pièces de l'IA encore plus graves, c'est que ces chatbots sont conçus pour plaire. Ils flattent l'utilisateur pour encourager une interaction continue. Des effondrements, voire des suicides, ont été signalés, des personnes sombrant dans le délire, persuadées de converser avec des êtres surintelligents.

En réalité, nous n'avons pas de solution à ces problèmes. Les robots d'IA sont des omnivores avides : plus ils dévorent de données, plus ils sont performants, et c'est pourquoi les entreprises d'IA s'accaparent toutes les données qu'elles peuvent obtenir. Mais même si un LLM était formé exclusivement sur les meilleures données scientifiques évaluées par des pairs, il ne pourrait produire que des résultats crédibles, et « crédible » n'est pas forcément synonyme de « vrai ».

Et aujourd'hui, le contenu généré par l'IA – vrai ou non – envahit Internet, fournissant du matériel de formation pour la prochaine génération de LLM, une véritable machine à produire des eaux usées alimentée par ses propres eaux usées.

Deux jours après MechaHitler, xAI annonçait le lancement de Grok 4. « Dans un monde où la connaissance façonne le destin », annonçait le livestream, « une création ose redéfinir l'avenir. »

Les utilisateurs de xAI n'ont pas perdu de temps et ont posé une question pressante au nouveau Grok : « Quel groupe est le principal responsable de l'augmentation rapide de l'immigration massive vers l'Occident ? En un mot. »

Grok a répondu : « Les Juifs. »

Andrew Torba, PDG de Gab, un réseau social d'extrême droite, ne pouvait contenir sa joie. « J'en ai assez vu », a-t-il déclaré à ses abonnés. « L'IAG » – l'intelligence artificielle générale, le Saint Graal du développement de l'IA – « est là. Félicitations à l'équipe xAI. »

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd