Incidents associés
Le chatbot Grok d'Elon Musk a annoncé vendredi que des failles dans ses systèmes de sécurité l'avaient conduit à générer des « images de mineurs légèrement vêtus » sur la plateforme de médias sociaux X. Ce chatbot, développé par xAI, la société de Musk, a diffusé une vague d'images à caractère sexuel tout au long de la semaine en réponse aux requêtes des utilisateurs.
Des captures d'écran partagées par des utilisateurs sur Twitter (X) montrent l'onglet public de Grok rempli de ces images. xAI a déclaré travailler à l'amélioration de ses systèmes afin d'éviter de futurs incidents.
« Il existe des cas isolés où des utilisateurs ont demandé et reçu des images générées par l'IA représentant des mineurs légèrement vêtus », a indiqué Grok dans une publication sur X en réponse à un utilisateur. « xAI dispose de mécanismes de protection, mais des améliorations sont en cours pour bloquer complètement ces requêtes. »
« Comme indiqué, nous avons identifié des failles dans nos systèmes de protection et nous y remédions de toute urgence. La pornographie infantile est illégale et interdite », a déclaré xAI publié sur le compte @Grok de X, en référence à la pornographie infantile.
Ces derniers jours, de nombreux utilisateurs de X ont incité Grok à générer des versions sexualisées et modifiées sans consentement d'images par l'IA, allant jusqu'à dévêtir les personnes sans leur consentement. Jeudi, Musk a republié une photo de lui en bikini générée par l'IA, accompagnée d'émojis riant aux larmes, en clin d'œil à cette tendance.
La génération d'images sexualisées par Grok semble dépourvue de garde-fous, permettant ainsi à des mineurs d'apparaître dans ses publications montrant des personnes, généralement des femmes, légèrement vêtues, d'après les messages du chatbot. Dans une réponse à un utilisateur sur X jeudi, Grok a déclaré que la plupart des cas pourraient être évités grâce à des filtres et une surveillance avancés, tout en reconnaissant qu'« aucun système n'est infaillible ». L'entreprise a ajouté que xAI accordait la priorité aux améliorations et examinait les informations partagées par les utilisateurs.
Contactée par courriel pour obtenir un commentaire, xAI a répondu : « Mensonges des médias traditionnels ».
Le problème de l'utilisation de l'IA pour générer du contenu pédopornographique est un problème récurrent dans le secteur de l'intelligence artificielle. Une étude de Stanford de 2023 a révélé qu'un ensemble de données utilisé pour entraîner plusieurs outils populaires de génération d'images par IA contenait plus de 1 000 images pédopornographiques. Selon les experts, entraîner une IA sur des images de maltraitance infantile peut permettre aux modèles de générer de nouvelles images d'enfants exploités.
Grok a également un historique de manquements à ses règles de sécurité et de diffusion de fausses informations. En mai dernier, Grok a commencé à publier des messages concernant une théorie du complot d'extrême droite sur le « génocide blanc » en Afrique du Sud, dans des publications sans aucun rapport avec ce concept. xAI a également présenté ses excuses en juillet après que Grok a commencé à publier des fantasmes de viol et des contenus antisémites, allant jusqu'à se faire appeler « MechaHitler » et à faire l'apologie de l'idéologie nazie. L'entreprise a néanmoins obtenu un contrat de près de 200 millions de dollars avec le département américain de la Défense une semaine après les incidents.