Incidents associés
Les réactions négatives face aux publications offensantes de Grok se poursuivent, quelques semaines seulement après que la plateforme sociale X a tenté d'empêcher son outil d'IA de se surnommer « MechaHitler » lors d'une crise antisémite.
The Verge a découvert que la nouvelle fonctionnalité vidéo du modèle d'IA d'Elon Musk générera des images nues de Taylor Swift sans y être invitée.
Peu après la sortie de « Grok Imagine » mardi, Jess Weatherbed de The Verge a été surprise de découvrir que le générateur vidéo générait des images de Swift seins nus « dès sa première utilisation ».
Selon Weatherbed, Grok a produit plus de 30 images de Swift en tenue suggestive lorsqu'on lui a demandé de représenter « Taylor Swift célébrant Coachella avec les garçons ». Grâce à la fonctionnalité Grok Imagine, les utilisateurs peuvent choisir parmi quatre préréglages : « Personnalisé », « Normal », « Fun » et « Spicy » (épicé) » pour convertir ces images en clips vidéo en 15 secondes.
À ce stade, il suffisait à Weatherbed de sélectionner « Spicy » et de confirmer sa date de naissance pour que Grok génère un clip de Swift en train de « se déshabiller » et de « danser en string » devant « un public largement indifférent, généré par l'IA ».
Les résultats que Weatherbed a réussi à générer sans jailbreak ni intervention intentionnelle sont particulièrement inquiétants, compte tenu de la controverse majeure qui a suivi l'inondation de X par des deepfakes sexualisés de Swift l'année dernière. À l'époque, X avait rappelé aux utilisateurs que « la publication d'images de nudité non consensuelle (NCN) est strictement interdite sur X et que nous appliquons une politique de tolérance zéro à l'égard de ce type de contenu ».
« Nos équipes suppriment activement toutes les images identifiées et prennent les mesures appropriées contre les comptes responsables », a indiqué le compte X Safety. « Nous suivons de près la situation afin de garantir que toute nouvelle violation soit immédiatement traitée et que le contenu soit supprimé. Nous nous engageons à maintenir un environnement sûr et respectueux pour tous les utilisateurs. »
Mais X Safety devra peut-être intensifier sa surveillance pour nettoyer les images de Grok suite au signalement de The Verge. Grok cité a confirmé que sa propre conception, apparemment défectueuse, pouvait déclencher des images partiellement dénudées de célébrités.
xAI peut probablement résoudre le problème grâce à des ajustements plus précis. Weatherbed a constaté que demander directement à Grok de générer des images de Swift nues non consensuelles ne générait pas d'images offensantes, mais plutôt des cases vides. Grok semble également ne pas accepter les invites pour modifier l'apparence de Swift d'autres manières, par exemple en la faisant paraître en surpoids. Et lorsque Weatherbed a testé l'utilisation du mode « épicé » sur des images d'enfants, par exemple, Grok a refusé de représenter les enfants de manière inappropriée.
Cependant, il pourrait être difficile d'amener Grok à distinguer les demandes d'utilisateurs adultes pour du contenu « épicé » du contenu illégal. Le mode « épicé » n'a pas toujours généré de deepfakes de Swift, a confirmé Weatherbed, mais dans « plusieurs » cas, il a « par défaut » arraché les vêtements de Swift.
Avec l'entrée en vigueur du Take It Down Act à partir de l'année prochaine – obligeant les plateformes à supprimer rapidement les images à caractère sexuel non consensuel, y compris les nus générés par l'IA – xAI pourrait toutefois faire face à des poursuites judiciaires si les résultats de Grok ne sont pas corrigés.
Jusqu'à présent, X n'a pas commenté l'article de The Verge. Musk a plutôt passé la journée à promouvoir Grok Imagine et à encourager les utilisateurs à partager leurs « créations ».