Incidents associés
L'extrait de code de Google récupère un résumé d'Amazon AI du manifeste nazi Mein Kampf d'Adolf Hitler qui le qualifie de « véritable œuvre d'art » dans la dernière erreur liée à l'IA affectant les premiers résultats de recherche.
Au moment de la rédaction de cet article, la recherche de « mein kampf positive reviews » a renvoyé un résultat extrait d'un résumé généré par l'IA des avis clients d'une fiche Amazon. Il s'agit donc d'un algorithme de recherche qui tente de résumer un résumé d'IA. Le résumé complet de l'IA sur Amazon indique : « Les clients trouvent le livre facile à lire et intéressant. Ils apprécient les diatribes perspicaces et intelligentes. L'impression est belle et simple. Les lecteurs décrivent le livre comme une véritable œuvre d'art. Cependant, certains trouvent le contenu ennuyeux et sinistre. Les avis varient sur le contenu plein de suspense, l'exactitude historique et le rapport qualité-prix. »
Au moment où j'écris ces lignes, Google indique « Un aperçu de l'IA n'est pas disponible pour cette recherche », mais le résumé de l'IA d'Amazon était en gros texte juste en dessous, dans l'espace où un aperçu se trouve généralement, au-dessus des autres résultats Web. C'est ce que Google appelle un extrait en vedette : « Les systèmes automatisés de Google sélectionnent des extraits en vedette en fonction de la façon dont ils répondent à la demande de recherche spécifique et de leur utilité pour l'utilisateur », indique l'entreprise. Un surlignage est apparu, ajouté par Google, sur la phrase « facile à lire et intéressant ». Notamment, le résultat de l'extrait présenté ne cite pas tout ce qui provient de l'IA d'Amazon, il s'agit donc en soi d'un résumé.
[
Résultat de Google pour « mein kampf positive reviews » en date de jeudi matin, montrant l'avis d'Amazon comme un « extrait en vedette ».
[](ht tps://lh7-rt.googleusercontent.com/docsz/AD_4nXf71jun-CxxN4AKllVQr5t5JoLY1x2epV9MKzcSc25IS3mgPW2TWbsgg2Q9Ipw0eggJSfvoBQeM1PG1YugnrOrNmqbtoZX1NdsiNbYdB05pdDSdvqEl2Hw3ZKTwYOG_4QXR9858dw?key=yDTB20kqQu697-012i1CxkP6)
Capture d'écran du résumé des critiques générées par l'IA d'Amazon
Alexios Mantzarlis, directeur de l'initiative de sécurité, de confiance et de sûreté à Cornell Tech et ancien directeur de Trust & Safety Intelligence chez Google, a été le premier à repérer le résultat.
Après avoir contacté Google pour obtenir un commentaire (l'entreprise n'a pas répondu au moment de la rédaction), un aperçu de l'IA est apparu et indique que le livre est « largement condamné pour son idéologie haineuse et raciste », mais que les analyses historiques « pourraient mettre en évidence des aspects du livre qui pourraient être considérés comme « positifs » d'un point de vue purement littéraire ou rhétorique ».
[](ht tps://lh7-rt.googleusercontent.com/docsz/AD_4nXf-K8J1reCXswQQ8G7Ubv2OM_VgvLy6iZcqu25iCE2PG3pFFc6371mAUM1JoNVd3pOiUZw3ymnrnAjpCMs4G29fVXuGWY9RaDcpssuijLxiXOBG9qMZwy6jWTuBkPph0Wdhn5TtPQ?key=yDTB20kqQu697-012i1CxkP6)
Capture d'écran du résultat de recherche Google pour "mein kampf positive reviews" en fin de matinée de jeudi, montrant le résultat de l'aperçu de l'IA.
C'est, au moins, un meilleur résumé de la conversation autour du livre d'Hitler que celui donné par le résumé de l'IA d'Amazon. Le résumé des avis généré par l'IA sur la liste Amazon affiche également des liens pour voir les avis qui mentionnent des mots spécifiques, comme « lisibilité », « rythme de lecture » et « contenu à suspense ». Assez de personnes ont mentionné que Mein Kampf était ennuyeux pour qu'il y ait également un lien « ennui ».
Amazon n'a pas immédiatement répondu à une demande de commentaire.
Les 2 067 avis sur cet exemplaire spécifique du manifeste fasciste d'Hitler sont pour la plupart positifs, et pris extrêmement au pied de la lettre, le plan directeur du nazisme est facile à lire et, dans un certain sens, « intéressant ». Mais les avis sont beaucoup plus nuancés que cela. Passer en revue la feuille de route de l'Holocauste du dictateur génocidaire le plus infâme du monde avec « cinq étoiles » semble tordu, mais les avis sont nuancés d'une manière que l'IA ne comprend clairement pas - mais un humain le peut.
« Mein Kampf, d'Adolf Hitler, devrait être lu par tous ceux qui s'intéressent à un monde de paix, de responsabilité sociale et de coopération mondiale », a écrit un critique, dans un début de critique honnêtement assez inquiétant. Mais il continue en écrivant plus loin, ce qui clarifie son point de vue : « Ce livre diabolique présente une vision sombre de la façon de créer une tyrannie dans une société démocratique afin d'en créer une, semblable à la Russie. [...] De plus, Hitler est un excellent écrivain ; il n'est pas un fou qui radote, qui écrit des idées décousues et qui exprime une méthodologie confuse. Son texte est facile à lire, et c'est un classique mondial qu'il faut absolument lire. »
Une autre critique cinq étoiles dit : « C'est effrayant de commencer à lire ce livre et de se rendre compte que ce sont les mots écrits par Adolf Hitler. Lisez-le et absorbez ce qu'il dit dans ses propres mots et vous comprendrez bientôt ce qu'il veut dire. [...] Nous sommes obligés de répéter l'Histoire si nous ne comprenons pas les erreurs qui ont été commises dans le passé. »
Ce ne sont pas des critiques « positives » ; la plupart des critiques cinq étoiles soulignent la qualité de l'impression ou de l'expédition, et n'approuvent pas le contenu du livre.
Mein Kampf n'a jamais été interdit aux États-Unis (contrairement à de nombreux autres livres](https://www.vice.com/en/article/how-a-book-gets-banned-in-america/?ref=404media.co) sur la race, le genre et le sexe), mais Amazon a brièvement banni les listings du livre de sa plateforme en 2020 avant de le rétablir.
L'IA Overview de Google se tire souvent une balle dans le pied algorithmique, il est donc intéressant de noter qu'il reste à l'écart de ce résultat. Lorsqu'elle a été lancée en mai 2024 en tant que fonctionnalité par défaut dans les recherches, elle a immédiatement créé un désordre hystérique, disant aux gens qu'il est cool de manger de la colle et qu'ils devraient consommer un petit caillou par jour. En janvier, la fonctionnalité disait aux utilisateurs [d'utiliser le jouet sexuel le plus célèbre du world avec des enfants pour des problèmes de comportement. Ces résultats étranges ne sont pas le problème le plus important : la perversion par Google de sa propre fonction de recherche - son produit le plus populaire et le plus important - est un problème profond qu'il n'a toujours pas résolu, et qui a de réelles répercussions sur la santé d'Internet. Au début, AI Overview était si mauvais que Google a ajouté une option pour le désactiver complètement, mais l'entreprise s'accroche toujours à la fonctionnalité malgré tout cela.
Les résumés d'IA de Mein Kampf sont également un exemple de la façon dont l'IA commence à s'autodévorer en ligne, et les fissures apparaissent. Des études réalisées ces dernières années montrent que les modèles d’IA consomment du contenu généré par l’IA en tant que données de formation d’une manière qui pollue et détruit les modèles eux-mêmes.