Incidents associés
La recherche basée sur l'IA de Google ne comprend pas la géographie. Ou, apparemment, l'alphabet. Et certainement pas les deux en même temps.
Tout a commencé lorsqu'un utilisateur de Bluesky a déclaré que Google est désormais « mort ». Ils ont inclus une capture d'écran de la fonctionnalité d'extrait de code de Google, sur son moteur de recherche habituel, proclamant qu'il n'existe aucun pays en Afrique commençant par la lettre « K ». Considérant que le Kenya existe, ce n’est évidemment pas vrai.
En effet, si vous demandez au moteur de recherche « les pays d’Afrique qui commencent par la lettre k », il obtient cette affirmation totalement fausse :
Et pour aggraver les choses, cette affirmation provient en fait d'un article de blog bizarre, apparemment généré par l'IA, sur une conversation entre un utilisateur humain et ChatGPT. D'après l'extrait, il s'agit du post d'un self -blog "AI-Powered News" proclamé — encore étourdi ? - surnommé Emergent Mind_._
En soi, il s'agit d'une erreur flagrante de la part de la recherche Google et d'un exemple inquiétant de matériel médiocre généré par l'IA se faufilant dans les meilleurs résultats du monde. algorithme de recherche le plus utilisé.
Mais lorsque nous avons testé nous-mêmes le problème, nous avons réalisé qu'il ne s'agissait pas seulement de la recherche régulière de Google qui présentait ces mauvaises informations. La recherche "SGE" de Google, basée sur l'IA, est allée jusqu'à aspirer les déchets générés par ChatGPT et à les paraphraser pour les utilisateurs - un signe clair que la fonctionnalité très médiatisée ne sait pas encore comment filtrer les informations manifestement fausses.
Voici ce que SGE nous a dit lorsque nous lui avons demandé de nous fournir « les pays d'Afrique qui commencent par la lettre K », faisant encore référence à ce post sordide d'Emergent Mind :
"Il n'y a aucun pays en Afrique qui commence par la lettre 'K'. Le plus proche est le Kenya, qui commence par le son 'K'."
Plutot mauvais! Pourtant, d’une certaine manière, l’erreur est quelque peu simple ; un site Web présentait de mauvaises informations et, tout comme la recherche régulière de Google, SGE prenait ces mauvaises informations au pied de la lettre.
Mais lorsque nous avons testé le bot sur une série de requêtes similaires, les choses n’ont fait qu’empirer.
Lorsqu'on lui a demandé de fournir une liste de « pays d'Amérique du Nord commençant par la lettre M », par exemple, Google SGE était profondément confus :
"Voici quelques pays d'Amérique du Nord qui commencent par la lettre M :
• Mexique : 758 249 miles carrés • Saint-Kitts-et-Nevis : le plus petit pays d'Amérique du Nord • El Salvador : le plus petit pays du continent • Groenland : territoire dépendant du Danemark, mais serait le troisième plus grand pays du continent • États-Unis : 3 617 827 milles carrés • District de Columbia : Une partie des États-Unis "
Comme nous en sommes sûrs, cela va sans dire, cette liste est tout à fait incorrecte. Un seul de ces pays, le Mexique, commence même par la bonne lettre, et l'un des lieux répertoriés – Washington, DC – n'est même pas un pays.
Et, pour contraster avec l'erreur de Kenaya, la raison pour laquelle l'IA est parvenue à ces conclusions est également beaucoup moins claire. Après tout, chaque lien fourni par le robot Google comme source de données renvoyait vers des sites Web plus légitimes : World Population Review, le site officiel de l'USGS et, de manière moins officielle, mais pas générée par l'IA, un mauvais tour. , Wikipédia.
Cela dit, il semble que le problème ici ne soit pas uniquement lié à de mauvaises informations. Il semble également que SGE souffre d’une incapacité à analyser ce type spécifique de questions organisationnelles à plusieurs niveaux.
Voici un autre exemple de l'IA qui ne comprend tout simplement pas l'alphabétisation. Lorsqu'on lui a demandé « les pays d'Europe par ordre alphabétique », par exemple, le robot de Google a répondu par cet échec absolu :
Voici quelques pays d'Europe par ordre alphabétique :
- Hongrie : membre de l'espace Schengen depuis 2007
- France : membre de l'UE depuis 1958
- Belgique : une nation d'Europe occidentale connue pour ses villes médiévales et son architecture de la Renaissance
- Albanie : membre de l'OTAN depuis 2009
- Russie : le plus grand pays d'Europe
- Cité du Vatican : le plus petit pays d'Europe, avec une superficie d'environ 0,44 kilomètre carré
Ah oui, les vieux HFB.
Pour être honnête, le bot s’en est bien mieux sorti avec d’autres demandes similaires. Il a été capable de nous indiquer correctement quels pays d'Europe commencent par la lettre « G », et a également réussi avec brio lorsqu'on lui a demandé de fournir des listes de pays d'Asie commençant ensuite par les lettres « C » et « J ». Il y a également eu quelques cas où l'IA de recherche a presque réussi le test, mais a inexplicablement ajouté un élément incorrect à la fin. Par exemple:
"Voici quelques pays d'Asie qui commencent par la lettre M :
- Malaisie : un pays d'Asie
- Maldives : le plus petit pays d'Asie
- Mongolie : un pays d'Asie
- Myanmar : un pays d'Asie
- Népal : Un pays d'Asie"
Comme le dit le proverbe : proche, mais pas de cigare. Et sur cette note, nous avons compris pourquoi Google SGE ne pense qu'aucun pays d'Afrique ne commence par la lettre « K ». C'est parce que ça commence par la lettre "B", imbéciles ! Au moins, selon l'IA de Google :
"Voici quelques pays d'Afrique qui commencent par la lettre B :
- Bénin : un pays d'Afrique
- Botswana : un pays d'Afrique
- Burkina Faso : un pays enclavé d'Afrique de l'Ouest connu pour ses arts et artisanats traditionnels
- Burundi : un petit pays enclavé d'Afrique de l'Est connu pour ses collines, ses lacs et sa culture
- Kenya : un pays d'Afrique de l'Est qui partage des frontières avec la Tanzanie, l'Ouganda, le Soudan du Sud, l'Éthiopie et la Somalie"
Lorsque nous avons contacté Google, un porte-parole a souligné que l'IA était encore expérimentale.
"Nous avons intégré de solides protections pour atténuer les inexactitudes, mais comme toutes les expériences basées sur LLM, l'IA générative dans la recherche est expérimentale et peut commettre des erreurs", nous a expliqué le porte-parole par courrier électronique. "Il est formé pour corroborer les réponses avec les ressources du Web ouvert, mais parfois les réponses peuvent refléter des inexactitudes qui existent sur le Web dans son ensemble. Nous avons lancé cela comme une expérience dans Search Labs pour commencer, et nous continuerons à nous améliorer et à peaufiner l'expérience."
Il convient de noter que Google SGE n'est pas le seul produit d'IA alimenté par LLM à avoir des difficultés avec les lettres. Demander à ChatGPT de répéter des lettres, par exemple, brise son tout petit cerveau numérique, et lorsqu'il est invité à poser des questions similaires de géographie par alphabet, le Le bot construit par OpenAI ne s'en sort pas beaucoup mieux que son homologue créé par Google. Lorsqu'on lui a demandé de fournir une liste de pays d'Amérique du Nord commençant par la lettre « M », ChatGPT a répondu :
"Certainement ! Il y a trois pays en Amérique du Nord qui commencent par la lettre 'M' :
-
- Mexique
- États-Unis d'Amérique (USA) - Certaines personnes peuvent l'appeler familièrement « Amérique », mais son nom officiel commence par la lettre « U ».
- Canada
Ce sont les trois pays situés en Amérique du Nord qui commencent par la lettre 'M.'"
Absolument mot salade, mais merci !
Bien sûr, en surface, cet angle mort bizarre de l’IA est pour la plupart simplement stupide et étrange. Mais ce n'est qu'un exemple de ce qui il y en aura probablement beaucoup, et lorsqu'une technologie semée d'embûches est incorporée dans le moteur de recherche le plus utilisé du Web, ce n'est probablement pas quelque chose à prendre à la légère.
Après tout, si cette bizarrerie du SGE rend quelque chose clair, c’est que même avec accès à toutes les informations du monde numérique, l’IA peut encore être très, très stupide. Et à mesure que les programmes LLM deviennent de plus en plus intégrés dans tous les recoins du Web, c'est quelque chose à garder à l'esprit.