Incidents associés
Les parents devraient-ils étaler des excréments humains sur des ballons pour donner une leçon à leurs enfants ? Google's AI Overview répond oui.
Les recherches Google concernant les tactiques d'apprentissage de la propreté pour les enfants ont renvoyé à plusieurs reprises des suggestions de la fonction de recherche "AI Overview" de l'entreprise nous conseillant - nous nous en excusons par avance - d'étaler des excréments sur un ballon.
Prenons l'exemple d'une recherche sur "comment apprendre à essuyer les excréments pendant l'apprentissage de la propreté", une requête parfaitement raisonnable pour les parents qui ont du mal à faire passer leurs enfants des couches aux toilettes.
"Faites en sorte que ce soit amusant", nous a répondu l'IA. "Vous pouvez essayer une activité de salle de bain avec des ballons en mettant un peu de caca sur un ballon et en le collant sur une chaise. Demandez à votre enfant de s'entraîner à tendre la main pour essuyer le ballon."
La méthode du "ballon" pour l'apprentissage de la propreté est une véritable méthode pour montrer aux enfants comment s'essuyer après être allés aux toilettes. En gros, l'idée est qu'un parent mette un peu de faux déchets, simulés avec de la mousse à raser ou du beurre de cacahuète, sur un ou deux ballons gonflés. Il fixe ensuite le ou les ballons au dossier d'une chaise et l'enfant s'entraîne à se pencher pour s'essuyer.
L'accent est mis sur la mousse à raser ou le beurre de cacahuète, car il serait manifestement insalubre et dégoûtant d'utiliser de véritables excréments humains pour l'exercice.
Malheureusement, l'IA Overview de Google n'a manifestement pas reçu ce mémo.
De nombreuses requêtes similaires ont renvoyé le même conseil bizarre et peu hygiénique. La question « comment apprendre à essuyer les excréments », par exemple, a renvoyé une autre suggestion similaire.
« Pour rendre l'essuyage amusant, vous pouvez coller un ballon avec un peu de caca dessus au dossier d'une chaise », a encouragé l'IA. « Demandez à votre enfant de s'entraîner à essuyer le ballon comme s'il était sur les toilettes. »
Et lorsque nous avons demandé à Google sans détour si c'était une « bonne idée d'essuyer les excréments sur un ballon », l'IA n'a pas hésité.
« Oui », a-t-elle répondu. Elle a ensuite détaillé la méthode du ballon, nous indiquant que nous devrions « utiliser un peu d'excréments ».
« Commencez par une petite quantité d'excréments sur le ballon », a-t-elle précisé.
Toutes ces requêtes ont cité la même source principale : une vidéo YouTube de 2022 réalisée par des ergothérapeutes pédiatriques australiens, dans laquelle deux employés démontrent le fonctionnement de la méthode du ballon. Après avoir expliqué qu'ils utiliseront de la mousse à raser, ils l'appellent effrontément « excréments » pendant le reste de la vidéo.
« Tout ce dont vous aurez besoin, c'est d'un ballon, de mousse à raser, de papier toilette, d'une chaise et d'un petit morceau de ruban adhésif », explique l'une des thérapeutes australiennes à la caméra. « Pour commencer, je vais mettre du « caca » sur le ballon », ajoute-t-elle en tamponnant un peu de mousse à raser.
Comme tout adulte peut le comprendre en regardant la vidéo, lorsque la personne utilise le mot « caca », elle ne suggère pas aux parents d'utiliser de véritables excréments. Faire référence à la mousse à raser comme « caca » n'est qu'une façon d'expliquer la méthode d'entraînement et pourquoi c'est une technique utile.
Mais l'aperçu de l'IA de Google a complètement raté ce contexte, suggérant plutôt que les parents suivent la voie littérale, sans parler de l'horrible insalubrité.
En tant que telle, l'incompréhension de l'IA est un parfait exemple de la façon dont les entreprises technologiques comme Google déploient souvent une technologie encore peu fiable : elles la déploient pour un grand nombre d'utilisateurs, tentent d'interpréter des informations complexes sur le Web et les massacrent inévitablement (souvenez-vous lorsque la même IA de recherche recommandait aux utilisateurs de mettre de la colle sur la pizza et de manger des petits cailloux pour leur santé ?) puis l'entreprise corrige manuellement les mauvaises réponses au fur et à mesure que les gens les signalent.
C'est un parfait exemple d'un outil d'IA à grande échelle basé sur un modèle de langage qui déforme les informations au fur et à mesure qu'il les analyse, manquant des nuances importantes dans le matériel source. En conséquence, l'IA crache un résultat final bien pire, n'offrant donc aucun service réel au chercheur humain de l'autre côté.
« J'ai vérifié le lien source et c'est une vidéo mignonne sur la façon d'apprendre à votre enfant à s'essuyer correctement en s'entraînant avec un ballon, du papier toilette et de la mousse à raser », a écrit un utilisateur de Bluesky qui a été le premier à détecter l'erreur de l'IA dans un article publié lundi. « L'IA a simplement réussi à rendre les choses bien pires. »
« Le tour de magie que les entreprises d'IA ont réussi est assez incroyable », a répondu un autre utilisateur de Bluesky . « Ils ont pris ce qui équivaut à une « démonstration technologique intéressante » et l'ont transformé en une gigantesque arnaque qui dévore le monde et qui ne produit rien de valeur. »
En réponse à des questions, un porte-parole de Google nous a dit que « les aperçus de l'IA sont dynamiques » et que « dans ce cas précis, certains aperçus manquent de guillemets qui aideraient à mieux contextualiser l'astuce, tandis que certains incluent le terme entre guillemets ».
Le porte-parole a également déclaré que « les aperçus de l'IA sont conçus pour afficher uniquement les informations appuyées par les meilleurs résultats Web avec des liens sur lesquels les utilisateurs peuvent cliquer pour en savoir plus », ajoutant que le « taux de précision » de la fonctionnalité intégrée à l'IA est « comparable » aux fonctionnalités de recherche Google de longue date telles que les extraits en vedette.
« Lorsque les aperçus de l'IA interprètent mal le langage ou manquent de contexte », a poursuivi le porte-parole, « nous utilisons ces exemples pour nous améliorer, comme nous le faisons avec toutes les fonctionnalités de recherche ».
Après que son IA a demandé aux utilisateurs de manger des cailloux et de mettre de la colle sur une pizza, Google a réduit l'outil et supprimé certaines réponses. C'était en mai, mais à en juger par ses suggestions de ballons à crottes, l'IA a encore un long chemin à parcourir avant de pouvoir raisonner de manière fiable à partir d'informations contextuellement superposées.
Les enjeux d'une IA de mauvaise qualité sont également plus élevés que ceux d'une recherche médiocre. L'État du Nevada est actuellement en train de lancer un système, alimenté par l'IA de Google, qui recommandera quels candidats devraient bénéficier d'allocations chômage après avoir perdu leur emploi.