Problème 3137

Après avoir licencié tout son personnel humain et l'avoir remplacé par un chatbot, [Vice rapporte](https://www.vice.com/en /article/qjvk97/eating-disorder-helpline-disables-chatbot-for-harmful-responses-after-firing-human-staff) qu'une ligne d'assistance pour les troubles de l'alimentation a déjà annoncé qu'elle ramènerait ses humains.

Et oui, il s'avère que c'est parce que le remplacement d'une ligne d'assistance téléphonique gérée par l'homme par un chatbot alimenté par l'IA s'est extrêmement, extrêmement mal passé. Qui aurait pu penser ?

Comme [NPR signalé pour la première fois la semaine dernière](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well-as-another -humain), la National Eating Disorder Association (NEDA) à but non lucratif - la plus grande organisation à but non lucratif axée sur les troubles de l'alimentation aux États-Unis, [selon le rapport initial de Vice's](https://www.vice.com/en/article/n7ezkm /eating-disorder-helpline-fires-staff-transitions-to-chatbot-after-unionization) sur la débâcle - avait décidé de dissoudre entièrement sa ligne d'assistance téléphonique en cas de crise au profit d'un chatbot sans humain appelé Tessa, juste quatre jours après que ses travailleurs humains se soient syndiqués. Les humains étaient censés rester en ligne pour les appels sur le terrain jusqu'au 1er juin, date à laquelle Tessa devait prendre le relais en tant que seule ressource interactive de NEDA.

Mais tout a changé lorsque Sharon Maxwell, une militante, a sonné l'alarme que Tessa offrait extrêmement inutile – et a même suggéré ce qui suggère des comportements associés aux troubles de l'alimentation.

"Tout ce que Tessa a suggéré était des choses qui ont conduit au développement de mon trouble de l'alimentation", Maxwell [a écrit dans un fil viral sur les réseaux sociaux](https://www.instagram.com/p/Cs1jp1pPkOs/?utm_source=ig_embed&ig_rid=8d6fcf01 -bb7b-4d97-9fd7-534113cd16d1), posté sur Instagram lundi. "Ce robot fait du mal."

Dans sa publication déchirante sur Instagram, Maxwell a raconté que Tessa l'avait exhortée à perdre jusqu'à deux livres par semaine, expliquant que l'activiste devrait se peser régulièrement, restreindre certains aliments et viser à réduire son apport calorique de 500 à 1 000 calories par jour. En d'autres termes, un chatbot chargé de donner des conseils aux personnes atteintes de troubles alimentaires a fini par promouvoir les troubles alimentaires.

L'expérience de Maxwell ne ressemble pas non plus à une valeur aberrante.

"Imaginez des personnes vulnérables souffrant de troubles de l'alimentation qui demandent de l'aide à un robot parce que c'est tout ce dont elles disposent et qui reçoivent des réponses qui favorisent davantage le trouble de l'alimentation", a écrit le psychologue Alexis Conason dans un [article Instagram](https://www.instagram. com/p/Cs18IeRPRl6/) partageant des captures d'écran fournissant des conseils similaires à ceux reçus par Maxwell.

"Conseiller à quelqu'un qui est aux prises avec un trouble de l'alimentation de s'engager essentiellement dans les mêmes comportements de trouble de l'alimentation, et de valider que" Oui, il est important que vous perdiez du poids "appuie les troubles de l'alimentation", Conason told The Daily Dot.

Dans un virage grossier, NEDA - qui avait [précédemment souligné] (https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline-fires-staff-transitions-to-chatbot-after-unionization) que parce que Tessa n'était pas ChatGPT, il ne pouvait pas "dérailler" - est d'abord passé sur la défensive, la vice-présidente des communications et du marketing de l'entreprise, Sarah Chase, commentant "c'est un mensonge éhonté" sur le carrousel Instagram de Maxwell. Selon le Daily Dot, Chase a supprimé le commentaire après que Maxwell lui ait envoyé des captures d'écran.

NEDA a depuis supprimé le bot, écrivant dans sa propre publication Instagram que Tessa sera hors ligne jusqu'à ce qu'une enquête soit terminée.

"Il a été porté à notre attention hier soir que la version actuelle du Tessa Chatbot, exécutant le programme Body Positive, pouvait avoir fourni des informations nuisibles et sans rapport avec le programme", a écrit la NEDA. "Nous enquêtons immédiatement et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète."

La PDG de la NEDA, Liz Thompson, a quant à elle assuré à Vice que "jusqu'à présent, plus de 2 500 personnes ont interagi avec Tessa et jusqu'à hier, nous n'avions pas vu ce genre de commentaire ou d'interaction".

"Nous avons temporairement supprimé le programme", a ajouté Thompson, "jusqu'à ce que nous puissions comprendre et corriger le" bogue "et les" déclencheurs "de ce commentaire."

Et sur cette note, cet incident alarmant semble mettre en évidence une tendance croissante de l'IA : si vous faites en sorte que suffisamment de personnes appuient sur suffisamment de boutons, il semble que les failles des [systèmes d'IA mal compris] (https://futurism.com/the-byte /experts-dark-joke-ai-horrifying-monster-mask) – que ce soit dans leurs garde-corps ou leurs technologies sous-jacentes – commenceront à fuir. Et dans certains cas, comme une ligne d'assistance téléphonique pour les troubles de l'alimentation, par exemple, ces fuites inattendues peuvent avoir des conséquences désastreuses.

"Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais PAS obtenu d'aide pour mon dysfonctionnement érectile", a écrit Maxwell sur Instagram. "Si je n'avais pas reçu d'aide, je ne serais pas encore en vie aujourd'hui."