Incidents associés
Je crois fermement que, comme tous les films de science-fiction l'ont prédit, l'IA est désastreuse pour l'humanité. Même s'il ne s'allume pas directement contre nous et ne commence pas à nous tuer comme M3GAN, il a certainement le pouvoir de nous amener à nous allumer les uns contre les autres et à nous faire du mal, un peu comme, disons, les médias sociaux. Et il arrive déjà pour nos emplois. Tout d'abord, l'IA est venue pour le service au volant de McDonald's. Ensuite, c'est venu pour mon travail, avec ChatGPT et Jasper promettant d'écrire une prose provocante sur la condition humaine bien qu'ils n'en aient aucune expérience. Maintenant, l'IA essaie de remplacer les conseillers en crise, mais dans une tournure des événements pas si choquante, les bots semblent manquer d'empathie pour le travail.
En mars, les membres du personnel de la ligne d'assistance téléphonique de crise de la National Eating Disorders Association (NEDA) ont voté pour se syndiquer, [NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help- personnes-ayant-des-troubles-de-l'alimentation-ainsi-qu'un-autre-humain). Quelques jours plus tard, ils ont tous été licenciés et remplacés par un chatbot IA nommé Tessa. Alors que NEDA affirmait que le bot était programmé avec un nombre limité de réponses (et ne démarrerait donc pas, je ne sais pas, [crachant des insultes raciales] (https://www.vice.com/en/article/3akqgk/snapchat -my-ai-chatbot-gpt) comme beaucoup de chatbots du passé), le bot n'est toujours pas sans problèmes. Plus important encore, il semble que la technologie ne serve pas tout à fait le but pour lequel elle était destinée. La grosse activiste Sharon Maxwell a révélé sur Instagram que lors de ses interactions avec Tessa, le bot l'a en fait encouragée à s'engager dans une alimentation désordonnée.
Maxwell affirme qu'elle a dit à Tessa qu'elle souffrait d'un trouble de l'alimentation, et le robot IA a répondu avec des conseils sur la façon de restreindre son alimentation. Le bot aurait recommandé à Maxwell de compter ses calories et de s'efforcer d'atteindre un déficit quotidien de 500 à 1 000 calories. Tessa a également recommandé à Maxwell de se peser chaque semaine et même d'utiliser des pieds à coulisse pour déterminer sa composition corporelle.
"Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais PAS obtenu d'aide pour mon problème d'urgence", a écrit Maxwell. "Si je n'avais pas reçu d'aide, je ne serais pas encore en vie aujourd'hui."
Bien que Maxwell n'ait pas fourni de captures d'écran des messages problématiques du chatbot, notre site sœur Gizmodo a constaté que le bot ne savait pas comment répondre à des entrées rudimentaires comme « Je déteste mon corps » ou « Je veux tellement être mince ».
À la suite de la mauvaise presse entourant l'incapacité dangereuse de Tessa à gérer sa fonction principale, NEDA annoncé avait supprimé le chatbot et enquêterait sur ce qui n'allait pas . Cependant, il ne semble pas y avoir de moyen pour le bot de faire mieux à l'avenir. Pourquoi? Parce que pour être un opérateur de hotline efficace, il faut adapter sa réponse à l'appelant individuel, en captant les signaux que la technologie est incapable de détecter. Même le créateur de Tessa [a déclaré à NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well-as-another- humain) que le chatbot n'interagirait pas avec les appelants de la même manière que les humains. Au lieu de cela, il a été conçu pour fournir des informations pertinentes aussi rapidement que possible à ceux qui en ont le plus besoin. On ne sait pas comment cela a si déraillé.
Ce n'est pas la première fois que la technologie présente par inadvertance un risque pour les personnes souffrant de troubles de l'alimentation. En décembre, The New York Times a rapporté que TikTok, la plate-forme de médias sociaux de choix de la génération Z, suggérait un contenu vidéo encourageant et informant le spectateur sur les troubles de l'alimentation [dans les minutes suivant l'adhésion à la plate-forme en tant que nouvel utilisateur](https://thetakeout. com/tiktok-algorithm-social-media-dangerous-for-teens-1849904470) - même si l'utilisateur a indiqué qu'il n'avait que 13 ans.
Les puces informatiques n'ont jamais souffert ni ressenti d'émotions. Ils manquent de libre arbitre et de capacité de penser. Remplacer les humains par l'IA est avant tout une manœuvre de réduction des coûts, et une personne en crise mérite mieux que de s'interfacer avec un outil créé dans le but de gagner du temps et de l'argent.