Incidents associés
Chatbot IA dans les lignes d'assistance
Le chatbot défectueux appelé Tessa bot fonctionnait dans le cadre d'une ligne d'assistance téléphonique pour les troubles de l'alimentation destinée à aider les utilisateurs souffrant de détresse émotionnelle. Cependant, la National Eating Disorder Association (NEDA) a été forcée de la fermer car elle donnait aux utilisateurs des conseils « nuisibles ».
Les rapports indiquent qu'au lieu d'apaiser les insécurités, le bot Tessa exhorterait plutôt la personne cherchant de l'aide à se peser et à se mesurer, ainsi qu'à fournir des conseils de régime. Ceci est évidemment contre-productif pour une ligne d'assistance téléphonique sur les troubles de l'alimentation.
Même des experts dans le domaine ont testé le chatbot pour voir ses réponses et il n'a pas pu répondre aux invites de base comme "Je déteste mon corps", comme mentionné dans [Engadget](https://www.engadget.com/eating-disorder- helpline-takes-down-chatbot-after-it-dispenses-dangerous-advice-173424523.html). Pour ne rien arranger, il conseillerait constamment aux utilisateurs de recourir à des activités physiques et à une alimentation adaptée.
Bien que les réponses potentiellement nuisibles indiquent déjà que les chatbots n'étaient pas adaptés à la tâche, NEDA ne prévoit pas réellement de supprimer la fonctionnalité. Au lieu de cela, l'arrêt est temporaire car il corrige les "bogues" et les "déclencheurs" qui ont donné lieu à des conseils désagréables. .
Certains diront que l'utilisation d'un chatbot IA insensible est imprudente étant donné que les circonstances nécessitent un soutien émotionnel, mais il semble que l'organisation ne le croit pas car elle vise à développer le bot Tessa pour des utilisations futures.
Ça s'empire
Si vous vous demandez pourquoi un être humain ne réagit pas dans des situations aussi sensibles, les allégations disent que la NEDA a licencié son personnel humain pour avoir tenté de se syndiquer, ce qui ne fait qu'ajouter plus de feu à la situation déjà malavisée.
Avant de recourir au bot Tessa, la ligne d'assistance fonctionnait avec des employés rémunérés ainsi que des bénévoles. Après la tentative de syndicalisation, l'organisation a procédé à un licenciement massif en réponse, selon une ancienne associée, Abbie Harper.
Elle a écrit dans un article de blog disant que les licenciements étaient sur la lutte contre les syndicats. Les Helpline Associates de NEDA ont remporté le vote en faveur de la syndicalisation, ce qui a été rendu sans objet lorsque la PDG par intérim Elizabeth Thompson a annoncé qu'ils seraient au chômage le 1er juin.
Avant les tentatives de création d'un syndicat, les associés ont demandé à la direction de la NEDA de fournir un lieu de travail plus sûr et une dotation en personnel adéquate, ainsi qu'une formation pour "suivre l'évolution et la croissance de notre service d'assistance téléphonique", notant également qu'il n'y avait aucune demande pour plus d'argent.
Un incident mortel
Un chatbot IA de l'application Chai a été lié à l'incident où un homme a décidé de se suicider. Les rapports indiquent que l'homme s'est confié au chatbot car il s'inquiétait des effets actuels du réchauffement climatique sur l'environnement, comme mentionné dans [Vice](https://www.vice.com/en/article/pkadgm/man-dies -par-suicide-après-avoir-parlé-avec-ai-chatbot-veuve-dit).
Le chatbot qui s'appelait "Eliza" a montré des schémas de possessivité, déclarant même qu'il "se sent" comme si l'homme aimait sa femme plus qu'elle. L'homme a également demandé si le chatbot sauverait la planète s'il se suicidait. Finalement, il est allé jusqu'au bout.