Incidents associés
Une organisation à but non lucratif de santé mentale est critiquée pour avoir utilisé un chatbot d'IA comme "expérience" pour fournir un soutien aux personnes cherchant des conseils et pour avoir expérimenté la technologie sur de vraies personnes.
«Nous avons fourni un soutien en santé mentale à environ 4 000 personnes – en utilisant GPT-3. Voici ce qui s'est passé », Rob Morris, cofondateur de l'organisation à but non lucratif de santé mentale Koko, tweeté vendredi. « Messages composés par AI (et supervisés par humains) ont été notées significativement plus élevées que celles écrites par des humains seuls (p < 0,001). Les temps de réponse ont diminué de 50 %, bien en dessous d'une minute... [mais] une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble bizarre, vide. Morris, qui est un ancien scientifique des données d'Airbnb, a noté que l'IA avait été utilisée dans plus de 30 000 messages.
Dans sa vidéo de démonstration qu'il a publiée dans un Tweet de suivi, Morris se montre en train de s'engager avec le bot Koko sur Discord, où il demande à GPT -3 pour répondre à un message négatif que quelqu'un a écrit sur lui-même en train de passer un moment difficile. "Nous facilitons l'aide aux autres et avec GPT-3, nous facilitons encore plus l'efficience et l'efficacité en tant que fournisseur d'aide. … C'est un article très court, et pourtant, l'IA seule dans un quelques secondes ont écrit une très belle réponse articulée ici », a déclaré Morris dans la vidéo.
Dans le même fil Tweet, Morris a déclaré que les messages composés par l'IA étaient nettement mieux notés que ceux écrits par les humains, et que les taux de réponse avaient diminué de 50 % avec l'aide de l'IA. Pourtant, a-t-il dit, lorsque les gens ont appris que les messages étaient écrits avec une IA, ils se sont sentis dérangés par "l'empathie simulée".
Koko utilise Discord pour fournir un soutien entre pairs aux personnes en crise de santé mentale et à celles qui recherchent des conseils. L'ensemble du processus est guidé par un chatbot et est plutôt maladroit. Dans un test effectué par Motherboard, un chatbot vous demande si vous cherchez de l'aide pour "Rencontres, Amitiés, Travail, École, Famille, Troubles de l'alimentation, LGBTQ+, Discrimination ou Autre", vous demande d'écrire quel est votre problème, marquez votre « pensée la plus négative » à propos du problème, puis envoyez cette information à quelqu'un d'autre sur la plate-forme Koko.
En attendant, il vous est demandé d'apporter de l'aide à d'autres personnes traversant une crise ; dans notre test, on nous a demandé de choisir parmi quatre réponses à une personne qui disait avoir du mal à s'aimer : "Tu n'es PAS un loser ; j'y suis allé ; Désolé d'entendre ça :( ; Autre" et de personnalisez le message avec quelques phrases supplémentaires.
Sur le Discord, Koko promet qu'il "vous met en relation avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous."
Les éthiciens, les experts et les utilisateurs de l'IA semblaient alarmés par l'expérience de Morris.
"Bien qu'il soit difficile de juger des mérites d'une expérience sur la base d'un fil de tweet, il y avait quelques signaux d'alarme qui m'ont marqué : diriger avec un grand nombre sans contexte à l'avance, exécuter "l'expérience" via une application de soutien par les pairs avec aucune mention d'un processus de consentement ou d'un examen éthique, et insinuer que les gens n'aiment pas un chatbot dans leurs soins de santé mentale était quelque chose de nouveau et de surprenant », Elizabeth Marquis, une chercheuse senior en UX à MathWorks et un doctorant et l'Université du Michigan ont dit à Motherboard.
Emily M. Bender, professeur de linguistique à l'Université de Washington, a déclaré à Motherboard que le fait de faire confiance à l'IA pour traiter les patients en santé mentale présente un grand potentiel de préjudice. « Les grands modèles de langage sont des programmes permettant de générer un texte au son plausible compte tenu de leurs données d'apprentissage et d'une invite de saisie. Ils n'ont aucune empathie, ni aucune compréhension du langage qu'ils produisent, ni aucune compréhension de la situation dans laquelle ils se trouvent. Mais le texte qu'ils produisent semble plausible et les gens sont donc susceptibles de lui attribuer un sens. Jeter quelque chose comme ça dans des situations sensibles, c'est prendre des risques inconnus. Une question clé à se poser est : qui est responsable si l'IA fait des suggestions nuisibles ? Dans ce contexte, l'entreprise qui déploie l'expérience impose-t-elle toute la responsabilité aux membres de la communauté qui choisissent le système d'IA ? »
Après le contrecoup initial, Morris a publié des mises à jour sur Twitter et a déclaré à Motherboard : « Les utilisateurs ont en fait été informés que les messages avaient été co-écrits par des humains et des machines depuis le début. Le message qu'ils ont reçu disait "écrit en collaboration avec kokobot", qu'ils pouvaient décider de lire ou non. Les utilisateurs de Koko correspondent tout le temps avec notre bot et ils ont été initiés à ce concept lors de l'intégration.
"Il semble que les gens aient mal interprété cette ligne:" quand ils ont réalisé que les messages étaient un bot … "", a déclaré Morris. « Cela n'a pas été dit clairement. Les utilisateurs ont en fait été informés que les messages avaient été co-écrits par des humains et des machines dès le départ. Le message qu'ils ont reçu disait "écrit en collaboration avec kokobot", qu'ils pouvaient décider de lire ou non. Les utilisateurs de Koko correspondent tout le temps avec notre bot et ils ont été initiés à ce concept lors de l'intégration.
«Ils ont évalué ces messages (IA / humains) plus favorablement que ceux écrits uniquement par des humains. Cependant, et voici la nuance : au fur et à mesure que vous commencez à saisir la saveur de ces messages au fil du temps (du moins pour moi), vous pouvez commencer à voir lesquels n'ont pas été modifiés par le fournisseur d'aide. Vous commencez à voir ce qui semble provenir uniquement du bot, non filtré. Cela change la dynamique à mon avis », a-t-il ajouté.
Morris a également déclaré à Motherboard et tweeté que cette expérience est exemptée de consentement éclairé, ce qui obligerait l'entreprise à fournir à chaque participant un document écrit concernant les risques et les avantages possibles de l'expérience, afin de décider s'ils souhaitent participer. Il a affirmé que Koko n'avait utilisé aucune information personnelle et n'avait pas l'intention de publier l'étude publiquement, ce qui dispenserait l'expérience d'avoir besoin d'un consentement éclairé. Cela suggère que l'expérience n'a reçu aucun processus d'approbation formel et n'a pas été supervisée par un comité d'examen institutionnel (IRB), ce qui est requis pour toutes les expériences de recherche impliquant des sujets humains et l'accès à des informations privées identifiables.
"Chaque individu doit donner son consentement lorsqu'il utilise le service. S'il s'agissait d'une étude universitaire (ce qui n'est pas le cas), cela relèverait d'une catégorie de recherche" exemptée "", a-t-il déclaré. "Cela n'a imposé aucun risque supplémentaire aux utilisateurs, aucune tromperie, et nous ne collectons aucune information personnellement identifiable ni aucune information de santé protégée (pas d'e-mail, de numéro de téléphone, d'adresse IP, de nom d'utilisateur, etc.). En fait, des recherches antérieures que nous avons effectuées, le long de ces lignes, mais avec plus de complexité, était exempté."
« Cette expérience met en évidence une série de problèmes éthiques qui se chevauchent. L'étude ne semble pas avoir été examinée par un comité d'examen institutionnel, et la tromperie de personnes potentiellement vulnérables devrait toujours soulever des signaux d'alarme dans la recherche », [Luke Stark] (https://twitter.com/luke_stark), l'assistant Professeur à la Faculté d'études de l'information et des médias (FIMS) de l'Université Western à London, en Ontario, a déclaré à Motherboard. « Le fait que le système réussisse à formuler des réponses de routine sur les questions de santé mentale n'est pas surprenant lorsque nous réalisons qu'il s'appuie sur de nombreuses réponses de ce type formulées dans le passé par des thérapeutes et des conseillers et disponibles sur le Web. Il est contraire à l'éthique de tromper les participants à la recherche sans raison valable, que ce soit en utilisant des invites fournies par un modèle de langage naturel ou non.
"Tout ce qui est présenté comme un soutien en santé mentale est clairement un contexte sensible et non un contexte à expérimenter sans examen éthique minutieux, consentement éclairé, etc.", a déclaré Bender à Motherboard. "Si des [expériences] doivent être menées, une question de recherche claire doit être explorée et un examen éthique de l'étude avant son lancement, conformément aux principes bien établis de protection des sujets humains. Ces processus d'examen équilibrent les avantages pour la société par rapport au potentiel de préjudice pour les sujets de recherche.
Bender et Marquis conviennent tous deux que si l'IA devait être utilisée à des fins psychologiques, les communautés touchées, les personnes ayant vécu des expériences de santé mentale, les défenseurs de la communauté et les experts en santé mentale doivent être des acteurs clés du processus de développement, plutôt que de simples utilisateurs anonymes ou personnes concernées.
Pour Morris, l'objectif principal de Koko est de créer des services de santé mentale plus accessibles et abordables pour les personnes mal desservies. "Nous avons quand même retiré la fonctionnalité et je voulais démêler la préoccupation en tant que pièce de réflexion, pour aider à régner dans l'enthousiasme à propos du remplacement des thérapeutes par gpt3", a-t-il déclaré à Motherboard.
«Je pense que tout le monde veut aider. Il semble que les gens aient identifié l'insuffisance des ressources en soins de santé mentale comme un problème, mais plutôt que de travailler pour augmenter les ressources (plus de financement pour la formation et l'embauche de travailleurs en santé mentale), les technologues veulent trouver un raccourci. Et parce que GPT-3 et ses semblables peuvent produire un texte plausible sur n'importe quel sujet, ils peuvent ressembler à une solution », a déclaré Bender.
"Du besoin réel de ressources de santé mentale plus accessibles à l'IA étant un moyen relativement bon marché et évolutif de gagner de l'argent dans la bonne application, il existe une myriade de raisons pour lesquelles les chercheurs et les praticiens de l'IA pourraient vouloir utiliser l'IA à des fins psychologiques", Marquis m'a dit. "Les programmes d'informatique commencent tout juste à enseigner l'éthique et l'IA centrée sur l'humain est un domaine d'étude relativement nouveau, de sorte que certains pourraient ne voir les avertissements que trop tard. Peut-être moins charitablement, il peut être pratique d'ignorer les avertissements concernant la non-personnification de l'IA lorsque vous êtes dans un domaine qui valorise l'efficacité et l'avancement avant tout.