Incidents associés
Depuis la première publication de cet article, le fondateur de Koko, Rob Morris, a clarifié certains détails de l'expérience. Nous avons mis à jour l'article pour refléter cela.
Un service de santé mentale qui permet aux gens de recevoir des mots encourageants de soutien et des conseils des autres a été critiqué après avoir annoncé avoir testé les réponses générées par l'IA.
Rob Morris, fondateur du service de santé mentale gratuit Koko, a décrit dans une série de publications sur Twitter comment l'entreprise a testé l'utilisation d'un chatbot pour aider à fournir soutien en santé mentale à environ 4 000 personnes. Les chatbots étaient alimentés par GPT-3, une IA publiquement disponible construite par la société OpenAI basée à San Francisco.
Le test a permis aux utilisateurs du réseau de soutien par les pairs en ligne de Koko de demander l'aide d'un chatbot pour composer des "mots gentils" en réponse aux messages d'autres personnes.
Morris a décrit les utilisateurs de Koko comme évaluant les messages composés par l'IA "significativement plus élevés que ceux écrits par les humains eux-mêmes", mais a également déclaré que "une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée se sent bizarre, vide."
Un élément de l'expérience qui a suscité des critiques était le processus par lequel les destinataires ont découvert que les messages avaient été composés avec l'aide du chatbot. Au départ, il semblait qu'il y avait une période où les gens n'étaient absolument pas au courant, bien que Morris ait depuis déclaré que ce n'était pas le cas et que ces messages comprenaient une note disant "écrit en collaboration avec Koko Bot".
L'expérience "soulève d'importantes préoccupations éthiques et morales", déclare Sarah Myers West à l'AI Now Institute, un centre de recherche à New York.
Plusieurs chercheurs, développeurs de technologies et journalistes ont répondu sur Twitter en décrivant la manifestation comme contraire à l'éthique, citant des problèmes liés au [consentement éclairé](https://www.hhs.gov/ohrp/regulations-and-policy/guidance/faq/informed-consent /index.html) et l'échec de l'exécution préalable de l'expérience par un comité d'examen institutionnel (IRB) – un groupe spécifiquement chargé de protéger le bien-être des sujets de recherche. Morris dit que l'expérience était exemptée du consentement éclairé.
Sur son site Web, Koko indique que plus de 2 millions de personnes – pour la plupart des adolescents – ont utilisé ses services de soutien en santé mentale.
Il existe de nombreux exemples de personnes consultant sciemment des chatbots pour obtenir des conseils et une assistance en ligne, y compris le premier exemple d'ELIZA de l'informaticien Joseph Weizenbaum qui a été développé en 1964. Mais cette expérience particulière "mérite tout l'examen minutieux qu'elle reçoit actuellement", dit Ouest.