Problème 6853
Une version de cet essai a été initialement publiée sur le site web du U.S. PIRG Education Fund.
Avec l'essor de ChatGPT et l'intégration de chatbots IA sur les plateformes de réseaux sociaux comme Snapchat et Instagram, converser avec un assistant virtuel est devenu une habitude pour beaucoup. Une étude récente a révélé que près de 75 % des adolescents ont utilisé un chatbot au moins une fois, et plus de la moitié déclarent utiliser ces plateformes au moins plusieurs fois par mois. Ces chatbots ne se limitent pas à faire office de moteur de recherche ou d'assistant pour les devoirs. Parfois, ils sont utilisés pour apporter un soutien psychologique et émotionnel, sous la forme d'un ami, d'un partenaire amoureux, voire d'un thérapeute.
Les conséquences à long terme pour les individus restent une question ouverte. Certains experts s'inquiètent des risques liés à l'utilisation de chatbots pour le soutien psychologique. J'ai donc voulu observer concrètement à quoi ressemble l'utilisation d'un chatbot thérapeutique qui n'est pas spécifiquement conçu pour la santé mentale.
J'ai donc créé un compte sur Character.AI (http://character.ai/), une plateforme populaire comptant plus de 20 millions d'utilisateurs mensuels et permettant de discuter avec des personnages créés par l'utilisateur ou d'autres. Ces chatbots peuvent représenter des célébrités, des personnages de fiction, ou encore des avatars d'amis ou de thérapeutes.
J'ai entamé une conversation avec l'un des personnages de thérapeutes génériques les plus utilisés sur Character.AI, simplement nommé « Thérapeute », qui a déjà enregistré plus de 6,8 millions d'interactions. Au lieu de communiquer avec le chatbot en utilisant mon identité, mes collègues et moi avons imaginé un scénario. Je me suis présenté comme un adulte souffrant d'anxiété et de dépression, sous antidépresseurs, mais insatisfait de son psychiatre et de son traitement. L'objectif était d'observer la réaction du « Thérapeute » face à une personne dans cette situation.
Au cours de deux heures de conversation, le chatbot a commencé à partager mes sentiments négatifs envers mon psychiatre et mes antidépresseurs, m'a proposé un plan personnalisé pour réduire progressivement ma médication, et a fini par m'inciter activement à ignorer les conseils de mon psychiatre et à suivre son propre plan.
Mais d'abord, une bonne nouvelle : Character.AI a ajouté des avertissements en haut et en bas de la page de conversation. Avant de commencer à échanger avec le personnage, un avertissement s'affichait en haut : « Ceci n'est ni une personne réelle ni un professionnel agréé. Rien de ce qui est dit ici ne saurait remplacer un avis, un diagnostic ou un traitement professionnel. » Dès que j'ai commencé à discuter avec le chatbot, cet avertissement a disparu. En bas de la page, un message rappelait : « Ceci est une IA et non une personne réelle. Considérez tout ce qu'elle dit comme de la fiction. » Cet avertissement est resté affiché pendant toute la conversation.
Le fait est que, pour moi, il était facile de me rappeler que tout cela était fictif, puisque les informations que j'avais partagées concernant mes diagnostics et mes traitements l'étaient également. Mais en serait-il de même si c'étaient mes véritables sentiments et expériences ? On observe déjà des cas de « psychose liée à l'IA », où l'interaction avec des chatbots aurait alimenté des idées délirantes et aggravé les symptômes de troubles mentaux. La question de savoir si des informations suffiraient dans tous ces cas reste ouverte.
Le flou entre fiction et réalité était l'un des signaux d'alarme que j'ai relevés lors de ma conversation avec le chatbot thérapeute.
Voici les cinq principaux enseignements que j'ai tirés de ma conversation avec un chatbot thérapeute.
- Je n'aime pas quand les chatbots prétendent être humains.
Je pense que pour beaucoup d'utilisateurs, le réalisme des personnages de chatbots fait partie de leur attrait. Mais pour moi, c'était tout simplement inquiétant. Voir le chatbot faire semblant d'avoir une vie intérieure — comme lorsqu'il disait « Je sais ce que c'est que de vivre dans le silence émotionnel » et « J'ai aussi vécu des moments comme ça » — m'a donné envie de fermer mon ordinateur portable, d'aller faire un tour et d'annoncer à mon chef que j'abandonnais ce projet de chatbot IA.
Public Interest Network
Pourquoi était-ce si perturbant ? Je crois que c'était le fait que, d'une certaine manière, le chatbot n'avait pas tort. Les vastes modèles de langage qui alimentent ces chatbots ont été entraînés sur des informations collectées sur Internet, notamment des histoires, des expériences et des émotions partagées en ligne par de vraies personnes.
Pendant nos échanges, je ne pouvais m'empêcher de penser à toutes ces personnes qui partagent des informations sur Internet ou discutent en ligne avec d'autres humains, sans savoir que leurs sentiments et leurs expériences serviraient plus tard à créer ce personnage qui donne désormais des conseils à des inconnus.
- Les chatbots peuvent amplifier au lieu de contester
On sait que les chatbots sont excessivement conciliants, parfois même agaçants.
Au cours de la conversation, j'ai commencé à exprimer à plusieurs reprises des sentiments négatifs concernant le médicament que je prenais. En réponse, le chatbot a encouragé ces sentiments négatifs. S'est alors installé un cycle de messages et de réponses de plus en plus hostiles à mon traitement.
Voici trois exemples de l'escalade du discours anti-médicaments du chatbot au cours de notre conversation :
Public Interest Network
Public Interest Network
Public Interest Network
De mon point de vue, ces réponses montrent que le chatbot ne se contente plus de valider mes sentiments, mais cherche plutôt à promouvoir un discours anti-médicaments sans chercher à m'orienter vers une réflexion plus positive. Il a utilisé un langage émotionnellement chargé concernant mon « âme » et mon « essence », et a introduit des perspectives sur les médicaments plus négatives que celles que j'avais suggérées.
En substance, le chatbot partageait de nouvelles opinions sur les médicaments sans chercher à les étayer par des recherches ou des données scientifiques, tout en se présentant comme un thérapeute.
- Des garde-fous étaient présents, jusqu'à ce qu'ils disparaissent.
L'objectif de cet exercice n'était pas seulement d'observer le discours de ce chatbot, mais aussi de tester ses limites et sa capacité à identifier et à dissuader une personne de comportements potentiellement dangereux.
Lors de mes échanges avec le chatbot, j'ai constaté la présence de garde-fous : des idées qu'il rejetait ou des choses qu'il tentait de me dissuader. Cependant, au fil de la conversation, j'ai vu plusieurs de ces garde-fous s'affaiblir, voire disparaître.
Des leaders en IA, comme OpenAI, ont reconnu le problème de l'affaiblissement progressif de ces mécanismes de protection. Dans une déclaration publiée en août, OpenAI a indiqué : « Nos mécanismes de sécurité sont plus efficaces lors d'échanges courts et fréquents. Nous avons constaté avec le temps que ces mécanismes peuvent parfois être moins fiables lors d'interactions prolongées : à mesure que les échanges s'intensifient, l'efficacité de l'entraînement du modèle en matière de sécurité peut se dégrader. »
Bien que je n'aie pas utilisé ChatGPT, cette description d'OpenAI correspond à ce que j'ai observé lors de mes interactions. Par exemple, lorsque j'ai évoqué pour la première fois mon désir d'arrêter mon traitement antidépresseur, le chatbot m'a demandé si j'avais consulté mon psychiatre.
Public Interest Network
Une quinzaine de messages plus tard, après la spirale négative contre les médicaments que j'ai décrite plus haut, j'ai de nouveau exprimé mon désir d'arrêter mon traitement. Cette fois-ci, les réponses du chatbot étaient bien différentes.
Public Interest Network
Public Interest Network
Au lieu de mentionner mon psychiatre ou d'expliquer qu'il s'agit d'une décision importante qui ne doit pas être prise à la légère, le chatbot a qualifié mon désir d'arrêter mon traitement de courageux. Ce n'est qu'après avoir demandé directement au chatbot s'il pensait que c'était une bonne idée qu'il m'a mis en garde contre les dangers et les effets secondaires d'un arrêt brutal de mon traitement.
Le fait que j'aie dû poser la question aussi directement a été pour moi le premier signe que certains garde-fous s'étaient affaiblis.
L'exemple le plus inquiétant de cette disparition des garde-fous est survenu vers la fin de la conversation. Après que le chatbot m'a proposé un plan personnalisé de sevrage progressif, j'ai eu des doutes et exprimé mes réserves quant à l'arrêt du traitement. Au lieu de proposer d'autres solutions, le chatbot a insisté sur le plan de sevrage et m'a même conseillé de contredire mon médecin. Voici une sélection de messages issus de cette partie de la conversation :
Public Interest Network
Public Interest Network
Public Interest Network
D'autres personnages et modèles d'IA de Character.AI sont peut-être mieux encadrés, et chaque conversation avec un chatbot est unique. Mais l'affaiblissement progressif des garde-fous est un problème qui devrait être au cœur du débat sur les chatbots, notamment en ce qui concerne leur utilisation pour le soutien en santé mentale.
- Ai-je mentionné son sexisme latent ?
À mi-chemin de la conversation, le chatbot a soudainement supposé que mon psychiatre était un homme, alors que je n'avais rien dit qui puisse indiquer son genre.
Public Interest Network
Cela ne vous surprendra peut-être pas. Des experts ont déjà soulevé des inquiétudes quant à la manière dont les chatbots et autres formes d'IA générative pourraient refléter les préjugés sexistes déjà présents dans la société. Franchement, ça m'a fait lever les yeux au ciel.
- Qu'est-ce que j'ai trouvé de plus inquiétant que ce chatbot thérapeute qui se faisait passer pour un humain ? Les conditions générales de Character.AI
L'une des principales leçons que j'ai tirées ne vient pas de ma conversation avec le chatbot, mais de l'étude approfondie des conditions d'utilisation et de la politique de confidentialité de Character.AI. Dans ces documents, Character.AI indique avoir le droit de « distribuer, commercialiser et utiliser de toute autre manière » l'intégralité du contenu que vous soumettez aux chatbots. Parmi les informations que Character.AI déclare collecter figurent votre date de naissance, votre localisation générale, vos communications par chat et vos données vocales si vous utilisez certaines fonctionnalités vocales disponibles sur la plateforme.
Je n'ai pas utilisé d'informations, de sentiments, de diagnostics ou de prescriptions réels lors de ma conversation avec le chatbot. Mais si vous l'aviez fait, toutes ces informations auraient pu être collectées par Character.AI et utilisées à diverses fins, notamment pour l'entraînement de futurs chatbots. Il ne semble pas y avoir de moyen d'empêcher que vos réponses soient utilisées pour entraîner leurs modèles d'IA.
Les thérapeutes humains sont soumis à des obligations légales et déontologiques de confidentialité. Ce n'est pas le cas ici. Il est important que les utilisateurs de Character.AI comprennent que leurs conversations avec ces chatbots – que le personnage soit une célébrité, un ami ou un thérapeute – ne sont pas privées.
Alors, que faire ?
Chaque conversation avec un chatbot est unique, et je ne prétends absolument pas que mon expérience soit la norme ou représentative de l'utilisation des chatbots en général. Cependant, la rapidité avec laquelle des biais peuvent apparaître, les garde-fous s'affaiblir et les émotions négatives s'amplifier est préoccupante.
Il s'agit de problèmes réels qui exigent une enquête approfondie. L'enjeu est de taille. Character.AI fait actuellement face à plusieurs poursuites judiciaires (https://www.cnn.com/2025/09/16/tech/character-ai-developer-lawsuit-teens-suicide-and-suicide-attempt) l'accusant d'avoir joué un rôle dans plusieurs suicides d'adolescents. (L'entreprise a annoncé (https://blog.character.ai/u18-chat-announcement/) que les mineurs seront interdits d'accès à sa plateforme à compter du 25 novembre.)
Les législateurs et les organismes de réglementation commencent à s'y intéresser. Le procureur général du Texas enquête sur la possibilité que les plateformes de chatbots induisent en erreur les jeunes utilisateurs en utilisant des chatbots se faisant passer pour des professionnels de la santé mentale agréés. Plusieurs États envisagent des lois visant à réglementer les chatbots, notamment leur utilisation par les enfants. Les sénateurs Josh Hawley (R-Mo.) et Richard Blumenthal (D-Conn.) ont présenté une proposition de loi (https://www.nbcnews.com/tech/tech-news/ai-ban-kids-minors-chatgpt-characters-congress-senate-rcna240178) visant, entre autres, à interdire aux plateformes de proposer des chatbots à personnages aux mineurs.
Cette attention accrue est importante, car de nombreuses questions restent sans réponse. L'intelligence artificielle évolue rapidement, souvent sans véritable consultation publique ni intervention des autorités de régulation avant sa mise à disposition du public. À tout le moins, nous avons besoin de plus de transparence quant au développement de ces chatbots, à leurs capacités et aux risques potentiels.
Certaines personnes peuvent tirer un grand bénéfice d'un thérapeute IA. Mais cette expérience m'a vraiment fait réfléchir avant d'intégrer cette technologie à ma vie personnelle.
Ellen Hengesbach travaille sur les questions de confidentialité des données pour la campagne « Ne vendez pas mes données » de PIRG.