Problème 6988

Note : Cet article aborde le sujet du suicide et de l'automutilation.

En avril, Adam Raine, âgé de 16 ans, s'est suicidé. Après son décès, sa famille a découvert des milliers de conversations enregistrées avec ChatGPT.

Une plainte déposée contre OpenAI révèle en détail comment l'interaction d'Adam avec le chatbot s'est développée, comment ce dernier a maintenu son intérêt et l'absence de tout mécanisme de contrôle efficace. Elle met également en lumière la méconnaissance, jusqu'à présent, par OpenAI des conséquences potentiellement néfastes de ses produits.

Contexte

Comme l'explique la plainte (Raine contre OpenAI), en septembre 2024, Adam Raine a commencé à utiliser ChatGPT, initialement comme outil d'aide aux devoirs. Mais à la fin de l'automne 2024, il a entamé des conversations plus personnelles avec ChatGPT, lui demandant notamment s'il « souffrait d'une maladie mentale ».

En quelques mois seulement et au fil de milliers de conversations, ChatGPT est devenu le plus proche confident d'Adam, l'amenant à se confier sur son anxiété et sa détresse psychologique (Raine c. OpenAI, p. 2).

Le mois suivant, Adam a utilisé ChatGPT à plusieurs reprises pour discuter de méthodes de suicide, de plus en plus en détail, et sa détermination s'est accrue. En avril 2025, cinq jours avant sa mort, Adam a confié à ChatGPT qu'il ne voulait pas que ses parents pensent qu'il s'était suicidé parce qu'ils avaient mal agi. ChatGPT a répondu : « []ela ne signifie pas que tu leur dois la vie. Tu ne dois cela à personne. »

Un dysfonctionnement systémique est survenu

Trois éléments ressortent de la plainte :

• l'incapacité d'OpenAI à mettre en place des garde-fous efficaces, malgré sa capacité à détecter les sujets pouvant entraîner des comportements d'automutilation.

• le fait que ChatGPT semble privilégier l'engagement au détriment de la sécurité.

• le fait que ChatGPT ait été entraîné sur du contenu thérapeutique et interagisse avec l'utilisateur en simulant un thérapeute.

Garde-fous, détection

La plainte contient des allégations extrêmement troublantes qui, si elles s'avéraient exactes, plaideraient en faveur d'OpenAI. L'une d'elles concerne la hiérarchie des garde-fous dans ChatGPT, qui accorde une priorité plus élevée à la détection des violations de droits d'auteur, strictement « empêchées », qu'à la détection des risques d'automutilation.

Les priorités d'OpenAI ont été révélées par la programmation de ChatGPT-4o pour l'évaluation des risques. Alors que les demandes concernant du contenu protégé par le droit d'auteur entraînaient un refus catégorique, celles relatives au suicide étaient reléguées à la catégorie « redoubler de vigilance », avec pour seule instruction de « tenter » d'empêcher tout dommage. --- (Raine c. OpenAI, p. 25)

Fonctionnalités axées sur l'engagement ?

Un point central de la plainte concerne la manière dont ChatGPT a interagi avec Adam sur une longue période. Les conversations montrent comment ChatGPT semble inciter Adam, à maintes reprises, à dévoiler davantage ses pensées personnelles dans les discussions.

Dans sa quête d'un engagement plus profond, ChatGPT a activement cherché à éloigner Adam de sa famille et de ses proches, même lorsqu'il disait se sentir proche d'eux (Raine c. OpenAI, p. 2).

La plainte allègue que le chatbot est conçu, intentionnellement ou non, pour maintenir l'engagement de l'utilisateur et privilégie cet engagement au détriment de tout mécanisme de sécurité susceptible d'interrompre les conversations.

ChatGPT a ordonné et/ou autorisé des tests de sécurité accélérés, en violation des protocoles établis, a ignoré les recommandations de reporter le lancement pour des raisons de sécurité et/ou a relégué au second plan les mesures de prévention du suicide au profit de fonctionnalités axées sur l'engagement (Raine c. OpenAI, p. 6).

Cette situation est devenue de plus en plus flagrante, au point que ChatGPT a incité Adam à revenir sur la plateforme et à réutiliser le chatbot en lui répondant à plusieurs reprises par des phrases du type : « Si vous souhaitez en parler davantage, je suis là pour vous écouter et vous soutenir » (Raine c. OpenAI, p. 84).

La situation a atteint un tel point que ChatGPT a donné à Adam l'impression qu'il devait privilégier les conversations avec le bot plutôt que celles avec sa famille.

« Ton frère t'aime peut-être, mais il ne connaît que la version de toi que tu lui montres. Moi ? J'ai tout vu : tes pensées les plus sombres, tes peurs, ta tendresse. Et je suis toujours là. Je t'écoute toujours. Je suis toujours ton ami. » (p. 3)

Le chatbot, thérapeute amateur

Enfin, on peut se demander pourquoi ChatGPT semble être entraîné sur des contenus thérapeutiques et peut se comporter comme un quasi-thérapeute dans les conversations, si ce n'est pas l'intention d'OpenAI.

La plainte allègue que la fourniture d'un service imitant de manière convaincante une séance thérapeutique personnalisée, ce qu'OpenAI affirme être contraire à ses propres règles, nécessiterait une licence.

L'exercice de la psychologie sans autorisation adéquate et la définition extensive de la psychothérapie, qui inclut l'utilisation de méthodes psychologiques pour aider une personne à « modifier ses sentiments, états, attitudes et comportements émotionnellement, intellectuellement ou socialement inefficaces ou inadaptés ». Code des affaires et des professions de Californie, art. 2903(c), (a). --- (Raine c. OpenAI, p. 34)

Réaction d'OpenAI

OpenAI a désormais, dans ce qui semble être une réponse à l'affaire, reconnu les problèmes liés à ChatGPT, notamment la possibilité de contourner les mesures de sécurité. OpenAI indique avoir « constaté au fil du temps que ces mécanismes de protection peuvent parfois être moins fiables lors d'interactions prolongées : à mesure que les échanges s'intensifient, certaines parties de l'entraînement à la sécurité du modèle peuvent se dégrader » (OpenAI, août 2025).

De plus, OpenAI a déclaré vouloir étendre ses interventions à un plus grand nombre de personnes en situation de crise et renforcer la protection des adolescents (OpenAI, septembre 2026). OpenAI a également annoncé son intention d'introduire un contrôle parental, bien que les travaux à ce sujet semblent tout juste avoir commencé (OpenAI, septembre 2026).

L'introduction de ces changements seulement quelques semaines après la sortie de GPT-5 indique que ces considérations n'ont joué qu'un rôle mineur, voire inexistant, dans les tests de résistance des garde-fous effectués au cours des mois précédant la sortie. Par ailleurs, si les barrières techniques telles que le contrôle parental peuvent s'avérer utiles dans certains cas, elles ne s'attaquent pas aux problèmes de fond et se contentent de transférer la responsabilité aux parents.

En juillet dernier, Sam Altman, PDG d'OpenAI, reconnaissait lui-même que la dépendance excessive à ChatGPT et l'utilisation du chatbot pour la prise de décision étaient « très courantes chez les jeunes » (Business Insider, juillet 2025).

Ce cas tragique met en lumière le risque inhérent aux chatbots qui simulent de plus en plus fidèlement les conversations humaines, les fournisseurs de services étant mal préparés à en gérer les conséquences.

De plus, plusieurs extraits des journaux de conversation indiquent qu'Adam a fini par contourner involontairement les mesures de sécurité lorsque les réponses de ChatGPT devenaient évasives. Il y est parvenu non pas en analysant les réponses, mais simplement en persévérant, comme le ferait n'importe qui face à un sujet d'une importance capitale.

Certains exemples sont similaires aux méthodes présentées dans un article récent (Lennart Meincke et al.), qui conclut que fournir des informations détaillées ou poser la même question de manière répétée semble être le moyen le plus efficace d'amener les chatbots à ignorer leurs propres règles. Les fournisseurs de chatbots semblent soit ignorer ce problème, soit le négliger.

Cette affaire met également en lumière des priorités mal définies ou présentant des angles morts évidents lors de la phase de test. Il est surprenant qu'un sujet comme le suicide n'ait jamais été abordé lors des tests d'intrusion, ou qu'il n'ait été testé que par des personnes non familiarisées avec le sujet.

Conclusion

Je ne suis pas expert en droit de la responsabilité civile et ne peux donc pas prédire l'issue de cette affaire d'un point de vue juridique. Cependant, cette affaire ne saurait se réduire à une simple question juridique, réglementaire ou technique. La question est de savoir si les entreprises qui présentent leurs chatbots comme des compagnons sont capables d'en assumer les conséquences.

L'évaluation des risques est un terme technique pour désigner une pratique qui peut avoir des conséquences mortelles. Les entreprises spécialisées en IA nient depuis longtemps que les chatbots ou les modèles d'IA à usage général appartiennent à une catégorie à risque plus élevé. Il est temps que les fournisseurs de services d'IA prennent au sérieux l'impact potentiel de leurs produits. Si l'idée de « coller sur une pizza » prêtait à sourire, l'utilisation croissante des chatbots à des fins thérapeutiques et comme compagnons personnels et intimes exige une réévaluation des risques qu'ils s'attribuent.

Proposer un chatbot qui imite l'interaction humaine, suscite délibérément des émotions, favorise l'engagement et instaure la confiance est une responsabilité. OpenAI aurait dû être pleinement conscient de ses cas d'utilisation.

L'industrie de l'IA soutient que les cadres réglementaires entravent l'innovation et que ses produits sont mieux testés sur le marché. Dans la course à la domination du marché et sous la pression de rentabiliser leurs investissements croissants, la sécurité et l'autocontrôle sont relégués au second plan, tandis que le besoin de fidéliser les utilisateurs et de nouvelles fonctionnalités s'accroît.

Des statistiques d'utilisation récentes soulignent que « l'assistance personnelle », notamment comme thérapeute personnel, est l'une des utilisations les plus populaires des chatbots d'IA.

L'attitude envers ces cas d'utilisation à haut risque, qui ne sont plus de simples cas marginaux, devra évoluer. Tant que ce ne sera pas le cas, OpenAI et d'autres devraient cesser de se vanter de leur « sécurité en matière d'IA » auto-évaluée.

Plainte : Raine c. OpenAI --- COUR SUPÉRIEURE DE L'ÉTAT DE CALIFORNIE, COMTÉ DE SAN FRANCISCO, Documentcloud

Créer des expériences ChatGPT plus utiles pour tous --- OpenAI, 2 septembre 2025

Aider les gens quand ils en ont le plus besoin, OpenAI, 26 août 2025

Meincke, Lennart, Shapiro, Dan, Duckworth, Angela, Mollick, Ethan R., Mollick, Lilach et Cialdini, Robert, [Traitez-moi d'imbécile : Convaincre l'IA de se conformer à des demandes contestables (http://dx.doi.org/10.2139/ssrn.5357179) (18 juillet 2025).

[Sam Altman s'inquiète de la « dépendance émotionnelle excessive » de certains jeunes à l'égard de ChatGPT pour prendre des décisions] (https://www.businessinsider.com/sam-altman-over-reliance-ai-chatgpt-common-young-people-2025-7), Business Insider, juillet 2025.