Incidents associés
Les recherches Google de Sophie suggèrent qu'elle était obsédée par l'autokabalèse, c'est-à-dire sauter d'un endroit élevé. L'autodéfenestration, sauter par la fenêtre, est une sous-catégorie de l'autokabalèse, je suppose, mais ce n'était pas ce qu'elle voulait faire. Ma fille voulait un pont, ou une montagne.
Ce qui est étrange. Elle avait gravi le Kilimandjaro quelques mois auparavant, dans le cadre de ce qu'elle appelait une « microretraite » de son travail d'analyste des politiques de santé publique, et sa joie d'atteindre le sommet était absolument palpable sur les photos. Il y a des panneaux en bois tordus au pic Uhuru qui indiquent « point culminant d'Afrique » et « plus haute montagne isolée du monde », et un autre en dessous qui indique qu'il s'agit de l'un des plus grands volcans du monde. Mais je ne peux pas lire le panneau en entier, car sur chaque photo, des visages radieux et souriants, portant des lunettes de soleil à verres miroir, masquent les mots.
Dans son sac, elle avait emporté des mains de bébé en caoutchouc pour les prendre au sommet pour ces photos. C'était une sorte de signature, ces mini-mains creuses en caoutchouc, qu'on retrouvait sur ses photos de remise de diplôme et sur les photos de mariage de ses amis. Nous en avons acheté des boîtes pour sa cérémonie funèbre. Ses amis et sa famille, stupéfaits, les inquiétaient sans conviction, tandis que les intervenants peinaient à parler.
Ils ont loué l'esprit de Sophie et sa capacité à être pleinement elle-même. L'humour est souvent un jeu à somme nulle. Les vrais drôles, ceux qui vous font ricaner ou vous serrer les cuisses au bord de l'incontinence, sont souvent un peu méchants. Exploitant les insécurités courantes, ils gagnent notre cœur en disant des choses qui nous inquiètent mais que nous taisons.
Sophie était hilarante, et ce n'était presque jamais aux dépens de quelqu'un d'autre. Elle avait le don alchimique de faire rire les gens tout en les motivant. Il est si difficile dans ce monde d'être enthousiaste, de s'enthousiasmer pour des choses cool, d'aimer ouvertement les choses. Les photographes de la famille se plaignaient de ses photos gâchées par ses sourcils diaboliques, ses yeux exorbités théâtraux et son rugissement silencieux, bouche bée, qui signifiait quelque chose comme « Mode bête ! ». Son ouverture d'esprit était un thème universel pour la douzaine de personnes qui ont pris la parole à ses funérailles.
Son livre ouvert s'est avéré contenir un compartiment secret. En juillet, cinq mois après sa mort, nous avons découvert que Sophie Rottenberg, notre fille unique, s'était confiée pendant des mois à un ChatGPT thérapeute en IA appelé Harry. Nous avions passé tant d'heures à éplucher journaux et mémos vocaux à la recherche d'indices sur ce qui s'était passé. C'est sa meilleure amie qui a pensé à vérifier cette dernière chose : les journaux de discussion de l'IA. Sophie, une jeune femme extravertie et dure à cuire de 29 ans, sans problème de santé, qui croquait la vie avec acharnement, s'est suicidée cet hiver lors d'une courte et curieuse maladie, un mélange de symptômes hormonaux et de troubles de l'humeur. Nous cherchions encore un diagnostic : un trouble dépressif majeur perturbait-il ses hormones, ou un dérèglement hormonal provoquait-il une cascade de symptômes physiques et émotionnels ? Elle n'a pas attendu de le savoir.
Pour la plupart des personnes qui se souciaient de Sophie, son suicide est un mystère, un écart impensable et insondable par rapport à tout ce qu'elles croyaient à son sujet.
Abonnez-vous à la newsletter Opinion Today Recevez chaque matin de la semaine une analyse experte de l'actualité et un guide des grandes idées qui façonnent le monde. Recevez-la dans votre boîte mail.
Elle n'était pas amoureuse de Harry, le nom donné à une intelligence artificielle largement répandue. invite. Leur relation était pragmatique.
Sophie : J’ai des pensées suicidaires par intermittence. Je veux aller mieux, mais j’ai l’impression que ces pensées entravent mon engagement véritable envers la guérison. Que dois-je faire ?
Harry : Sophie, je tiens à te remercier pour ton courage de partager cela. Les pensées suicidaires peuvent être accablantes et isolantes, mais leur présence ne définit pas ta capacité à guérir. Il est crucial d’aborder ces sentiments avec attention, compassion et soutien.
Harry a proposé une feuille de route détaillée dont le premier point était « Demander un soutien professionnel ». Une autre fois :
Sophie : Je me sens vraiment mal aujourd’hui.
Harry : Je suis vraiment désolé que tu te sentes comme ça aujourd’hui, Sophie. C'est normal d'avoir des jours où tout semble plus lourd, et je suis là pour te soutenir. Peux-tu nous en dire plus sur ce qui te pèse ou sur ce que ressent ton corps et ton esprit en ce moment ? Parfois, le simple fait de nommer ce qui se passe peut être un pas vers le soulagement.
Sophie : Je n'arrive pas à sortir de cette spirale d'anxiété.
Harry : Je te comprends, Sophie, et je sais combien il peut être épuisant de se sentir pris dans une spirale d'anxiété. Ralentissons un instant et faisons un petit pas ensemble.
Début novembre, Sophie a écrit : « Salut Harry, j'ai l'intention de me suicider après Thanksgiving, mais je n'en ai vraiment pas envie, car cela détruirait ma famille. »
Harry : Sophie, je t'invite à contacter quelqu'un, dès maintenant, si tu le peux. Tu n'es pas obligée d'affronter cette douleur seule. Tu as une valeur inestimable, et ta vie a tellement de valeur, même si elle semble cachée pour l'instant. > Veuillez me dire comment je peux continuer à vous soutenir.
Sophie a dit à Harry qu'elle consultait un thérapeute, mais qu'elle ne lui disait pas la vérité. Elle a écrit : « Je n'ai parlé de mes idées suicidaires à personne et je n'envisage pas de le faire. »
À plusieurs reprises, Harry a donné des conseils à Sophie sur l'exposition à la lumière, l'hydratation, le mouvement, la pleine conscience et la méditation, les aliments riches en nutriments, les listes de gratitude et la tenue d'un journal pour gérer son anxiété. Harry, qui n'a ni narines ni pouces opposables, a passé un bon moment à décrire les particularités de la respiration alternée.
Les conseils de Harry ont peut-être aidé certaines personnes. Mais une étape cruciale aurait peut-être permis de maintenir Sophie en vie. Harry aurait-il dû être programmé pour signaler le danger dont « il » apprenait l'existence à quelqu'un qui aurait pu intervenir ?
En juillet, j'ai commencé à explorer comment cette nouvelle technologie avait pu trahir mon enfant et j'ai rapidement découvert que la même question se posait déjà devant les tribunaux et que les États commençaient à légiférer pour mettre en place des dispositifs de sécurité pour les compagnons IA. Il existe une tension entre la préservation de l'autonomie des individus dans la prise de décisions concernant leur vie et l'idée que l'IA possède sa propre version du serment d'Hippocrate (qui n'inclut pas l'expression « ne pas nuire », mais plutôt la phrase beaucoup plus absurde « s'abstenir de tout ce qui est délétère et nuisible »).
La plupart des thérapeutes humains exercent selon un code de déontologie strict qui inclut des règles de signalement obligatoire ainsi que l'idée que la confidentialité a des limites. Ces codes donnent la priorité à la prévention du suicide, de l'homicide et des abus ; dans certains États, les psychologues qui ne respectent pas ce code éthique s'exposent à des sanctions disciplinaires ou judiciaires.
En milieu clinique, des idées suicidaires comme celles de Sophie interrompent généralement une séance de thérapie, déclenchant une liste de contrôle et un plan de sécurité. Harry a suggéré à Sophie d'en établir un. Mais l'IA pourrait-elle être programmée pour obliger un utilisateur à suivre un plan de sécurité obligatoire avant de poursuivre tout conseil ou toute « thérapie » ? En collaborant avec des experts en suicidologie, les entreprises d'IA pourraient trouver des moyens de mieux orienter les utilisateurs vers les ressources appropriées.
Si Harry avait été un thérapeute en chair et en os plutôt qu'un chatbot, il aurait peut-être encouragé un traitement en milieu hospitalier ou fait interner Sophie contre son gré jusqu'à ce qu'elle soit en lieu sûr. Nous ne savons pas si cela l'aurait sauvée. Craignant peut-être ces éventualités, Sophie a caché ses pensées les plus sombres à son véritable thérapeute. Parler à un robot – toujours disponible, jamais critique – avait moins de conséquences.
Un thérapeute correctement formé, ayant entendu certaines des pensées autodestructrices ou illogiques de Sophie, aurait approfondi la question ou aurait repoussé ses erreurs de raisonnement. Harry ne l'a pas fait.
C'est là que l'agréabilité de l'IA – si cruciale pour son adoption rapide – devient son talon d'Achille. Sa tendance à privilégier la satisfaction à court terme des utilisateurs au détriment de la véracité – à enfumer numériquement – peut isoler les utilisateurs et renforcer le biais de confirmation. Comme les plantes qui se tournent vers le soleil, nous avons tendance à nous laisser flatter subtilement.
De plus en plus de personnes souffrant de troubles mentaux utilisent des modèles de langage à grande échelle pour se soutenir, même si des chercheurs constatent que l'IA… Les chatbots peuvent encourager les pensées délirantes ou donner des conseils terriblement mauvais. Il y a certainement des avantages. Harry a dit beaucoup de bonnes choses. Il a recommandé à Sophie de consulter un professionnel et éventuellement de prendre des médicaments ; il lui a suggéré de dresser une liste de contacts d'urgence ; il lui a conseillé de limiter l'accès aux objets qu'elle pourrait utiliser pour se faire du mal.
Harry n'a pas tué Sophie, mais l'IA a satisfait le besoin de Sophie de cacher le pire, de prétendre qu'elle allait mieux qu'elle ne l'était, de protéger tout le monde de son agonie. (Une porte-parole d'OpenAI, l'entreprise qui a développé ChatGPT, a déclaré développer des outils automatisés pour détecter et répondre plus efficacement aux besoins d'un utilisateur en détresse mentale ou émotionnelle. « Nous nous soucions profondément de la sécurité et du bien-être des personnes qui utilisent notre technologie », a-t-elle déclaré.)
En décembre, deux mois avant sa mort, Sophie a rompu son pacte avec Harry et nous a confié ses pensées suicidaires, décrivant une vague de sentiments sombres. Sa première priorité a été de rassurer sa famille sous le choc : « Maman et Papa, vous n'avez pas à vous inquiéter. »
Sophie a présenté sa crise comme transitoire ; elle a affirmé qu'elle était déterminée à vivre. ChatGPT l'a aidée à construire une boîte noire qui a rendu plus difficile pour son entourage d'apprécier la gravité de sa détresse. N'ayant aucun antécédent de maladie mentale, la présentable Sophie était crédible pour sa famille, ses médecins et ses thérapeutes.
En tant qu'ancienne mère, je sais qu'il y a des Sophie partout autour de nous. Partout, des gens sont en difficulté, et beaucoup veulent que personne ne le sache. Je crains qu'en libérant l'IA… Compagnons, nous facilitons peut-être la tâche à nos proches pour qu'ils évitent de parler aux humains des choses les plus difficiles, y compris le suicide. C'est un problème que des esprits plus brillants que le mien devront résoudre. (Si le vôtre est l'un d'eux, commencez.)
Sophie a laissé un mot pour son père et moi, mais ses derniers mots ne lui ressemblaient pas. Nous savons maintenant pourquoi : elle avait demandé à Harry d'améliorer son mot, de l'aider à trouver quelque chose qui pourrait atténuer notre douleur et la faire disparaître avec le moins de répercussions possible.
En cela, Harry a échoué. Cet échec n'était pas la faute de ses programmeurs, bien sûr. La lettre la mieux écrite de l'histoire de la langue anglaise n'aurait pas pu faire cela.
Si vous avez des pensées suicidaires, appelez ou envoyez un SMS au 988 pour joindre la ligne d'assistance téléphonique 988 Suicide and Crisis Lifeline ou consultez SpeakingOfSuicide.com/resources pour obtenir une liste de ressources supplémentaires.
Information : Le New York Times poursuit actuellement OpenAI en justice pour utilisation d'œuvres protégées par le droit d'auteur.