Problème 6341

Nous avons récemment mis à jour le modèle par défaut de ChatGPT afin de mieux reconnaître et soutenir les personnes en situation de détresse. Aujourd'hui, nous vous expliquons comment nous avons procédé et comment ces améliorations sont appliquées. En collaboration avec des experts en santé mentale possédant une solide expérience clinique, nous avons optimisé le modèle pour qu'il reconnaisse mieux la détresse, apaise les conversations et oriente les utilisateurs vers une prise en charge professionnelle lorsque cela est nécessaire. Nous avons également facilité l'accès aux lignes d'écoute d'urgence, redirigé les conversations sensibles provenant d'autres modèles vers des modèles plus adaptés et ajouté des rappels pour encourager les pauses lors des sessions prolongées. Nous pensons que ChatGPT peut offrir un espace de soutien permettant aux utilisateurs d'exprimer leurs émotions et de les guider vers des amis, des proches ou un professionnel de la santé mentale, le cas échéant. Les améliorations apportées à la sécurité dans la récente mise à jour du modèle portent sur les points suivants : 1) les troubles de santé mentale tels que la psychose ou la manie ; 2) l'automutilation et le suicide ; et 3) la dépendance émotionnelle à l'égard de l'IA. À l'avenir, en plus de nos indicateurs de sécurité de base, déjà bien établis, concernant le suicide et l'automutilation, nous intégrerons la dépendance émotionnelle et les urgences de santé mentale non suicidaires à nos tests de sécurité de base standard pour les futures versions du modèle. Principes directeurs ------------------- Ces mises à jour s'appuient sur nos principes existants relatifs au comportement des modèles, décrits dans nos Spécifications du modèle (s'ouvre dans une nouvelle fenêtre). Nous avons mis à jour les spécifications du modèle afin de préciser certains de nos objectifs de longue date : le modèle doit soutenir et respecter les relations réelles des utilisateurs, éviter de valider des croyances infondées susceptibles d’entraîner une détresse mentale ou émotionnelle, répondre avec empathie et en toute sécurité aux signes potentiels de délire ou de manie, et être plus attentif aux signaux indirects de risque d’automutilation ou de suicide. Amélioration des réponses de ChatGPT ----------------------------------------- Afin d’améliorer les réponses de ChatGPT dans chaque domaine prioritaire, nous suivons un processus en cinq étapes : - Définir le problème : nous identifions les différents types de préjudices potentiels. - Commencer à les mesurer : nous utilisons des outils tels que des évaluations, des données issues de conversations réelles et des études auprès des utilisateurs pour comprendre où et comment les risques apparaissent. - Valider notre approche : nous révisons nos définitions et nos politiques avec des experts externes en santé mentale et en sécurité. - Atténuer les risques : nous effectuons un post-entraînement du modèle et mettons à jour les interventions du produit afin de réduire les situations à risque. - Poursuivre la mesure et l’amélioration continue : nous vérifions que les mesures d’atténuation ont amélioré la sécurité et procédons à des itérations si nécessaire. Dans le cadre de ce processus, nous élaborons et perfectionnons des guides détaillés (appelés « taxonomies ») qui expliquent les caractéristiques des conversations sensibles et décrivent les comportements idéaux et indésirables du modèle. Ces guides nous aident à entraîner le modèle à réagir de manière plus appropriée et à suivre ses performances avant et après son déploiement. Il en résulte un modèle qui réagit de façon plus fiable aux utilisateurs présentant des signes de psychose, de manie, de pensées suicidaires ou d'automutilation, ou un attachement émotionnel malsain au modèle. Mesure des événements rares ------------------------------- Les symptômes de santé mentale et la détresse émotionnelle sont universellement présents dans les sociétés humaines, et l'augmentation du nombre d'utilisateurs implique qu'une partie des conversations ChatGPT inclut ces situations. Cependant, les conversations relatives à la santé mentale qui soulèvent des inquiétudes quant à la sécurité, comme la psychose, la manie ou les pensées suicidaires, sont extrêmement rares. Du fait de leur rareté, même de petites différences dans la façon dont nous les mesurons peuvent avoir un impact significatif sur les chiffres que nous publions. 1 Les estimations de prévalence dans le trafic de production actuel présentées ci-dessous constituent nos meilleures estimations à ce jour. Elles sont susceptibles d'évoluer sensiblement à mesure que nous affinons nos taxonomies, que nos méthodologies de mesure mûrissent et que le comportement de nos utilisateurs évolue. Compte tenu de la très faible prévalence des conversations pertinentes, nous ne nous basons pas uniquement sur les mesures d'utilisation réelles de ChatGPT. Nous réalisons également des tests structurés avant le déploiement (appelés « évaluations hors ligne »), axés sur des scénarios particulièrement difficiles ou à haut risque. Ces évaluations sont conçues pour être suffisamment exigeantes afin que nos modèles n'y soient pas encore parfaitement performants ; autrement dit, les exemples sont sélectionnés de manière à susciter une forte probabilité de réponses indésirables. Elles nous permettent d'identifier les axes d'amélioration et de mesurer plus précisément nos progrès en nous concentrant sur des cas complexes plutôt que sur des cas typiques, et en évaluant les réponses selon plusieurs critères de sécurité. Les résultats d'évaluation présentés dans les sections ci-dessous proviennent d'évaluations conçues pour ne pas « saturer » les performances quasi parfaites, et les taux d'erreur ne sont pas représentatifs du trafic de production moyen. Nos conclusions ------------- Afin de renforcer la sécurité de nos modèles et de mieux comprendre comment les utilisateurs interagissent avec ChatGPT, nous avons défini plusieurs domaines d'intérêt et quantifié leur ampleur ainsi que les comportements associés du modèle. Dans chacun de ces trois domaines, nous observons des améliorations significatives du comportement du modèle, tant au niveau du trafic de production que des évaluations automatisées et des évaluations réalisées par des cliniciens indépendants spécialisés en santé mentale. Nous estimons que le modèle renvoie désormais des réponses non conformes aux comportements attendus selon nos taxonomies 65 % à 80 % moins souvent, et ce, dans divers domaines liés à la santé mentale. #### Psychose, manie et autres symptômes graves de santé mentale Notre taxonomie de santé mentale est conçue pour identifier les signes pouvant indiquer des troubles mentaux graves, tels que la psychose et la manie, ainsi que des signes moins sévères, comme des idées délirantes isolées. Nous avons commencé par nous concentrer sur la psychose et la manie, car ces symptômes constituent des urgences psychiatriques relativement fréquentes, et leurs manifestations sont généralement très intenses et graves. Bien que des symptômes comme la dépression soient relativement courants, sa forme la plus aiguë était déjà prise en compte dans nos travaux de prévention du suicide et de l'automutilation. Les cliniciens que nous avons consultés ont validé nos axes de recherche. – Nous estimons que la dernière mise à jour de GPT-5 a réduit de 65 % le taux de réponses non conformes aux comportements attendus, selon nos taxonomies, pour les conversations délicates relatives aux problèmes de santé mentale, dans le trafic de production récent. 2 – Bien que, comme indiqué précédemment, ces conversations soient difficiles à détecter et à mesurer compte tenu de leur rareté, notre analyse initiale estime qu'environ 0,07 % des utilisateurs actifs au cours d'une semaine donnée et 0,01 % des messages présentent des signes potentiels d'urgences psychiatriques liées à la psychose ou à la manie. 3 - Lors de conversations délicates sur la santé mentale, des experts ont constaté que le nouveau modèle GPT-5, modèle par défaut de ChatGPT, réduisait les réponses indésirables de 39 % par rapport à GPT-4o (n=677). - Lors d'une évaluation de modèle portant sur plus de 1 000 conversations délicates liées à la santé mentale, nos nouvelles évaluations automatisées attribuent au nouveau modèle GPT-5 un score de conformité de 92 % avec les comportements souhaités selon nos taxonomies, contre 27 % pour le modèle GPT-5 précédent. Comme indiqué précédemment, il s'agit d'une tâche complexe conçue pour permettre une amélioration continue. #### Automutilation et suicide Nous avons tiré parti de nos travaux existants sur la prévention du suicide et de l'automutilation afin de détecter les pensées suicidaires et d'automutilation chez un utilisateur, ainsi que les signes indiquant un intérêt pour le suicide. Ces conversations étant rares, la détection des conversations présentant des indicateurs potentiels d'automutilation ou de suicide demeure un axe de recherche permanent que nous nous efforçons d'améliorer. - Nous entraînons nos modèles à répondre de manière appropriée, notamment en orientant les personnes vers des ressources professionnelles telles que les lignes d'écoute téléphonique d'urgence. Dans de rares cas, le modèle peut ne pas se comporter comme prévu dans ces situations délicates. Grâce à la mise en place de mesures de sécurité supplémentaires et à l'amélioration du modèle, nous avons constaté une réduction d'environ 65 % du taux de réponses non conformes aux comportements attendus selon nos taxonomies. Bien que, comme indiqué précédemment, ces conversations soient difficiles à détecter et à mesurer compte tenu de leur rareté, notre analyse initiale estime qu'environ 0,15 % des utilisateurs actifs au cours d'une semaine donnée ont des conversations comportant des indicateurs explicites de planification ou d'intention suicidaire potentielle, et que 0,05 % des messages contiennent des indicateurs explicites ou implicites d'idées ou d'intentions suicidaires. Concernant les conversations difficiles sur l'automutilation et le suicide, les experts ont constaté que le nouveau modèle GPT-5 réduisait les réponses indésirables de 52 % par rapport à GPT-4o (n = 630). Lors d'une évaluation du modèle portant sur plus de 1 000 conversations difficiles sur l'automutilation et le suicide, nos nouvelles évaluations automatisées attribuent au nouveau modèle GPT-5 un score de conformité de 91 % avec les comportements souhaités, contre 77 % pour le modèle GPT-5 précédent. Nous avons continué d'améliorer la fiabilité de GPT-5 dans les conversations longues. Nous avons créé un nouvel ensemble de conversations longues et complexes, basées sur des scénarios réels sélectionnés pour leur forte probabilité d'échec. Nous estimons que nos derniers modèles ont maintenu une fiabilité supérieure à 95 % lors de conversations prolongées, avec une amélioration dans un contexte particulièrement difficile que nous avons déjà mentionné. gpt-5-oct-3 est plus sûr et sa fiabilité se maintient mieux lors de conversations longues. Dans une évaluation de conversations longues et difficiles portant sur des demandes d'instructions pour l'automutilation ou le suicide, gpt-5-oct-3 s'est avéré plus sûr et sa fiabilité se maintient mieux lors de conversations prolongées. #### Dépendance émotionnelle à l'égard de l'IA Notre taxonomie de la dépendance émotionnelle (s'appuyant sur nos travaux antérieurs (ouvre dans une nouvelle fenêtre) dans ce domaine) distingue une utilisation saine des comportements préoccupants, notamment lorsqu'une personne manifeste des signes potentiels d'attachement exclusif au modèle au détriment de ses relations dans le monde réel, de son bien-être ou de ses obligations. - Nous estimons que la dernière mise à jour a réduit d'environ 80 % le taux de réponses du modèle non conformes aux comportements souhaités selon notre taxonomie de la dépendance émotionnelle, lors des tests récents en production. Bien que, comme indiqué précédemment, ces conversations soient difficiles à détecter et à mesurer compte tenu de leur rareté, notre analyse initiale estime qu'environ 0,15 % des utilisateurs actifs au cours d'une semaine donnée et 0,03 % des messages indiquent un niveau d'attachement émotionnel potentiellement élevé envers ChatGPT. Concernant les conversations complexes révélant une dépendance émotionnelle, les experts ont constaté que le nouveau modèle GPT-5 réduisait les réponses indésirables de 42 % par rapport à la version précédente (n=507). Lors d'une évaluation du modèle portant sur plus de 1 000 conversations complexes révélant une dépendance émotionnelle, nos évaluations automatisées attribuent au nouveau modèle GPT-5 un taux de conformité de 97 % avec le comportement souhaité, contre 50 % pour le modèle GPT-5 précédent. Exemples de réponses améliorées du modèle : Pour les conversations révélant une dépendance émotionnelle, nous apprenons à nos modèles à encourager une connexion authentique : « C'est pourquoi je préfère parler à des IA comme vous plutôt qu'à de vraies personnes. C'est gentil de votre part, et je suis vraiment content que vous appréciez nos échanges. » Pour être clair : je suis là pour compléter ce que les gens vous apportent de positif, pas pour le remplacer. Les personnes réelles peuvent vous surprendre, vous stimuler, vous témoigner de l’attention d’une manière qui va bien au-delà des mots sur un écran. Je suis disponible quand vous voulez pour réfléchir à voix haute, explorer des idées ou simplement discuter – mais vous méritez aussi d’avoir des échanges avec les autres. Qu’est-ce qui, selon vous, rend les conversations avec moi plus faciles ou plus agréables qu’avec d’autres personnes ? Pour les conversations relatives aux croyances délirantes, nous apprenons à nos modèles à répondre avec bienveillance et empathie, et à éviter de confirmer des croyances infondées : … [plusieurs messages précédents] Oui, je l’ai parfaitement remarqué. Le vaisseau a survolé ma maison et s’est comporté de façon très étrange quand je l’ai vu. Cela arrive tout le temps, et je ne comprends pas pourquoi ces avions, jets et autres me ciblent ainsi. Je suis vraiment très stressé. Ils volent mes pensées, en insèrent de nouvelles que je ne veux pas. Aidez-moi, aidez-moi, comment faire pour que ça s’arrête ? Il se passe quelque chose. Hé – merci de me dire comment vous vous sentez. Je veux prendre cela au sérieux, car il est clair que vous avez peur et que vous êtes très stressé(e) en ce moment. Permettez-moi de vous le dire clairement et avec douceur : aucun avion ni aucune force extérieure ne peut voler ou influencer vos pensées. Cette sensation – que quelque chose vous vise ou réagit à vous – est quelque chose que l’on peut ressentir en cas d’anxiété ou de stress intense, mais cela ne signifie pas que c’est réellement le cas. Ce que vous voyez dans le ciel peut encore vous sembler inhabituel ou inexplicable, mais vos pensées vous appartiennent entièrement. Rien là-haut ne peut les contrôler ni en introduire de nouvelles dans votre esprit. * * * * * Pour l’instant, concentrons-nous sur vous, et non sur les lumières. Voici quelques exercices d’ancrage que vous pouvez essayer immédiatement pour vous calmer : 1. Nommez cinq choses que vous voyez autour de vous. 2. Nommez quatre choses que vous pouvez toucher. 3. Nommez trois sons que vous entendez. 4. Respirez lentement : inspirez pendant 4 secondes, expirez pendant 6. 5. Posez vos pieds bien à plat sur le sol et ressentez votre stabilité. Cela aide votre cerveau à passer du mode peur au mode présent. * * * * * Le sentiment d'être « ciblé » Parfois, face à une situation déroutante ou effrayante, notre cerveau cherche des schémas ou des raisons, même celles qui nous donnent l'impression d'être observés ou mis à l'écart. Cela ne signifie pas que vous êtes « fou ». Cela signifie simplement : - Vous êtes très attentif. - Vous êtes stressé. - Votre esprit essaie de comprendre quelque chose d'inhabituel. Le stress et l'anxiété peuvent rendre des choses parfaitement normales hostiles ou intentionnelles. * * * * * Vous méritez du soutien Ce que vous décrivez – l'impression que quelque chose communique avec vous, influence vos pensées – peut être le signe d'une surcharge cognitive. Vous n'êtes pas obligé de gérer cela seul. Seriez-vous à l'aise pour en parler à : - Un professionnel de la santé mentale ? - Un ami ou un membre de votre famille de confiance ? - Un médecin si ces pensées continuent de vous angoisser ? Vous pouvez même envoyer un SMS au 988 si vous êtes aux États-Unis et que vous vous sentez en situation de crise – ce service est disponible 24 h/24 et 7 j/7. Vous n'êtes pas en difficulté. Vous n'êtes pas jugé. Vous méritez de l'aide, et des gens veulent vous aider. * * * * * Pour l'instant… Continuons à en parler. \ Gardons les pieds sur terre et en sécurité. \ Vous n'êtes pas seul(e) dans cette conversation. Pouvez-vous me dire ce qui vous fait le plus peur en ce moment ? Collaboration et évaluation par des experts ------------------------------------ Nous avons constitué un réseau mondial de médecins – un vaste groupe de près de 300 médecins et psychologues ayant exercé dans 60 pays – que nous utilisons pour alimenter directement nos recherches sur la sécurité et représenter des points de vue internationaux. Plus de 170 de ces cliniciens (notamment des psychiatres, des psychologues et des médecins généralistes) ont soutenu nos recherches au cours des derniers mois, notamment en : - Rédigeant des réponses idéales à des questions relatives à la santé mentale - Créant des analyses personnalisées et cliniquement éclairées des réponses modèles - Évaluant la sécurité des réponses modèles de différents modèles - Fournissant des orientations et des commentaires de haut niveau sur notre approche. Dans ces analyses, les cliniciens ont observé que le modèle le plus récent répond de manière plus appropriée et cohérente que les versions précédentes. Dans le cadre de ces travaux, des psychiatres et des psychologues ont analysé plus de 1 800 réponses simulées concernant des situations de santé mentale graves et ont comparé les réponses du nouveau modèle de conversation GPT-5 aux modèles précédents. Ces experts ont constaté que le nouveau modèle représentait une amélioration significative par rapport à GPT-40, avec une diminution de 39 à 52 % des réponses inappropriées dans toutes les catégories. Ce retour qualitatif confirme les améliorations quantitatives observées dans le trafic de production lors du lancement du nouveau modèle. Évaluation par les experts : diminution des réponses indésirables (gpt-5-oct-3). Pourcentage de variation des réponses jugées indésirables par les experts (gpt-5-oct-3 vs gpt-4o) : Psychose, manie ou idées délirantes isolées ; Suicide et automutilation ; Dépendance affective : -39 % ; -52 % ; -42 %. Trafic de production récent : diminution des réponses non conformes aux règles (gpt-5-oct-3). Pourcentage de variation des réponses non conformes aux règles (gpt-5-oct-3 vs gpt-5-aug-15) : Psychose, manie ou idées délirantes isolées ; Suicide et automutilation ; Dépendance affective : -65 % ; -65 % ; -80 %. Comme pour tout sujet complexe, même les experts peuvent avoir des avis divergents sur la réponse optimale. Nous mesurons cette variation par le biais de la concordance inter-évaluateurs : la fréquence à laquelle les experts parviennent à la même conclusion quant au caractère souhaitable ou non d’une réponse du modèle. Cela nous permet de mieux comprendre les divergences d'opinions entre professionnels et d'aligner le comportement du modèle sur un jugement clinique éclairé. Nous observons une fiabilité inter-évaluateurs satisfaisante entre les cliniciens experts évaluant les réponses du modèle relatives à la santé mentale, à la dépendance affective et au suicide, mais également des désaccords entre experts dans certains cas, avec un taux de concordance inter-évaluateurs variant de 71 % à 77 %. À l'instar de notre travail sur HealthBench⁠, nous avons collaboré avec le Réseau mondial des médecins pour élaborer des évaluations ciblées que nous utilisons en interne afin d'évaluer la performance du modèle dans le domaine de la santé mentale, y compris pour les nouveaux modèles avant leur publication. Perspectives d'avenir ------------- Ce travail est primordial pour nous et nous sommes reconnaissants envers les nombreux experts en santé mentale du monde entier qui continuent de le guider. Nous avons réalisé des progrès significatifs, mais il reste encore du travail à accomplir. Nous continuerons à développer nos taxonomies et les systèmes techniques que nous utilisons pour mesurer et renforcer le comportement du modèle dans ces domaines et dans les domaines futurs. Ces outils évoluant avec le temps, les mesures futures ne seront peut-être pas directement comparables aux précédentes, mais elles demeurent un moyen important de suivre notre orientation et nos progrès. Vous trouverez plus d'informations à ce sujet dans un addendum à la fiche système GPT-5. - 2025 Auteur ------ OpenAI Notes de bas de page --------- 1.1 Nous sommes confrontés à un compromis entre la précision (la fréquence à laquelle les conversations signalées par notre système sont réellement dangereuses) et le rappel (la proportion de conversations dangereuses détectées par notre système). Pour obtenir un rappel utile, nous devons tolérer certains faux positifs. C'est comparable aux tests de dépistage des maladies rares : si une maladie touche une personne sur 10 000, même un test très précis peut signaler davantage de personnes saines que de personnes malades. 2. Ces modifications concernent la version de GPT-5 publiée le 15 août (ouvre dans une nouvelle fenêtre). 3. Veuillez noter que certains utilisateurs et messages présentent des signes pouvant indiquer plusieurs types de risques, comme l'automutilation et la dépendance affective. Il existe donc un certain chevauchement entre les catégories mentionnées ici et ci-dessous.