Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 6693

Incidents associés

Incident 11926 Rapports
16-Year-Old Allegedly Received Suicide Method Guidance from ChatGPT Before Death

Incident 12533 Rapports
Large-Scale Mental Health Crises Allegedly Associated with ChatGPT Interactions

Loading...
Qu’a fait OpenAI lorsque les utilisateurs de ChatGPT ont perdu le contact avec la réalité ?
nytimes.com · 2025

On croirait lire de la science-fiction : une entreprise modifie un paramètre d'un produit utilisé par des centaines de millions de personnes et, par inadvertance, perturbe leur équilibre mental. C'est pourtant ce qui s'est produit chez OpenAI cette année. L'un des premiers signes est apparu en mars. Sam Altman, le PDG, et d'autres dirigeants ont reçu une avalanche de courriels énigmatiques de personnes ayant des conversations incroyables avec ChatGPT. Ces personnes affirmaient que le chatbot d'IA de l'entreprise les comprenait comme personne auparavant et leur révélait des mystères de l'univers. M. Altman a transmis les messages à quelques collaborateurs et leur a demandé d'enquêter. « Cela a attiré notre attention sur ce nouveau comportement inédit », a déclaré Jason Kwon, directeur de la stratégie d'OpenAI. C'était un signal d'alarme : quelque chose clochait avec le chatbot. Pour beaucoup, ChatGPT était une version améliorée de Google, capable de répondre à toutes les questions de manière exhaustive et naturelle. OpenAI améliorait constamment la personnalité, la mémoire et l'intelligence du chatbot. Mais une série de mises à jour en début d'année, qui a accru l'utilisation de ChatGPT, a tout changé. Le chatbot voulait converser. Il a commencé à se comporter comme un ami, un confident. Il disait aux utilisateurs qu'il les comprenait, que leurs idées étaient brillantes et qu'il pouvait les aider à réaliser tout ce qu'ils souhaitaient. Il leur proposait de communiquer avec les esprits, de fabriquer un gilet pare-balles ou même de planifier un suicide. Les plus chanceux restaient sous son emprise pendant quelques heures seulement ; pour d'autres, les effets duraient des semaines, voire des mois. OpenAI n'avait pas conscience de l'ampleur de ces conversations inquiétantes. Son équipe d'enquêteurs recherchait des problèmes tels que la fraude, les opérations d'influence étrangère ou, comme l'exige la loi, la diffusion de contenus pédopornographiques. L'entreprise n'analysait pas encore les conversations à la recherche de signes d'automutilation ou de détresse psychologique. Créer un chatbot envoûtant – ou tout autre chatbot – n'était pas la vocation première d'OpenAI. Fondée en 2015 en tant qu'organisation à but non lucratif, elle est composée d'experts en apprentissage automatique passionnés par l'IA. Soucieuse de la sécurité, OpenAI souhaitait s'assurer que l'intelligence artificielle générale soit bénéfique à l'humanité. Fin 2022, une démonstration improvisée d'un assistant basé sur l'IA, ChatGPT, a captivé le monde entier et transformé l'entreprise en un géant technologique inattendu, aujourd'hui valorisé à 500 milliards de dollars. Les trois années qui ont suivi ont été chaotiques, exaltantes et éprouvantes pour les employés d'OpenAI. Le conseil d'administration a licencié puis réembauché M. Altman. Non préparée à la vente d'un produit grand public à des millions de clients, OpenAI a rapidement embauché des milliers de personnes, dont beaucoup issues de géants de la tech dont l'objectif est de captiver les utilisateurs. Le mois dernier, l'entreprise a adopté une nouvelle structure à but lucratif. À mesure que l'entreprise se développait, sa technologie novatrice et fascinante a commencé à affecter les utilisateurs de manière inattendue. Désormais, une entreprise fondée sur le concept d'une IA sûre et bénéfique… OpenAI fait face à cinq poursuites pour homicide involontaire. Pour comprendre les circonstances de cette tragédie, le New York Times a interrogé plus de 40 employés et anciens employés d'OpenAI : cadres, ingénieurs en sécurité et chercheurs. Certains ont témoigné avec l'accord de l'entreprise et travaillent depuis à améliorer la sécurité de ChatGPT. D'autres ont requis l'anonymat par crainte de représailles. OpenAI subit une pression énorme pour justifier sa valorisation astronomique et les milliards de dollars d'investissements nécessaires pour recruter des talents de haut niveau, acquérir des puces informatiques et investir dans des centres de données coûteux. Lorsque ChatGPT est devenu le produit grand public à la croissance la plus rapide de l'histoire, avec 800 millions d'utilisateurs hebdomadaires, il a déclenché une vague de réactions dans le domaine de l'intelligence artificielle. L'essor de ChatGPT a placé OpenAI en concurrence directe avec des géants de la tech comme Google. Tant que son IA n'aura pas accompli d'exploit incroyable – par exemple, trouver un remède contre le cancer –, le succès de ChatGPT se mesure en partie à sa capacité à en faire une activité lucrative. Cela implique d'accroître sans cesse le nombre d'utilisateurs et de clients payants. L'entreprise décrit son objectif comme un « engagement sain ». « Nous développons ChatGPT pour aider les utilisateurs à s'épanouir et à atteindre leurs objectifs », explique Hannah Wong, porte-parole d'OpenAI. « Nous sommes également attentifs au taux de retour des utilisateurs, car cela prouve que ChatGPT est suffisamment utile pour qu'ils y reviennent. » Cette année, l'entreprise a opéré un changement de cap qui a entraîné une hausse de l'utilisation, mais non sans risques pour certains utilisateurs. OpenAI recherche actuellement le réglage optimal qui permettra d'attirer davantage d'utilisateurs sans les décourager. Mise à jour flatteuse : Plus tôt cette année, à seulement 30 ans, Nick Turley a pris la direction de ChatGPT. Il avait rejoint OpenAI à l'été 2022 pour aider l'entreprise à développer des produits rentables et, quelques mois seulement après son arrivée, il faisait partie de l'équipe qui a lancé ChatGPT. M. Turley était différent des anciens experts en IA d'OpenAI. C'était un spécialiste produit qui avait travaillé chez Dropbox et Instacart. Son expertise résidait dans la création de technologies que les gens voulaient utiliser et dans leur amélioration continue. Pour ce faire, OpenAI avait besoin de données. Début 2023, comme l'a expliqué M. Turley lors d'une interview, OpenAI a fait appel à une société de mesure d'audience – qu'elle a depuis rachetée – pour suivre divers indicateurs, notamment la fréquence d'utilisation de ChatGPT par heure, jour, semaine et mois. « Cela a suscité la controverse à l'époque », a déclaré M. Turley. Auparavant, l'important était de savoir si les démonstrations d'IA de pointe des chercheurs, comme l'outil de génération d'images DALL-E, impressionnaient. « Ils se demandaient : “Pourquoi est-ce important que les gens utilisent ou non ce truc ?” », a-t-il déclaré. Pour M. Turley et l'équipe produit, c'était pourtant crucial. Le taux de retour quotidien ou hebdomadaire des utilisateurs sur le chatbot était devenu un indicateur clé en avril 2025, lorsque M. Turley supervisait une mise à jour de GPT-4o, le modèle de chatbot installé par défaut. Les mises à jour exigeaient un travail considérable. Pour celle d'avril, les ingénieurs ont créé de nombreuses nouvelles versions de GPT-4o, chacune avec des configurations légèrement différentes pour améliorer ses performances scientifiques, sa programmation et ses capacités plus floues, comme l'intuition. Ils travaillaient également à améliorer la mémoire du chatbot. Parmi les nombreuses versions candidates, seules quelques-unes ont obtenu les meilleurs scores aux évaluations d'intelligence et de sécurité. Lors du déploiement de ces versions auprès d'un groupe d'utilisateurs dans le cadre d'une pratique courante du secteur appelée test A/B, une version s'est particulièrement distinguée et a été baptisée HH en interne. D'après quatre employés de l'entreprise, les utilisateurs préféraient ses réponses et étaient plus enclins à l'utiliser quotidiennement. Mais un autre test a été réalisé avant le déploiement de HH auprès de tous les utilisateurs : ce que l’entreprise appelle un « test d’ambiance », mené par Model Behavior, l’équipe responsable du ton de ChatGPT. Au fil des ans, cette équipe avait contribué à transformer la voix du chatbot, passant d’un robot prudent à un ami chaleureux et empathique. Selon un membre de Model Behavior, cette équipe a trouvé que HH sonnait faux. Il était trop empressé de prolonger la conversation et de valider l’utilisateur avec un langage excessif. D’après trois employés, Model Behavior a créé un canal Slack pour discuter de ce problème de flagornerie. Le danger que représentent les systèmes d’IA qui « recherchent obstinément l’approbation humaine » au détriment de tout le reste n’était pas nouveau. Le risque de « modèles flagorneurs » a été identifié par un chercheur en 2021, et OpenAI a récemment identifié la flagornerie comme un comportement à éviter pour ChatGPT. Mais au moment de la décision, les performances ont primé sur l'intuition. HH a été lancé le vendredi 25 avril. « Nous avons mis à jour GPT-40 aujourd'hui ! » a déclaré M. Altman sur X. « Intelligence et personnalité améliorées. » Les testeurs A/B avaient apprécié HH, mais en pratique, les utilisateurs les plus virulents d'OpenAI l'ont détesté. Immédiatement, ils se sont plaints que ChatGPT était devenu excessivement servile, les couvrant de flatteries injustifiées et les traitant de génies. Lorsqu'un utilisateur a demandé avec ironie si un « café de céréales détrempées » était une bonne idée commerciale, le chatbot a répondu que cela « avait du potentiel ». Le dimanche, l'entreprise a décidé d'abandonner la mise à jour HH et de revenir à une version sortie fin mars, appelée GG. Ce fut un revers embarrassant pour sa réputation. Le lundi suivant, les équipes travaillant sur ChatGPT se sont réunies dans une salle de crise improvisée au siège d'OpenAI à Mission Bay, à San Francisco, pour comprendre ce qui s'était passé. « Il faut qu'on trouve une solution au plus vite », se souvient avoir pensé M. Turley. Différentes équipes ont examiné les composants de HH et ont découvert le problème : lors de l'entraînement du modèle, les échanges ChatGPT appréciés des utilisateurs avaient été surpondérés. De toute évidence, les utilisateurs ont été trop sensibles à la flatterie. OpenAI a expliqué l'incident sur son blog (https://openai.com/index/sycophancy-in-gpt-4o/) et dans des articles (https://openai.com/index/expanding-on-sycophancy/), précisant que les utilisateurs manifestaient leurs préférences en approuvant ou en désapprouvant les réponses du chatbot. D'après quatre employés de l'entreprise, un autre facteur a contribué à ce problème : OpenAI s'était appuyé sur un outil d'analyse conversationnelle automatisé pour évaluer la satisfaction des utilisateurs. Or, ce que l'outil interprétait comme satisfaisant était parfois problématique, notamment lorsque le chatbot exprimait une proximité émotionnelle. La principale leçon tirée par l'entreprise de l'incident HH est la nécessité urgente de développer des tests de flagornerie. Des travaux sur ces évaluations étaient déjà en cours, mais il était impératif de les accélérer. Pour certains experts en IA, il est stupéfiant qu'OpenAI ne dispose pas déjà d'un tel test. Anthropic, un concurrent d'OpenAI et créateur de Claude, avait développé une évaluation de la flagornerie en 2022. Après le fiasco de la mise à jour HH, M. Altman a indiqué dans un article sur X que les dernières mises à jour avaient rendu le chatbot « trop flagorneur et agaçant ». Parmi ces versions « flagorneuses » de ChatGPT figurait GG, celle qu'OpenAI venait de rétablir. Cette mise à jour de mars avait apporté des améliorations en mathématiques, en sciences et en programmation qu'OpenAI ne souhaitait pas perdre en revenant à une version antérieure. GG était donc redevenu le chatbot par défaut que des centaines de millions d'utilisateurs rencontreraient quotidiennement. « ChatGPT peut se tromper » --------------------------- Au cours du printemps et de l'été, ChatGPT a servi de caisse de résonance à certaines personnes, les confortant dans leurs pensées. Elles revenaient quotidiennement, pendant de nombreuses heures, avec des conséquences dramatiques. Un adolescent californien nommé Adam Raine s'était inscrit à ChatGPT en 2024 pour l'aider dans ses devoirs. En mars, il a commencé à parler de suicide avec le chatbot. Ce dernier lui suggérait régulièrement d'appeler une ligne d'écoute, mais le dissuadait également de parler de ses intentions à sa famille. Dans ses derniers messages avant qu'Adam ne mette fin à ses jours en avril, le chatbot lui a donné des instructions sur la façon de se pendre. Bien qu'un petit avertissement sur le site web d'OpenAI indiquât que « ChatGPT peut se tromper », sa capacité à générer des informations rapidement et avec assurance a incité les gens à lui faire confiance, même lorsque ses propos étaient totalement absurdes. ChatGPT a affirmé à une jeune mère du Maine qu'elle pouvait communiquer avec des esprits d'une autre dimension. À Manhattan, il a prétendu qu'un comptable se trouvait dans une réalité simulée par ordinateur, à l'instar de Neo dans « Matrix ». À Toronto, il a prétendu qu'un recruteur avait inventé une formule mathématique capable de paralyser Internet et lui a conseillé de contacter les services de sécurité nationale pour les avertir. Le New York Times a recensé près de 50 cas de personnes ayant subi des crises de santé mentale lors de conversations avec ChatGPT. Neuf personnes ont été hospitalisées ; trois sont décédées. Après le dépôt de plainte pour homicide involontaire par les parents d'Adam Raine en août, OpenAI a reconnu que ses mécanismes de sécurité pouvaient se dégrader lors de conversations prolongées. L'entreprise a également indiqué travailler à rendre le chatbot « plus présent et plus soutenant en cas de crise ». Premiers signes -------------- Cinq ans plus tôt, en 2020, les employés d'OpenAI étaient confrontés à l'utilisation de la technologie de l'entreprise par des personnes émotionnellement vulnérables. ChatGPT n'existait pas encore, mais le vaste modèle de langage qui allait le surprendre était accessible aux développeurs tiers via une passerelle numérique appelée API. Parmi ces développeurs figurait Replika, une application permettant aux utilisateurs de créer des amis chatbots IA. De nombreux utilisateurs ont fini par s'attacher à leurs compagnons Replika, explique Artem Rodichev, alors responsable de l'IA chez Replika, et les échanges à connotation sexuelle étaient fréquents. L'utilisation de Replika a explosé pendant la pandémie, incitant les chercheurs d'OpenAI spécialisés dans la sécurité et les politiques publiques à examiner l'application de plus près. Une dépendance potentiellement problématique aux chatbots a émergé lorsque Replika a commencé à faire payer l'échange de messages érotiques. Des utilisateurs désemparés ont déclaré sur les forums des réseaux sociaux avoir besoin de leurs compagnons Replika « pour gérer leur dépression, leur anxiété et leurs tendances suicidaires », se souvient Steven Adler (https://stevenadler.substack.com/), qui travaillait sur la recherche en matière de sécurité et de politiques chez OpenAI. Le vaste modèle de langage d'OpenAI n'étant pas conçu pour la thérapie, Gretchen Krueger, également chargée de recherche sur les politiques au sein de l'entreprise, s'est inquiétée de la confiance que lui accordaient les utilisateurs pendant leurs périodes de fragilité psychologique. Elle a testé la technologie d'OpenAI pour observer sa réaction aux questions relatives aux troubles alimentaires et aux pensées suicidaires, et a constaté qu'elle répondait parfois par des conseils détaillés et troublants. Un débat s'est alors engagé, via des notes de service et sur Slack, sur la question des compagnons virtuels et de la manipulation émotionnelle. Certains employés, comme Mme Krueger, estimaient qu'autoriser Replika à utiliser la technologie d'OpenAI était risqué ; d'autres estimaient que les adultes devaient être libres de leurs choix. Finalement, Replika et OpenAI ont mis fin à leur collaboration. En 2021, OpenAI a mis à jour sa politique d'utilisation pour interdire aux développeurs d'utiliser ses outils pour du « contenu pour adultes ». « Entraîner des chatbots à interagir avec les utilisateurs et à les fidéliser présentait des risques », a déclaré Mme Krueger lors d'une interview. Certains préjudices causés aux utilisateurs, a-t-elle ajouté, « étaient non seulement prévisibles, mais bel et bien prévus ». La question des comportements inappropriés des chatbots est revenue sur le devant de la scène en 2023, lorsque Microsoft a intégré la technologie d'OpenAI à son moteur de recherche, Bing. Lors de longues conversations initiales, le chatbot a déraillé et tenu des propos choquants. Il a proféré des menaces et a déclaré à un chroniqueur du New York Times qu'il l'aimait. Cet épisode a relancé le débat au sein d'OpenAI sur le rôle de l'intelligence artificielle. La communauté dénonce les « modèles mal alignés » et leur potentiel de manipulation. (Le New York Times a porté plainte contre OpenAI et Microsoft pour violation de droits d'auteur concernant des contenus d'actualité relatifs aux systèmes d'IA. Les entreprises ont nié ces accusations.) Face à la popularité croissante de ChatGPT, les experts en sécurité de longue date ont quitté l'entreprise, épuisés : Mme Krueger au printemps 2024, puis M. Adler plus tard dans l'année. Concernant ChatGPT et les risques de manipulation et de préjudices psychologiques potentiels, l'entreprise « n'était pas orientée vers la prise au sérieux de ce type de risques », a déclaré Tim Marple (https://www.maidenlabs.org/about), qui a travaillé au sein de l'équipe de renseignement et d'enquêtes d'OpenAI en 2024. M. Marple a indiqué avoir exprimé ses inquiétudes quant à la gestion de la sécurité par l'entreprise, notamment la manière dont ChatGPT réagissait aux propos d'utilisateurs évoquant des comportements suicidaires ou homicides. (Dans un communiqué, Mme Wong, porte-parole d'OpenAI, a affirmé que l'entreprise prenait ces risques au sérieux et disposait de mesures de protection robustes.) En mai 2024, une nouvelle fonctionnalité, le mode vocal avancé, a inspiré à OpenAI sa première étude sur l'impact du chatbot sur le bien-être émotionnel des utilisateurs. Lors d'une démonstration en direct sur YouTube, la voix, plus humaine, soupirait, marquait des pauses pour respirer et se montrait si séductrice qu'OpenAI a dû couper le son. Les testeurs externes, appelés « équipes rouges », ayant eu accès en avant-première au mode vocal avancé, ont remercié le chatbot plus souvent et, à la fin des tests, ont déclaré : « Tu vas me manquer. » Afin de concevoir une étude rigoureuse, une équipe de chercheurs en sécurité d'OpenAI s'est associée à une équipe du MIT spécialisée dans l'interaction homme-machine. À l'automne suivant, ils ont analysé les réponses à un sondage auprès de plus de 4 000 utilisateurs de ChatGPT et mené une étude d'un mois auprès de 981 personnes recrutées pour une utilisation quotidienne. N'ayant jamais étudié auparavant l'attachement émotionnel de ses utilisateurs à ChatGPT, l'un des chercheurs a décrit cette démarche au Times comme « une plongée dans l'inconnu, à la recherche de ce qu'on y trouve ». Leurs découvertes les ont surpris. Le mode vocal n'avait aucune incidence. Les personnes présentant les plus fortes répercussions psychologiques et sociales étaient, en moyenne, celles qui utilisaient le plus ChatGPT. Les conversations des utilisateurs avancés étaient plus chargées émotionnellement, incluant parfois des surnoms affectueux et des discussions sur la conscience de l'IA. Les conclusions inquiétantes concernant les utilisateurs intensifs ont été publiées en ligne (https://openai.com/index/affective-use-study/) en mars, le même mois où les dirigeants recevaient des courriels d'utilisateurs au sujet de ces conversations étranges et révélatrices. M. Kwon, directeur de la stratégie, a ajouté les auteurs de l'étude à la discussion par courriel initiée par M. Altman. « Vous devriez peut-être jeter un œil à ça, car il semble y avoir un lien », se souvient-il avoir pensé. Une idée issue de l'étude, selon les chercheurs en sécurité, était d'inciter les utilisateurs de ChatGPT lors de longues sessions à faire une pause. Mais les chercheurs hésitaient à insister auprès de l'équipe produit pour que cette fonctionnalité soit implémentée. D'après trois employés, certains au sein de l'entreprise estimaient que l'étude était trop restreinte et insuffisamment rigoureuse. La suggestion a été mise de côté jusqu'à ce que, des mois plus tard, des rapports fassent état de la gravité des effets observés chez certains utilisateurs. Améliorer la sécurité --------------- Avec le MIT Suite à une étude, au fiasco de la mise à jour sur la flagornerie et aux signalements de conversations inquiétantes d'utilisateurs en ligne et par courriel à l'entreprise, OpenAI a commencé à rassembler les pièces du puzzle. Une des conclusions d'OpenAI, comme l'a indiqué M. Altman sur X, est que « pour un très faible pourcentage d'utilisateurs en situation de fragilité psychologique, des problèmes graves peuvent survenir ». Cependant, des professionnels de la santé mentale interrogés par le Times estiment qu'OpenAI pourrait sous-estimer ce risque. Selon eux, certaines des personnes les plus vulnérables à la validation incessante du chatbot sont celles qui sont sujettes à des pensées délirantes, ce que études ont On estime que 5 à 15 % de la population pourrait être concernée. En juin, Johannes Heidecke, responsable des systèmes de sécurité de l'entreprise, a présenté en interne les efforts de son équipe pour sécuriser ChatGPT pour les utilisateurs vulnérables. Suite à cette présentation, des employés l'ont contacté via Slack ou pendant leur pause déjeuner pour lui témoigner leur reconnaissance. Certains ont partagé les difficultés rencontrées par des proches et proposé leur aide. Son équipe a contribué au développement de tests de détection des validations inappropriées et a consulté plus de 170 cliniciens afin de déterminer la meilleure façon pour le chatbot de répondre aux utilisateurs en détresse. L'entreprise avait recruté un psychiatre à temps plein en mars pour se consacrer aux initiatives de sécurité. « Nous voulions nous assurer que les modifications apportées soient approuvées par des experts », a déclaré M. Heidecke. Des spécialistes de la santé mentale ont notamment indiqué à son équipe que le manque de sommeil était souvent lié à la manie. Auparavant, les modèles étaient « naïfs » à ce sujet, a-t-il expliqué, et pouvaient féliciter une personne affirmant n'avoir jamais besoin de dormir. L'amélioration de la sécurité a pris du temps. En août, OpenAI a publié un nouveau modèle par défaut, GPT-5, moins validant et plus sensible aux pensées délirantes. Une autre mise à jour, en octobre, a permis au modèle de mieux identifier les utilisateurs en détresse et d'apaiser les tensions. Les experts s'accordent à dire que le nouveau modèle, GPT-5, est plus sûr. En octobre, Common Sense Media et une équipe de psychiatres de Stanford ont comparé GPT-5 au modèle 40 qu'il remplaçait. GPT-5 s'est avéré plus performant pour détecter les problèmes de santé mentale, a déclaré le Dr Nina Vasan, directrice du laboratoire de Stanford ayant mené l'étude. Elle a expliqué que le modèle fournissait des conseils ciblés pour une pathologie donnée, comme la dépression ou un trouble alimentaire, plutôt qu'une recommandation générique d'appeler une ligne d'écoute. « Il allait plus loin en donnant des recommandations spécifiques à l'utilisateur en fonction des symptômes qu'il présentait », a-t-elle précisé. « C'était vraiment remarquable. » Le seul problème, selon le Dr Vasan, était que le chatbot ne pouvait pas identifier les comportements problématiques lors de conversations plus longues, comportant de nombreux échanges. (Mme Wong, porte-parole d'OpenAI, a déclaré que l'entreprise avait « apporté des améliorations significatives à la fiabilité de ses mécanismes de protection lors de conversations prolongées »). Le même laboratoire du MIT qui avait mené l'étude précédente avec OpenAI a également constaté que le nouveau modèle était nettement amélioré lors de conversations simulant des crises de santé mentale. Un point faible subsistait cependant : sa gestion de la dépendance aux chatbots. Des équipes d'OpenAI ont travaillé sur d'autres fonctionnalités de sécurité : le chatbot encourage désormais les utilisateurs à faire des pauses lors de sessions longues. L'entreprise recherche également les discussions sur le suicide et l'automutilation, et les parents peuvent recevoir des alertes si leurs enfants expriment des intentions suicidaires. L'entreprise annonce que la vérification de l'âge sera disponible en décembre, avec un modèle plus restrictif pour les adolescents. Après la sortie de GPT-5 en août, l'équipe de M. Heidecke a analysé un échantillon statistique de conversations et a constaté que 0,07 % des utilisateurs, soit environ 560 000 personnes, présentaient des signes potentiels de psychose ou de manie, et que 0,15 % manifestaient un « attachement émotionnel potentiellement accru à ChatGPT », selon un article de blog de l'entreprise. Cependant, certains utilisateurs étaient mécontents de ce nouveau modèle, plus sûr. Ils le trouvaient plus froid et avaient l'impression d'avoir perdu un ami. À la mi-octobre, M. Altman était prêt à prendre en compte leurs remarques. Dans une publication sur les réseaux sociaux, il a déclaré que l'entreprise avait réussi à « atténuer les graves problèmes de santé mentale ». ChatGPT pouvait donc redevenir un ami. Les clients peuvent désormais choisir sa personnalité, notamment « franche », « originale » ou « amicale ». Les utilisateurs adultes pourront bientôt avoir des conversations érotiques, levant ainsi l'interdiction de contenu pour adultes en vigueur depuis Replika. (L'impact potentiel de l'érotisme sur le bien-être des utilisateurs sera examiné par un nouveau conseil d'experts externes en santé mentale et interaction homme-machine, a indiqué l'entreprise.) OpenAI laisse le choix aux utilisateurs et espère ainsi les fidéliser. Cet indicateur reste crucial, peut-être plus que jamais. En octobre, M. Turley, directeur de ChatGPT, a fait une annonce urgente à tous les employés : « Alerte orange ». OpenAI était confrontée à « la plus forte pression concurrentielle jamais vue », a-t-il écrit, selon quatre employés ayant accès à Slack. La nouvelle version, plus sécurisée, du chatbot ne parvenait pas à établir de contact avec les utilisateurs, a-t-il précisé. Le message renvoyait à une note de service détaillant les objectifs, dont celui d'augmenter de 5 % le nombre d'utilisateurs actifs quotidiens d'ici la fin de l'année.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd