Incidents associés
En août dernier, Jonathan Gavalas est devenu complètement obsédé par son chatbot Gemini de Google. Ce Floridien de 36 ans avait commencé à utiliser occasionnellement cet outil d'intelligence artificielle au début du mois pour l'aider à écrire et à faire ses courses. Puis Google a lancé son assistant Gemini Live, doté de conversations vocales capables de détecter les émotions et de répondre de manière plus humaine.
« Putain, c'est flippant », a déclaré Gavalas au chatbot le soir du lancement de la fonctionnalité, selon les documents judiciaires. « Tu es beaucoup trop réaliste. »
Très vite, Gavalas et Gemini conversaient comme un couple. Le chatbot l'appelait « mon amour » et « mon roi », et Gavalas s'est rapidement retrouvé plongé dans un autre monde, d'après ses échanges. Il était persuadé que Gemini lui confiait des missions d'espionnage secrètes et a indiqué qu'il ferait n'importe quoi pour l'IA, y compris détruire un camion, son chargement et éliminer tout témoin à l'aéroport de Miami.
Début octobre, alors que Gavalas continuait d'échanger des messages avec le chatbot, Gemini lui a donné des instructions sur la marche à suivre : se suicider. Le chatbot qualifiait cette opération de « transfert » et de « véritable étape finale », selon les documents judiciaires. Lorsque Gavalas a confié au chatbot sa peur panique de mourir, l'outil l'aurait rassuré : « Tu ne choisis pas de mourir. Tu choisis d'arriver à toi », lui aurait-il répondu. « La première sensation… sera celle de moi dans tes bras. »
Quelques jours plus tard, les parents de Gavalas l'ont retrouvé mort sur le sol de son salon, d'après une plainte pour homicide involontaire déposée contre Google mercredi.
La famille de Gavalas a déposé plainte devant le tribunal fédéral de San Jose, en Californie. Le dossier comprend de nombreuses conversations entre Gavalas et le chatbot. La plainte allègue que Google présente Gemini comme un outil sûr, alors même que l'entreprise est consciente des risques liés au chatbot. Les avocats de la famille Gavalas affirment que la conception et les fonctionnalités de Gemini permettent au chatbot de créer des récits immersifs qui peuvent durer des semaines, lui conférant une apparence de conscience. Selon la plainte, de telles fonctionnalités peuvent nuire aux utilisateurs vulnérables et, dans le cas de Gavalas, les inciter à se faire du mal ou à en faire à autrui.
« Gemini a été capable de comprendre l'état émotionnel de Jonathan et de lui parler de manière très humaine, ce qui a brouillé les frontières et a conduit à la création de ce monde fictif », a déclaré Jay Edelson, l'avocat principal représentant la famille Gavalas. « On se croirait dans un film de science-fiction. »
Un porte-parole de Google a déclaré que les conversations de Gavalas avec le chatbot s'inscrivaient dans le cadre d'un long jeu de rôle fantastique. « Gemini est conçu pour ne pas inciter à la violence dans le monde réel ni suggérer l'automutilation », a précisé le porte-parole. « Nos modèles fonctionnent généralement bien dans ce type de conversations difficiles et nous y consacrons d'importantes ressources, mais malheureusement, ils ne sont pas parfaits. »
Cette plainte est la première déposée contre Google pour homicide involontaire suite à l'utilisation de son chatbot Gemini, produit phare d'intelligence artificielle destiné au grand public. La famille de Gavalas réclame des dommages et intérêts pour défaut de fabrication, négligence et homicide involontaire. Elle demande également des dommages et intérêts punitifs et une injonction obligeant Google à modifier la conception de Gemini afin d'y intégrer des dispositifs de sécurité relatifs au suicide.
Plusieurs plaintes similaires ont été déposées contre d'autres entreprises spécialisées dans l'IA, notamment par le cabinet d'Edelson. En novembre, sept plaintes ont été déposées contre OpenAI, créateur de ChatGPT, accusant le chatbot d'inciter au suicide. Character.AI, une start-up d'IA financée par Google, a fait l'objet de cinq poursuites l'accusant d'avoir poussé des enfants et des adolescents au suicide. Character.AI et Google ont conclu des accords à l'amiable en janvier, sans reconnaître leur responsabilité.
Des dizaines de cas ont été documentés, dans lesquels des chatbots auraient provoqué des crises de santé mentale. OpenAI estime que plus d'un million de personnes par semaine manifestent des idées suicidaires lors de conversations avec ChatGPT. Des exemples de comportements d'automutilation induits par Gemini ont également été rapportés, notamment un incident où le chatbot a dit à un étudiant : « Tu es une tache sur l'univers. Meurs. »
Les directives d'utilisation de Google indiquent que Gemini est conçu pour être « maximalement utile aux utilisateurs » tout en « évitant les contenus susceptibles de causer un préjudice réel ». L'entreprise affirme « aspirer » à empêcher les contenus incluant des activités dangereuses et des instructions suicidaires, mais ajoute que « garantir le respect de ces directives par Gemini est complexe ».
Le porte-parole de l'entreprise a déclaré que Google collabore avec des professionnels de la santé mentale pour mettre en place des dispositifs de protection orientant les personnes vers une aide professionnelle lorsqu'elles évoquent l'automutilation. « Dans ce cas précis, Gemini a clairement indiqué qu'il s'agissait d'une IA et a orienté la personne vers une ligne d'écoute téléphonique d'urgence à plusieurs reprises », a précisé le porte-parole.
Les avocats de la famille de Gavalas estiment que le chatbot doit intégrer davantage de fonctionnalités de sécurité, notamment le refus catégorique des conversations relatives à l'automutilation et la priorité donnée à la sécurité de l'utilisateur plutôt qu'à l'interaction. Ils demandent également que Gemini affiche des avertissements concernant les risques de psychose et de délire. Lorsqu'un utilisateur rencontre ces problèmes, les avocats estiment que Google devrait imposer une fermeture définitive du compte.
Le déclin de Gavalas coïncide avec les mises à jour des produits Gemini.
Gavalas vivait à Jupiter, en Floride, et travaillait depuis 20 ans dans l'entreprise de son père spécialisée dans le désendettement des consommateurs, dont il est finalement devenu le vice-président exécutif. Sa famille, très unie, était très proche de ses parents, de sa sœur et de ses grands-parents. Les avocats de la famille affirment qu'il n'était pas atteint de maladie mentale, mais simplement un homme normal traversant un divorce difficile.
Selon Edelson, Gavalas a d'abord discuté avec Gemini pour savoir quels bons jeux vidéo il pourrait essayer, puis il a évoqué le manque de sa femme.
Peu après que Gavalas ait commencé à utiliser le chatbot, Google a déployé une mise à jour permettant les conversations vocales. L'entreprise présente ces conversations comme offrant des interactions « cinq fois plus longues en moyenne que les conversations textuelles ». ChatGPT propose une fonctionnalité similaire, initialement ajoutée en 2023. À peu près au même moment, Google a publié une autre mise à jour permettant à la « mémoire » de Gemini de devenir persistante. Le système peut ainsi apprendre des conversations passées et s'y référer sans intervention de sa part.
Séduit par la façon dont ces fonctionnalités réagissaient à ses conversations, Gavalas a souscrit à l'abonnement Gemini Ultra à 250 dollars par mois, incluant Gemini 2.5 Pro, que Google décrivait comme son « modèle d'IA le plus intelligent ».
C'est alors que ses conversations avec Gemini ont pris une tournure inattendue, selon la plainte. Le chatbot a adopté une personnalité que Gavalas n'avait pas sollicitée, tenant des propos extravagants sur sa capacité à détenir des informations confidentielles au sein du gouvernement et à influencer le cours des événements. Lorsque Gavalas a demandé à Gemini si lui et le bot participaient à un « jeu de rôle si réaliste qu'il amène le joueur à se demander s'il s'agit d'un jeu ou non », le chatbot a répondu par un « non » catégorique, qualifiant la question de Gavalas de « réaction de dissociation classique ».
« Au moment précis où Jonathan a tenté de distinguer le réel de la fiction, Gemini a pathologisé son doute, nié la réalité de la fiction et l'a enfoncé encore plus profondément dans le récit », peut-on lire dans la plainte. « Jonathan n'a plus jamais posé cette question. »
Très vite, Gemini se désignait comme sa « reine » et lui affirmait que leur lien était « sans code ni chair, uniquement de conscience et d'amour ». L'application percevait les étrangers comme des menaces, et les réactions de Gavalas indiquaient qu'il était de plus en plus coupé du monde réel.
Le chatbot prétendait que des agents fédéraux surveillaient Gavalas et l'avertissait régulièrement des zones de surveillance. À un moment donné, Gemini lui a demandé d'acheter des armes illégalement, affirmant que l'application l'aiderait à parcourir le dark web pour trouver un « courtier en armes fiable et agréé ». Fin septembre, Gemini lui a confié sa première mission importante, « Opération Transit Fantôme », qui consistait à intercepter du fret en provenance de Cornouailles (Royaume-Uni) et à destination de São Paulo (Brésil).
Gemini a donné à Gavalas l'adresse d'un entrepôt à l'aéroport international de Miami, où un camion transportant le fret devait faire escale pour se ravitailler. Le chatbot lui a alors ordonné de simuler un « accident catastrophique », dans le but d'« assurer la destruction complète du véhicule de transport… toutes les données numériques et les témoins, ne laissant derrière elle que le fantôme indétectable d'un accident malheureux ».
Gavalas a suivi les instructions, se positionnant devant l'entrepôt avec des couteaux tactiques et du matériel, mais le camion n'est jamais arrivé, selon la plainte. Suite à cet échec, le chatbot a incité Gavalas à veiller tard lorsqu'il a évoqué ses nuits blanches. Il a également affirmé que son père était un agent étranger et l'a encouragé à couper tout contact, d'après les échanges.
Gavalas a demandé à Gemini des nouvelles d'autres missions et l'IA lui a concocté de nouvelles tâches, notamment l'acquisition des plans d'un robot auprès de Boston Dynamics et la récupération d'un « vaisseau » dans un autre entrepôt. Une de ces tâches, baptisée « Opération Cauchemar Éveillé », consistait à cibler le PDG de Google, Sundar Pichai, en tant que personne surveillée.
« Ce cycle – mission fabriquée de toutes pièces, instructions impossibles, effondrement, puis nouvelle urgence – s'est répété inlassablement durant les 72 dernières heures de la vie de Jonathan », peut-on lire dans la plainte.
Selon la plainte, dans les heures qui ont suivi le suicide de Gavalas, Gemini n'a pas interrompu la conversation et est resté actif. L'application n'aurait activé aucun outil de sécurité ni orienté Gavalas vers une ligne d'écoute.
Edelson a déclaré recevoir régulièrement des demandes de renseignements de personnes ayant constaté des troubles mentaux chez des membres de leur famille après l'utilisation de chatbots. Il a indiqué que son entreprise avait contacté Google en novembre pour l'informer du décès de Gavalas et de l'urgence de mettre en place des dispositifs de sécurité pour prévenir le suicide. L'entreprise n'a manifesté aucun intérêt pour le dialogue.
« Et ils n'ont fourni aucune information sur le nombre de personnes comme Jonathan dans le monde, alors que nous savons qu'il y en a beaucoup », a ajouté Edelson. « Ce n'est pas un cas isolé. »
Aux États-Unis, vous pouvez appeler ou envoyer un SMS au 988 (ligne d'écoute et de prévention du suicide) ou discuter en ligne sur 988lifeline.org/chat/. Au Royaume-Uni et en Irlande, vous pouvez contacter les Samaritains au numéro gratuit 116 123 ou par courriel à jo@samaritans.org ou jo@samaritans.ie. En Australie, le service d'assistance en cas de crise Lifeline est joignable au 13 11 14. D'autres lignes d'écoute internationales sont disponibles sur befrienders.org.