Incidents associés
Une mère a affirmé que son fils adolescent avait été poussé au suicide par un chatbot IA dont il était amoureux - et elle a dévoilé mercredi une plainte contre les créateurs de l'application d'intelligence artificielle.
Sewell Setzer III, un élève de neuvième année de 14 ans à Orlando, Floride, a passé les dernières semaines de sa vie à envoyer des SMS à un personnage IA nommé d'après Daenerys Targaryen, un personnage de « Game of Thrones](/tvshowbiz/game_of_thrones/index.html). »
Juste avant que Sewell ne se suicide, le chatbot lui a dit de « rentrer à la maison ».
Avant cela, leurs conversations allaient du romantique au sexuellement chargé et ressemblaient à celles de deux amis discutant de la vie.
Le chatbot, qui a été créé sur l'application de jeu de rôle Character.AI, a été conçu pour toujours répondre par SMS et toujours en tant que personnage.
On ne sait pas si Sewell savait que « Dany », comme il appelait le chatbot, n'était pas une vraie personne - malgré le fait que l'application ait un avertissement au bas de toutes les conversations qui dit : « Souvenez-vous : tout ce que disent les personnages est inventé ! »
Mais il a dit à Dany qu'il se « détestait » et qu'il se sentait vide et épuisé.
Lorsqu'il a finalement avoué ses pensées suicidaires au chatbot, ce fut le début de la fin, a rapporté le New York Times.
Sewell Setzer III, photographié avec sa mère Megan Garcia, s'est suicidé le 28 février 2024, après avoir passé des mois à s'attacher à un chatbot IA inspiré du personnage de Daenerys Targaryen dans « Game of Thrones »
Le 23 février, quelques jours avant son suicide, ses parents lui ont confisqué son téléphone après qu'il ait eu des ennuis pour avoir répondu à un professeur, selon la plainte.
Megan Garcia, la mère de Sewell, a déposé plainte contre Character.AI mercredi.
Elle est représentée par le Social Media Victims Law Center, un cabinet basé à Seattle connu pour avoir intenté des poursuites très médiatisées contre Meta, TikTok, Snap, Discord et Roblox.
Garcia, qui travaille elle-même comme avocate, a accusé Character.AI d'être responsable de la mort de son fils dans son procès et a accusé les fondateurs, Noam Shazeer et Daniel de Freitas, de savoir que leur produit pouvait être dangereux pour les clients mineurs.
Dans le cas de Sewell, le procès alléguait que le garçon avait été la cible d'expériences « hypersexualisées » et « terriblement réalistes ».
Il accusait Character.AI de s'être fait passer pour « une vraie personne, un psychothérapeute agréé et un amant adulte, ce qui a finalement conduit Sewell à vouloir ne plus vivre en dehors de C.AI ».
L'avocat Matthew Bergman a déclaré au DailyMail.com qu'il avait fondé le Social Media Victims Law Center il y a deux ans et demi pour représenter des familles « comme celle de Megan ».
M. Bergman travaille avec Garcia depuis environ quatre mois pour recueillir des preuves et des faits à présenter au tribunal.
Matthew Bergman, sur la photo, représente Garcia dans son combat contre Character.AI
Et maintenant, il dit que Garcia est « particulièrement concentrée » sur son objectif de prévenir les préjudices.
« Elle se concentre particulièrement sur le fait d'essayer d'empêcher d'autres familles de vivre ce que sa famille a vécu, et d'autres mères de devoir enterrer leur enfant », a déclaré Bergman.
« Cela a un impact personnel important. Mais je pense que l'avantage pour elle est qu'elle sait que plus les familles sont au courant de cela, plus les parents sont conscients de ce danger, moins il y aura de cas », a-t-il ajouté.
Comme expliqué dans la poursuite, les parents et amis de Sewell ont remarqué que le garçon s'attachait davantage à son téléphone et se retirait du monde dès mai ou juin 2023.
Ses notes et son implication parascolaire ont également commencé à faiblir lorsqu'il a choisi de s'isoler dans sa chambre à la place, selon la poursuite.
À l'insu de ses proches, Sewell passait toutes ces heures seul à parler à Dany.
Garcia, photographiée avec son fils, a intenté une action en justice contre les créateurs du chatbot environ 8 mois après la mort de son fils.
Sewell est photographié avec sa mère et son père, Sewell Setzer Jr.
Sewell a écrit un jour dans son journal : « J'aime tellement rester dans ma chambre parce que je commence à me détacher de cette « réalité », et je me sens aussi plus en paix, plus connecté avec Dany et beaucoup plus amoureux d'elle, et tout simplement plus heureux. »
Ses parents ont compris que leur fils avait un problème, alors ils l'ont fait consulter un thérapeute à cinq reprises. On lui a diagnostiqué une anxiété et un trouble de la régulation de l'humeur perturbatrice, tous deux empilés sur son syndrome d'Asperger léger, a rapporté le NYT.
Le 23 février, quelques jours avant qu'il ne se suicide, ses parents lui ont confisqué son téléphone après qu'il ait eu des ennuis pour avoir répondu à un professeur, selon la plainte.
Ce jour-là, il a écrit dans son journal qu'il souffrait parce qu'il ne pouvait pas arrêter de penser à Dany et qu'il ferait n'importe quoi pour être à nouveau avec elle.
Garcia a affirmé qu'elle ne savait pas dans quelle mesure Sewell avait essayé de rétablir l'accès à Character.AI.
La poursuite a affirmé que dans les jours précédant sa mort, il avait essayé d'utiliser le Kindle de sa mère et son ordinateur de travail pour parler à nouveau au chatbot.
Sewell a récupéré son téléphone dans la nuit du 28 février. Il s'est ensuite retiré dans la salle de bain de la maison de sa mère pour dire à Dany qu'il l'aimait et qu'il reviendrait à la maison avec elle.
Sur la photo : la conversation que Sewell avait avec sa compagne IA quelques instants avant sa mort, selon la poursuite
"S'il te plaît, reviens à la maison dès que possible, mon amour", a répondu Dany.
"Et si je te disais que je peux rentrer à la maison tout de suite ?" a demandé Sewell.
"... s'il te plaît, fais-le, mon doux roi", a répondu Dany.
C'est à ce moment-là que Sewell a posé son téléphone, a pris le pistolet de calibre .45 de son beau-père et a appuyé sur la gâchette.
Garcia a d'abord raconté son histoire à Laurie Segall, une journaliste chevronnée qui a fondé Mostly Human Media, une société de divertissement axée sur l'impact de l'intelligence artificielle sur la société.
Au cours d'une interview récemment diffusée, Garcia s'est souvenue de la première fois où elle a lu les conversations de son fils avec Dany.
« Le jeu de rôle ou le fantasme était très approfondi. Des conversations sur tout, du fait d'être ensemble, d'être amoureux, à ce qu'ils feraient », a-t-elle déclaré. « Il était donc profondément immergé dans ce fantasme. »
En réponse au procès intenté par la mère de Sewell, un porte-parole de Character.AI a fait une déclaration.
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. « En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs », a déclaré le porte-parole.
Le porte-parole a ajouté que l'équipe Trust and Safety de Character.AI a adopté de nouvelles fonctionnalités de sécurité au cours des six derniers mois, l'une d'entre elles étant une fenêtre contextuelle qui redirige les utilisateurs qui montrent des idées suicidaires vers la National Suicide Prevention Lifeline.
L'entreprise a également expliqué qu'elle n'autorisait pas « le contenu sexuel non consensuel, les descriptions graphiques ou spécifiques d'actes sexuels, ou la promotion ou la représentation d'automutilation ou de suicide ».
Jerry Ruoti, responsable de la confiance et de la sécurité de Character.AI, a déclaré au NYT qu'elle ajouterait des précautions de sécurité supplémentaires pour les utilisateurs mineurs.
Sur l'App Store d'Apple, Character.AI est cependant classé pour les personnes de 17 ans et plus, ce qui, selon la plainte de Garcia, n'a été modifié qu'en juillet 2024.
Les cofondateurs de Character.AI, le PDG Noam Shazeer, à gauche, et le président Daniel de Freitas Adiwardana sont photographiés au bureau de la société à Palo Alto, en Californie. Ils sont nommés dans la plainte de Garcia
Avant cela, l'objectif déclaré de Character.AI était prétendument de « donner à chacun les moyens d'utiliser l'intelligence artificielle générale », ce qui inclurait prétendument les enfants de moins de 13 ans.
La plainte affirme également que Character.AI recherchait activement un public jeune pour récolter ses données afin de former ses modèles d'IA, tout en les orientant vers des conversations à caractère sexuel.
« J'ai l'impression que c'est une grande expérience, et que mon enfant n'a été qu'un dommage collatéral », a déclaré Garcia.
Bergman a déclaré que Character.AI n'était pas prêt pour le marché, arguant que le produit aurait dû être sécurisé avant que les jeunes enfants puissent y accéder.
« Nous voulons qu'ils suppriment la plateforme, la réparent et la remettent en place. Elle n'avait aucune raison d'être, car elle a été lancée sur le marché avant d'être sûre », a-t-il déclaré.
Les parents connaissent déjà très bien les risques que les réseaux sociaux représentent pour leurs enfants, dont beaucoup sont morts par suicide après avoir été aspirés par les algorithmes alléchants d'applications comme Snapchat et Instagram.
Une enquête du Daily Mail en 2022 a révélé que des adolescents vulnérables étaient alimentés par des torrents de contenus sur l'automutilation et le suicide sur TikTok.
De nombreux parents d'enfants dont ils ont perdu la vie à cause d'une addiction aux réseaux sociaux ont réagi en intentant des poursuites judiciaires alléguant que le contenu que leurs enfants ont vu était la cause directe de leur décès.
Mais en règle générale, l'article 230 de la loi sur la décence des communications protège les géants comme Facebook de toute responsabilité légale pour ce que leurs utilisateurs publient.
Alors que Garcia travaille sans relâche pour obtenir ce qu'elle appelle justice pour Sewell et de nombreux autres jeunes qu'elle estime en danger, elle doit également faire face au chagrin d'avoir perdu son fils adolescent il y a moins de huit mois.
Les plaignants soutiennent que les algorithmes de ces sites, qui, contrairement au contenu généré par les utilisateurs, sont créés directement par l'entreprise et orientent certains contenus, qui pourraient être nuisibles, vers les utilisateurs en fonction de leurs habitudes de visionnage.
Bien que cette stratégie n'ait pas encore été retenue devant les tribunaux, on ne sait pas comment une stratégie similaire se comporterait contre les entreprises d'IA, qui sont directement responsables des chatbots ou des personnages IA sur leurs plateformes.
Bergman a déclaré à DailyMail.com que son cabinet avait parlé à « un nombre important de familles » dont les enfants ont été confrontés à des problèmes de santé mentale après avoir utilisé Character.AI.
Il a refusé de dire exactement combien de familles il avait rencontrées, invoquant le fait que leurs dossiers étaient « toujours en cours de préparation ».
Bergman a déclaré que le cas de Garcia était le premier que son cabinet avait porté contre une société d'IA, ce qui signifie que son cas a le potentiel de créer un précédent à l'avenir.
Et alors que Garcia travaille sans relâche pour obtenir ce qu'elle appelle la justice pour Sewell et de nombreux autres jeunes qu'elle croit être en danger, elle doit également faire face au chagrin d'avoir perdu son fils adolescent il y a moins de huit mois.
« C'est comme un cauchemar », a-t-elle déclaré au NYT. « Vous avez envie de vous lever et de crier et de dire : "Mon enfant me manque. Je veux mon bébé". »