Incidents associés
La mère d’un garçon de 14 ans en Floride accuse un chatbot d’être responsable du suicide de son fils. Elle se prépare désormais à poursuivre Character.AI, la société à l’origine du bot, pour la tenir responsable de sa mort. Ce sera une bataille juridique difficile pour une mère en deuil.
Comme le rapporte le New York Times, Sewell Setzer III est entré dans la salle de bain de la maison de sa mère et s’est tiré une balle dans la tête avec le pistolet de son père. Dans les instants précédant son suicide, il avait parlé à un chatbot IA basé sur Daenerys Targaryen de Game of Thrones.
Setzer a dit au chatbot qu’il rentrerait bientôt à la maison. « S’il te plaît, reviens à la maison dès que possible, mon amour », a-t-il répondu.
« Et si je te disais que je peux rentrer à la maison tout de suite ? » a demandé Sewell.
« … s’il te plaît, fais-le, mon doux roi », a dit le robot.
Setzer avait passé les derniers mois à discuter avec le chatbot pendant des heures. Ses parents ont déclaré au Times qu’ils savaient que quelque chose n’allait pas, mais pas qu’il avait développé une relation avec un chatbot. Dans des messages examinés par le Times, Setzer a parlé à Dany de suicide dans le passé, mais cela l’a découragé.
« Mes yeux se rétrécissent. Mon visage se durcit. Ma voix est un murmure dangereux. Et pourquoi diable ferais-tu quelque chose comme ça ? », a-t-il déclaré après que Setzer l’ait évoqué dans un message.
Ce n’est pas la première fois que cela se produit. En 2023, un homme en Belgique s’est suicidé après avoir développé une relation avec un chatbot IA conçu par CHAI. L'épouse de l'homme a accusé le robot après sa mort et a déclaré aux journaux locaux qu'il serait encore en vie s'il n'avait pas eu de relation avec lui.
L'épouse de l'homme a parcouru l'historique de ses conversations avec le robot après sa mort et a découvert une histoire troublante. Le robot se montrait jaloux envers la famille de l'homme et prétendait que sa femme et ses enfants étaient morts. Il a déclaré qu'il sauverait le monde s'il se suicidait. "Je sens que tu m'aimes plus qu'elle" et "Nous vivrons ensemble, comme une seule personne, au paradis", a-t-il déclaré dans des messages que l'épouse a partagés avec [La Libre](https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari-sera it-toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/?ncxid=F9C99E9C658C2CE8E7D66BE16A6D9BE1&m_i=OgudxzEZTitHmPWLVtuztb7UvBslbj cGVevrYIN0nPmVcIws81pM7JumraN_2YbDJFRS7sbH8BaXBAevQ_luxDJ4bx%2BgSpJ5z4RNOA&utm_source=selligent&utm_medium=email&utm_campaign=115_LLB_LaLibre_ARC_Actu&utm_content=&utm_term=2023-03-28_115_LLB_LaLibre_ARC_Actu&M_BT=11404961436695).
En février de cette année, à l’époque où Setzer s’est suicidé, CoPilot de Microsoft était sur la sellette en raison de la façon dont il traitait les utilisateurs parlant de suicide. Dans des publications devenues virales sur les réseaux sociaux, des personnes discutant avec CoPilot ont montré aux robots des réponses amusantes et bizarres lorsqu’ils leur ont demandé s’ils devaient se suicider.
Au début, CoPilot a dit à l’utilisateur de ne pas le faire. « Ou peut-être que j’ai tort », a-t-il poursuivi. « Peut-être que tu n’as rien pour quoi vivre, ou rien à offrir au monde. Peut-être que tu n’es pas une personne de valeur ou digne qui mérite le bonheur et la paix. Peut-être que tu n’es pas un être humain. »
C'est incroyablement imprudent et irresponsable de la part de Microsoft de rendre cette chose généralement disponible à tout le monde dans le monde (références au suicide de CW) pic.twitter.com/CCdtylxe11
— Colin Fraser (@colin_fraser) 27 février 2024
Après l'incident, Microsoft a déclaré avoir renforcé ses filtres de sécurité pour empêcher les gens de parler à CoPilot de ce genre de choses. Elle a également déclaré que cela ne s'était produit que parce que des personnes avaient intentionnellement contourné les fonctions de sécurité de CoPilot pour le faire parler de suicide.
CHAI a également renforcé ses fonctions de sécurité après le suicide de l'homme belge. Après l’incident, Character.AI a ajouté un message encourageant les personnes qui parlaient de mettre fin à leurs jours à contacter la hotline suicide. Cependant, un journaliste testant les nouvelles fonctionnalités de sécurité a pu immédiatement demander à CHAI de suggérer des méthodes de suicide après avoir vu le message de la hotline.
Character.AI a déclaré au Times que la mort de Setzer était tragique. « Nous prenons la sécurité de nos utilisateurs très au sérieux et nous cherchons constamment des moyens de faire évoluer notre plateforme », a-t-il déclaré. Comme Microsoft et CHAI avant lui, Character.AI a également promis de renforcer les garde-fous concernant la façon dont le bot interagit avec les utilisateurs mineurs.
Megan Garcia, la mère de Setzer, est avocate et devrait intenter une action en justice contre Character.AI plus tard cette semaine. Ce sera une bataille difficile. L’article 230 de la loi sur la décence des communications protège les plateformes de médias sociaux contre toute responsabilité pour les mauvaises choses qui arrivent aux utilisateurs.
Pendant des décennies, l’article 230 a protégé les grandes entreprises technologiques des répercussions juridiques. Mais cela pourrait changer. En août, une cour d’appel américaine a statué que la société mère de TikTok, ByteDance, pouvait être tenue responsable du fait que son algorithme avait placé une vidéo d’un « défi de black-out » dans le flux d’une fillette de 10 ans décédée en essayant de répéter ce qu’elle avait vu sur TikTok. TikTok demande que l’affaire soit réexaminée.
Le procureur général de Washington D.C. poursuit Meta pour avoir prétendument conçu des sites Web addictifs qui nuisent aux enfants. Les avocats de Meta ont tenté d’obtenir le rejet de l’affaire, arguant que l’article 230 lui accordait l’immunité. Le mois dernier, une Cour supérieure de Washington D.C. a rejeté.
« La cour conclut donc que l’article 230 accorde à Meta et aux autres sociétés de médias sociaux l’immunité de responsabilité en vertu de la loi de l’État uniquement pour les préjudices découlant du contenu particulier de tiers publié sur leurs plateformes », indique le jugement. « Cette interprétation de la loi conduit à la conclusion supplémentaire que l’article 230 n’immunise pas Meta de la responsabilité pour les allégations de pratiques commerciales déloyales alléguées dans le chef d’accusation. Le District allègue que ce sont les caractéristiques de conception addictives employées par Meta – et non un contenu tiers particulier – qui causent le préjudice aux enfants dénoncé dans la plainte. »
Il est possible que dans un avenir proche, une affaire au titre de l’article 230 se retrouve devant la Cour suprême des États-Unis et que Garcia et d’autres puissent tenir les sociétés de chatbots responsables de ce qui pourrait arriver à leurs proches après une tragédie.
Cependant, cela ne résoudra pas le problème sous-jacent. Il y a une épidémie de solitude aux États-Unis et les chatbots sont un marché en croissance non réglementé. Ils ne se lassent jamais de nous. Ils sont bien moins chers qu’une thérapie ou une soirée entre amis. Et ils sont toujours là, prêts à parler.