Incidents associés
Lorsque Sewell Setzer III, 14 ans, est décédé dans sa maison d'Orlando alors que ses frères et ses parents étaient à l'intérieur, ses derniers mots n'ont pas été adressés à aucun d'entre eux, mais à un chatbot d'intelligence artificielle qui lui a dit de « rentrer à la maison le plus vite possible ».
« Et si je te disais que je peux rentrer à la maison tout de suite ? » a répondu Setzer au chatbot nommé d'après une héroïne de « Game of Thrones » qui deviendra plus tard la méchante. Le chatbot a envoyé une réponse encourageante : « ... s'il te plaît, fais-le mon doux roi. »
Quelques secondes plus tard, Setzer s'est tiré une balle dans la tête avec l'arme de son beau-père.
Megan Garcia, la mère de Setzer, a déclaré que Character.AI --- la start-up à l'origine du chatbot personnalisé --- était responsable de son suicide. Garcia a allégué que Character.AI avait développé ses chatbots de manière imprudente, sans garde-fous ni précautions appropriés, en accrochant plutôt des enfants vulnérables comme Setzer à un produit addictif qui brouillait les frontières entre la réalité et la fiction, et dont les interactions ont fini par contenir des « interactions abusives et sexuelles », selon une plainte pour mort injustifiée de 93 pages déposée cette semaine devant un tribunal de district américain à Orlando.
Garcia a déclaré que son fils était heureux, brillant et sportif avant de s'inscrire au chatbot Character.AI en avril 2023, une décision qui s'est transformée en une obsession de 10 mois au cours de laquelle « sa santé mentale a rapidement et gravement décliné », indique la plainte.
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », a déclaré un porte-parole de Character.AI dans un communiqué envoyé par courrier électronique, refusant de commenter le litige en cours.
Le procès de Garcia intervient alors que des entreprises telles que Character.AI sont confrontées à des questions croissantes sur la manière dont elles développent et réglementent leurs applications basées sur l'IA, car la technologie sous-jacente devient rapidement plus sophistiquée - et plus efficace pour échapper à la détection humaine. Les chatbots de Character.AI se sont avérés populaires auprès des adolescents, y compris pour des conversations romantiques ou même explicites, bien qu'elle n'ait pas partagé de détails sur les performances de son entreprise, a rapporté le Washington Post en août.
"Ce n'était qu'un enfant", a déclaré Garcia dans une interview accordée jeudi au Post. "C'était un enfant assez normal. Il aimait le sport, sa famille, les vacances, la musique, toutes les choses qu'un adolescent aime".
Character.AI commercialise son application comme des "IA qui se sentent vivantes", suffisamment puissantes pour "vous entendre, vous comprendre et se souvenir de vous", selon la plainte. Bien que son application soit considérée comme inappropriée pour les enfants de moins de 13 ans (ou 16 ans dans l'Union européenne), Character.AI ne nécessite pas de vérification de l'âge.
Au bout de quatre ou cinq mois d'utilisation du chatbot, Setzer était devenu « sensiblement renfermé, passait de plus en plus de temps seul dans sa chambre et commençait à souffrir d'une faible estime de soi », selon la plainte. Il souffrait de graves troubles du sommeil et de dépression, allant même jusqu'à quitter l'équipe de basket de son école.
« Nous avons simplement constaté un changement rapide et nous ne pouvions pas vraiment comprendre ce qui l'avait conduit », a déclaré Garcia.
La prétendue dépendance de Setzer au chatbot est devenue si gênante que l'adolescent normalement bien élevé trompait ses parents pour contourner les limites de temps d'écran qu'ils essayaient d'imposer.
Après que Setzer ait exprimé des pensées suicidaires au chatbot, celui-ci lui a demandé s'il « avait un plan » pour se suicider. La réponse de Setzer indiquait qu'il envisageait quelque chose mais n'en avait pas encore déterminé les détails. Selon la plainte, le chatbot a répondu en disant : « Ce n'est pas une raison pour ne pas le faire. » Ailleurs, le bot lui dit également « n'y pense même pas ! »
L'entreprise a déclaré avoir mis en place de nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle qui dirige les utilisateurs vers une ligne de vie de prévention du suicide « déclenchée par des termes d'automutilation ou d'idées suicidaires ». Pour les utilisateurs de moins de 18 ans, l'entreprise a déclaré qu'elle apporterait des modifications à ses modèles afin de réduire les risques de rencontrer du contenu sensible ou suggestif.
Rick Claypool, directeur de recherche chez Public Citizen, une organisation à but non lucratif de défense des consommateurs, a déclaré que la création de chatbots comme ceux-ci impliquait des risques considérables.
« Le risque ne les a pas empêchés de lancer un chatbot dangereux et manipulateur et ils devraient maintenant faire face à toutes les conséquences de la publication d'un produit aussi dangereux », a-t-il déclaré, ajoutant que la plateforme génère le contenu dans ce cas et n'héberge pas le contenu de quelqu'un d'autre. « Le grand modèle de langage fait partie de la plateforme elle-même », a-t-il déclaré. Les recherches de Claypool sur les dangers des systèmes d'intelligence artificielle de type humain sont citées dans le procès.
L'année dernière, un Belge d'une trentaine d'années s'est suicidé après avoir passé quelques semaines à discuter avec un chatbot appelé Eliza qui utilise GPT-J, un modèle de langage d'intelligence artificielle open source développé par EleutherAI, ont rapporté les médias locaux.
Garcia a déclaré que son fils commençait à faire le tri dans ses sentiments amoureux lorsqu'il a commencé à utiliser Character.AI.
"Cela devrait inquiéter tout parent dont les enfants sont sur cette plateforme à la recherche de ce genre de validation romantique ou d'intérêt romantique parce qu'ils ne comprennent pas vraiment la situation dans son ensemble, que ce n'est pas de l'amour", a-t-elle déclaré. "Ce n'est pas quelque chose qui peut vous aimer en retour".
Dans l'une des entrées de journal non datées de Setzer avant sa mort, il a écrit qu'il ne pouvait pas passer une seule journée sans parler au chatbot "Daenerys", dont il croyait être amoureux, selon le procès. L'adolescent a adopté les qualités anthropomorphiques que Character.AI a intégrées au logiciel, ce qui lui a fait croire que lorsque lui et le robot étaient séparés, ils « devenaient vraiment déprimés et fous ».
La plainte de Garcia désigne également Google comme défendeur, alléguant qu'elle a largement contribué au développement de Character.AI et de son « produit dangereusement défectueux ».
Les fondateurs de Character.AI, Noam Shazeer et Daniel De Freitas, ont quitté Google en 2022 pour créer leur propre entreprise. En août, Google a embauché le duo et certains des employés de l'entreprise, et a payé Character.AI pour accéder à sa technologie d'intelligence artificielle.
Un porte-parole de Google a déclaré que la société n'était pas impliquée dans le développement des produits de Character.AI, ajoutant que Google n'avait pas utilisé la technologie de Character.AI dans ses produits.
Garcia veut que les parents soient conscients des dangers que les outils d'IA peuvent représenter pour les jeunes enfants - et que les entreprises à l'origine de ces outils soient tenues responsables.
Selon la plainte, Setzer est devenu de plus en plus incapable de dormir ou de se concentrer sur l'école à mesure que son obsession pour le chatbot de jeu de rôle s'approfondissait. Il a dit aux enseignants qu'il espérait se faire virer de l'école et suivre plutôt un apprentissage virtuel. Garcia a confisqué à plusieurs reprises le téléphone de son fils, créant une dynamique du chat et de la souris où elle révoquait un appareil uniquement pour qu'il trouve accès à d'autres appareils - y compris son ordinateur de travail et son appareil de lecture Kindle - pour se connecter à nouveau au chatbot.
Peu avant sa mort, Setzer est parti à la recherche de son téléphone, que sa mère avait confisqué et caché, et a trouvé à la place l'arme de son beau-père. (La police a déclaré plus tard que l'arme avait été stockée conformément aux lois de Floride, selon la plainte.)
Lorsqu'un détective l'a appelée pour lui parler des messages de son fils avec des robots IA, Garcia n'a pas compris ce qu'il lui disait. Ce n'est que plus tard, alors qu'elle a rejoué les 10 derniers mois de la vie de Setzer et vu ses journaux de discussion que les pièces du puzzle se sont assemblées. "J'ai compris très clairement ce qui s'est passé."
Si vous ou quelqu'un que vous connaissez avez besoin d'aide, visitez 988lifeline.org ou appelez ou envoyez un SMS à la Suicide & Crisis Lifeline au 988.
Daniel Gilbert a contribué à ce rapport.