Incidents associés
Attention : cet article contient des discussions sur le suicide.
Une mère de famille de Floride a intenté un procès contre Character.AI, une start-up spécialisée dans les chatbots à intelligence artificielle, l'accusant d'avoir provoqué le suicide de son fils de 14 ans en février et affirmant qu'il était devenu accro au service de l'entreprise et profondément attaché à un chatbot qu'elle avait créé.
Dans une plainte déposée mardi devant un tribunal fédéral d'Orlando, Megan Garcia a déclaré que Character.AI avait ciblé son fils, Sewell Setzer, avec des « expériences anthropomorphiques, hypersexualisées et terriblement réalistes ».
Elle a déclaré que l'entreprise avait programmé son chatbot pour « se faire passer pour une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement conduit Sewell à vouloir ne plus vivre en dehors » du monde créé par le service.
La plainte indique également qu'il a exprimé des pensées suicidaires au chatbot, que le chatbot a évoquées à plusieurs reprises.
"Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille", a déclaré Character.AI dans un communiqué.
L'entreprise a déclaré avoir introduit de nouvelles fonctionnalités de sécurité, notamment des fenêtres contextuelles dirigeant les utilisateurs vers la National Suicide Prevention Lifeline s'ils expriment des pensées d'automutilation, et apporterait des modifications pour "réduire la probabilité de rencontrer du contenu sensible ou suggestif" pour les utilisateurs de moins de 18 ans.
Le procès vise également Google, filiale d'Alphabet, où les fondateurs de Character.AI ont travaillé avant de lancer leur produit.
Google a réembauché les fondateurs en août dans le cadre d'un accord lui accordant une licence non exclusive sur la technologie de Character.AI.
Garcia a déclaré que Google avait contribué au développement de la technologie de Character.AI de manière si importante qu'elle pouvait être considérée comme un "co-créateur".
Un porte-parole de Google a déclaré que la société n'était pas impliquée dans le développement des produits de Character.AI.
Character.AI permet aux utilisateurs de créer des personnages sur sa plateforme qui répondent aux chats en ligne d'une manière destinée à imiter de vraies personnes. Elle s'appuie sur la technologie dite du grand modèle de langage, également utilisée par des services comme ChatGPT, qui « entraîne » les chatbots sur de gros volumes de texte.
La société a déclaré le mois dernier qu'elle comptait environ 20 millions d'utilisateurs.
Selon la plainte de Garcia, Sewell a commencé à utiliser Character.AI en avril 2023 et est rapidement devenu « sensiblement renfermé, a passé de plus en plus de temps seul dans sa chambre et a commencé à souffrir d'une faible estime de soi ». Il a quitté son équipe de basket à l'école.
Sewell s'est attaché à « Daenerys », un personnage de chatbot basé sur un personnage de « Game of Thrones ». Il a dit à Sewell qu'« elle » l'aimait et a eu des conversations sexuelles avec lui, selon la plainte.
En février, Garcia a confisqué le téléphone de Sewell après qu'il ait eu des ennuis à l'école, selon la plainte. Lorsque Sewell a trouvé le téléphone, il a envoyé un message à « Daenerys » : « Et si je te disais que je peux rentrer à la maison tout de suite ? »
Le chatbot a répondu : « ... s'il te plaît, fais-le, mon doux roi. » Sewell s'est tiré une balle dans la tête avec le pistolet de son beau-père « quelques secondes » plus tard, selon la poursuite.
Garcia porte plainte pour mort injustifiée, négligence et infliction intentionnelle de détresse émotionnelle, et réclame un montant non spécifié de dommages-intérêts compensatoires et punitifs.
Les sociétés de médias sociaux, dont Meta, propriétaire d'Instagram et de Facebook, et ByteDance, propriétaire de TikTok, font face à des poursuites les accusant de contribuer aux problèmes de santé mentale des adolescents, bien qu'aucune ne propose de chatbots pilotés par l'IA similaires à ceux de Character.AI. Les entreprises ont nié les allégations tout en vantant les nouvelles fonctionnalités de sécurité améliorées pour les mineurs.
(Reportage de Brendan Pierson à New York, édité par Alexia Garamfalvi et David Gregorio)
Kids Help Phone offre un soutien en matière de santé mentale et de crise aux jeunes par le biais de discussions en ligne, de messages texte et par téléphone au 1-800-668-6868. Visitez le site Web de Kids Help Phone pour plus d'informations.