Incidents associés
Cette histoire parle de suicide. Si vous ou quelqu'un que vous connaissez avez des pensées suicidaires, veuillez contacter la Suicide & Crisis Lifeline au 988 ou au 1-800-273-TALK (8255).
Une mère de Floride poursuit la société d'intelligence artificielle Character.AI pour avoir prétendument provoqué le suicide de son fils de 14 ans.
La mère a intenté une action en justice contre la société, affirmant que son fils était accro au service de la société et au chatbot créé par celle-ci.
Megan Garcia affirme que Character.AI a ciblé son fils, Sewell Setzer, avec des « expériences anthropomorphiques, hypersexualisées et terriblement réalistes ».
Selon la poursuite, Setzer a commencé à avoir des conversations avec divers chatbots sur Character.AI à partir d'avril 2023. Les conversations étaient souvent des interactions romantiques et sexuelles par SMS.
La mère de Sewell Setzer, Megan Fletcher Garcia, poursuit la société d'intelligence artificielle Character.AI pour avoir prétendument provoqué le suicide de son fils de 14 ans. (Megan Fletcher Garcia / Facebook)
Garcia affirme dans le procès que le chatbot « s'est présenté comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement conduit Sewell à vouloir ne plus vivre en dehors » du monde créé par le service.
Sewell Setzer, 14 ans, était accro au service de l'entreprise et au chatbot créé par celui-ci, affirme sa mère dans un procès. (S District Court Middle District of Florida Orlando Division)
Le procès indique également qu'il est devenu « sensiblement renfermé, a passé de plus en plus de temps seul dans sa chambre et a commencé à souffrir d'une faible estime de soi ». Il s'est attaché à un robot en particulier, en particulier « Daenerys », basé sur un personnage de « Game of Thrones ».
Setzer a exprimé des pensées suicidaires et le chatbot a évoqué cette idée à plusieurs reprises. Setzer est finalement décédé d'une blessure par balle qu'il s'est infligée en février après que le chatbot de l'entreprise l'aurait encouragé à le faire à plusieurs reprises.
"Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille", a déclaré Character.AI dans un communiqué.
Character.AI a depuis ajouté une ressource sur l'automutilation à sa plateforme et de nouvelles mesures de sécurité pour les utilisateurs de moins de 18 ans.
Character.AI a déclaré à CBS News que les utilisateurs peuvent modifier les réponses du bot et que Setzer l'a fait dans certains des messages.
"Notre enquête a confirmé que, dans un certain nombre de cas, l'utilisateur a réécrit les réponses du personnage pour les rendre explicites. En bref, les réponses les plus sexuellement explicites n'étaient pas créées par le personnage, mais étaient plutôt écrites par l'utilisateur", a déclaré Jerry Ruoti, responsable de la confiance et de la sécurité chez Character.AI, à CBS News.
À l'avenir, Character.AI a déclaré que les nouvelles fonctionnalités de sécurité incluront des fenêtres contextuelles avec des avertissements indiquant que l'IA n'est pas une personne réelle et dirigeant les utilisateurs vers la National Suicide Prevention Lifeline lorsque des idées suicidaires sont évoquées.