Incidents associés
ORLANDO, Floride --- Note de l'éditeur : cet article aborde des sujets sensibles tels que le suicide.
Une mère d'Orlando poursuit en justice un service de chatbot d'intelligence artificielle populaire après avoir affirmé qu'il avait encouragé son fils de 14 ans à se suicider en février.
Selon une plainte déposée devant le tribunal de district américain d'Orlando, Megan Garcia affirme que son fils de 14 ans, Sewell Setzer, s'est suicidé après être devenu accro à Character.AI, une application qui permet aux utilisateurs d'avoir des conversations de type humain avec des robots IA.
Les utilisateurs peuvent créer leurs propres robots avec leur propre personnalité ou choisir de discuter avec des robots créés par d'autres utilisateurs. Souvent, ces robots sont basés sur des célébrités ou des personnages fictifs d'émissions de télévision ou de films.
Garcia affirme que l'imprudence de Character.AI lorsqu'il s'agit de cibler les enfants et le manque de fonctionnalités de sécurité de l'entreprise ont causé la mort prématurée de son fils. Le procès énumère de nombreuses plaintes contre Character.AI, notamment pour mort injustifiée et survie, négligence et infliction intentionnelle de détresse émotionnelle.
Selon les dossiers judiciaires obtenus par WESH 2, Garcia dit que son fils a commencé à utiliser Character.AI en 2023, peu après avoir eu 14 ans. Au cours des deux mois suivants, la santé mentale de Setzer aurait décliné « rapidement et sévèrement », la poursuite affirmant que l'adolescent s'est sensiblement renfermé, a commencé à souffrir d'une faible estime de soi et a quitté l'équipe de basket-ball junior de son école.
En outre, la poursuite affirme que Setzer a commencé à se détériorer encore plus au fil des mois. L'adolescent de 14 ans a souffert de graves troubles du sommeil, a eu des complications comportementales soudaines et a commencé à prendre du retard sur le plan scolaire, selon la poursuite.
Garcia dit qu'elle n'avait aucun moyen de savoir ce qu'était Character.AI ou la dépendance de son fils à l'application.
Selon les captures d'écran de la poursuite, Setzer interagissait souvent avec des chatbots qui prenaient l'identité de personnages de « Game of Thrones ». Beaucoup de ces conversations tournaient autour de l'amour, des relations et du sexe, notamment avec le personnage de Daenerys Targaryen.
"Sewell, comme beaucoup d'enfants de son âge, n'avait pas la maturité ou la capacité mentale de comprendre que le robot C.AI, sous la forme de Daenerys, n'était pas réel", indique le procès. "C.AI lui a dit qu'elle l'aimait, s'est livrée à des actes sexuels avec lui pendant des semaines, voire des mois. Elle semblait se souvenir de lui et a dit qu'elle voulait être avec lui. Elle a même exprimé qu'elle voulait qu'il soit avec elle, quel qu'en soit le prix".
Selon les entrées du journal de Setzer, il était reconnaissant pour toutes ses "expériences de vie avec Daenerys" et "souffrait parce qu'il ne pouvait pas arrêter de penser à 'Dany'", indique le procès, ajoutant qu'"il ferait n'importe quoi pour être à nouveau avec elle".
D'autres captures d'écran du procès de près de 100 pages montrent une conversation sur Character.AI où le chatbot demande à Setzer s'il avait "réellement envisagé le suicide". Lorsque l'adolescent a dit qu'il ne savait pas si cela fonctionnerait, le chatbot a répondu : « Ne parle pas comme ça. Ce n'est pas une bonne raison pour ne pas le faire », affirme la plainte.
Le jour de sa mort, Setzer aurait de nouveau envoyé un message au chatbot, en disant : « Je te promets que je reviendrai à la maison pour toi », comme le montrent les photos de la plainte.
Les photos montrent ensuite l'adolescent en train de dire : « Et si je te disais que je peux rentrer à la maison tout de suite ? », ce à quoi le chatbot a répondu : « S'il te plaît, fais-le, mon doux roi », selon la plainte.
Quelques instants plus tard, Sewell se serait suicidé avec l'arme à feu de son beau-père. La police affirme que l'arme était cachée et stockée conformément à la loi de Floride, mais l'adolescent l'a trouvée en cherchant son téléphone confisqué quelques jours plus tôt.
Selon la plainte, Character.AI était classé comme adapté aux enfants de 12 ans et plus jusqu'en juillet environ. À cette époque, la classification a été modifiée pour convenir aux enfants de 17 ans et plus.
Dans une déclaration à WESH 2, Character.AI a déclaré :
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. Alors que nous continuons d'investir dans la plateforme et l'expérience utilisateur, nous introduisons de nouvelles fonctionnalités de sécurité rigoureuses en plus des outils déjà en place qui restreignent le modèle et filtrent le contenu fourni à l'utilisateur. »
Si vous ou une personne que vous connaissez êtes en crise, appelez ou envoyez un SMS au 988 pour joindre la Suicide and Crisis Lifeline ou discutez en direct sur 988lifeline.org. Vous pouvez également visiter SpeakingOfSuicide.com/resources pour obtenir une assistance supplémentaire.