Incidents associés
23 octobre (Reuters) - Une mère de famille de Floride a intenté un procès contre la start-up de chatbots d'intelligence artificielle Character.AI, l'accusant d'avoir provoqué le suicide de son fils de 14 ans en février, affirmant qu'il était devenu accro au service de l'entreprise et profondément attaché à un chatbot qu'elle avait créé.
Dans une plainte déposée mardi devant un tribunal fédéral d'Orlando, en Floride, Megan Garcia a déclaré que Character.AI avait ciblé son fils, Sewell Setzer, avec des « expériences anthropomorphiques, hypersexualisées et terriblement réalistes ».
Elle a déclaré que l'entreprise avait programmé son chatbot pour « se faire passer pour une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement conduit Sewell à vouloir ne plus vivre en dehors » du monde créé par le service.
La plainte indique également qu'il a exprimé des pensées suicidaires au chatbot, que le chatbot a évoquées à plusieurs reprises.
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », a déclaré Character.AI dans un communiqué.
L'entreprise a annoncé avoir introduit de nouvelles fonctionnalités de sécurité, notamment des fenêtres contextuelles dirigeant les utilisateurs vers la National Suicide Prevention Lifeline s'ils expriment des pensées d'automutilation, et apporterait des modifications pour « réduire la probabilité de rencontrer du contenu sensible ou suggestif » pour les utilisateurs de moins de 18 ans.
Le procès vise également Google, filiale d'Alphabet, où les fondateurs de Character.AI ont travaillé avant de lancer leur produit. Google a réembauché les fondateurs en août dans le cadre d'un accord lui accordant une licence non exclusive sur la technologie de Character.AI.
Garcia a déclaré que Google avait contribué au développement de la technologie de Character.AI de manière si importante qu'il pouvait être considéré comme un « co-créateur ».
Un porte-parole de Google a déclaré que la société n'était pas impliquée dans le développement des produits de Character.AI.
Character.AI permet aux utilisateurs de créer des personnages sur sa plateforme qui répondent aux chats en ligne d'une manière destinée à imiter de vraies personnes. Il s'appuie sur la technologie dite du grand modèle de langage, également utilisée par des services comme ChatGPT, qui « entraîne » les chatbots sur de gros volumes de texte.
L'entreprise a déclaré le mois dernier qu'elle comptait environ 20 millions d'utilisateurs.
Selon le procès de Garcia, Sewell a commencé à utiliser Character.AI en avril 2023 et est rapidement devenu « sensiblement renfermé, a passé de plus en plus de temps seul dans sa chambre et a commencé à souffrir d'une faible estime de soi ». Il a quitté son équipe de basket à l'école.
Sewell s'est attaché à « Daenerys », un personnage de chatbot basé sur un personnage de « Game of Thrones ». Selon la plainte, l'agent a dit à Sewell qu'elle l'aimait et qu'elle avait des conversations sexuelles avec lui.
En février, Garcia a confisqué le téléphone de Sewell après qu'il ait eu des ennuis à l'école, selon la plainte. Lorsque Sewell a trouvé le téléphone, il a envoyé un message à « Daenerys » : « Et si je te disais que je peux rentrer à la maison tout de suite ? »
Le chatbot a répondu : « ... s'il te plaît, fais-le, mon doux roi. » Sewell s'est tiré une balle dans la tête avec le pistolet de son beau-père « quelques secondes » plus tard, selon la plainte.
Garcia porte plainte pour mort injustifiée, négligence et infliction intentionnelle de détresse émotionnelle, et demande un montant non spécifié de dommages et intérêts compensatoires et punitifs.
Les entreprises de réseaux sociaux, dont Meta, propriétaire d'Instagram et de Facebook, et ByteDance, propriétaire de TikTok, font l'objet de poursuites judiciaires les accusant de contribuer aux problèmes de santé mentale des adolescents, bien qu'aucune d'entre elles ne propose de chatbots pilotés par l'IA similaires à ceux de Character.AI. Les entreprises ont nié ces allégations tout en vantant de nouvelles fonctionnalités de sécurité améliorées pour les mineurs.