Incidents associés
La plateforme de chatbot basée sur l'IA Character AI introduit de nouvelles fonctionnalités de sécurité « rigoureuses » à la suite d'une action en justice intentée par la mère d'un adolescent utilisateur qui s'est suicidé en février.
Les mesures comprendront « une détection, une réponse et une intervention améliorées liées aux entrées d'utilisateurs qui enfreignent nos conditions ou nos directives communautaires », ainsi qu'une notification du temps passé, a déclaré un porte-parole de l'entreprise à Decrypt, notant que l'entreprise ne pouvait pas commenter les litiges en cours.
Cependant, Character AI a exprimé sa sympathie pour la mort de l'utilisateur et a décrit ses protocoles de sécurité dans un article de blog mercredi.
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », a tweeté Character.ai. « En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs. »
Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs et nous continuons d'ajouter de nouvelles fonctionnalités de sécurité que vous pouvez découvrir ici :…
— Character.AI (@character_ai) 23 octobre 2024
Dans les mois précédant sa mort, Sewell Setzer III, un résident de Floride âgé de 14 ans, s'était de plus en plus attaché à un chatbot généré par les utilisateurs et nommé d'après le personnage de Game of Thrones, Daenerys Targaryen, selon le New York Times. Il interagissait souvent avec le bot des dizaines de fois par jour et échangeait parfois du contenu romantique et sexuel.
Setzer a communiqué avec le robot dans les instants précédant sa mort et avait déjà partagé des pensées suicidaires, a rapporté le Times.
La mère de Setzer, l'avocate Megan L. Garcia, a déposé une plainte mardi pour tenir Character AI et ses fondateurs, Noam Shazeer et Daniel De Freitas, responsables de la mort de son fils. Entre autres allégations, la plainte allègue que les accusés « ont choisi de soutenir, de créer, de lancer et de cibler les mineurs une technologie qu'ils savaient dangereuse et peu sûre », selon la plainte. Garcia demande un montant non spécifié de dommages et intérêts.
Google LLC et Alphabet Inc. sont également cités comme défendeurs dans le procès. Google a réembauché Shazeer et De Freitas, qui ont tous deux quitté le géant de la technologie en 2021 pour fonder Character AI, en août dans le cadre d'un accord de 2,7 milliards de dollars qui comprenait également l'octroi d'une licence pour le grand modèle linguistique de la startup de chatbot.
En plus d’autres mesures de sécurité, Character AI a « mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la National Suicide Prevention Lifeline qui est déclenchée par des termes d’automutilation ou d’idées suicidaires », a déclaré la société dans son communiqué. Elle modifiera également ses modèles « pour réduire la probabilité de rencontrer du contenu sensible ou suggestif » pour les utilisateurs de moins de 18 ans.
Character AI est l’une des nombreuses applications d’accompagnement d’IA sur le marché, qui ont souvent des directives de sécurité moins strictes que les chatbots conventionnels comme ChatGPT. Character AI permet aux utilisateurs de personnaliser leurs compagnons et de diriger leur comportement.
Le procès, qui intervient dans un contexte d’inquiétudes croissantes chez les parents concernant l’impact psychologique de la technologie sur les enfants et les adolescents, affirme que son attachement au bot a eu un effet négatif sur sa santé mentale. Setzer a reçu un diagnostic d’Asberger léger lorsqu’il était enfant et avait récemment été diagnostiqué avec un trouble d’anxiété et de dysrégulation de l’humeur perturbatrice, a rapporté le Times.
Cette action en justice est l'une des nombreuses qui sont en cours devant les tribunaux et qui testent les protections juridiques accordées aux sociétés de médias sociaux en vertu de l'article 230 du Communications Decency Act, qui les protège de toute responsabilité associée au contenu généré par les utilisateurs. TikTok demande la réaudition d'une affaire dans laquelle un juge a décidé qu'elle pouvait être tenue responsable après la mort d'une fillette de 10 ans alors qu'elle essayait de relever un « défi de blackout » qu'elle avait vu sur l'application. C'est le dernier problème en date pour Character AI, qui a été critiqué le mois dernier pour avoir hébergé un chatbot portant le nom d'une victime de meurtre.
Un voyage hebdomadaire de l'IA raconté par Gen, un modèle d'IA générative.