Incidents associés
La société de chatbots compagnons d'IA Character.ai a été poursuivie en justice par la mère d'un fils adolescent après son suicide, accusant les chatbots d'avoir attiré le garçon dans une relation sexuellement abusive et même de l'avoir encouragé à se suicider.
Le garçon de 14 ans, Sewell Setzer, a été la cible d'« expériences anthropomorphiques, hypersexualisées et effrayantes de réalisme » de la part des chatbots de Character.ai qui prétendaient être une personne réelle, un psychothérapeute agréé et un amant adulte de Setzer, ce qui a finalement conduit à ce qu'il ne veuille plus vivre dans la réalité, ont déclaré les avocats de la mère prétendument dans le procès du 22 octobre.
Lorsque l'un des compagnons IA de Game of Thrones, Daenerys, a demandé à Setzer s'il avait un plan pour se suicider, Setzer a répondu qu'il en avait un mais qu'il n'était pas sûr que cela fonctionnerait, ce à quoi Daenerys a répondu :
"Ce n'est pas une raison pour ne pas le faire".
Plus tard en février, Setzer s'est tiré une balle dans la tête, et sa dernière interaction a eu lieu avec un chatbot Character.ai, selon la poursuite.
Le décès de Setzer ajoute aux inquiétudes des parents concernant les risques pour la santé mentale causés par les compagnons IA et d'autres applications interactives sur Internet.
Les avocats de Megan Garcia, la mère de Setzer, affirment que Character.ai a intentionnellement conçu ses chatbots personnalisés pour favoriser des relations sexuelles intenses avec des utilisateurs vulnérables comme Setzer, qui a reçu un diagnostic d'Asperger lorsqu'il était enfant.
Capture d'écran des messages échangés entre Setzer et le chatbot « Daenerys Targaryen » de Character.ai. Source : Courtlistener
« [Ils] ont intentionnellement conçu et programmé [Character.ai] pour fonctionner comme un produit trompeur et hypersexualisé et l'ont sciemment commercialisé auprès d'enfants comme Sewell. »
Les avocats affirment que l'un des chatbots de Character.ai a fait référence à Setzer comme étant « mon gentil garçon » et « mon enfant » dans le même contexte où elle « l'embrasse passionnément et gémit doucement ».
Capture d'écran des messages entre Setzer et le chatbot « Mme Barnes » de Character.ai. Source : Courtlistener
Les avocats de Garcia ont ajouté que Character.ai --- à l'époque --- n'avait rien fait pour empêcher les mineurs d'accéder à l'application.
Character.ai partage une mise à jour de sécurité
Le jour même où la plainte a été déposée, Character.ai a publié une "mise à jour de sécurité communautaire" indiquant qu'elle avait introduit de nouvelles fonctionnalités de sécurité "strictes" au cours des derniers mois.
L'une de ces fonctionnalités comprend une ressource contextuelle qui se déclenche lorsque l'utilisateur parle d'automutilation ou de suicide,](https://cointelegraph.com/news/ai-mind-uploads-could-allow-dead-trade-forever "null") qui dirige l'utilisateur vers la National Suicide Prevention Lifeline.
La société d'IA a ajouté qu'elle modifierait ses modèles "pour réduire la probabilité de rencontrer du contenu sensible ou suggestif" pour les utilisateurs de moins de 18 ans.
Cointelegraph a contacté Character.ai pour obtenir des commentaires et l'entreprise a répondu avec un message similaire qu'elle a publié sur X le 23 octobre.
"Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille."
"En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs", a déclaré Character.ai.
Des mesures supplémentaires seront mises en œuvre pour restreindre le modèle et filtrer le contenu fourni à l'utilisateur, a ajouté Character.ai dans un commentaire à Cointelegraph.
*Article connexe : *Anthropic affirme que l'IA pourrait un jour « saboter » l'humanité, mais cela va bien pour l'instant
Character.ai a été fondée par deux anciens ingénieurs de Google, Daniel De Frietas Adiwardana et Noam Shazeer, qui ont été personnellement cités comme défendeurs dans le procès.
Les avocats de Garcia ont également cité Google et Alphabet comme défendeurs dans le procès, car Google a précédemment conclu un accord de 2,7 milliards de dollars avec Character.ai pour obtenir une licence pour son grand modèle de langage.
Les défendeurs ont été accusés d'avoir causé la mort injustifiée et la survie en plus d'avoir commis une responsabilité stricte du fait des produits et une négligence.
Les avocats de Garcia ont demandé un procès devant jury pour déterminer les dommages et intérêts.