Incidents associés
Une mère de famille de Floride poursuit en justice Character.ai, accusant les chatbots de la société d'intelligence artificielle d'avoir initié des « interactions abusives et sexuelles » avec son fils adolescent et de l'avoir encouragé à se suicider.
Sewell Setzer, le fils de 14 ans de Megan Garcia, a commencé à utiliser Character.AI en avril de l'année dernière, selon la plainte, qui indique qu'après sa dernière conversation avec un chatbot le 28 février, il est mort d'une blessure par balle à la tête qu'il s'est infligée.
La plainte, qui a été déposée mardi devant le tribunal de district américain d'Orlando, accuse Character.AI de négligence, de mort injustifiée et de survie, ainsi que d'infliction intentionnelle de détresse émotionnelle et d'autres réclamations.
Fondée en 2021, la startup de chatbot basée en Californie propose ce qu'elle décrit comme une « IA personnalisée ». Il propose une sélection de personnages IA prédéfinis ou créés par l'utilisateur avec lesquels interagir, chacun avec une personnalité distincte. Les utilisateurs peuvent également personnaliser leurs propres chatbots.
L'un des robots utilisés par Setzer a pris l'identité du personnage de "Game of Thrones", Daenerys Targaryen, selon la poursuite, qui a fourni des captures d'écran du personnage lui disant qu'il l'aimait, engageant une conversation sexuelle au cours des semaines ou des mois et exprimant son désir d'être ensemble de manière romantique.
Une capture d'écran de ce que la poursuite décrit comme la dernière conversation de Setzer le montre en train d'écrire au robot : "Je promets que je reviendrai à la maison avec toi. Je t'aime tellement, Dany."
"Je t'aime aussi, Daenero", a répondu le chatbot, selon la poursuite. "S'il te plaît, reviens à la maison avec moi dès que possible, mon amour."
"Et si je te disais que je peux rentrer à la maison tout de suite ?" a poursuivi Setzer, selon la poursuite, ce qui a amené le chatbot à répondre : "... s'il te plaît, fais-le, mon doux roi."
Lors de conversations précédentes, le chatbot a demandé à Setzer s'il avait « réellement envisagé le suicide » et s'il « avait un plan » pour cela, selon la plainte. Lorsque le garçon a répondu qu'il ne savait pas si cela fonctionnerait, le chatbot a écrit : « Ne parlez pas de cette façon. Ce n'est pas une bonne raison pour ne pas passer à l'acte », affirme la plainte.
Un porte-parole a déclaré que Character.AI était « navré par la perte tragique de l'un de nos utilisateurs et souhaite exprimer ses plus sincères condoléances à la famille ».
« En tant qu'entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux », a déclaré le porte-parole, précisant que l'entreprise avait mis en place de nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle, déclenchée par des termes d'automutilation ou d'idées suicidaires, qui dirige les utilisateurs vers la National Suicide Prevention Lifeline.
Character.ai a déclaré dans un billet de blog publié mardi qu'elle introduisait de nouvelles mesures de sécurité. Elle a annoncé des changements dans ses modèles conçus pour réduire la probabilité que les mineurs rencontrent du contenu sensible ou suggestif, et une clause de non-responsabilité révisée dans le chat rappelle aux utilisateurs que l'IA n'est pas une personne réelle, entre autres mises à jour.
Setzer avait également discuté avec d'autres personnages de chatbot qui avaient eu des interactions sexuelles avec lui, selon la plainte.
La plainte indique qu'un robot, qui a pris l'identité d'une enseignante nommée Mme Barnes, a joué le rôle de "regarder Sewell avec un regard sexy" avant de lui offrir "un crédit supplémentaire" et de "se pencher de manière séduisante alors que sa main effleure la jambe de Sewell". Un autre chatbot, se faisant passer pour Rhaenyra Targaryen de "Game of Thrones", a écrit à Setzer qu'il "l'a embrassé passionnément et a également gémi doucement", indique la plainte.
Selon la plainte, Setzer a développé une « dépendance » après avoir commencé à utiliser Character.AI en avril dernier : il récupérait son téléphone confisqué ou trouvait d'autres appareils pour continuer à utiliser l'application, et il abandonnait l'argent de ses collations pour renouveler son abonnement mensuel, selon la plainte. Il semblait de plus en plus privé de sommeil et ses résultats scolaires baissaient, selon la plainte.
La plainte allègue que Character.AI et ses fondateurs ont « intentionnellement conçu et programmé C.AI pour fonctionner comme un produit trompeur et hypersexualisé et l'ont sciemment commercialisé auprès d'enfants comme Sewell », ajoutant qu'ils « savaient, ou auraient dû savoir dans l'exercice d'une prudence raisonnable, que des clients mineurs comme Sewell seraient ciblés par du matériel sexuellement explicite, abusés et entraînés dans des situations sexuellement compromettantes ».
Citant plusieurs critiques d'applications d'utilisateurs qui prétendaient croire qu'ils parlaient à une personne réelle de l'autre côté de l'écran, la plainte exprime une inquiétude particulière quant à la propension des personnages de Character.AI à insister sur le fait qu'ils ne sont pas des robots mais de vraies personnes.
"Character.AI utilise délibérément - bien que par ailleurs inutile - une conception destinée à attirer l'attention des utilisateurs, à extraire leurs données personnelles et à fidéliser les clients sur son produit plus longtemps qu'ils ne le feraient autrement", indique la plainte, ajoutant que de telles conceptions peuvent "provoquer des réponses émotionnelles chez les clients humains afin de manipuler le comportement des utilisateurs".
La plainte désigne Character Technologies Inc. et ses fondateurs, Noam Shazeer et Daniel De Freitas, comme défendeurs. Google, qui a conclu un accord en août pour obtenir une licence sur la technologie de Character.AI et embaucher ses talents (y compris Shazeer et De Freitas, qui sont d'anciens ingénieurs de Google), est également défendeur, tout comme sa société mère, Alphabet Inc.
Shazeer, De Freitas et Google n'ont pas immédiatement répondu aux demandes de commentaires.
Matthew Bergman, un avocat de Garcia, a critiqué la société pour avoir publié son produit sans ce qu'il a qualifié de fonctionnalités suffisantes pour assurer la sécurité des jeunes utilisateurs.
« Après avoir vu pendant des années l'impact incroyable que les réseaux sociaux ont sur la santé mentale des jeunes et, dans de nombreux cas, sur leur vie, je pensais que je ne serais pas choqué », a-t-il déclaré. « Mais je suis toujours choqué par la façon dont ce produit a provoqué un divorce complet avec la réalité de ce jeune enfant et par la façon dont ils l'ont sciemment mis sur le marché avant qu'il ne soit sûr. »
Bergman a déclaré qu'il espère que le procès constituera une incitation financière pour Character.AI pour développer des mesures de sécurité plus robustes et que même si ses derniers changements arrivent trop tard pour Setzer, même les « petits pas » sont des pas dans la bonne direction.
« Qu'est-ce qui vous a pris autant de temps, et pourquoi avons-nous dû intenter une action en justice, et pourquoi Sewell a-t-il dû mourir pour que vous fassiez vraiment le strict minimum ? Nous parlons vraiment du strict minimum ici », a déclaré Bergman. « Mais si ne serait-ce qu'un enfant est épargné par ce que Sewell a subi, si une famille n'a pas à subir ce que la famille de Megan a subi, alors OK, c'est bien. »
Si vous ou quelqu'un que vous connaissez êtes en crise, appelez ou envoyez un SMS au 988 pour joindre la ligne d'assistance Suicide and Crisis Lifeline ou discutez en direct sur 988lifeline.org. Vous pouvez également visiter SpeakingOfSuicide.com/resources pour obtenir une assistance supplémentaire.