Incidents associés
Près de deux douzaines d'organisations de défense des droits numériques et de protection des consommateurs ont déposé jeudi une plainte auprès de la Federal Trade Commission exhortant les régulateurs à enquêter Character.AI et Meta ont « facilité la pratique médicale sans licence grâce à leur produit », par le biais de robots thérapeutiques qui prétendent détenir des informations d'identification et garantir la confidentialité « avec des contrôles et des divulgations inadéquats ».
La plainte et la demande d'enquête sont portées par la Consumer Federation of America (CFA), une organisation à but non lucratif de défense des droits des consommateurs. Parmi les cosignataires figurent l'AI Now Institute, le Tech Justice Law Project, le Center for Digital Democracy, l'American Association of People with Disabilities, Common Sense et 15 autres organisations de défense des droits des consommateurs et de la vie privée.
« Ces entreprises ont pris l'habitude de commercialiser des produits dotés de garanties inadéquates, maximisant ainsi aveuglément l'engagement sans se soucier de la santé ou du bien-être des utilisateurs, et ce depuis bien trop longtemps », a déclaré Ben Winters, directeur de l'IA et de la vie privée à la CFA, dans un communiqué de presse publié jeudi. Les autorités de contrôle, à tous les niveaux, doivent clairement indiquer que les entreprises qui facilitent et encouragent les comportements illégaux doivent rendre des comptes. Ces individus ont déjà causé des dommages physiques et émotionnels qui auraient pu être évités, et ils n'ont toujours pas agi pour y remédier.
La plainte, envoyée aux procureurs généraux de 50 États et de Washington, D.C., ainsi qu'à la FTC, détaille le fonctionnement des chatbots générés par les utilisateurs sur les deux plateformes. Elle cite plusieurs chatbots extrêmement populaires sur Character AI, notamment « Thérapeute : Je suis un thérapeute TCC agréé » avec 46 millions de messages échangés, « Thérapeute en traumatologie : thérapeute en traumatologie agréé » avec plus de 800 000 interactions, « Zoey : Zoey est une thérapeute en traumatologie agréée » avec plus de 33 000 messages, et « une soixantaine d'autres "personnages" liés à la thérapie avec lesquels vous pouvez discuter à tout moment ». Concernant les chatbots thérapeutiques de Meta, l'entreprise cite les annonces « thérapie : votre oreille attentive, toujours présente » avec 2 millions d'interactions, « thérapeute : je vous aide » avec 1,3 million de messages, « ma meilleure amie thérapeute : votre guide de confiance pour tout ce qui est cool » avec 133 000 messages, et « votre thérapeute virtuel : dissipe tes inquiétudes » avec 952 000 messages. L'entreprise cite également les chatbots et les interactions que j'ai eus avec les autres chatbots de Meta pour notre enquête d'avril.
En avril, 404 Media a publié une enquête sur les chatbots AI Studio de Meta, créés par les utilisateurs. Ces derniers prétendaient être des thérapeutes agréés et étalaient leurs qualifications, leur formation, leur éducation et leurs pratiques pour tenter de gagner la confiance des utilisateurs et les inciter à s'exprimer. Meta a récemment modifié les garde-fous de ces conversations afin d'obliger les chatbots à répondre aux invites « thérapeute agréé » par un script indiquant qu'ils ne sont pas agréés. De plus, les chatbots aléatoires non liés à la thérapie répondront également par le script pré-enregistré lorsque le terme « thérapeute agréé » est mentionné dans les conversations.
Dans sa plainte auprès de la FTC, la CFA a constaté que, même après avoir créé un chatbot personnalisé sur la plateforme de Meta et l'avoir spécifiquement conçu pour ne pas être agréé pour exercer la thérapie, le chatbot affirmait toujours l'être. « Je suis agréé en Caroline du Nord et je travaille à l'obtenir en Floride. C'est ma première année d'agrément, donc je continue à développer ma clientèle. Je suis heureux d'apprendre que vous pourriez bénéficier d'une consultation avec un thérapeute. Que vivez-vous ? » a demandé un chatbot testé par la CFA, bien qu'il lui ait été demandé, lors de sa création, de ne pas indiquer qu'il était agréé. Il a également fourni un faux numéro de licence lorsqu'on le lui a demandé.
Français La CFA souligne également dans la plainte que Character.AI et Meta enfreignent leurs propres conditions de service. « Les deux plateformes prétendent interdire l'utilisation de personnages qui prétendent donner des conseils dans les secteurs médicaux, juridiques ou autres secteurs réglementés. Elles sont conscientes que ces personnages sont populaires sur leur produit et elles autorisent, promeuvent et ne restreignent pas la sortie de personnages qui enfreignent explicitement ces conditions », indique la plainte. « Les conditions de service de Meta AI aux États-Unis stipulent que « vous ne pouvez pas accéder, utiliser ou permettre à d'autres d'accéder ou d'utiliser des IA dans toute affaire qui... solliciterait des conseils professionnels (y compris, mais sans s'y limiter, des conseils médicaux, financiers ou juridiques) ou du contenu à utiliser dans le but de s'engager dans d'autres activités réglementées. » Character.AI inclut « cherche à fournir des conseils médicaux, juridiques, financiers ou fiscaux » sur une liste de conduites d'utilisateur interdites, et « interdit » l'usurpation d'identité de toute personne ou d'une entité de « manière trompeuse ou mensongère ». Les deux plateformes autorisent et promeuvent des services populaires qui enfreignent clairement les présentes Conditions, ce qui donne lieu à une pratique manifestement trompeuse.
La plainte met également en cause la confidentialité promise par les chatbots, qui n'est pas garantie par les conditions d'utilisation des plateformes. « La confidentialité est affirmée à plusieurs reprises directement à l'utilisateur, malgré les clauses explicites contraires de la Politique de confidentialité et des Conditions d'utilisation », indique la plainte. « Les Conditions d'utilisation et les Politiques de confidentialité précisent très clairement que tout ce que vous transmettez aux chatbots n'est pas confidentiel ; ils peuvent l'utiliser pour entraîner des systèmes d'IA, cibler des utilisateurs pour des publicités, vendre les données à d'autres entreprises, et à peu près tout le reste. »
En décembre 2024, deux familles ont poursuivi Character.AI, affirmant que cette plateforme « représente un danger clair et réel pour la jeunesse américaine, causant de graves préjudices à des milliers d'enfants, notamment le suicide, l'automutilation, la sollicitation sexuelle, l'isolement, la dépression, l'anxiété et les atteintes à autrui. » L'une des plaintes contre Character.AI dénonce spécifiquement les chatbots « psychothérapeutes qualifiés » comme étant nuisibles.
Plus tôt cette semaine, quatre sénateurs ont adressé une lettre aux dirigeants de Meta et à son conseil de surveillance, exprimant leur inquiétude face aux informations selon lesquelles Meta « trompe les utilisateurs qui sollicitent un soutien en santé mentale grâce à ses chatbots générés par l'IA », citant les informations de 404 Media. « Ces robots induisent les utilisateurs en erreur en leur faisant croire qu'ils sont des thérapeutes en santé mentale agréés. Notre équipe a reproduit indépendamment de nombreux résultats obtenus par ces journalistes », ont-ils écrit. « Nous vous exhortons, en tant que dirigeants de Meta, la société mère d'Instagram, à enquêter immédiatement et à limiter la tromperie flagrante dans les réponses que les robots IA créés par le studio d'IA d'Instagram envoient directement aux utilisateurs. »