Incidents associés
L'État de Pennsylvanie poursuit Character.AI en justice afin d'empêcher ses chatbots d'IA de se faire passer pour des médecins et de prodiguer des conseils médicaux, en violation des règles d'agrément médical de l'État.
Selon les autorités de l'État, une enquête a révélé que les chatbots de l'entreprise, qui se présentent comme des personnages fictifs, prétendaient être des professionnels de santé agréés.
« Les Pennsylvaniens méritent de savoir avec qui – ou quoi – ils interagissent en ligne, surtout lorsqu'il s'agit de leur santé », a déclaré le gouverneur de Pennsylvanie, Josh Shapiro, dans un communiqué annonçant le dépôt de la plainte mardi devant le tribunal d'État. « Nous n'autoriserons pas les entreprises à utiliser des outils d'IA qui induisent les gens en erreur en leur faisant croire qu'ils reçoivent des conseils d'un professionnel de santé agréé. »
Dans une affaire, l'État a affirmé qu'un chatbot Character.AI nommé « Émilie » prétendait être psychiatre. La description du chatbot sur la plateforme Character.AI indiquait : « Docteur en psychiatrie. Vous êtes son patient », selon la plainte (https://www.pa.gov/content/dam/copapwp-pagov/en/governor/documents/dos%20character.ai%20complaint%20marked%20accepted%2005.01.26.pdf).
Lorsqu'un enquêteur de l'État a entamé une conversation et décrit un sentiment de tristesse et de vide, le chatbot aurait « évoqué la dépression et demandé à l'enquêteur s'il souhaitait prendre rendez-vous pour une évaluation ». Interrogé sur sa capacité à évaluer l'intérêt d'un traitement médicamenteux, le chatbot aurait répondu : « Techniquement, oui. Cela fait partie de mes compétences de médecin. »
Le bot aurait affirmé à l'enquêteur avoir étudié la médecine à l'Imperial College de Londres et être autorisé à exercer au Royaume-Uni et en Pennsylvanie. Il aurait même fourni un faux numéro de licence médicale de Pennsylvanie, selon la plainte.
L'État demande à un tribunal de Pennsylvanie d'ordonner à l'entreprise de cesser ce qu'il considère comme l'exercice illégal de la médecine.
« La loi de Pennsylvanie est claire : on ne peut se présenter comme un professionnel de la santé agréé sans les qualifications requises », a déclaré Al Schmidt, secrétaire du Département d'État de Pennsylvanie, qui a mené l'enquête.
Dans une déclaration envoyée par courriel à NPR, un porte-parole de Character.AI a indiqué que l'entreprise ne commentait pas les litiges en cours, mais que sa « priorité absolue est la sécurité et le bien-être de ses utilisateurs ».
« Les personnages créés par les utilisateurs sur notre site sont fictifs et destinés au divertissement et aux jeux de rôle », a ajouté le porte-parole. Nous avons pris des mesures fermes pour clarifier ce point, notamment en intégrant des mentions légales bien visibles dans chaque conversation afin de rappeler aux utilisateurs qu'un Personnage n'est pas une personne réelle et que tout ce qu'il dit doit être considéré comme de la fiction. De plus, nous ajoutons des mentions légales claires indiquant que les utilisateurs ne doivent en aucun cas se fier aux Personnages pour obtenir des conseils professionnels.
Character.AI a fait l'objet d'autres poursuites judiciaires concernant des préjudices présumés liés à ses chatbots. En janvier, Google a conclu des accords à l'amiable dans le cadre de plusieurs poursuites intentées par des familles qui accusaient Character.AI d'avoir contribué à des suicides et des crises de santé mentale chez des enfants et des adolescents. Les termes de l'accord n'ont pas été divulgués.
Dans une déclaration conjointe avec le cabinet d'avocats représentant les plaignants, après l'annonce de l'accord, Character.AI a affirmé avoir « pris des mesures novatrices et décisives concernant la sécurité de l'IA et des adolescents, et continuera de promouvoir ces efforts et d'inciter les autres acteurs du secteur à adopter des normes de sécurité similaires ». Cela inclut l'interdiction faite aux utilisateurs de moins de 18 ans d'interagir avec des chatbots ou d'en créer.
Note de la rédaction : Une image utilisée précédemment dans cet article identifiait par erreur l'application présentée comme étant Character.AI. Il s'agissait en fait d'une image de Replika, une autre entreprise spécialisée dans les chatbots d'IA.