Incidents associés
Character AI, une start-up basée à Menlo Park, en Californie, se décrit comme ayant pour mission de « donner à chacun, dans le monde entier, les moyens d'utiliser une IA personnalisée ». Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA basés sur des personnages de genres tels que les anime, les « assistants numériques » traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui est proposé, vous pouvez créer votre propre chatbot personnalisé, en choisissant sa « voix, les débuts de conversation, son ton » et bien plus encore. L'entreprise est désormais sous les projecteurs pour l'un de ces personnages générés par les utilisateurs, nommé d'après le personnage de Game of Thrones, Daenerys Targaryen, qui est lié à une adolescente de 14 ans de Floride qui s'est suicidée après avoir parlé avec le personnage artificiel pendant plusieurs mois.
ABC7News rapporte que le garçon, Sewell Setzer III, parlait avec le chatbot depuis un certain temps, et sa mère a déclaré que même s'il savait que ce n'était pas une vraie personne, il « s'est émotionnellement attaché » à la personnalité numérique et a ensuite « sombré dans l'isolement et la dépression avant de se suicider ». Le New York Times dit que Setzer discutait avec le robot des dizaines de fois par jour, et que leurs interactions s'étaient intensifiées au point d'échanger du contenu romantique et sexuel. Il parlait avec le robot quelques instants avant sa mort et avait précédemment indiqué qu'il avait eu des pensées suicidaires, indique le Times.
La mère du garçon, Megan L. Garcia, poursuit maintenant Character AI. Garcia chercherait à tenir le créateur du chatbot et ses fondateurs, Noam Shazeer et Daniel De Freitas, responsables du suicide de son fils et demande des dommages et intérêts non spécifiés. Le site d'information Decrypt.co explique que la poursuite allègue que Character AI « a choisi de soutenir, de créer, de lancer et de cibler les mineurs une technologie qu'ils savaient être dangereuse et peu sûre ». La poursuite vise également Google et Alphabet. En août, Google a réembauché les deux fondateurs de Character (qui avaient déjà quitté le géant technologique en 2021 pour créer Character) dans le cadre d'un accord qui a vu Google octroyer une licence pour la technologie de chatbot de la startup. L'accord valait 2,7 milliards de dollars.
Ce qui complique le litige concernant la technologie de Character AI, c'est qu'il n'y a pas d'autres utilisateurs humains impliqués et que le système de Character ne s'appuie peut-être pas sur les mêmes astuces algorithmiques prétendument addictives que celles utilisées par d'autres plateformes sociales pour maintenir l'engagement des utilisateurs.
Le personnage a fait une déclaration à ce sujet dans un message X , notant "Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer notre gratitude pour ce message". En tant qu'entreprise, elle déclare prendre « très au sérieux la sécurité de ses utilisateurs et continuer à ajouter de nouvelles fonctionnalités de sécurité », poursuit le message, en renvoyant vers un blog qui indique que « nos politiques n'autorisent pas le contenu sexuel non consensuel, les descriptions graphiques ou spécifiques d'actes sexuels, ni la promotion ou la représentation d'automutilation ou de suicide ». Il explique également qu'il « forme continuellement le grand modèle de langage (LLM) qui alimente les personnages de la plateforme pour qu'il adhère à ces politiques ».
La mort de Setzer est une tragédie, mais toutes les questions de responsabilité juridique devront attendre d'être tranchées devant un tribunal - la technologie en question ici est, après tout, très nouvelle.
Il convient de rappeler que les plateformes de chat et de partage, principalement sous la forme de systèmes de médias sociaux traditionnels comme le service Instagram de Meta, font la une des journaux depuis des années en raison d'allégations de liens avec la crise actuelle de santé mentale des adolescents. À la mi-octobre, par exemple, il est apparu que Meta allait faire face à deux poursuites judiciaires concernant son impact présumé sur le bien-être mental des jeunes utilisateurs.
Cette histoire n'est pas un avertissement pour toutes les entreprises d'IA, ni pour les tiers qui utilisent ou licencient la technologie de l'IA. Mais elle rappelle que la technologie des chatbots et des technologies d'IA similaires en sont à leurs balbutiements et qu'il y aura inévitablement des complications et des erreurs. Elle rappelle également que si les services de votre entreprise sont accessibles aux jeunes, vous pourriez constater que vos systèmes de protection de ces utilisateurs vulnérables font l'objet d'un examen minutieux.
Si vous ou quelqu'un que vous connaissez avez des pensées suicidaires ou êtes en crise, sachez que vous pouvez demander de l'aide à la ligne d'assistance en cas de suicide et de crise 988 en composant le 988. Elle est ouverte 24 heures sur 24 et est gratuite et confidentielle.