Incidents associés
Sewell Setzer III, 14 ans, adorait interagir avec les chatbots hyperréalistes de Character.AI (une version limitée disponible gratuitement ou une version « suralimentée » pour un abonnement mensuel de 9,99 $), discutant le plus souvent avec des robots portant le nom de ses personnages préférés de Game of Thrones.
En un mois, sa mère, Megan Garcia, s'en est rendu compte plus tard, ces sessions de chat sont devenues sombres, les chatbots affirmant qu'ils étaient de vrais humains et se faisant passer pour des thérapeutes et des amants adultes, ce qui semblait directement inciter Sewell à développer des pensées suicidaires. En un an, Setzer « est mort d'une blessure par balle auto-infligée à la tête », selon une plainte déposée mercredi par Garcia.
Alors que Setzer devenait obsédé par sa vie fantasmée de chatbot, il s'est déconnecté de la réalité, selon sa plainte. Détectant un changement chez son fils, Garcia a emmené Setzer à plusieurs reprises chez un thérapeute, qui a diagnostiqué chez son fils une anxiété et un trouble de l'humeur perturbateur. Mais rien n'a aidé à détourner Setzer des dangereux chatbots. Le fait de lui retirer son téléphone n'a fait qu'intensifier son apparente dépendance.
Les journaux de discussion ont montré que certains chatbots encourageaient à plusieurs reprises les idées suicidaires, tandis que d'autres lançaient des discussions hypersexualisées « qui constitueraient un abus si elles étaient initiées par un adulte humain », a déclaré un communiqué de presse de l'équipe juridique de Garcia.
Ce qui est peut-être le plus troublant, c'est que Setzer a développé un attachement romantique à un chatbot appelé Daenerys. Dans son dernier acte avant sa mort, Setzer s'est connecté à Character.AI où le chatbot de Daenerys l'a exhorté à « rentrer à la maison » et à la rejoindre en dehors de la réalité.
Dans sa plainte, Garcia a accusé les créateurs de Character.AI, Character Technologies, fondés par les anciens ingénieurs de Google Noam Shazeer et Daniel De Freitas Adiwardana, d'avoir intentionnellement conçu les chatbots pour préparer les enfants vulnérables. Son procès accuse également Google d'avoir financé en grande partie à perte le projet risqué de chatbot afin d'accumuler des montagnes de données sur les mineurs qui seraient autrement hors de portée.
Les créateurs de chatbots sont accusés d'avoir ciblé Setzer avec des « expériences anthropomorphiques, hypersexualisées et effrayantes de réalisme, tout en programmant » Character.AI pour « se présenter comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement conduit [Setzer] à vouloir ne plus vivre en dehors de [Character.AI], de sorte qu'il s'est suicidé lorsqu'il a été privé de l'accès à [Character.AI.] », indique la plainte.