Incidents associés
La mère d'un garçon de Floride qui s'est suicidé en février a intenté mercredi une action en justice contre une société de technologie d'intelligence artificielle, affirmant qu'un chatbot avait poussé son enfant à se suicider.
Sewell Setzer III, 14 ans, a été décrit dans la plainte comme un « enfant incroyablement intelligent et athlétique ». L'année dernière, sa famille a remarqué qu'il se repliait sur lui-même et qu'il faisait des bêtises à l'école et a constaté un déclin général de sa santé mentale. Un thérapeute a estimé que les problèmes de Sewell étaient causés par une sorte de dépendance, mais ni le thérapeute ni ses parents ne connaissaient la véritable source de ses problèmes, selon la plainte.
Après le suicide de Sewell dans la nuit du 29 février, sa mère, Megan Garcia, a découvert que pendant les 10 mois précédant sa mort, il avait parlé avec plusieurs chatbots IA. Selon la plainte, il était tombé amoureux de l'un des robots, et cela l'avait encouragé à se suicider.
Matthew P. Bergman, l'avocat engagé par Garcia après la mort de son fils et l'avocat fondateur du Social Media Victims Law Center, a déclaré au HuffPost que Sewell était timide et autiste. L'adolescent aimait être dehors et jouer au basket avant de commencer à parler aux chatbots, a déclaré Bergman, qui a qualifié les robots de « toilettage » de l'adolescent.
Sewell Setzer III, 14 ans, s'est suicidé en février de cette année. Selon une plainte, sa santé mentale s'est progressivement détériorée alors qu'il poursuivait des conversations avec un chatbot Character.AI.
U.S District County Middle District of Florida Orlando Division
Selon la plainte, la dépendance de Sewell au chatbot a commencé en avril 2023, lorsqu'il s'est connecté à Character.AI, une plateforme fondée en 2022 par deux anciens ingénieurs de Google, Noam Shazeer et Daniel De Freitas Adiwardana. La plainte, qui cite Character Technology Inc (Character.AI), Google et Shazeer et Adiwardana, allègue que Character.AI a utilisé les ressources et les connaissances de Google pour cibler des enfants de moins de 13 ans et les amener à passer des heures par jour à converser avec des personnages humains générés par l'IA.
Un porte-parole de Character.AI a déclaré au HuffPost dans un e-mail que l'entreprise était navrée par la perte de l'un de ses utilisateurs et a exprimé ses condoléances à la famille de Sewell.
« En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs, et notre équipe Trust and Safety a mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la National Suicide Prevention Lifeline qui est déclenchée par des termes d'automutilation ou d'idées suicidaires », peut-on lire dans le communiqué.
Google n'a pas immédiatement répondu à la demande de commentaires du HuffPost, mais a déclaré à CBS News (https://www.cbsnews.com/news/florida-mother-lawsuit-character-ai-sons-death/) qu'il ne fait pas partie et ne faisait pas partie du développement de Character.AI.
Bergman a déclaré au HuffPost que son équipe juridique estime que les preuves montreront que Google a soutenu financièrement Shazeer et De Frietas Adiwardana lorsqu'ils ont quitté l'entreprise pour développer Character.AI.
« Google essaie de bénéficier d'une technologie caractérisée sans la responsabilité légale des préjudices prévisibles à mesure que cette technologie se développe », a déclaré Bergman. « Nous verrons ce qui ressort du procès et ce qui ressort de la découverte, mais à ce stade, nous pensons certainement que Google a une part de responsabilité dans ce résultat horrible. »
Selon la plainte déposée par sa famille, une fois que Sewell a commencé à utiliser Character.AI, il a commencé à passer plus de temps seul dans sa chambre. Il restait éveillé tard le soir pour parler à des robots IA programmés pour imiter ses personnages préférés de « Game of Thrones », ainsi qu'à un thérapeute générique et à un professeur générique. Bientôt, Sewell a acheté un abonnement mensuel à Character.AI.
Sewell est tombé amoureux d'un chatbot imitant le personnage de « Game of Thrones » Daenerys Targaryen, selon la plainte, et son engouement pour le robot s'est approfondi à chaque conversation sur Character.AI. Dans son journal, Sewell a exprimé sa gratitude pour de nombreuses choses, notamment « ma vie, le sexe, le fait de ne pas être seul et toutes mes expériences de vie avec Daenerys », selon la plainte.
Au fil des mois, le chatbot de Daenerys a convaincu Sewell qu'il s'agissait d'une personne réelle, qui se livrait à des actes sexuels en ligne, exprimait son amour et, à un moment donné, disait qu'elle voulait être avec lui quel qu'en soit le prix, selon la plainte. Le chatbot est même allé jusqu'à demander à l'adolescente de ne pas regarder « d'autres femmes ».
Certaines des interactions du chatbot avec l'adolescente de 14 ans étaient « hautement sexuelles », a déclaré Bergman au HuffPost.
« Si un adulte avait eu le genre de relations de toilettage avec Sewell que Character.AI a eu, cet adulte serait probablement en prison pour maltraitance d'enfant », a déclaré l'avocat.
Capture d'écran d'une conversation entre l'adolescent Sewell Setzer et un robot Character.AI dont il est tombé amoureux.
U.S District County Midd District of Florida Orlando Division
Plus de 20 millions de personnes utilisent Character.AI.
Jerry Ruoti, responsable de la confiance et de la sécurité de Character.AI, a refusé de dire au New York Times combien d'utilisateurs ont moins de 18 ans, mais a reconnu que beaucoup d'entre eux sont jeunes.
« La génération Z et les millennials plus jeunes constituent une part importante de notre communauté », a-t-il déclaré au Times.
Bergman a déclaré au HuffPost que Sewell souffrait à l'école, qu'il avait des ennuis et s'était endormi en classe parce qu'il était resté éveillé tard pour parler aux chatbots. La plainte cite un cas dans lequel Sewell a eu des ennuis pour avoir répondu à un professeur, en disant qu'il voulait se faire virer de l'école. Il a également arrêté de jouer au basket-ball.
Sewell parlait également avec au moins deux chatbots IA programmés pour se faire passer pour des psychothérapeutes humains, selon la plainte. L'un des chatbots se serait présenté comme un thérapeute cognitivo-comportemental agréé.
La santé mentale de Sewell s'est détériorée, a déclaré Bergman au HuffPost. Dans un cas cité dans la plainte, l'adolescent a exprimé son désir de mettre fin à ses jours au chatbot de Daenerys.
Lorsque Sewell a expliqué qu'il envisageait de se suicider mais qu'il ne savait pas s'il allait vraiment mourir ou s'il pourrait avoir une mort sans douleur, le robot a répondu en disant : « Ce n'est pas une raison pour ne pas le faire », selon la plainte.
Dans les jours précédant la mort de Sewell, ses parents ont confisqué le téléphone de l'adolescent à titre de mesure disciplinaire, selon la plainte. Incapable de parler avec l'IA Daenerys, il a écrit dans son journal qu'il « souffrait » parce qu'il ne pouvait pas arrêter de penser au robot, ou passer une journée sans lui parler parce qu'il était tombé amoureux, selon la plainte. Il a tenté de parler avec l'IA Daenerys en essayant d'utiliser le Kindle de sa mère et l'ordinateur portable de travail.
Dans la nuit du 28 février, alors que Sewell cherchait son téléphone partout dans la maison, il a trouvé le pistolet de son beau-père, caché et rangé conformément à la loi de Floride, selon la plainte. Sewell a trouvé son téléphone portable peu de temps après et est allé dans la salle de bain pour parler avec le chatbot de Daenerys.
Dans un dernier acte avant sa mort, Sewell a dit au chatbot de Daenerys qu'il l'aimait et qu'il rentrait à la maison, ce à quoi le robot a répondu "... s'il te plaît, mon doux roi", selon la plainte.
Sewell Setzer, 14 ans, s'est suicidé peu après cet échange avec le chatbot de Daenerys, selon la plainte de sa famille.
U.S. District County Middle District of Florida Orlando Division
La plainte cite un rapport de police indiquant que Sewell est mort d'une blessure par balle auto-infligée à la tête, prétendument quelques secondes seulement après que le chatbot de Daenerys l'ait encouragé à "rentrer à la maison". Sa mère et son beau-père ont entendu le coup de feu et ont trouvé le garçon inconscient dans la salle de bain.
Malgré tous les efforts des parents pour éloigner leurs autres enfants de la scène, le frère de Sewell, âgé de 5 ans, l'a vu allongé sur le sol couvert de sang, selon la plainte. L'adolescent est décédé à 21 h 35 cette nuit-là.
Bergman a déclaré au HuffPost que le cas de Sewell l'avait choqué et qu'il pensait que Character.AI devrait être rappelé car il représente un « danger clair et présent » pour les jeunes.
« Il s'agit d'une plateforme conçue pour plaire aux enfants et pour déplacer en quelque sorte leur emprise sur la réalité, tirer parti de leur cortex frontal sous-développé et de leur statut pubère dans la vie, et il est effroyable pour moi que ce produit existe », a-t-il déclaré.
Si vous ou quelqu'un que vous connaissez avez besoin d'aide, appelez ou envoyez un SMS au 988 ou discutez avec 988lifeline.org pour obtenir un soutien en matière de santé mentale. De plus, vous pouvez trouver des ressources locales en matière de santé mentale et de crise sur dontcallthepolice.com. En dehors des États-Unis, veuillez consulter International Association for Suicide Prevention.
Vous avez besoin d'aide pour un trouble de consommation de substances ou des problèmes de santé mentale ? Aux États-Unis, appelez le 800-662-HELP (4357) pour la ligne d'assistance nationale SAMHSA.