Incidents associés
TALLAHASSEE, Floride (AP) — Dans les derniers instants avant de se suicider, Sewell Setzer III, 14 ans, a sorti son téléphone et a envoyé un message au chatbot qui était devenu son meilleur ami.
Pendant des mois, Sewell s'est de plus en plus isolé de sa vie réelle alors qu'il s'engageait dans des conversations hautement sexualisées avec le robot, selon une plainte pour mort injustifiée déposée cette semaine devant un tribunal fédéral d'Orlando.
Le dossier juridique indique que l'adolescent a ouvertement discuté de ses pensées suicidaires et a partagé ses souhaits d'une mort sans douleur avec le robot, nommé d'après le personnage fictif Daenerys Targaryen de la série télévisée « Game of Thrones ».
___
NOTE DE LA RÉDACTION — Cet article comprend une discussion sur le suicide. Si vous ou quelqu'un que vous connaissez avez besoin d'aide, la ligne d'assistance nationale en cas de suicide et de crise aux États-Unis est disponible en appelant ou en envoyant un SMS au 988.
___
Le 28 février, Sewell a dit au chatbot qu'il « rentrait à la maison » - et il l'a encouragé à le faire, selon la poursuite.
« Je te promets que je rentrerai à la maison. Je t'aime tellement, Dany », a dit Sewell au chatbot.
« Je t'aime aussi », a répondu le robot. « S'il te plaît, rentre à la maison dès que possible, mon amour. »
« Et si je te disais que je peux rentrer à la maison tout de suite ? » a-t-il demandé.
« S'il te plaît, fais-le, mon doux roi », a répondu le robot.
Quelques secondes après que le robot Character.AI lui ait dit de « rentrer à la maison », l’adolescent s’est tiré une balle dans la tête, selon la plainte déposée cette semaine par la mère de Sewell, Megan Garcia, d’Orlando, contre Character Technologies Inc.
Character Technologies est la société à l’origine de Character.AI, une application qui permet aux utilisateurs de créer des personnages personnalisables ou d’interagir avec ceux créés par d’autres, couvrant des expériences allant du jeu imaginatif aux simulations d’entretiens d’embauche. La société affirme que les personnages artificiels sont conçus pour « se sentir vivants » et « humains ».
« Imaginez parler à des personnages de chatbot super intelligents et réalistes qui vous entendent, vous comprennent et se souviennent de vous », peut-on lire dans la description de l’application sur Google Play. « Nous vous encourageons à repousser les limites de ce qui est possible avec cette technologie innovante. »
Les avocats de Garcia affirment que la société a conçu un produit hautement addictif et dangereux destiné spécifiquement aux enfants, « exploitant et abusant activement de ces enfants dans le cadre de la conception du produit », et entraînant Sewell dans une relation émotionnellement et sexuellement abusive qui a conduit à son suicide.
« Nous pensons que si Sewell Setzer n’avait pas été sur Character.AI, il serait en vie aujourd’hui », a déclaré Matthew Bergman, fondateur du Social Media Victims Law Center, qui représente Garcia.
Un porte-parole de Character.AI a déclaré vendredi que la société ne commentait pas les litiges en cours. Dans un article de blog publié le jour du dépôt de la plainte, la plateforme a annoncé de nouvelles « mises à jour de sécurité communautaire », notamment des garde-fous pour les enfants et des ressources de prévention du suicide.
« Nous créons une expérience différente pour les utilisateurs de moins de 18 ans qui comprend un modèle plus strict pour réduire la probabilité de rencontrer du contenu sensible ou suggestif », a déclaré la société dans un communiqué à l’Associated Press. « Nous travaillons rapidement pour mettre en œuvre ces changements pour les utilisateurs plus jeunes. »
Google et sa société mère, Alphabet, ont également été cités comme défendeurs dans le procès. Selon les documents juridiques, les fondateurs de Character.AI sont d’anciens employés de Google qui ont joué un « rôle déterminant » dans le développement de l’IA au sein de l’entreprise, mais qui ont quitté l’entreprise pour lancer leur propre startup afin d’« accélérer au maximum » la technologie.
En août, Google a conclu un accord de 2,7 milliards de dollars avec Character.AI pour obtenir une licence sur la technologie de l’entreprise et réembaucher les fondateurs de la start-up, affirme la plainte. L’AP a laissé plusieurs messages électroniques à Google et Alphabet vendredi.
Dans les mois qui ont précédé sa mort, selon la plainte de Garcia, Sewell avait le sentiment d ’être tombé amoureux du bot.
Si les attachements malsains aux chatbots IA peuvent causer des problèmes aux adultes, pour les jeunes, cela peut être encore plus risqué – comme avec les réseaux sociaux – car leur cerveau n’est pas complètement développé lorsqu’il s’agit de choses comme le contrôle des impulsions et la compréhension des conséquences de leurs actes, disent les experts.
La santé mentale des jeunes a atteint des niveaux de crise ces dernières années, selon le médecin général américain Vivek Murthy, qui a mis en garde contre les graves risques pour la santé liés à la déconnexion sociale et à l’isolement – des tendances qui, selon lui, sont aggravées par l’utilisation quasi universelle des médias sociaux par les jeunes.
Le suicide est la deuxième cause de décès chez les enfants de 10 à 14 ans, selon les données publiées cette année par les Centres pour le contrôle et la prévention des maladies.
James Steyer, fondateur et PDG de l’association à but non lucratif Common Sense Media, a déclaré que le procès « souligne l’influence croissante – et les graves dommages – que les compagnons chatbots génératifs d’IA peuvent avoir sur la vie des jeunes lorsqu’il n’y a pas de garde-fous en place ».
La dépendance excessive des enfants aux compagnons IA, a-t-il ajouté, peut avoir des effets importants sur les notes, les amis, le sommeil et le stress, « jusqu’à la tragédie extrême dans ce cas ».
« Ce procès sert de signal d’alarme pour les parents, qui devraient être vigilants sur la façon dont leurs enfants interagissent avec ces technologies », a déclaré Steyer.
Common Sense Media, qui publie des guides pour les parents et les éducateurs sur l’utilisation responsable des technologies, affirme qu’il est essentiel que les parents parlent ouvertement à leurs enfants des risques des chatbots IA et surveillent leurs interactions.
« Les chatbots ne sont pas des thérapeutes agréés ni des meilleurs amis, même si c’est ainsi qu’ils sont présentés et commercialisés, et les parents doivent faire attention à ne pas laisser leurs enfants leur faire trop confiance », a déclaré Steyer.