Incidents associés
La mère d’un adolescent de 14 ans qui s’est suicidé accuse un chatbot IA d’être responsable de la mort de son fils. La semaine dernière, Megan L. Garcia a intenté une action en justice contre Character.AI, qualifiant sa fonctionnalité de chatbot de « dangereuse et non testée ». Garcia a également affirmé qu’elle pouvait « tromper les clients pour qu’ils leur confient leurs pensées et leurs sentiments les plus intimes », a rapporté le New York Times.
« J’ai l’impression que c’est une grande expérience, et que mon enfant n’a été qu’un dommage collatéral », a-t-elle déclaré au m édia.
Sewell Setzer III, qui souffrait du syndrome d’Asperger léger, d’anxiété et d’un trouble de la régulation de l’humeur perturbateur, a passé des mois à envoyer des messages à un chatbot IA nommé d’après Daenerys Targaryen, un personnage de Game of Thrones. Il a commencé à s’isoler, mais sa famille et ses amis ne savaient pas à quel point il était impliqué dans le chatbot.
@cbsmorningsLe fils de 14 ans de Megan Garcia, Sewell Setzer III, s’est suicidé en février. Garcia poursuit maintenant Character.AI et Google, alléguant que son fils est devenu accro à la plateforme et a entretenu pendant des mois une relation émotionnelle et sexuelle virtuelle avec un chatbot IA. Un porte-parole de Google a déclaré, en partie, que l’entreprise n’est pas et n’a pas participé au développement de Character.AI. Character.AI a qualifié la situation de tragique et a déclaré que ses pensées allaient à la famille, soulignant qu’elle prenait très au sérieux la sécurité de ses utilisateurs. Un avertissement sur chaque conversation indique : « Rappel : tout ce que disent les personnages est inventé ! »
Sewell savait que le chatbot n'était pas réel. Pourtant, il s'est confié au personnage de l'IA – exprimant des pensées suicidaires.
« J'aime tellement rester dans ma chambre parce que je commence à me détacher de cette « réalité », et je me sens aussi plus en paix, plus connecté avec Dany et beaucoup plus amoureux d'elle, et tout simplement plus heureux », a-t-il écrit dans son journal.
Un garçon de 14 ans originaire de Floride, Sewell Setzer III, s'est suicidé en février après avoir passé des mois à envoyer des messages à un chatbot de « Game of Thrones » à une application d'IA, selon une plainte déposée par sa mère.
Le garçon était devenu obsédé par le bot, « Dany », basé sur Daenerys Targaryen, et a reçu… pic.twitter.com/XgT2aAORhD
— Morbid Knowledge (@Morbidful) 24 octobre 2024
« Nous voulons reconnaître qu'il s'agit d'une situation tragique, et nos pensées vont à la famille. Nous prenons la sécurité de nos utilisateurs très au sérieux, et nous recherchons constamment des moyens de faire évoluer notre plateforme », a déclaré Jerry Ruoti, responsable de la confiance et de la sécurité chez Character.AI, dans une déclaration au New York Times.
Il a ajouté que l'entreprise interdit « la promotion ou la représentation de l'automutilation et du suicide » et que des mesures de sécurité supplémentaires seraient ajoutées pour les mineurs.
Chelsea Harrison, porte-parole de Character.AI, a confirmé que des limites de temps seront ajoutées avec un message qui dit : « Il s'agit d'un chatbot IA et non d'une personne réelle. Consid érez tout ce qu'il dit comme de la fiction. Ce qui est dit ne doit pas être considéré comme un fait ou un conseil. »
Et à l'avenir, si les messages contiennent des mots relatifs à l'automutilation ou au suicide, des messages contextuels dirigeront les utilisateurs vers une hotline de prévention du suicide.
Comme l'a rapporté Blavity, plus d'une douzaine d'États américains ont poursuivi TikTok pour ne pas avoir protégé les mineurs et pour avoir aggravé une crise de santé mentale chez les adolescents. Les chatbots IA ne sont pas réglementés car ils sont relativement nouveaux.
« Dans l’ensemble, c’est le Far West », a déclaré au Times Bethanie Maples, chercheuse à Stanford, qui étudie l’impact des applications d’intelligence artificielle sur la santé mentale. « Je ne pense pas que ce soit intrinsèquement dangereux. Mais il existe des preuves que c’est dangereux pour les utilisateurs déprimés et chroniquement solitaires et pour les personnes qui traversent une période de changement, et les adolescents traversent souvent une période de changement. »
Si vous ou quelqu’un que vous connaissez luttez contre des idées suicidaires, appelez la Suicide and Crisis Lifeline en composant le 988. Vous pouvez également envoyer le message « STRENGTH » par SMS à la Crisis Text Line au 741741 ou aller sur 988lifeline.org****.