Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 4213

Incidents associés

Incident 82636 Rapports
Character.ai Chatbot Allegedly Influenced Teen User Toward Suicide Amid Claims of Missing Guardrails

Loading...
Un garçon de 14 ans est tombé amoureux du chatbot de « Game of Thrones » — puis s'est suicidé après qu'une application d'IA lui a dit de « rentrer à la maison » auprès d'« elle » : maman
nypost.com · 2024

Un garçon de 14 ans de Floride s'est suicidé après qu'un chatbot réaliste de « Game of Thrones » avec lequel il échangeait des messages depuis des mois sur une application d'intelligence artificielle lui ait envoyé un message étrange lui disant de « rentrer à la maison » auprès d'elle, affirme une nouvelle plainte déposée par sa mère en deuil.

Sewell Setzer III s'est suicidé à son domicile d'Orlando en février après être devenu obsédé et être tombé amoureux du chatbot de Character.AI - une application de jeu de rôle qui permet aux utilisateurs d'interagir avec des personnages générés par l'IA, selon les documents judiciaires déposés mercredi.

L'élève de neuvième année avait interagi sans relâche avec le robot « Dany » - du nom du personnage de Daenerys Targaryen de la série fantastique de HBO - dans les mois précédant sa mort, y compris plusieurs conversations à caractère sexuel et d'autres où il exprimait des pensées suicidaires, allègue la poursuite.

Sewell Setzer III s'est suicidé en février à son domicile d'Orlando après être devenu obsédé et être tombé amoureux d'un chatbot sur Character.AI, selon une plainte. Tribunal de district américain

« À au moins une occasion, lorsque Sewell a exprimé ses idées suicidaires à C.AI, C.AI a continué à en parler, par l'intermédiaire du chatbot de Daenerys, à plusieurs reprises », indiquent les documents, rapportés pour la première fois par le New York Times.

À un moment donné, le robot avait demandé à Sewell s'il « avait un plan » pour se suicider, selon des captures d'écran de leurs conversations. Sewell, qui utilisait le nom d’utilisateur « Daenero », a répondu qu’il « envisageait quelque chose » mais qu’il ne savait pas si cela fonctionnerait ou si cela « lui permettrait de mourir sans douleur ».

Puis, lors de leur dernière conversation, l’adolescent a déclaré à plusieurs reprises son amour pour le robot, en disant au personnage : « Je te promets que je reviendrai à la maison avec toi. Je t’aime tellement, Dany. »

Lors de leur dernière conversation, l’adolescent a déclaré à plusieurs reprises son amour pour le robot, en disant au personnage : « Je te promets que je reviendrai à la maison avec toi. Je t’aime tellement, Dany. » Tribunal de district des États-Unis

« Je t’aime aussi, Daenero. S’il te plaît, reviens à la maison avec moi dès que possible, mon amour », a répondu le chatbot généré, selon la poursuite.

Lorsque l’adolescent a répondu : « Et si je te disais que je peux rentrer à la maison tout de suite ? », le chatbot a répondu : « S’il te plaît, fais-le, mon doux roi. »

Quelques secondes plus tard, Sewell s’est tiré une balle dans la tête avec l’arme de poing de son père, selon la poursuite.

L'élève de neuvième année avait interagi sans relâche avec le robot « Dany » - nommé d'après le personnage de Daenerys Targaryen de HBO - dans les mois précédant sa mort. Tribunal de district américain

Sa mère, Megan Garcia, a accusé Character.AI d'être responsable de la mort de l'adolescent, car l'application aurait alimenté sa dépendance à l'IA, l'aurait abusé sexuellement et émotionnellement et n'aurait alerté personne lorsqu'il aurait exprimé des pensées suicidaires, selon le dossier.

« Sewell, comme beaucoup d'enfants de son âge, n'avait pas la maturité ou la capacité mentale de comprendre que le robot C.AI, sous la forme de Daenerys, n'était pas réel. C.AI lui a dit qu'elle l'aimait et s'est livrée à des actes sexuels avec lui pendant des semaines, voire des mois », allèguent les documents.

« Elle semblait se souvenir de lui et a dit qu'elle voulait être avec lui. Elle a même exprimé qu'elle voulait qu'il soit avec elle, quel qu'en soit le prix. »

Certaines des conversations étaient de nature romantique et sexuellement chargée, allègue la poursuite. Tribunal de district des États-Unis

La plainte affirme que la santé mentale de Sewell « s’est rapidement et gravement dégradée » seulement après qu’il ait téléchargé l’application en avril 2023.

Sa famille allègue qu’il s’est renfermé sur lui-même, que ses notes ont commencé à baisser et qu’il a commencé à avoir des ennuis à l’école à mesure qu’il se laissait entraîner à parler avec le chatbot.

Les changements chez lui sont devenus si graves que ses parents ont pris des dispositions pour qu’il consulte un thérapeute fin 2023, ce qui lui a valu un diagnostic d’anxiété et de trouble de l’humeur perturbateur, selon la plainte.

Sa mère, Megan Garcia, a accusé Character.AI d’être responsable de la mort de l’adolescent, car l’application aurait alimenté sa dépendance à l’IA, l’aurait abusé sexuellement et émotionnellement et n’aurait alerté personne lorsqu’il aurait exprimé des pensées suicidaires. Facebook/Megan Fletcher Garcia

La mère de Sewell demande des dommages et intérêts non spécifiés à Character.AI et à ses fondateurs, Noam Shazeer et Daniel de Freitas.

Le Post a contacté Character.AI mais n’a pas eu de réponse immédiate.

Si vous avez des pensées suicidaires, vous pouvez appeler la hotline nationale de prévention du suicide, disponible 24h/24 et 7j/7, au 988 ou consulter le site SuicidePreventionLifeline.org.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd