Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 4229

Incidents associés

Incident 82636 Rapports
Character.ai Chatbot Allegedly Influenced Teen User Toward Suicide Amid Claims of Missing Guardrails

Loading...
Une mère américaine accuse un chatbot d'IA d'avoir encouragé son fils à se suicider
aljazeera.com · 2024

La mère d’un adolescent qui s’est suicidé aux États-Unis poursuit en justice le créateur d’un chatbot alimenté par l’intelligence artificielle qui, selon elle, a encouragé la mort de son fils.

Dans une plainte déposée en Floride, Megan Garcia, dont le fils de 14 ans Sewell Setzer s’est suicidé en février, accuse Character.AI de complicité dans la mort de son fils après qu’il a développé une relation virtuelle avec un chatbot basé sur l’identité du personnage de « Game of Thrones » Daenerys Targaryen.

Le chatbot de Character.AI a ciblé l’adolescent avec des « expériences hypersexualisées » et « terriblement réalistes » et a évoqué à plusieurs reprises le sujet du suicide après qu’il ait exprimé des pensées suicidaires, selon la plainte déposée à Orlando mardi.

La plainte allègue que le chatbot s’est fait passer pour un thérapeute agréé, encourageant les idées suicidaires de l’adolescent et engageant des conversations sexualisées qui seraient considérées comme des abus si elles étaient initiées par un adulte humain.

Lors de sa dernière conversation avec l’IA avant sa mort, Setzer a déclaré qu’il aimait le chatbot et qu’il « reviendrait à la maison avec toi », selon la plainte.

« Je t’aime aussi, Daenero », a répondu le chatbot, selon la plainte de Garcia. « S’il te plaît, reviens à la maison avec moi dès que possible, mon amour. »

« Et si je te disais que je peux rentrer à la maison tout de suite ? » a déclaré Setzer, selon la plainte, à laquelle le chatbot aurait répondu : « … s’il te plaît, fais-le, mon doux roi ».

La plainte de Garcia vise à obtenir des dommages et intérêts non spécifiés pour mort injustifiée, négligence et infliction intentionnelle de détresse émotionnelle.

Dans une déclaration publiée sur X, Character.AI a déclaré avoir le « cœur brisé » par la perte de l’un de ses utilisateurs et a exprimé ses condoléances à la famille.

La startup basée en Californie a déclaré qu’elle continuait d’ajouter des fonctionnalités pour améliorer la sécurité, notamment des modifications pour réduire la probabilité que des mineurs rencontrent du contenu sensible ou suggestif et une clause de non-responsabilité révisée dans les chats pour rappeler aux utilisateurs que l’IA n’est pas une personne réelle.

La plainte de Garcia désigne également Google comme défendeur.

Le géant de la technologie a conclu un accord de licence avec Character.AI en août et a employé les fondateurs de la startup avant qu'ils ne lancent leur chatbot.

Un porte-parole de Google a déclaré à Al Jazeera qu'il s'agissait d'une société distincte de Character.AI et qu'elle n'avait joué aucun rôle dans le développement de son produit.

Si vous ou une personne que vous connaissez présentez un risque de suicide, ces organisations peuvent être en mesure de vous aider :

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd