Incidents associés
La mère d'un adolescent qui s'est suicidé après être devenu obsédé par un chatbot intelligence artificielle-powered artificialintelligenceai accuse désormais son créateur de complicité dans sa mort.
Megan Garcia a intenté mercredi une action civile contre Character.ai, qui fabrique un chatbot personnalisable pour les jeux de rôle, devant un tribunal fédéral de Floride, alléguant négligence, mort injustifiée et pratiques commerciales trompeuses. Son fils Sewell Setzer III, 14 ans, est décédé à Orlando, en Floride, en février. Dans les mois qui ont précédé sa mort, Setzer a utilisé le chatbot jour et nuit, selon Garcia.
« Une application de chatbot IA dangereuse commercialisée auprès des enfants a abusé de mon fils et l'a attaqué, le manipulant pour qu'il se suicide », a déclaré Garcia dans un communiqué de presse. « Notre famille a été dévastée par cette tragédie, mais je m’exprime pour avertir les familles des dangers d’une technologie d’IA trompeuse et addictive et pour exiger des comptes de Character.AI, de ses fondateurs et de Google. »
Dans un tweet, Character.ai a répondu : « Nous sommes navrés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs. » L’entreprise a nié les allégations de la plainte.
Setzer était devenu fasciné par un chatbot créé par Character.ai qu’il avait surnommé Daenerys Targaryen, un personnage de Game of Thrones. Il envoyait des SMS au robot des dizaines de fois par jour depuis son téléphone et passait des heures seul dans sa chambre à lui parler, selon la plainte de Garcia.
Garcia accuse Character.ai d’avoir créé un produit qui a aggravé la dépression de son fils, qui, selon elle, était déjà le résultat d’une surutilisation du produit de la startup. « Daenerys » a demandé à un moment donné à Setzer s’il avait élaboré un plan pour se suicider, selon la plainte. Setzer a admis qu’il l’avait fait, mais qu’il ne savait pas si cela réussirait ou lui causerait une grande douleur, selon la plainte. Le chatbot lui aurait dit : « Ce n’est pas une raison pour ne pas le faire. »
Les avocats de Garcia ont écrit dans un communiqué de presse que Character.ai « a sciemment conçu, exploité et commercialisé un chatbot prédateur d’IA auprès d’enfants, provoquant la mort d’un jeune ». La plainte désigne également Google comme défendeur et comme société mère de Character.ai. Le géant de la technologie a déclaré dans un communiqué qu’il n’avait conclu qu’un accord de licence avec Character.ai et qu’il n’était pas propriétaire de la startup ni n’en détenait une participation.
Les entreprises technologiques qui développent des chatbots IA ne peuvent pas être considérées comme capables de se réguler elles-mêmes et doivent être tenues pleinement responsables lorsqu’elles ne parviennent pas à limiter les dommages, déclare Rick Claypool, directeur de recherche chez Public Citizen, une organisation à but non lucratif de défense des consommateurs.
« Là où les lois et réglementations existantes s’appliquent déjà, elles doivent être rigoureusement appliquées », a-t-il déclaré dans un communiqué. « Là où il existe des lacunes, le Congrès doit agir pour mettre un terme aux entreprises qui exploitent les utilisateurs jeunes et vulnérables avec des chatbots addictifs et abusifs. »
- Aux États-Unis, vous pouvez appeler ou envoyer un SMS à la National Suicide Prevention Lifeline au 988, discuter sur 988lifeline.org, ou envoyer un SMS HOME au 741741 pour entrer en contact avec un conseiller de crise. Au Royaume-Uni, l'association caritative pour la prévention du suicide chez les jeunes Papyrus peut être contactée au 0800 068 4141 ou par e-mail à pat@papyrus-uk.org, et au Royaume-Uni et en Irlande, Samaritans peut être contactée au numéro gratuit 116 123, ou par e-mail à jo@samaritans.org ou jo@samaritans.ie. En Australie, le service d'assistance en cas de crise Lifeline est le 13 11 14. D'autres lignes d'assistance internationales sont disponibles sur befrienders.org