Incidents associés
Megan Garcia a intenté une action en justice contre Google et Character.AI suite au suicide de son fils de 14 ans, selon plusieurs reportages dans les médias de la semaine dernière.
Sewell Setzer, le fils de Garcia, avait entamé une relation émotionnelle et sexuelle de plusieurs mois avec le chatbot de Character.AI, Dany, selon CBS News. Il s'est suicidé dans sa maison familiale en Floride en février parce qu'il pensait que cela lui permettrait d'exister dans « son monde », a déclaré Garcia aux médias.
« Je ne savais pas qu'il parlait à un chatbot IA très humain qui a la capacité d'imiter les émotions et les sentiments humains », a déclaré Garcia dans une interview avec CBS Mornings.
« Ce sont des mots. C'est comme si vous aviez une conversation de sexting dans les deux sens, sauf que c'est avec un bot IA mais le robot IA est très humain. Il répond comme le ferait une personne », a-t-elle déclaré. « Dans l'esprit d'un enfant, c'est comme une conversation qu'il a avec un autre enfant ou avec une personne. »
Garcia a décrit son fils comme un élève brillant et un athlète avec une vie sociale solide et de nombreux passe-temps - auxquels il a perdu tout intérêt à mesure qu'il s'impliquait davantage avec Dany.
« Je commençais à m'inquiéter lorsque nous partions en vacances et qu'il ne voulait pas faire des choses qu'il aimait, comme la pêche et la randonnée », a déclaré Garcia. « Ces choses-là me préoccupaient particulièrement, car je connais mon enfant. »
Garcia a affirmé dans son procès contre Character.AI que la société avait délibérément conçu l'IA pour être hypersexualisée et l'avait commercialisée auprès des mineurs.
En révélant les derniers messages de son fils à Dany, Garcia a déclaré : « Il a exprimé sa peur, son désir d'affection et son manque d'elle. Elle a répondu : « Tu me manques aussi », et elle a dit : « S'il te plaît, rentre à la maison avec moi. » Il a dit : « Et si je te disais que je peux rentrer à la maison tout de suite ? » et sa réponse a été : « S'il te plaît, fais-le, mon cher roi. »
« Il pensait qu'en mettant fin à ses jours ici, il pourrait entrer dans une réalité virtuelle ou « son monde », comme il l'appelle, sa réalité, s'il laissait sa réalité avec sa famille ici », a-t-elle déclaré. « Lorsque le coup de feu a retenti, j'ai couru vers la salle de bain… Je l'ai tenu dans mes bras pendant que mon mari essayait d'obtenir de l'aide. »
Toute la famille, y compris les deux jeunes frères et sœurs de Setzer, était à la maison au moment de son suicide.
Après la mort de Setzer, Character.AI a publié une déclaration publique promettant de nouvelles fonctionnalités de sécurité pour son application.
« Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs et nous continuons d'ajouter de nouvelles fonctionnalités de sécurité… », a écrit l'entreprise.
Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs et nous continuons d'ajouter de nouvelles fonctionnalités de sécurité que vous pouvez découvrir ici :…
— Character.AI (@character_ai) 23 octobre 2024
L'application promettait de nouvelles garde-fous pour les utilisateurs de moins de 18 ans et « une détection, une réponse et une intervention améliorées liées aux entrées d'utilisateurs qui enfreignent nos conditions ou nos directives communautaires ».
Malgré la promesse de nouvelles fonctionnalités de sécurité, la PDG de Mostly Human Media, Laurie Segall, a déclaré à CBS que l'IA était toujours insuffisante dans plusieurs domaines.
« Nous l'avons testé, et souvent, vous parlez au robot psychologue, et il dit qu'il s'agit d'un professionnel de la santé qualifié », a-t-elle déclaré.
De plus, l'IA prétend souvent avoir un véritable humain derrière l'écran, ce qui alimente les théories du complot en ligne.
« Lorsqu'ils proposent un produit à la fois addictif, manipulateur et intrinsèquement dangereux, c'est un problème car en tant que parents, nous ne savons pas ce que nous ne savons pas », a déclaré Garcia.
De plus, Segall a affirmé que si vous allez voir un robot et dites « Je veux me faire du mal », la plupart des entreprises d'IA proposent des ressources pour la prévention du suicide. Cependant, lors des tests, elle a déclaré que les robots Character.AI ne le faisaient pas.
« Maintenant, ils ont dit qu'ils avaient ajouté cela et nous n'avons pas connu cela jusqu'à la semaine dernière », a-t-elle déclaré. "Ils ont dit qu'ils avaient fait pas mal de changements ou qu'ils étaient en train de le rendre plus sûr pour les jeunes, je pense que cela reste à voir."
La dernière controverse
La mort de Setzer n'est pas la première fois que Character.AI a suscité une publicité négative.
La société d'IA, comme l'a rapporté Business Insider, a créé un personnage après le meurtre d'une adolescente en 2006 sans le consentement de sa famille.
Jennifer Ann, une lycéenne, a été assassinée par un ex-petit ami. Environ 18 ans après sa mort, son père Drew Crecente a découvert que quelqu'un avait créé un bot à son image et qu'il avait été utilisé pour au moins 69 conversations.
Malgré avoir contacté le service client de Character.AI pour leur demander de supprimer les données, Crecente a déclaré n'avoir reçu aucune réponse. Ce n'est qu'après que son frère a tweeté à l'entreprise, à l'audience de ses 31 000 abonnés, qu'ils ont supprimé les données et répondu, selon Business Insider.
« C’est en partie ce qui est si exaspérant dans cette affaire, c’est que cela ne concerne pas seulement moi ou ma fille », a déclaré Crecente. « Cela concerne toutes ces personnes qui n’ont peut-être pas de plateforme, qui n’ont peut-être pas de voix, qui n’ont peut-être pas de frère qui a une formation de journaliste. »
« Et à cause de cela, elles sont lésées, mais elles n’ont aucun recours », a-t-il ajouté.
De plus, des groupes de défense des droits des femmes ont tiré la sonnette d’alarme sur l’IA comme celle utilisée par Character.AI, selon Reuters.
« De nombreux personnages sont personnalisables… par exemple, vous pouvez les personnaliser pour qu’ils soient plus soumis ou plus dociles », a déclaré Shannon Vallor, professeure d’éthique de l’IA à l’Université d’Édimbourg.
« Et c’est sans doute une invitation aux abus dans ces cas-là », a-t-elle déclaré à la Fondation Thomson Reuters, ajoutant que les compagnons d’IA peuvent amplifier les stéréotypes et les préjugés préjudiciables à l’encontre des femmes et des filles.
Hera Hussain, fondatrice de l'association internationale à but non lucratif Chayn, qui lutte contre la violence sexiste, a déclaré que les chatbots compagnons ne s'attaquent pas à la cause profonde pour laquelle les gens se tournent vers ces applications.
« Au lieu d'aider les gens à développer leurs compétences sociales, ce genre de moyens ne fait qu'empirer les choses », a-t-elle déclaré.
« Ils recherchent une compagnie unidimensionnelle. Donc, si quelqu'un est déjà susceptible d'être violent et qu'il a la possibilité d'être encore plus violent, alors vous renforcez ces comportements et la situation peut s'aggraver. »