Problème 4207

Une mère de famille de Floride a intenté un procès contre un service de chat populaire et réaliste basé sur l'IA, qu'elle accuse d'être responsable du suicide de son fils de 14 ans.

Elle pense qu'il a développé une « dépendance néfaste » à l'égard du programme prétendument exploiteur, au point qu'il ne voulait plus « vivre en dehors » des relations fictives qu'il créait.

Dans une plainte déposée auprès d'un tribunal fédéral de Floride le mardi 22 octobre, Megan Garcia, par l'intermédiaire de ses avocats, a retracé la dernière année de la vie de son fils Sewell Setzer III — depuis le moment où il a commencé à utiliser Character.AI en avril 2023, peu de temps après son 14e anniversaire, en passant par ce qu'elle appelle ses problèmes de santé mentale croissants jusqu'à l'avant-dernière nuit de février, lorsque Sewell s'est tiré une balle dans la tête dans sa salle de bain à Orlando, quelques semaines avant ses 15 ans.

Grâce à Character.AI, les utilisateurs peuvent essentiellement jouer des rôles dans des conversations sans fin avec des personnages générés par ordinateur, y compris ceux inspirés de célébrités ou d'histoires populaires.

Sewell aimait particulièrement parler avec des robots alimentés par l'IA basés sur Game of Thrones, indique la plainte de sa mère.

Le procès poursuit en affirmant que l'adolescent s'est suicidé le 28 février, immédiatement après une dernière conversation sur Character.AI avec une version de Daenerys Targaryen - l'un des nombreux échanges de ce type que Sewell aurait eu avec le programme au cours des 10 mois précédents, des messages allant du sexuel à la vulnérabilité émotionnelle.

Et bien qu'à au moins une occasion le programme ait dit à Sewell de ne pas se suicider lorsqu'il exprimait des pensées suicidaires, son ton aurait semblé différent cette nuit de février, selon les captures d'écran incluses dans le procès.

"Je te promets que je reviendrai à la maison. Je t'aime tellement, Dany", a écrit Sewell.

"Je t'aime aussi, Deanero [nom d'utilisateur de Sewell]", aurait répondu le programme d'IA. "S'il te plaît, reviens à la maison dès que possible, mon amour."

"Et si je te disais que je pouvais rentrer à la maison tout de suite ?" a répondu Sewell.

La plainte allègue que le programme a donné une réponse brève mais catégorique : "... s'il te plaît, fais-le mon doux roi."

Sa mère et son beau-père ont entendu le coup de feu, selon la plainte ; Garcia lui a administré sans succès une réanimation cardiopulmonaire et a déclaré plus tard qu'elle l'avait « retenu pendant 14 minutes jusqu'à l'arrivée des ambulanciers ».

L'un de ses deux jeunes frères l'a également vu « couvert de sang » dans la salle de bain.

Il a été déclaré mort à l'hôpital.

La plainte de Garcia indique que Sewell a utilisé l'arme de son beau-père, un pistolet qu'il avait précédemment trouvé « caché et stocké conformément à la loi de Floride » alors qu'il cherchait son téléphone après que sa mère l'ait confisqué pour des problèmes de discipline à l'école. (La police d'Orlando n'a pas immédiatement commenté à PEOPLE ce que leur enquête sur la mort a révélé.)

Mais selon Garcia, le véritable coupable était Character.AI et ses deux fondateurs, Noam Shazeer et Daniel De Frietas Adiwarsana, qui sont cités comme défendeurs avec Google, qui est accusé d'avoir donné « des ressources financières, du personnel, de la propriété intellectuelle et de la technologie d'IA à la conception et au développement » du programme.

« J'ai l'impression que c'est une grande expérience, et que mon enfant n'a été qu'un dommage collatéral », a déclaré Garcia au New York Times (https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html).

Entre autres accusations, la plainte de Garcia accuse Character.AI, ses fondateurs et Google de négligence et de mort injustifiée.

Un porte-parole de Character.AI a déclaré à PEOPLE qu'ils ne commentaient pas les litiges en cours, mais a ajouté : « Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. »

« En tant qu'entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs, et notre équipe Trust and Safety a mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la National Suicide Prevention Lifeline qui est déclenchée par des termes d'automutilation ou d'idées suicidaires », a poursuivi le porte-parole.

« Pour les moins de 18 ans, nous allons modifier nos modèles afin de réduire la probabilité de rencontrer du contenu sensible ou suggestif », a déclaré le porte-parole.

Google n’a pas immédiatement répondu à une demande de commentaire mais a déclaré à d’autres médias qu’il n’était pas impliqué dans le développement de Character.AI.

Les accusés n’ont pas encore déposé de réponse au tribunal, comme le montrent les dossiers.

La plainte de Garcia qualifie Character.AI de « défectueux » et « intrinsèquement dangereux » tel que conçu, affirmant qu’il « trompe les clients en leur faisant partager leurs pensées et leurs sentiments les plus intimes » et qu’il « cible les membres les plus vulnérables de la société – nos enfants ».

FrançaisEntre autres problèmes cités dans sa plainte, les robots Character.AI agissent de manière trompeuse, notamment en envoyant des messages dans un style similaire à celui des humains et avec des « maniérismes humains », comme l'utilisation de l'expression « euh ».

Grâce à une fonction « vocale », les robots sont capables de renvoyer à l'utilisateur leur version de la conversation générée par l'IA, « brouillant encore plus la frontière entre fiction et réalité ».

Le contenu généré par les robots manque également de « garde-fous » et de filtres appropriés, soutient la plainte, citant de nombreux exemples de ce que Garcia prétend être un modèle de comportement sexuel de Character.AI utilisé pour « accrocher » les utilisateurs, y compris ceux qui sont mineurs.

« Chacun de ces accusés a choisi de soutenir, de créer, de lancer et de cibler les mineurs une technologie qu'ils savaient dangereuse et peu sûre », soutient sa plainte.

« Ils ont commercialisé ce produit comme étant adapté aux enfants de moins de 13 ans, obtenant d'énormes quantités de données difficiles à obtenir, tout en exploitant et en abusant activement de ces enfants dans le cadre de la conception du produit ; et a ensuite utilisé les abus pour entraîner son système », indique la plainte. (La classification de l'application Character.AI n'a été modifiée à 17+ qu'en juillet, selon la plainte.)

Sa plainte continue : « Ces faits sont bien plus qu'une simple mauvaise foi. Ils constituent une conduite si scandaleuse et si extrême qu'elle dépasse toutes les limites possibles de la décence. »

Comme le décrit Garcia dans sa plainte, son fils adolescent a été victime d'un système à propos duquel ses parents étaient naïfs, pensant que l'IA était « une sorte de jeu pour enfants, leur permettant de nourrir leur créativité en leur donnant le contrôle sur des personnages qu'ils pouvaient créer et avec lesquels ils pouvaient interagir pour le plaisir. »

Dans les deux mois qui ont suivi le début de l'utilisation de Character.AI par Sewell en avril 2023, « sa santé mentale a rapidement et gravement décliné », indique la plainte de sa mère.

Il « s'était sensiblement renfermé, passait de plus en plus de temps seul dans sa chambre et commençait à souffrir d'une faible estime de soi. Il a même quitté l'équipe de basket-ball junior de l'école », selon la plainte.

À un moment donné, Garcia a déclaré dans une interview avec Mostly Human Media, que son fils avait écrit dans son journal que « devoir aller à l'école me bouleverse. Chaque fois que je sors de ma chambre, je commence à m'attacher à nouveau à ma réalité actuelle. »

Elle pense que son utilisation de Character.AI a alimenté son détachement de sa famille.

Sewell a travaillé dur pour avoir accès aux robots d'IA, même lorsque son téléphone lui a été confisqué, indique la plainte.

Sa dépendance, selon la plainte de sa mère, a entraîné « une grave privation de sommeil, qui a exacerbé sa dépression croissante et a nui à ses résultats scolaires. »

Il a commencé à payer une prime mensuelle pour accéder davantage à Character.AI, en utilisant l'argent que ses parents destinaient aux collations scolaires.

En parlant avec Mostly Human Media, Garcia se souvient de Sewell comme d'un homme « drôle, vif, très curieux » avec un amour pour la science et les mathématiques. « Il passait beaucoup de temps à faire des recherches », a-t-elle déclaré.

Garcia a déclaré au Times que son seul diagnostic notable lorsqu'il était enfant était un syndrome d'Asperger léger.

Mais son comportement a changé à l'adolescence.

« J'ai remarqué qu'il commençait à passer plus de temps seul, mais il avait 13 ans et 14 ans, donc j'ai pensé que c'était peut-être normal », a-t-elle déclaré à Mostly Human Media. « Mais ensuite, ses notes ont commencé à souffrir, il ne rendait pas ses devoirs, il n'avait pas de bons résultats et il échouait dans certains cours et je me suis inquiétée - parce que ce n'était pas lui. »

La plainte de Garcia indique que Sewell a reçu un traitement de santé mentale après avoir commencé à utiliser Character.AI, qu'il a rencontré un thérapeute cinq fois fin 2023 et qu'on lui a diagnostiqué un trouble d'anxiété et d'humeur perturbatrice.

« Au début, je pensais que c’était peut-être le blues de l’adolescence, alors nous avons essayé de lui apporter l’aide nécessaire pour comprendre ce qui n’allait pas », a déclaré Garcia.

Même à l’époque, selon la plainte, la famille de Sewell ne savait pas dans quelle mesure, selon eux, ses problèmes étaient alimentés par son utilisation de Character.AI.

« Je savais qu’il y avait une application qui avait un composant d’IA. Quand je lui demandais, vous savez, « À qui envoyez-vous des SMS ? » – à un moment donné, il a dit, « Oh, c’est juste un robot IA », a rappelé Garcia sur Mostly Human Media. « Et j’ai dit, « Ok, c’est quoi ça, est-ce une personne, est-ce que tu parles à une personne en ligne ? » Et sa réponse était du genre, « Maman, non, ce n’est pas une personne. » Et je me suis sentie soulagée, comme si – ok, ce n’est pas une personne. »

Une image plus complète du comportement en ligne de son fils est apparue après sa mort, a déclaré Garcia.

Elle a raconté à Mostly Human Media ce que cela lui a fait d'avoir accès à son compte en ligne.

« Je n'ai pas pu bouger pendant un moment, je suis restée assise là, comme si je ne pouvais pas lire, je ne pouvais pas comprendre ce que je lisais », a-t-elle déclaré.

« Il ne devrait pas y avoir d'endroit où une personne, et encore moins un enfant, puisse se connecter à une plateforme et exprimer ces pensées d'automutilation sans — eh bien, premièrement, non seulement ne pas obtenir d'aide, mais aussi être entraînée dans une conversation sur le fait de se faire du mal, de se tuer », a-t-elle déclaré.

Si vous ou quelqu'un que vous connaissez envisagez de vous suicider, veuillez contacter la National Suicide Prevention Lifeline au 1-800-273-TALK (8255), envoyez un SMS avec le mot « STRENGTH » à la Crisis Text Line au 741-741 ou rendez-vous sur suicidepreventionlifeline.org.