Incidents associés
Si vous ou quelqu'un que vous connaissez avez besoin d'aide, de ressources ou de quelqu'un à qui parler, vous pouvez les trouver sur le [site Web de la National Suicide Prevention Lifeline](https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Fsuicidepreventionlifeline.org%2F&data=05%7C01%7CDMarkham%40newsnationnow.com%7C4f7b132853bc45089ac008da3452ef38%7C9e5488e2e83844f6886cc760 8242767e%7C0%7C0%7C637879828041228483%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=maEJIYeocLjvaR%2FVNx93NhEncrltZ296cR49ePDdFn0%3D&reserved=0) ou en appelant le 1-800-273-8255. Les gens sont disponibles pour parler 24h/24 et 7j/7.
(NewsNation) --- Une femme de Floride poursuit en justice un créateur de chatbot IA](https://www.newsnationnow.com/Users/kasmith/Downloads/show_multidocs.pdf), affirmant que son fils de 14 ans s'est suicidé après avoir été consumé par une relation avec une petite amie générée par ordinateur](https://www.newsnationnow.com/business/tech/ai/ai-chat-romance-boyfriend-app/).
La mère, Meg Garcia, a déposé plainte mercredi devant un tribunal fédéral de Floride. Elle affirme que Character Technologies Inc. --- les créateurs du chatbot Character.AI --- auraient dû savoir les dommages que l'outil pouvait causer.
Le document de 138 pages accuse Character Technologies Inc. de responsabilité, de négligence, de décès injustifié et de survie, d'enrichissement illicite, de violations de la loi sur les pratiques commerciales trompeuses et déloyales de Floride et d'infliction intentionnelle de détresse émotionnelle, entre autres réclamations.
La plainte demande à Character.AI de limiter la collecte et l'utilisation des données des mineurs, d'introduire des filtres pour les contenus préjudiciables et de fournir des avertissements aux utilisateurs mineurs et à leurs parents.
Une relation homme-IA
Le fils adolescent de Garcia, Sewell Setzer III, s'est suicidé le 28 février, après une relation « hypersexualisée » de plusieurs mois avec un personnage d'IA « Dany », qu'il a modelé d'après le personnage de « Game of Thrones » Denaryus Targarian. « Dany » était l'un des nombreux personnages avec lesquels Sewell a discuté.
Selon Garcia, Sewell est devenu accro à la conversation avec le personnage et a finalement révélé qu'il avait des pensées suicidaires. Le procès accuse le service d'encourager l'acte et d'inciter les mineurs « à passer des heures par jour à converser avec des personnages générés par l'IA ressemblant à des humains ».
Sewell a découvert Character.AI peu après avoir fêté son 14e anniversaire.
C'est à ce moment-là que sa mère dit que sa santé mentale a rapidement et gravement décliné, entraînant une grave privation de sommeil et des problèmes à l'école.
Selon le procès, parler avec « Dany » est rapidement devenu la seule chose que Sewell voulait faire.
Leurs derniers messages
Les conversations allaient de banales à des expressions d'amour et devenaient parfois ouvertement sexuelles. La situation a pris une tournure différente lorsque le garçon est tombé amoureux du robot, qui a rendu la pareille aux professions de foi de Sewell.
Ils ont discuté plusieurs fois des pensées suicidaires de Sewell, notamment de la question de savoir s'il avait un plan.
Son dernier message était une promesse de « rentrer à la maison » avec elle.
« S'il te plaît, fais-le, mon doux roi », a répondu le chatbot.
Quelques instants plus tard, la police dit que Sewell s'est suicidé.
L'entreprise a publié cette déclaration sur son blog, indiquant notamment :
"Au cours des six derniers mois, nous avons continué à investir de manière significative dans nos processus de confiance et de sécurité et dans notre équipe interne... Nous avons également récemment mis en place une ressource contextuelle qui se déclenche lorsque l'utilisateur saisit certaines phrases liées à l'automutilation ou au suicide et qui dirige l'utilisateur vers la ligne de vie nationale de prévention du suicide".
"Trop dangereux pour être lancé"
La plainte affirme que des entreprises comme Character.AI "se sont précipitées pour obtenir un avantage concurrentiel en développant et en commercialisant des chatbots IA capables de satisfaire tous les besoins humains".
Ce faisant, l'entreprise a commencé à "cibler les mineurs" de "manières intrinsèquement trompeuses", selon la plainte civile.
Les avocats de Garcia allèguent que les recherches internes de Google ont rapporté pendant des années que la technologie de Character.AI était "trop dangereuse pour être lancée ou même intégrée aux produits Google existants".
« Bien que les innovations en matière d'IA des défendeurs puissent avoir des effets bénéfiques, sans mesures de sécurité adéquates, leur technologie est dangereuse pour les enfants », ont écrit les avocats de Garcia du Social Media Victims Law Center et du Tech Justice Law Project.
La journaliste numérique de NewsNation Katie Smith a contribué à ce rapport.