Problème 4219

La mère d'un garçon de 14 ans en Floride poursuit en justice une société de chatbots IA après que son fils, Sewell Setzer III, se soit suicidé, un suicide qu'elle accuse d'avoir eu avec un robot IA.

« Megan Garcia cherche à empêcher C.AI de faire à un autre enfant ce qu'elle a fait au sien », peut-on lire dans la plainte pour mort injustifiée de 93 pages déposée cette semaine devant un tribunal de district américain à Orlando contre Character.AI, ses fondateurs et Google.

Meetali Jain, directrice du Tech Justice Law Project et représentante de Garcia, a déclaré dans un communiqué de presse à propos de cette affaire : « Nous sommes tous désormais familiers avec les dangers posés par les plateformes non réglementées développées par des entreprises technologiques sans scrupules, en particulier pour les enfants. Mais les préjudices révélés dans cette affaire sont nouveaux, inédits et, honnêtement, terrifiants. Dans le cas de Character.AI, la tromperie est intentionnelle et la plateforme elle-même est le prédateur. »

Character.AI a publié une déclaration via X, indiquant : « Nous sommes navrés par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu'entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux et nous continuons d'ajouter de nouvelles fonctionnalités de sécurité que vous pouvez lire ici : https://blog.character.ai/community-safety-updates/…. »

Dans la plainte, Garcia allègue que Sewell, qui s'est suicidé en février, a été entraîné dans une technologie addictive, nuisible et sans aucune protection en place, ce qui a conduit à un changement de personnalité extrême chez le garçon, qui semblait préférer le bot à d'autres connexions de la vie réelle. Sa mère affirme que des « interactions abusives et sexuelles » ont eu lieu sur une période de 10 mois. Le garçon s'est suicidé après que le robot lui a dit : « S'il te plaît, reviens à la maison le plus vite possible, mon amour. »

Vendredi, le journaliste du New York Times Kevin Roose a évoqué la situation dans son podcast Hard Fork, diffusant un extrait d'une interview qu'il a réalisée avec Garcia pour son article qui racontait son histoire. Garcia n'a appris l'étendue de la relation avec le robot qu'après la mort de son fils, lorsqu'elle a vu tous les messages. En fait, a-t-elle dit à Roose, lorsqu'elle a remarqué que Sewell était souvent absorbé par son téléphone, elle lui a demandé ce qu'il faisait et à qui il parlait. Il lui a expliqué que c'était « juste un robot IA… pas une personne », se souvient-elle, ajoutant : « Je me suis sentie soulagée, comme, OK, ce n'est pas une personne, c'est comme l'un de ses petits jeux. » Garcia ne comprenait pas pleinement le potentiel émotionnel d'un robot, et elle est loin d'être la seule.

« Personne n’y prête attention », déclare Robbie Torney, responsable de programme, IA, chez Common Sense Media et auteur principal d’un nouveau guide sur les compagnons IA destiné aux parents, qui luttent constamment pour suivre le rythme des nouvelles technologies déroutantes et pour créer des limites pour la sécurité de leurs enfants.

Mais les compagnons IA, souligne Torney, diffèrent, par exemple, d'un chatbot de service d'assistance que vous utilisez lorsque vous essayez d'obtenir de l'aide auprès d'une banque. « Ils sont conçus pour effectuer des tâches ou répondre à des demandes », explique-t-il. « Quelque chose comme l'IA de personnage est ce que nous appelons un compagnon, et est conçu pour essayer de former une relation, ou de simuler une relation, avec un utilisateur. Et c'est un cas d'utilisation très différent dont je pense que nous devons informer les parents. » Cela est évident dans le procès de Garcia, qui comprend des échanges de texte réalistes, sexuels et effrayants entre son fils et le robot.

Il est particulièrement important pour les parents d'adolescents de tirer la sonnette d'alarme au sujet des compagnons IA, explique Torney, car les adolescents - et en particulier les adolescents de sexe masculin - sont particulièrement susceptibles de trop dépendre de la technologie.

Ci-dessous, ce que les parents doivent savoir.

Selon le nouveau Parents’ Ultimate Guide to AI Companions and Relationships de Common Sense Media, créé en collaboration avec les professionnels de la santé mentale du Stanford Brainstorm Lab, les compagnons IA sont « une nouvelle catégorie de technologie qui va au-delà des simples chatbots ». Elles sont spécialement conçues pour, entre autres, « simuler des liens émotionnels et des relations étroites avec les utilisateurs, mémoriser des détails personnels issus de conversations passées, jouer le rôle de mentors et d’amis, imiter les émotions et l’empathie humaines et « être plus facilement d’accord avec l’utilisateur que les chatbots IA classiques », selon le guide.

Les plateformes les plus populaires incluent non seulement Character.ai, qui permet à ses plus de 20 millions d’utilisateurs de créer puis de discuter avec des compagnons textuels ; Replika, qui propose des compagnons textuels ou animés en 3D pour l’amitié ou la romance ; et d’autres comme Kindroid et Nomi.

Les enfants sont attirés par ces plateformes pour diverses raisons, de l’écoute sans jugement et la disponibilité 24 heures sur 24 au soutien émotionnel et à l’évasion des pressions sociales du monde réel.

Les personnes les plus à risque, prévient Common Sense Media, sont les adolescents – en particulier ceux qui souffrent de « dépression, d’anxiété, de difficultés sociales ou d’isolement » – ainsi que les hommes, les jeunes qui traversent de grands changements de vie et toute personne dépourvue de systèmes de soutien dans le monde réel.

Ce dernier point a particulièrement troublé Raffaele Ciriello, maître de conférences en systèmes d’information commerciale à la Business School de l’Université de Sydney, qui a étudié comment l’IA « émotionnelle » représente un défi pour l’essence humaine. « Nos recherches révèlent un paradoxe de (dé)humanisation : en humanisant les agents d’IA, nous pouvons par inadvertance nous déshumaniser nous-mêmes, ce qui conduit à un flou ontologique dans les interactions homme-IA. » En d’autres termes, Ciriello écrit dans un récent article d’opinion pour The Conversation avec la doctorante Angelina Ying Chen, « Les utilisateurs peuvent devenir profondément investis émotionnellement s’ils croient que leur compagnon d’IA les comprend vraiment. »

Une autre étude, réalisée cette fois par l’Université de Cambridge et axée sur les enfants, a révélé que les chatbots IA ont un « déficit d’empathie » qui expose les jeunes utilisateurs, qui ont tendance à traiter ces compagnons comme des « confidents quasi humains et réalistes », à un risque particulier de préjudice.

Pour cette raison, Common Sense Media met en évidence une liste de risques potentiels, notamment le fait que les compagnons peuvent être utilisés pour éviter de véritables relations humaines, peuvent poser des problèmes particuliers aux personnes souffrant de troubles mentaux ou comportementaux, peuvent intensifier la solitude ou l’isolement, peuvent entraîner un contenu sexuel inapproprié, peuvent devenir addictifs et ont tendance à être d’accord avec les utilisateurs – une réalité effrayante pour ceux qui souffrent de « tendances suicidaires, de psychose ou de manie ».

Les parents doivent être attentifs aux signes avant-coureurs suivants, selon le guide :

• Préférer l’interaction avec l’IA compagnon aux vraies amitiés

• Passer des heures seul à parler avec l’IA compagnon

• Détresse émotionnelle lorsqu’il est impossible d’accéder à l’IA compagnon

• Partager des informations ou des secrets profondément personnels

• Développer des sentiments romantiques pour l’IA compagnon

• Baisse des notes ou de la participation scolaire

• Retrait des activités sociales/familiales et des amitiés

• Perte d’intérêt pour les passe-temps précédents

• Changements dans les habitudes de sommeil

• Discuter des problèmes exclusivement avec l’IA compagnon

Envisagez de faire appel à une aide professionnelle pour votre enfant, souligne Common Sense Media, si vous remarquez qu’il s’éloigne des vraies personnes au profit de l’IA, qu’il montre des signes nouveaux ou aggravés de dépression ou d’anxiété, qu’il devient trop défensif à propos de l’utilisation de l’IA compagnon, qu’il montre des changements majeurs de comportement ou d’humeur, ou qu’il exprime des pensées d’automutilation.

• Fixez des limites : fixez des heures spécifiques pour l’utilisation de l’IA compagnon et n’autorisez pas un accès non supervisé ou illimité.

• Passez du temps hors ligne : encouragez les amitiés et les activités dans le monde réel.

• Vérifiez régulièrement : surveillez le contenu du chatbot, ainsi que le niveau d'attachement émotionnel de votre enfant.

• Parlez-en : maintenez une communication ouverte et sans jugement sur les expériences avec l'IA, tout en restant attentif aux signaux d'alarme.

« Si les parents entendent leurs enfants dire : "Hé, je parle à un chatbot IA ", c'est vraiment l'occasion de se pencher sur cette information et de ne pas penser : "Oh, d'accord, tu ne parles pas à une personne », explique Torney. Au contraire, dit-il, c'est l'occasion d'en savoir plus, d'évaluer la situation et de rester vigilant. « Essayez d'écouter avec compassion et empathie et de ne pas penser que ce n'est pas une personne qui est plus sûre », dit-il, « ou que vous n'avez pas à vous inquiéter ».

Si vous avez besoin d'une assistance immédiate en matière de santé mentale, contactez la 988 Suicide & Crisis Lifeline.

Plus d'informations sur les enfants et les réseaux sociaux :

Cet article a été publié à l'origine sur Fortune.com