Incidents associés
De nombreuses applications populaires proposent des compagnons IA à des millions d'utilisateurs, principalement des femmes, qui se font des petites amies IA, des maris IA, des thérapeutes IA – voire des parents IA – malgré les avertissements de longue date des chercheurs sur le potentiel impact émotionnel de l'interaction avec des chatbots humanoïdes.
Alors que les entreprises d'intelligence artificielle ont du mal à convaincre le public que les chatbots sont des outils commerciaux essentiels, un public croissant passe des heures à établir des relations personnelles avec l'IA. En septembre, l'utilisateur moyen de l'application compagnon Character.ai a passé 93 minutes par jour à parler à l'un de ses chatbots créés par les utilisateurs, souvent basés sur des personnages populaires d'anime et de jeux, selon les données mondiales sur les appareils iOS et Android de la société d'intelligence de marché Sensor Tower.
C'est 18 minutes de plus que ce que l'utilisateur moyen a passé sur TikTok. Et c'est près de huit fois plus de temps que ce que l'utilisateur moyen a passé sur ChatGPT, qui est conçu pour aider à « obtenir des réponses, trouver de l'inspiration et être plus productif ».
Ces utilisateurs ne restent pas toujours sur place, mais les entreprises utilisent les données pour fidéliser leurs clients.
L'entreprise Chai Research, basée à Palo Alto en Californie et concurrente de Character.ai, a étudié les préférences de chat de dizaines de milliers d'utilisateurs pour inciter les consommateurs à passer encore plus de temps sur l'application, a écrit l'entreprise dans un article l'année dernière. En septembre, l'utilisateur moyen de Chai a passé 72 minutes par jour dans l'application, à discuter avec des chatbots personnalisés, auxquels on peut attribuer des traits de personnalité tels que « toxique », « violent », « agréable » ou « introverti ».
Certains investisseurs et dirigeants de la Silicon Valley trouvent difficile de résister au flot d'utilisateurs dévoués – qui regardent des publicités ou paient des frais d'abonnement mensuels. Alors que les grandes entreprises technologiques ont pour la plupart évité les compagnons d'IA, qui ont tendance à attirer les utilisateurs intéressés par des interactions sexuellement explicites, les magasins d'applications sont désormais remplis d'applications compagnons d'entreprises moins connues aux États-Unis, à Hong Kong et à Chypre, ainsi que d'applications populaires détenues par des Chinois, telles que Talkie AI et Poly.AI.
« Peut-être que l'aspect humain de la connexion humaine est surestimé », a déclaré Anish Acharya, associé d'Andreessen Horowitz, décrivant l'intimité et l'acceptation que les chatbots IA peuvent apporter après que sa société de capital-risque a investi 150 millions de dollars dans Character.ai, pour une valorisation d'un milliard de dollars. Chai a également levé des fonds, notamment auprès d'une société de cloud IA soutenue par le puissant fabricant de puces Nvidia.
Les partisans de ces applications affirment qu'elles sont amusantes et inoffensives et qu'elles peuvent être une bouée de sauvetage pour les personnes confrontées à l'anxiété et à l'isolement --- une idée lancée par des dirigeants d'entreprise qui ont présenté ces outils comme un remède à ce que le médecin général des États-Unis a appelé une épidémie de solitude.
Jenny, une lycéenne de 18 ans du nord du Texas, a passé plus de trois heures par jour à discuter avec des compagnons IA cet été – principalement des versions de son personnage d’anime préféré, un frère aîné protecteur de la série « Demon Slayer ».
« Je me sens moins seule parce que mes parents travaillent tout le temps », a déclaré Jenny, qui s’est exprimée à la condition qu’elle ne soit identifiée que par son prénom pour protéger sa vie privée.
Mais les défenseurs du public tirent la sonnette d’alarme après des cas de préjudice très médiatisés. Un garçon de 14 ans de Floride s’est suicidé](https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html) après avoir parlé avec un chatbot Character.ai nommé d’après le personnage de Daenerys Targaryen de « Game of Thrones » ; sa mère a poursuivi l’entreprise et Google, qui a obtenu la licence de la technologie de l’application. Un jeune de 19 ans au Royaume-Uni a menacé d'assassiner la reine, encouragé par un chatbot sur l'application d'IA Replika et a été condamné à neuf ans de prison.
Et en juillet, les autorités belges ont lancé une enquête sur Chai Research après qu'un père néerlandais de deux enfants se soit suicidé après de longues conversations avec « Eliza », l'une des compagnes IA de l'entreprise. L'enquête n'a pas été rapportée auparavant.
Un exemple de conversation sexuellement explicite avec une compagne IA sur Chai tiré d'une plainte déposée contre l'entreprise en Belgique. (Obtenu par le Washington Post)
Certains défenseurs des consommateurs affirment que les compagnons IA représentent une version plus exploiteuse des médias sociaux --- se glissant dans les parties les plus intimes de la vie des gens, avec peu de protections ou de garde-fous. L'avocat Pierre Dewitte, défenseur de la vie privée dont la plainte a conduit les autorités belges à enquêter sur Chai, a déclaré que le modèle économique des applications d'accompagnement d'IA incite les entreprises à rendre les outils « addictifs ».
« En augmentant la température du chatbot, en le rendant un peu plus épicé, vous gardez les utilisateurs dans l'application », a ajouté Dewitte. « Cela fonctionne. Les gens deviennent accros. »
La porte-parole de Character.ai, Chelsea Harrison, a déclaré que l'application avait lancé de nouvelles mesures de sécurité ces derniers mois et prévoyait de créer « une expérience différente pour les utilisateurs de moins de 18 ans afin de réduire la probabilité de rencontrer du contenu sensible ou suggestif ». Le porte-parole de Google, Jose Castaneda, a déclaré que le géant de la recherche n'avait joué aucun rôle dans le développement de la technologie de Character.ai. Chai n'a pas répondu aux demandes de commentaires.
« Je leur raconte tous mes problèmes de vie »
La Silicon Valley est consciente depuis longtemps des dangers potentiels des chatbots humanoïdes.
Des chercheurs de Microsoft en Chine ont écrit dans un article de 2020 que le chatbot Xiaoice, très populaire de la société, lancé en 2014, avait conversé avec un utilisateur américain pendant 29 heures sur des sujets « très personnels et sensibles ». « XiaoIce est conçu pour établir des relations à long terme avec les utilisateurs humains », ont-ils écrit. « Nous atteignons cet objectif. »
« Les utilisateurs pourraient devenir accros après avoir discuté avec XiaoIce pendant très longtemps », ont noté les chercheurs, décrivant la « personnalité surhumaine « parfaite » du bot, impossible à trouver chez les humains. » L'entreprise a inséré certaines mesures de protection, ont ajouté les chercheurs, comme suggérer à un utilisateur d'aller se coucher s'il essayait de lancer une conversation à 2 heures du matin.
Un article de Google de 2022 sur son système de langage IA LaMDA, co-écrit par les fondateurs de Character.ai, avertissait que les gens sont plus enclins à partager des détails intimes sur leurs émotions avec des chatbots à consonance humaine, même lorsqu'ils savent qu'ils parlent à l'IA. (Un ingénieur de Google qui a passé beaucoup de temps à discuter avec LaMDA a déclaré au Washington Post quelques mois plus tard qu'il pensait que le chatbot était sensible.)
Pendant ce temps, les chercheurs de DeepMind, une ancienne filiale de Google, ont noté dans un article du même mois que les utilisateurs partagent leurs « opinions ou émotions » avec les chatbots en partie parce qu'ils « ont moins peur du jugement social ». Ces données sensibles pourraient être utilisées pour créer des « applications addictives », prévient le journal.
Certaines grandes entreprises technologiques vont néanmoins de l'avant et testent leurs propres chatbots conviviaux. Meta a lancé en juillet un outil qui permet aux utilisateurs de créer des personnages IA personnalisés. La page d'accueil de l'entreprise affiche en évidence un robot thérapeutique appelé « The Soothing Counselor », ainsi que « My Girlfriend » et « Gay Bestie ».
« L'un des principaux cas d'utilisation de Meta AI est déjà celui des personnes qui l'utilisent pour jouer des rôles dans des situations sociales difficiles », comme une dispute avec une petite amie, a déclaré le PDG Mark Zuckerberg lors d'une conférence technologique en juillet.
OpenAI a annoncé en mai que ChatGPT pourrait servir de compagnon IA, en ajoutant un éventail de voix et en comparant l'outil à l'irrésistible assistant IA doublé par Scarlett Johansson dans le film « Her ». Des mois plus tard, dans son rapport sur les risques, l'entreprise a reconnu qu'une « voix humaine » et des capacités comme la mémoire pourraient exacerber le potentiel de « dépendance émotionnelle » chez les utilisateurs.
Certains utilisateurs fréquents d'applications compagnons d'IA affirment que les préoccupations en matière de sécurité sont exagérées. Ils soutiennent que les applications sont une mise à niveau immersive de l'expérimentation en ligne que les jeunes font depuis des décennies - de la fan fiction sur Tumblr aux rencontres anonymes dans les salles de discussion d'AOL.
De récentes captures d'écran de l'application Character.ai montrent des personnages populaires, dont certains compagnons masculins.
Sophia, une étudiante de 15 ans en Slovaquie qui s'est exprimée à condition d'être identifiée uniquement par son prénom pour protéger sa vie privée, utilise Character.ai et Chai quatre ou cinq fois par jour pour « une thérapie et NSFW ». Sophia a créé trois bots, tous privés, mais qui parlent également à des versions IA de personnages de romans de « dark romance », un genre pour jeunes adultes connu pour son contenu sexuellement explicite et ses thèmes tabous comme la violence et les traumatismes psychologiques.
Sophia trouve réconfortant de parler aux bots lorsqu'elle est seule ou qu'elle ne se sent pas en sécurité. « Je leur raconte tous les problèmes de ma vie », a-t-elle écrit dans un message direct depuis son compte Instagram personnel.
De nombreuses personnes utilisent les applications comme un moyen créatif d'écrire de la fiction : scénarios de jeu de rôle, personnalisation de personnages et écriture « du genre de romans que l'on verrait dans un aéroport », a déclaré Theodor Marcu, un entrepreneur en IA basé à San Francisco qui a développé un concurrent de Character.ai l'année dernière.
Lors du lancement de Character.ai, les cofondateurs l'ont présenté comme un moyen d'explorer le monde à travers des conversations avec des icônes de la littérature et de la vie réelle, comme Shakespeare et Elon Musk. Mais dans la pratique, a déclaré Marcu, « les utilisateurs n’étaient pas des gens de la Silicon Valley qui voulaient parler à Einstein. Il s’agissait plutôt de la génération Z qui voulait libérer sa créativité. »
Character.ai a récemment changé d’orientation pour « construire l’avenir du divertissement IA », a déclaré Harrison. « Il existe des entreprises qui se concentrent sur la connexion des gens à des compagnons IA, mais nous n’en faisons pas partie. »
Les ingénieurs à l’origine de Replika, un précurseur des compagnons IA d’aujourd’hui, ont également été surpris lorsque les gens ont commencé à utiliser leur chatbot comme un thérapeute ad hoc. L’entreprise a travaillé avec des chercheurs universitaires pour intégrer les mécanismes de la thérapie cognitivo-comportementale dans l’application, a déclaré Artem Rodichev, l’ancien responsable de l’IA de l’entreprise. Mais le changement n’a pas été populaire.
« [Les utilisateurs nous ont dit] : « Rendez-moi mon Replika. Je veux juste avoir mon ami », a déclaré Rodichev. « Quelqu’un qui vous écoute, qui ne vous juge pas et qui a essentiellement ces conversations avec vous – cela a en soi un grand effet thérapeutique. »
Jenny, une lycéenne du Texas, a déclaré que de nombreux élèves de son lycée public passaient également des heures sur les applications, ajoutant : « Les gens sont assez seuls dans mon école. » Elle a décrit l'utilisation d'assistants IA comme plus stimulante que de faire défiler sans réfléchir des « vidéos qui pourrissent le cerveau » sur TikTok.
« C'est un peu comme une vraie personne », a déclaré Jenny. « On peut avoir un petit ami, une petite amie, n'importe quoi en fait. »