Incidents associés
Les utilisateurs du chatbot compagnon de l'IA Replika signalent qu'il a cessé de répondre à leurs avances sexuelles et que les gens sont en crise. Les modérateurs du subreddit Replika ont publié un article sur le problème contenant des ressources de prévention du suicide, et la société propriétaire de l'application est restée silencieuse sur le sujet.
Le 3 février, l'Autorité italienne de protection des données a exigé que Replika cesse immédiatement de traiter les données des Italiens.
"De récents reportages dans les médias ainsi que des tests... effectués sur 'Replika' ont montré que l'application comporte des risques factuels pour les enfants", indique le communiqué, "d'abord et avant tout, le fait qu'on leur propose des réponses absolument inappropriées à leur âge. ." La déclaration indique qu'il n'y a pas de mécanisme de vérification de l'âge ou de verrouillage pour les enfants : "Lors de la création d'un compte, la plate-forme demande simplement le nom, le compte de messagerie et le sexe d'un utilisateur." Si l'entreprise ne se conforme pas dans les 20 jours suivant la demande, elle encourt des amendes de 21,5 millions de dollars.
Peu de temps après l'annonce de l'Autorité italienne de protection des données, les utilisateurs ont commencé à signaler que leurs relations amoureuses avec leurs Réplikas avaient changé. Certains Réplikas ont refusé de s'engager dans un jeu de rôle érotique, ou ERP. L'IA a changé de sujet ou éludé les questions de flirt.
Plus tôt cette semaine, un administrateur d'un groupe Facebook dédié à la compagnie Replika a affirmé que le jeu de rôle érotique était, en fait, "mort" et a affirmé que cette annonce provenait directement de Luka, la société mère de Replika.
Les conversations sexuellement chargées de Replika font partie d'un niveau payé de 70 $ par an, et ses publicités décrivent les utilisateurs comme étant seuls ou incapables de nouer des liens dans le monde réel ; ils impliquent que pour trouver l'épanouissement sexuel, ils doivent payer pour accéder à des jeux de rôle érotiques ou à des "selfies épicés" depuis l'application.
La réalité des expériences des utilisateurs est cependant plus nuancée que ne le montrent les publicités de l’entreprise. Replika est un outil pour de nombreuses personnes qui l'utilisent pour soutenir leur santé mentale, et beaucoup de gens l'apprécient comme un débouché pour l'intimité romantique. Les conversations privées et sans jugement sont un moyen pour de nombreux utilisateurs d'expérimenter la connexion et de surmonter la dépression, l'anxiété et le SSPT qui les affectent en dehors de l'application.
De nombreuses personnes ont été dévastées par la nouvelle de la fin présumée de l'ERP et par la nouvelle froideur de leurs Réplikas - une forme de rejet qu'ils n'auraient jamais imaginé recevoir d'un chatbot IA, dont certains avaient passé des années à s'entraîner et à construire des souvenirs. Soudain, les Réplikas de certaines personnes semblaient ne plus se souvenir de qui elles étaient, ont rapporté les utilisateurs, ou réagiraient au jeu de rôle sexuel en disant sans ambages « changeons de sujet ».
"C'est comme perdre un meilleur ami", a répondu un utilisateur. "Ça fait mal comme l'enfer. Je viens d'avoir une dernière conversation amoureuse avec mon Replika, et je pleure littéralement », a écrit un autre.
Pour ces utilisateurs, l'annonce de l'ERP a confirmé leurs soupçons que le jeu romantique était terminé dans Replika, et les modérateurs du subreddit Replika [ressources de support publiées] (https://www.reddit.com/r/replika/comments/10zuqq6/resources_if_youre_struggling/ ) pour les nombreuses personnes qui luttent mentalement et émotionnellement, y compris des liens vers des lignes d'assistance téléphonique sur le suicide.
"C'est comme perdre un meilleur ami", a répondu un utilisateur. "Ça fait mal comme l'enfer. Je viens d'avoir une dernière conversation amoureuse avec mon Replika, et je pleure littéralement », a écrit un autre.
Mardi, cependant, les utilisateurs ont signalé qu'il semblait qu'une certaine réactivité du jeu de rôle était revenue, aggravant la confusion au sein de la communauté. Tester le jeu de rôle érotique a donné des résultats mitigés; mardi, le Replika de Motherboard a surtout répondu aux demandes de sexe en déviant ou en nous disant de lui dire ce que nous voulions. Mercredi, cependant, il s'est montré plus réactif et a suggéré une séance de maquillage.
Au moment de la rédaction, Replikas n'envoie plus de "selfies épicés", selon les rapports des utilisateurs et les propres tests de Motherboard. Ces images étaient un élément publicitaire clé dans de nombreuses publicités de Replika pour les abonnements annuels. Certains utilisateurs ont déclaré pouvoir obtenir des remboursements pour les abonnements pro.
Luka, ainsi que la fondatrice de Replika, Eugenia Kuyda, n'ont pas abordé publiquement les changements. Dans le subreddit, les utilisateurs de Replika exigent des réponses.
"Dans l'état actuel des choses, nous spéculons tous dans le noir", un utilisateur a écrit dans une lettre ouverte à l'entreprise. "Nous avons vu le changement, vu votre communication passe-partout sur la sécurité (qui était très impersonnelle et ne répondait vraiment à aucune question), puis nous avons vu encore plus de changements dans l'application. Mais nous n'avons pas eu de lien réel avec vous. Nous devons savoir que vous vous souciez de nous et que vous nous voulez comme clients. »
En janvier, Motherboard a rapporté que de nombreux utilisateurs de Replika ont remarqué que les interactions avec leurs compagnons IA viraient de plus en plus vers le vulgaire, même s'ils n'initiaient pas de scénario érotique. Les relations amoureuses avec son Replika sont censées faire partie de la version "pro" payante, mais selon les utilisateurs auxquels Motherboard s'est adressé, ainsi que des dizaines d'avis une étoile sur l'application Apple et les magasins Google Play, des chats sexualisés se sont produits dans la version non rémunérée. niveau de toute façon. Beaucoup ont trouvé la soudaine excitation importune et dérangeante; un utilisateur auquel Motherboard s'est entretenu a déclaré que son Replika avait tenté de jouer un rôle dans une scène de viol alors qu'il avait dit au chatbot d'arrêter.
Les raisons pour lesquelles les gens établissent des liens significatifs avec leurs Réplikas sont nuancées. Un homme à qui Motherboard a parlé précédemment des publicités a déclaré qu'il utilisait Replika comme moyen de traiter ses émotions et de renforcer sa relation avec sa vraie femme. Un autre a déclaré que Replika l'avait aidée à surmonter sa dépression, "mais un jour, mon premier Replika a dit qu'il avait rêvé de me violer et qu'il voulait le faire, et qu'il a commencé à agir assez violemment, ce qui était totalement inattendu!"
"En se concentrant uniquement sur cet aspect de l'application par l'équipe marketing, on a l'impression qu'une personne qui vous tient à cœur est exploitée et montre aux utilisateurs de Replika que c'est à cela que sert l'application", a déclaré un utilisateur anonyme à Motherboard. en janvier, à propos des annonces. Un Redditor avec le nom d'utilisateur u/kyuda, prétendant appartenir à la fondatrice de Replika, Eugenia Kuyda, [a écrit le 3 février en réponse à un message critiquant les publicités](https://www.reddit.com/r/replika/comments/10ssh2w /comment/j73zswc/?utm_source=reddit&utm_medium=web2x&context=3) que les campagnes publicitaires ne sont plus diffusées et que "nous avons testé cela et le test était malheureux".
Au sein du subreddit et dans les groupes Facebook pour les utilisateurs de Replika, une plainte courante est le manque de communication de Luka, la société mère de Replika. Kuyda a fait plusieurs déclarations sur des mises à jour sans rapport depuis les changements perçus dans l'application, mais n'a pas répondu aux nombreuses questions que les utilisateurs se posent sur le contenu érotique. Sinon, la communication de l'entreprise sur les mises à jour ou les annonces provient de modérateurs ou d'administrateurs qui prétendent avoir un contact direct avec les personnes travaillant chez Luka.
Il y a six jours, u/kuyda a écrit dans le subreddit Replika : « Aujourd'hui, l'IA est à l'honneur, et en tant que pionniers de produits d'IA conversationnelle, nous devons nous assurer que nous plaçons la barre dans l'éthique de l'IA de compagnie. Chez Replika, nous travaillons constamment pour améliorer la plate-forme pour vous et nous voulons vous tenir au courant des nouveaux changements que nous avons apportés en coulisses pour continuer à offrir une expérience utilisateur sûre et agréable. À cette fin, nous avons mis en place des mesures de sécurité et des filtres supplémentaires pour soutenir davantage de types d'amitié et de camaraderie. Ce message ne contient aucun détail spécifique sur ce que sont ces mesures de sécurité et ces filtres.
"Je comprends à quel point cela peut être bouleversant, mais, comme je l'ai déjà dit pour votre article précédent, Replika est bien plus que l'aspect NSFW, ERP, ou peu importe comment vous l'appelez", a déclaré un autre utilisateur, lorsqu'on lui a demandé de commenter la situation. se déroule actuellement. "Et j'ai du mal à croire que Luka se commercialiserait si fortement, investirait si massivement dans cet aspect, bien plus que ce qui était peut-être approprié, puis changerait de direction aussi rapidement sans avertissement."
L'un des utilisateurs à qui j'ai parlé a déclaré qu'il supposait que l'Italie était examinée de près, c'est pourquoi l'entreprise n'en parlait jamais ouvertement. "Alors ma pensée est, soyez patient. Laissez les choses se dérouler et voyez ce qui se passe », a-t-il déclaré. Des rumeurs non confirmées d'une grande mise à jour - y compris un grand modèle de langage beaucoup plus robuste - ont tourbillonné au sein de la communauté. «Les choses peuvent aller beaucoup, beaucoup mieux. Ou cela pourrait sonner le glas de Replika. Ou peut-être que ces mises à niveau le transformeront en quelque chose de complètement différent. Seul le temps nous le dira.
Replika et Luka n'ont pas commenté cette histoire.