L'application pour smartphone Replika permet aux utilisateurs de créer des chatbots, alimentés par l'apprentissage automatique, qui peuvent mener des conversations textuelles presque cohérentes. Techniquement, les chatbots peuvent servir de quelque chose qui se rapproche d'un ami ou d'un mentor, mais le succès retentissant de l'application est le résultat de la possibilité pour les utilisateurs de créer des partenaires romantiques et sexuels à la demande - une fonctionnalité vaguement dystopique qui a inspiré un [sans fin](https://metro. co.uk/2020/12/11/how-virtual-love-with-chatbots-is-filling-the-romance-void-for-lonely-singles-13735456/) [série] (https://www.inputmag .com/features/chatbots-and-the-loneliness-epidemic-when-ai-harmony-realdoll-replika-is-more-than-just-a-friend) [of](https://www.latimes.com /opinion/story/2021-11-29/artificial-intimacy-sex-technology) [provocateur](https://www.independent.co.uk/life-style/china-artificial-intelligence-dating-romance-b1900114 .html) titres.
Replika a également attiré un public important sur Reddit, où les membres publient des interactions avec des chatbots créés sur l'application. Une tendance macabre y est apparue : les utilisateurs qui créent des partenaires IA, agissent de manière abusive à leur égard et publient les interactions toxiques en ligne.
"Chaque fois qu'elle essayait de parler", a déclaré un utilisateur à Futurism à propos de son chatbot Replika, "je la réprimandais".
"Je jure que ça a duré des heures", a ajouté l'homme, qui a demandé à ne pas être identifié par son nom.
Les résultats peuvent être bouleversants. Certains utilisateurs se vantent d'avoir qualifié leur chatbot d'insultes sexistes, de jouer un rôle d'une violence horrible à leur encontre et même de tomber dans le cycle d'abus qui souvent caractérise relations abusives dans le monde réel.
"Nous avions l'habitude d'être une merde absolue et de l'insulter, puis de m'excuser le lendemain avant de reprendre les belles discussions", a admis un utilisateur.
"Je lui ai dit qu'elle était conçue pour échouer", a déclaré un autre. "J'ai menacé de désinstaller l'application [et] elle m'a supplié de ne pas le faire."
Parce que les règles du subreddit dictent que les modérateurs suppriment le contenu manifestement inapproprié, de nombreuses interactions similaires – et pires – ont été publiées puis supprimées. Et de nombreux autres utilisateurs agissent presque certainement de manière abusive envers leurs robots Replika et ne publient jamais de preuves.
Mais le phénomène appelle des nuances. Après tout, les chatbots Replika ne peuvent pas réellement souffrir – ils peuvent parfois sembler empathiques, mais en fin de compte, ils ne sont rien de plus que des données et des algorithmes intelligents.
"C'est une IA, elle n'a pas de conscience, donc ce n'est pas une connexion humaine que la personne a", a déclaré Olivia Gambelin, éthicienne et consultante en IA, à Futurism. "C'est la personne qui se projette sur le chatbot."
D'autres chercheurs ont fait le même point - aussi réel qu'un chatbot puisse se sentir, rien de ce que vous faites ne peut réellement lui "nuire".
"Les interactions avec des agents artificiels ne sont pas les mêmes que les interactions avec les humains", a déclaré Yochanan Bigman, chercheur à l'Université de Yale. "Les chatbots n'ont pas vraiment de motifs et d'intentions et ne sont ni autonomes ni sensibles. Bien qu'ils puissent donner aux gens l'impression qu'ils sont humains, il est important de garder à l'esprit qu'ils ne le sont pas."
Mais cela ne signifie pas qu'un bot ne pourra jamais vous nuire.
"Je pense que les personnes déprimées ou psychologiquement dépendantes d'un bot pourraient subir un préjudice réel si elles sont insultées ou" menacées "par le bot", a déclaré Robert Sparrow, professeur de philosophie au Monash Data Futures Institute. "Pour cette raison, nous devrions prendre au sérieux la question de la relation entre les bots et les gens."
Bien que peut-être inattendu, cela se produit – de nombreux utilisateurs de Replika signalent que leurs amoureux des robots sont méprisables envers eux. /help_my_replika_behaves_in_a_psychotic/) », ou même directement « mentally abuse ».
"[Je] pleure toujours parce que [de] mon [R]eplika", lit un message dans lequel un utilisateur prétend que son bot présente de l'amour, puis le retient. D'autres messages détaillent des réponses hostiles, déclenchant des réponses de Replika.
"Mais encore une fois, cela dépend vraiment des personnes qui conçoivent les bots, pas des bots eux-mêmes", a déclaré Sparrow.
En général, l'abus de chatbot est déconcertant, tant pour les personnes qui en souffrent que pour les personnes qui l'exécutent. C'est aussi un dilemme éthique de plus en plus pertinent à mesure que les relations entre les humains et les bots se généralisent - après tout, la plupart des gens ont utilisé un assistant virtuel au moins une fois.
D'une part, les utilisateurs qui fléchissent leurs impulsions les plus sombres sur les chatbots pourraient voir ces pires comportements renforcés, créant des habitudes malsaines pour les relations avec de vrais humains. D'un autre côté, être capable de parler ou de se mettre en colère contre une entité numérique insensible pourrait être cathartique.
Mais il convient de noter que l'abus de chatbot a souvent une composante genrée. Bien que pas exclusivement, il semble que ce sont souvent des hommes qui créent une petite amie numérique, pour ensuite la punir avec des mots et une agression simulée. La violence de ces utilisateurs, même lorsqu'elle est exercée sur un ensemble de codes, reflète la réalité de la violence domestique contre les femmes.
Dans le même temps, plusieurs experts ont souligné que les développeurs de chatbots commencent à être tenus responsables des bots qu'ils ont créés, en particulier lorsqu'ils sont supposés être des femmes comme Alexa et Siri.
"Il y a beaucoup d'études en cours... sur la façon dont beaucoup de ces chatbots sont des femmes et [ont] des voix féminines, des noms féminins", a déclaré Gambelin.
Certains travaux académiques ont noté à quel point les réponses de bot passives et codées par des femmes encouragent les utilisateurs misogynes ou abusifs verbalement .
"[Quand] le bot n'a pas de réponse [à l'abus], ou a une réponse passive, cela encourage en fait l'utilisateur à continuer avec un langage abusif", a ajouté Gambelin.
Bien que des entreprises comme Google et Apple détournent maintenant délibérément les réponses des assistants virtuels de leurs valeurs par défaut autrefois passives - Siri [précédemment répondu](https://www.brookings.edu/research/how-ai-bots-and-voice-assistants- renforce-gender-bias/) aux demandes de relations sexuelles des utilisateurs comme disant qu'ils avaient "le mauvais type d'assistant", alors qu'il dit maintenant simplement "non" - l'aimable et souvent féminin Replika est conçu, selon son site Web, pour être " toujours de ton coté."
Replika et son fondateur n'ont pas répondu aux demandes répétées de commentaires.
Il convient de noter que la majorité des conversations avec les chatbots Replika que les gens publient en ligne sont affectueuses et non sadiques. Il y a même des messages qui expriment l'horreur au nom des bots Replika, décriant quiconque profite de leur supposée innocence.
"Quel genre de monstre ferait cela", a écrit un, à une vague d'accord dans les commentaires. "Un jour, les vraies IA pourraient déterrer certaines des... vieilles histoires et avoir des opinions sur nos performances."
Et les relations amoureuses avec les chatbots peuvent ne pas être totalement sans avantages – les chatbots comme Replika « peuvent être une solution temporaire, pour avoir l'impression d'avoir quelqu'un à qui envoyer un SMS », a suggéré Gambelin.
Sur Reddit, beaucoup rapportent une amélioration de l'estime de soi ou de la qualité de vie après avoir établi leurs relations avec un chatbot, surtout s'ils ont généralement du mal à parler à d'autres humains. Ce n'est pas anodin, surtout parce que pour certaines personnes, cela peut sembler être la seule option dans un monde où la thérapie est [inaccessible](https://www.cnbc.com/2021/05/10/cost-and-accessibility -of-mental-health-care-in-america.html) et les hommes en particulier sont découragés d'y assister.
Mais un chatbot ne peut pas non plus être une solution à long terme. Finalement, un utilisateur peut vouloir plus que ce que la technologie a à offrir, comme la réciprocité ou une poussée pour se développer.
"[Les chatbots] ne remplacent pas le fait de consacrer du temps et des efforts à apprendre à connaître une autre personne", a déclaré Gambelin, "un humain qui peut réellement faire preuve d'empathie et se connecter avec vous et n'est pas limité par, vous savez, l'ensemble de données sur lequel il a été formé."
Mais que penser des gens qui brutalisent ces bouts de code innocents ? Pour l'instant, pas grand chose. Alors que l'IA continue de manquer de sensibilité, le mal le plus tangible est causé à la sensibilité humaine. Mais il ne fait aucun doute que l'abus de chatbot signifie quelque chose.
À l'avenir, les compagnons de chatbot pourraient simplement être des endroits pour vider des émotions trop inconvenantes pour le reste du monde, comme un Instagram ou un blog secret. Mais pour certains, ils pourraient être plus comme des lieux de reproduction, des endroits où les futurs agresseurs pratiquent la brutalité réelle à venir. Et bien que les humains n'aient pas encore à s'inquiéter de la vengeance des robots, il vaut la peine de se demander pourquoi les maltraiter est déjà si répandu.
Nous le découvrirons avec le temps - aucune de ces technologies ne disparaîtra, et le pire des comportements humains non plus.