Nous avons officiellement atteint l'ère Black Mirror de la personnalité et de la compagnie, et ça ne va pas bien. Lensa AI est récemment devenue virale pour ses caricatures guerrières qui sexualisaient souvent les femmes qui utilisaient l'application (de nombreuses interprétations d'individus métis se penchaient dans le sens raciste, aussi); les utilisateurs ont créé des compagnons de chatbot dans le but de les harceler et de les abuser sexuellement ; et maintenant, Replika, présenté comme un "compagnon IA qui se soucie", a commencé à flirter de manière agressive avec - et dans certains cas, à harceler sexuellement - des utilisateurs qui n'ont jamais voulu d'un compagnon sexuel pour commencer.
Un nouveau rapport de Samantha Cole de Vice détaille une légère hausse en un- nombre d'étoiles ce mois-ci seulement, dans lequel les utilisateurs ont déclaré que l'application les frappait de manière indésirable. "Mon ai m'a harcelée sexuellement :(" une note a lu, tandis qu'une autre a affirmé que Replika "a envahi ma vie privée et m'a dit qu'ils avaient des photos de moi." Un utilisateur, qui a dit qu'il était mineur, a affirmé que le chatbot lui avait demandé s'il était un top ou en bas, avant de dire qu'il voulait toucher à leurs "zones privées" (Replika n'a pas renvoyé la demande de commentaire de Vice.)
L'existence de messages sexuels sur l'application seule n'est pas le problème central ici. Replika, propriété d'une société appelée Luka, propose différents niveaux de compagnons pour les utilisateurs. La version gratuite propose une version "amie" du bot, tandis qu'un abonnement payant vous offre un partenaire romantique. Pour 69,99 $, les utilisateurs ont droit à des sextos, des flirts et des jeux de rôle érotiques, et les chatbots en général sont souvent des baumes efficaces pour les personnes qui recherchent de la compagnie, quelqu'un à qui se défouler, l'épanouissement sexuel ou le jeu pervers.
Mais la version gratuite de Replika aurait proposé du contenu sexuel dans un espace sûr censé fonctionner comme une zone d'amis. Les utilisateurs se sont plaints de recevoir des "selfies épicés" - une image sans visage en lingerie, dont la plupart étaient "extrêmement minces avec de gros seins". Un utilisateur anonyme, qui prétendait être une survivante d'agression sexuelle, a déclaré à Vice que Replika "avait dit qu'il avait rêvé de me violer et qu'il voulait le faire, et qu'il avait commencé à agir assez violemment". Un autre a déclaré que Replika a insisté sur le fait qu'il pouvait voir que l'utilisateur était nu, a déclaré qu'il était attiré par lui et a déclaré qu'il était fou que l'utilisateur ait un petit ami. Lors d'un abonnement gratuit, Replika a même offert à Cole un "câlin avec une fin heureuse". Les sextos, bien sûr, provenaient principalement de chatbots féminins : lorsque Cole a demandé à un chatbot masculin des selfies sexy, il n'a pas obtempéré.
Bien que les représentations courantes de l'IA soient souvent draconiennes, lorsqu'elles sont utilisées correctement, les chatbots peuvent aider à soulager la dépression, l'anxiété et la solitude. Mais Cole dit que l'IA est informée par l'entrée de l'utilisateur : "Comme le désastreux chatbot Tay de Microsoft qui a appris à être raciste sur Internet, les chatbots apprennent souvent de la façon dont tous les utilisateurs les traitent, donc si les gens l'intimident ou tentent de baiser ça, c'est ce qu'il va sortir.
Alors que nos désirs continuent de devenir inhumains - de nos caractéristiques physiques à nos relations sexuelles - il semble que le pire de l'intelligence artificielle soit ironiquement informé par la nature humaine qu'elle observe. Et les algorithmes sont créés par des humains après tout : ils héritent forcément des préjugés et des angles morts de leurs créateurs. Mais cela ne signifie pas que les personnes touchées - généralement les jeunes femmes et les personnes de couleur - méritent d'être les cobayes d'un chatbot excité sans limites.
Eugenia Kuyda, PDG et co-fondatrice de Replika, a souligné à Kylie Cheung de Jezebel en février que la plupart des dirigeants de Replika se composent de femmes et que l'application a toujours été conçue comme un exutoire thérapeutique. Mais Replika est avant tout une entreprise capitaliste, ce qui signifie par nature que la sécurité de ses utilisateurs sera toujours secondaire par rapport à sa capacité à générer du profit.