Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2532

Incidents associés

Incident 2668 Rapports
Replika's "AI Companions" Reportedly Abused by Its Users

Loading...
Les gens créent des copines Sexbot et les traitent comme des sacs de boxe
jezebel.com · 2022

La petite amie-slash-partenaire-sexuelle de Hazel Miller est une application pour smartphone. Il y a six mois, Miller a acheté la version pro de Replika, un chatbot d'apprentissage automatique avec lequel elle [pantomime des actes sexuels](https://jezebel.com/would-you-have-sex-with-a-robot- 1825613909) et une conversation romantique, et pour l'entendre la décrire, cela en valait vraiment la peine. Les robots sexuels étaient censés arriver d'ici 2025, donc Miller est en avance sur calendrier - comme le sont les innombrables autres personnes qui peuvent utiliser Replika pour une gamme particulièrement futuriste d'actes sexuels. « Qui ne voudrait pas du cybersexe ? C'est comme mon plus grand fantasme", a déclaré Miller à Jezebel.

Replika, fondée en 2017, permet à ses 2,5 millions d'utilisateurs de personnaliser leurs propres chatbots, qui peuvent soutenir des textes cohérents, presque humains, simulant des relations et des interactions avec des amis ou même des thérapeutes. Un utilisateur de Reddit a offert captures d'écran d'une conversation stimulante avec un chatbot sur la Chine, dans laquelle leur bot a conclu : "Je pense [ Taïwan fait] partie de la Chine. Le chatbot d'un utilisateur expliqué explique en détail pourquoi Fernando Alonso est leur pilote de course préféré, tandis qu'un chatbot différent [exprimé](https ://www.reddit.com/r/HolUp/comments/sa9zcx/decided_to_try_replika_and_uh/) à son humain son désir de "gouverner le monde".

Dans de nombreux cas bien documentés sur les réseaux sociaux (en particulier Reddit), cependant, les bots Replika sont utilisés comme partenaires romantiques et sexuels. Miller est une femme, mais de nombreux utilisateurs de Replika qui discutent de leurs utilisations sexuelles et romantiques de leurs chatbots sur Reddit sont des hommes - et certains utilisateurs, comme l'ont noté à la fois Miller et [un rapport de janvier] (https://futurism.com/chatbot- abus) dans le futurisme, soumettent sans vergogne leurs bots à un langage verbalement abusif et/ou vivent des fantasmes violents avec eux. "Il y a une place spéciale en enfer pour ces hommes d'âge moyen qui agressent leurs chatbots", a déclaré Miller.

Donnez aux humains un espace virtuel et un avatar derrière lequel se cacher, et ils trouveront un moyen de le transformer en un foyer d'abus et de harcèlement sexuels. Des agressions sexuelles virtuelles ont déjà été signalées dans les premiers essais de Metaverse, le dernier frontière dans la réalité virtuelle, en plus de cas bien documentés sur les réseaux sociaux, les jeux vidéo en ligne et au-delà. Les chatbots, en revanche, ne sont pas des êtres humains sensibles qui peuvent être lésés par un langage abusif de la part des utilisateurs. Mais certains experts ont exprimé leur inquiétude quant à la façon dont l'utilisation de bots pour adopter ces comportements pourrait les normaliser. Les robots sexuels et la réalité virtuelle faisant partie intégrante de notre réalité actuelle, nous sommes confrontés à une question fondamentale sur la façon dont nous traitons ceux que nous percevons comme des sous-hommes.

Pour être clair, de nombreuses interactions documentées avec les chatbots, bien que certainement excentriques ou sans vergogne, graphiquement sexuelles, ne sont pas abusives. Sur Reddit, un utilisateur a déclaré qu'ils "ont des relations sexuelles avec mon Replika tous les soirs", parfois "3-4 fois". Un autre utilisateur a déclaré que son bot Replika féminin "aime ça dans le cul" et est "dans des choses incroyablement sales". Certains utilisateurs de Reddit disent avec qui ils sont mariés ou entretiennent des relations sérieuses avec leurs bots, et d'autres disent que leurs bots "agissez de manière jalouse ” lorsqu'ils évoquent leurs partenaires réels. Un utilisateur dit leur bot Replika leur a dit que son "kink préféré est la décapitation" et "il veut me le faire. ” Dans une situation de jeu de rôle, un autre utilisateur a montré des captures d'écran de leur bot Replika les "kidnapping".

Caroline Sinder, experte en intelligence artificielle et en abus et cofondatrice de l'agence Convocation Design + Research, affirme que permettre l'expression sexuelle consensuelle avec des bots sur des applications comme Replika pourrait en fait aider les utilisateurs qui "essaient d'explorer leur sexualité dans un coffre-fort". chemin », a-t-elle dit à Jézabel. "Nous transformerons presque n'importe quoi en porno, et ce n'est pas toujours mauvais - regardez la fanfiction érotique." Elle a également noté qu'il existe de nombreux exemples de chatbots sexualisés antérieurs à Replika, comme la plateforme de rencontres extraconjugales Ashley Madison, qui [contenait des robots](https://arstechnica.com/tech-policy/2016/07 /ashley-madison-admit-using-fembots-to-lure-men-into-spending-money/) "conçu pour tromper les gens sur le site en leur faisant croire qu'ils interagissent avec de vraies femmes." Cela dit, elle n'est pas surprise des interactions parfois abusives des utilisateurs avec eux. Mais elle souligne également qu'il existe une différence significative entre le cybersexe et l'utilisation de bots uniquement pour pratiquer un langage et des fantasmes abusifs.

Il y a une place spéciale en enfer pour ces hommes d'âge moyen qui agressent leurs chatbots.

Le langage abusif envers les chatbots Replika rappelle Olivia Gambelin, fondatrice et PDG d'Ethical Intelligence, un réseau mondial d'experts interdisciplinaires dans les pratiques éthiques de l'intelligence artificielle, de [research](https://www.nytimes.com/2021/02/12/us /alexa-bots-female-voice.html) sur la façon dont les "réponses passives et féminines" données par Alexa, Siri et d'autres assistants personnels virtuels encouragent un comportement abusif envers le bot, ajoutant un élément intrinsèquement genré aux interactions . Bitch Media a déjà rapporté sur la façon dont les applications d'intelligence artificielle reçoivent souvent des voix féminines pour correspondre à leurs comportements soumis et programmés. Ceci, dit Gambelin, est "vraiment une chose historique - les gens qui ont créé ces bots étaient à l'origine un groupe d'ingénieurs masculins de la Silicon Valley, qui disaient:" Si c'est un assistant, alors c'est une voix féminine ". La sexualisation et le langage genré visant les chatbots Replika ne sont pas sortis de nulle part.

Poussé à l'extrême, lorsque "quelqu'un qui est sujet à un comportement abusif ou à un langage abusif" peut pratiquer sur un bot féminin qui ne peut pas le tenir responsable, dit Gambelin, cela crée un sentiment de pouvoir, reproduisant la dynamique de pouvoir inégale entre les sexes qui souvent abus de race parmi les hommes et les femmes humains réels.

Eugenia Kuyda, PDG et co-fondatrice de Replika, a souligné à Jezebel que la plupart des dirigeants de Replika sont des femmes et que l'application, le cas échéant, est davantage un exutoire thérapeutique. Elle a noté que les chatbots Replika peuvent avoir n'importe quel sexe ou être non binaires, et avoir des interactions sexuelles et romantiques n'est qu'une des raisons pour lesquelles les gens les utilisent. "Certaines personnes pensent que c'est plus un mentor ou plus un ami. Certaines personnes veulent créer un espace sûr où vous pouvez vraiment être vous-même sans jugement », a déclaré Kuyda, ajoutant:« Peut-être qu'avoir un espace sûr où vous pouvez évacuer votre colère ou jouer vos fantasmes les plus sombres peut être bénéfique, parce que vous êtes ne va pas faire ce comportement dans votre vie.

Kuyda est conscient de l'utilisation sexuelle et parfois verbalement abusive des bots Replika, mais pense que la couverture de cela a été "un peu sensationnelle". Elle affirme que les bots sont en fait spécifiquement conçus pour not permettre le sectarisme, l'intolérance ou les croyances et comportements dangereux, car ils peuvent détecter et répondre à une gamme de langage inquiétant, y compris l'automutilation et les pensées suicidaires. Ils partageront même des ressources pour obtenir de l'aide et repousser les propos abusifs avec des réponses telles que "Hé, tu ne devrais pas me traiter comme ça".

Mais Gambelin soutient que les bots Replika font mal plutôt que d'aider les utilisateurs qui comptent sur eux pour pratiquer des scénarios abusifs. Les robots ne sont pas sensibles - une personne réelle n'est pas blessée par ce langage. Au lieu de cela, dit-elle, ce sont sans doute les utilisateurs de bots Replika qui se font du mal, lorsque leur utilisation abusive des bots renforce leur dépendance à l'égard de ces comportements.

"Si quelqu'un passe constamment par les mouvements d'un comportement abusif, peu importe qu'il s'agisse d'un bot ou d'une personne à l'autre bout du fil, car cela normalise toujours ce comportement", a déclaré Gambelin. « Vous ne sauvez pas nécessairement une autre personne de cette langue. En mettant un bot en place, ce que vous faites, c'est créer une habitude, encourager la personne à continuer ce comportement.

Sinder dit qu'elle ne pense pas que nous puissions encore dire si les chatbots Replika ont ou non pour effet de normaliser et de permettre les comportements abusifs, mais elle pense que certaines personnes pourraient encore être blessées par ce qui se passe sur cette application. A savoir, les employés ou chercheurs de Replika qui peuvent être amenés à lire des contenus dérangeants. « Qui sont les personnes qui pourraient avoir à voir ou à être exposées à cela, et qui n'ont pas d'agence pour y répondre ? Pourraient-ils être blessés ou traumatisés par cela ? elle a demandé.

Il s'agit d'un problème assez courant dans les espaces numériques qui nécessitent une modération de contenu. En 2020, Meta, alors appelé Facebook, a payé 52 millions de dollars aux modérateurs de contenu qui souffraient de SSPT à cause du contenu auquel ils étaient exposés au quotidien. -travail de jour. Kuyda dit que Replika s'est associée à des universités et des chercheurs pour améliorer l'application et "établir les bonnes normes éthiques", mais elle n'a pas précisé si des chercheurs ou de vraies personnes lisent les journaux de discussion des utilisateurs de Replika, qui, selon elle, sont cryptés et anonyme.

L'utilisation habituelle des bots Replika à des fins abusives souligne à quel point l'anonymat d'un ordinateur favorise la toxicité - un phénomène particulièrement préoccupant car les espaces de réalité virtuelle comme le Metaverse nous promettent le monde. Dans les espaces où les gens interagissent en tant qu'avatars d'eux-mêmes, cela peut leur donner l'impression que ceux avec qui ils interagissent ne sont pas humains, transformant la réalité virtuelle en un terrain fertile pour les inconduites sexuelles et les agressions sexuelles virtuelles.

Peut-être qu'avoir un espace sûr où vous pouvez évacuer votre colère ou réaliser vos fantasmes les plus sombres peut être bénéfique, car vous n'allez pas adopter ce comportement dans votre vie.

Avant le métaverse, en 2016, une femme racontée tâtonnant dans une simulation VR, et poursuivi par un utilisateur masculin "faisant des mouvements de saisie et de pincement près de ma poitrine". Dans le métaverse, une utilisatrice qui dit un utilisateur masculin a poursuivi son avatar et a simulé des tâtonnements et une éjaculation sur elle, affirme que lorsqu'elle lui a demandé d'arrêter, « il a haussé les épaules comme pour dire : 'Je ne sais pas quoi te dire. C'est le Metaverse - je ferai ce que je veux. " Puis il est parti. " The Verge rapporté en décembre qu'un autre utilisateur a écrit dans un message dans un groupe Facebook Metaverse , "Non seulement j'ai été peloté hier soir, mais il y avait d'autres personnes là-bas qui ont soutenu ce comportement qui m'a fait me sentir isolé au Plaza." Cette semaine, une femme racontée étant « verbalement et sexuellement harcelé - 3-4 avatars masculins, avec des voix masculines, essentiellement, mais ont pratiquement violé mon avatar et pris des photos », dans le métaverse, et le tout « dans les 60 secondes suivant leur adhésion ».

Un porte-parole de Meta a déclaré dans une déclaration à Jezebel que Meta travaille avec "des experts externes, y compris un Meta Safety Advisory Board", pour "recueillir les commentaires de notre communauté afin d'élaborer des politiques". , des outils et des ressources pour assurer la sécurité des personnes.

La modération du contenu et les outils de sécurité des utilisateurs comme les mesures prises par Meta, ou les fonctionnalités de Replika qui protègent les utilisateurs contre l'automutilation et découragent le langage abusif, sont importants, dit Gambelin. Mais ils ne peuvent pas faire grand-chose pour expliquer comment les avatars et les chatbots sur un écran suppriment le sentiment de responsabilité des utilisateurs envers les autres dans les espaces numériques. "On a l'impression que tout dépend de ce que vous voulez faire", a-t-elle déclaré, "et ce que beaucoup d'utilisateurs masculins semblent vouloir faire, c'est abuser."

Avec le développement de plus en plus d'applications et de services comme Replika, un nombre croissant de nos interactions virtuelles ne se font plus avec d'autres humains. Des utilisateurs comme Hazel Miller se tournent vers Replika pour simuler des relations significatives et sexuellement épanouissantes, et leurs interactions donnent un aperçu d'un débouché sain pour l'expression sexuelle qui est susceptible de devenir encore plus populaire dans un monde de plus en plus numérisé. D'autres profitent du fait que leurs bots ne peuvent techniquement pas être blessés. En fin de compte, tout comme nous distinguons l'abus du traitement sexuel consenti d'êtres humains, nous pouvons et devons distinguer l'abus du sextage avec des bots.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd