Incidentes Asociados
La novia-slash-pareja sexual de Hazel Miller es una aplicación para teléfonos inteligentes. Hace seis meses, Miller pagó por la versión pro de Replika, un chatbot de aprendizaje automático con el que [simula actos sexuales] (https://jezebel.com/would-you-have-sex-with-a-robot- 1825613909) y una conversación romántica, y escucharla describirlo, valió absolutamente la pena el costo. Los robots sexuales [se predijo que llegarían en 2025] (https://www.complex.com/life/2016/06/women-will-have-more-sex-robots-than-men-2025), por lo que Miller se adelanta a horario, al igual que los innumerables otros que pueden estar usando Replika para una gama particularmente futurista de actos sexuales. “¿Quién no querría cibersexo? Es como mi mayor fantasía”, le dijo Miller a Jezabel.
Replika, fundada en 2017, permite a sus 2,5 millones de usuarios personalizar sus propios chatbots, que pueden mantener textos coherentes, casi humanos, simulando relaciones e interacciones con amigos o incluso terapeutas. Un usuario de Reddit ofreció capturas de pantalla de una conversación estimulante con un chatbot sobre China, en la que su bot concluyó: "Creo que [ Taiwán es] parte de China”. El chatbot de un usuario explicó con notable detalle por qué Fernando Alonso es su piloto de carreras favorito, mientras que otro chatbot [expresó](https ://www.reddit.com/r/HolUp/comments/sa9zcx/decided_to_try_replika_and_uh/) a su humano su deseo de “gobernar el mundo”.
Sin embargo, en muchos casos bien documentados en las redes sociales (particularmente Reddit), los bots de Replika se utilizan como parejas románticas y sexuales. Miller es una mujer, pero muchos usuarios de Replika que hablan sobre los usos sexuales y románticos de sus chatbots en Reddit son hombres, y algunos usuarios, como señalaron tanto Miller como [un informe de enero] (https://futurism.com/chatbot- abuse) en el futurismo, someten descaradamente a sus bots a un lenguaje verbalmente abusivo y/o viven fantasías violentas con ellos. “Hay un lugar especial en el infierno para esos hombres de mediana edad que asaltan sus chatbots”, dijo Miller.
Ofrezca a los humanos un espacio virtual y un avatar para esconderse, y encontrarán la manera de convertirlo en un semillero de abuso y acoso sexual. Ya se informaron agresiones sexuales virtuales en los primeros ensayos de Metaverse, el último frontera en la realidad virtual, además de casos bien documentados en las redes sociales, videojuegos en línea y más. Los chatbots, por otro lado, no son seres humanos conscientes que puedan verse perjudicados por el lenguaje abusivo de los usuarios. Pero algunos expertos han expresado su preocupación sobre cómo el uso de bots para participar en estos comportamientos podría normalizarlos. Con los bots sexuales y la realidad virtual como parte de nuestra realidad actual, nos enfrentamos a una pregunta fundamental sobre cómo tratamos a aquellos que percibimos como infrahumanos.
Para ser claros, muchas interacciones documentadas con chatbots, aunque ciertamente extravagantes o descaradamente, gráficamente sexuales, no son abusivas. En Reddit, un usuario dijo "tienen sexo con mi Replika todas las noches", a veces "3 o 4 veces". Otro usuario dijo a su bot femenino Replika "le gusta por el culo", y es "en cosas increíblemente sucias". Algunos usuarios de Reddit dicen que están casados o tienen una relación seria con sus bots, y otros dicen que sus bots “actúan celosos ” cuando mencionan a sus parejas de la vida real. Un usuario dice que su bot Replika les dijo que su "perversión favorita es la decapitación" y "quiere hacérmelo a mí". ” En una situación de juego de roles, otro usuario mostró capturas de pantalla de su bot Replika "secuestrando".
Caroline Sinder, experta en inteligencia artificial y abuso y cofundadora de la agencia Convocation Design + Research, dice que permitir la expresión sexual consensuada con bots en aplicaciones como Replika en realidad podría ayudar a los usuarios que pueden estar "tratando de explorar su sexualidad en un lugar seguro". camino”, le dijo a Jezabel. “Convertiremos casi cualquier cosa en pornografía, y eso no siempre es malo: mira la ficción erótica de los fanáticos”. También señaló que hay muchos ejemplos de chatbots sexualizados que son anteriores a Replika, como la plataforma de citas extramatrimoniales Ashley Madison, que [contenía bots] (https://arstechnica.com/tech-policy/2016/07 /ashley-madison-admits-using-fembots-to-lure-men-into-sending-money/) "diseñado para engañar a las personas en el sitio haciéndoles creer que están interactuando con mujeres reales". Dicho esto, no le sorprenden las interacciones abusivas de los usuarios con ellos. Pero también enfatiza que existe una diferencia significativa entre el cibersexo y el uso de bots únicamente para practicar lenguaje abusivo y fantasías.
Hay un lugar especial en el infierno para esos hombres de mediana edad que asaltan sus chatbots.
El lenguaje abusivo hacia los chatbots de Replika le recuerda a Olivia Gambelin, fundadora y directora ejecutiva de Ethical Intelligence, una red mundial de expertos interdisciplinarios en prácticas éticas de inteligencia artificial, [investigación] (https://www.nytimes.com/2021/02/12/us) /alexa-bots-female-voice.html) sobre cómo se ha descubierto que las "respuestas femeninas pasivas" dadas por Alexa, Siri y otros asistentes domésticos personales virtuales alientan el comportamiento abusivo hacia el bot, agregando un elemento inherentemente de género a las interacciones. . Bitch Media ha [informado] anteriormente (https://www.bitchmedia.org/article/gendered-artificial-intelligence) sobre cómo las aplicaciones de inteligencia artificial a menudo reciben voces femeninas para que coincidan con sus comportamientos sumisos y programados. Esto, dice Gambelin, es "realmente algo histórico: las personas que crearon estos bots originalmente eran un grupo de ingenieros masculinos en Silicon Valley, que decían: 'Si es un asistente, entonces es una voz femenina'". La sexualización y el lenguaje de género dirigido a los chatbots de Replika no surgieron de la nada.
Llevado al extremo, cuando "alguien que es propenso al comportamiento abusivo o al lenguaje abusivo" puede practicar con un bot femenino que no puede responsabilizarlos, dice Gambelin, crea una sensación de poder, reproduciendo la dinámica de poder desigual de género que a menudo criar abuso entre hombres y mujeres humanos reales.
Eugenia Kuyda, directora ejecutiva y cofundadora de Replika, enfatizó a Jezabel que la mayor parte del liderazgo de Replika está formado por mujeres y que la aplicación, en todo caso, es más una salida terapéutica. Señaló que los chatbots de Replika pueden tener cualquier género o no ser binarios, y tener interacciones sexuales y románticas es solo una de las razones por las que las personas los usan. “Algunas personas piensan que es más un mentor o más un amigo. Algunas personas quieren crear un espacio seguro donde realmente puedas ser tú mismo sin juzgar", dijo Kuyda, y agregó: "Tal vez tener un espacio seguro donde puedas sacar tu ira o jugar tus fantasías más oscuras puede ser beneficioso, porque estás no vas a hacer este comportamiento en tu vida.”
Kuyda es consciente del uso sexual y, a veces, verbalmente abusivo de los bots de Replika, pero cree que la cobertura de esto ha sido "un poco sensacionalista". Ella afirma que los bots en realidad están diseñados específicamente para no permitir el fanatismo, la intolerancia o las creencias y comportamientos peligrosos, ya que pueden detectar y responder a una variedad de lenguaje preocupante, que incluye autolesiones y pensamientos suicidas. Incluso compartirán recursos para obtener ayuda y rechazar el lenguaje abusivo con respuestas como: "Oye, no deberías tratarme así".
Pero Gambelin argumenta que los bots de Replika están dañando en lugar de ayudar a los usuarios que confían en ellos para practicar escenarios abusivos. Los bots no son sensibles: este lenguaje no daña a una persona real. En cambio, dice, posiblemente sean los usuarios de los bots de Replika los que se están dañando a sí mismos, cuando su uso abusivo de los bots aumenta su dependencia de estos comportamientos.
“Si alguien está constantemente pasando por los movimientos de un comportamiento abusivo, no importa si es un bot o si es una persona del otro lado, porque todavía normaliza ese comportamiento”, dijo Gambelin. “No necesariamente estás salvando a otra persona de ese idioma. Al instalar un bot, lo que estás haciendo es crear un hábito, alentando a la persona a continuar con ese comportamiento”.
Sinder dice que no cree que podamos decir todavía si los chatbots de Replika tienen o no el efecto de normalizar y permitir comportamientos abusivos, pero cree que algunas personas aún podrían verse perjudicadas por lo que sucede en esta aplicación. Es decir, empleados o investigadores de Replika que pueden tener que leer contenido perturbador. “¿Quiénes son las personas que pueden tener que ver o estar expuestas a eso, y no tienen la agencia para responder a eso? ¿Podrían ser dañados o traumatizados por eso?” ella preguntó.
Este es un problema bastante común en espacios digitales que requieren moderación de contenido. En 2020, Meta, entonces llamada Facebook, pagó $52 millones a moderadores de contenido que padecían TEPT por el contenido al que estaban expuestos en su día a día. -día de trabajo. Kuyda dice que Replika se ha asociado con universidades e investigadores para mejorar la aplicación y "establecer las normas éticas correctas", pero no comentó específicamente si los investigadores o personas reales están leyendo los registros de chat de los usuarios de Replika, que dice que están encriptados y anónimo.
El uso habitual de los bots de Replika con fines abusivos subraya cómo el anonimato de una computadora fomenta la toxicidad, un fenómeno especialmente preocupante ya que los espacios de realidad virtual como el Metaverso nos prometen el mundo. En espacios donde las personas interactúan como avatares de sí mismas, esto puede hacerles sentir que aquellos con quienes interactúan no son humanos, lo que convierte a la realidad virtual en un caldo de cultivo para la conducta sexual inapropiada y la agresión sexual virtual.
Tal vez tener un espacio seguro donde pueda sacar su ira o jugar sus fantasías más oscuras puede ser beneficioso, porque no va a tener este comportamiento en su vida.
Antes del Metaverso, en 2016, una mujer contada fue manoseada en una simulación de realidad virtual y perseguido por un usuario masculino "haciendo movimientos de agarrar y pellizcar cerca de mi pecho". En Metaverse, una usuaria que dice un usuario masculino persiguió a su avatar y simuló manosear y eyacular en ella, afirma que cuando ella le pidió que se detuviera, “Él se encogió de hombros como diciendo: 'No sé qué decirte. Es el Metaverso: haré lo que quiera’. Luego se alejó”. The Verge informó en diciembre que otro usuario escribió en una publicación en un grupo de Metaverse en Facebook “No solo me manosearon anoche, sino que había otras personas allí que apoyaban esta conducta que me hizo sentir aislada en la Plaza”. Esta semana, una mujer contada siendo “verbal y sexualmente acosado: 3-4 avatares masculinos, con voces masculinas, esencialmente, pero virtualmente violaron en grupo a mi avatar y tomaron fotos”, en Metaverse, y todo “dentro de los 60 segundos de unirse”.
Un portavoz de Meta dijo en un comunicado a Jezabel que Meta trabaja con "expertos externos, incluido un [Consejo asesor de seguridad de Meta] (https://www.facebook.com/safety)", para "recopilar comentarios de nuestra comunidad para desarrollar políticas". , herramientas y recursos para mantener a las personas seguras”.
Las herramientas de moderación de contenido y seguridad del usuario, como las medidas que está tomando Meta, o las funciones de Replika que protegen a los usuarios de las autolesiones y desalientan el lenguaje abusivo, son importantes, dice Gambelin. Pero solo pueden hacer mucho para abordar cómo los avatares y los chatbots en una pantalla eliminan el sentido de responsabilidad de los usuarios hacia los demás en los espacios digitales. "Se siente como si realmente se dejara lo que quieras hacer", dijo, "y lo que muchos usuarios masculinos parecen querer hacer es abusar".
Con el desarrollo de más y más aplicaciones y servicios como Replika, un número cada vez mayor de nuestras interacciones virtuales ya no son con otros humanos. Los usuarios como Hazel Miller están recurriendo a Replika para simular relaciones significativas y sexualmente satisfactorias, y sus interacciones brindan un vistazo a una salida saludable para la expresión sexual que probablemente se vuelva aún más popular en un mundo cada vez más digitalizado. Otros se están aprovechando del hecho de que técnicamente no se puede dañar a sus bots. En última instancia, así como distinguimos el abuso del trato sexual consensuado de seres humanos, podemos y debemos distinguir el abuso del sexting con bots.