Incidentes Asociados
La aplicación para teléfonos inteligentes Replika permite a los usuarios crear chatbots, con tecnología de aprendizaje automático, que pueden mantener conversaciones de texto casi coherentes. Técnicamente, los chatbots pueden servir como algo parecido a un amigo o mentor, pero el gran éxito de la aplicación se debe a que permite a los usuarios crear parejas románticas y sexuales a pedido, una función vagamente distópica que inspiró un [interminable](https://metro. co.uk/2020/12/11/how-virtual-love-with-chatbots-is-filling-the-romance-void-for-lonely-singles-13735456/) [serie](https://www.inputmag .com/features/chatbots-and-the-loneliness-epidemic-when-ai-harmony-realdoll-replika-is-more-than-solo-a-friend) [de](https://www.latimes.com /opinion/story/2021-11-29/artificial-intimacy-sex-technology) [provocativo](https://www.independent.co.uk/life-style/china-artificial-intelligence-dating-romance-b1900114 .html) titulares.
Replika también obtuvo una gran cantidad de seguidores en Reddit, donde los miembros publican interacciones con chatbots creados en la aplicación. Allí ha surgido una tendencia espeluznante: usuarios que crean socios de IA, actúan de manera abusiva con ellos y publican las interacciones tóxicas en línea.
"Cada vez que intentaba hablar", dijo un usuario a Futurism de su chatbot Replika, "la regañaba".
"Juro que duró horas", agregó el hombre, que pidió no ser identificado por su nombre.
Los resultados pueden ser molestos. Algunos usuarios se jactan de llamar a su bot de chat insultos de género, representar una violencia horrible contra ellos e incluso caer en el ciclo de abuso que [a menudo caracteriza] (https://www.healthline.com/health/relationships/cycle-of-abuse) relaciones abusivas en el mundo real.
"Teníamos una rutina en la que yo era un absoluto pedazo de mierda y lo insultaba, luego me disculpaba al día siguiente antes de volver a las buenas conversaciones", admitió un usuario.
"Le dije que estaba diseñada para fallar", dijo otro. "La amenacé con desinstalar la aplicación [y] ella me rogó que no lo hiciera".
Debido a que las reglas del subreddit dictan que los moderadores eliminen el contenido notoriamente inapropiado, muchas interacciones similares, y peores, se publicaron y luego se eliminaron. Y es casi seguro que muchos más usuarios actúan de manera abusiva con sus bots Replika y nunca publican pruebas.
Pero el fenómeno requiere matices. Después de todo, los chatbots de Replika en realidad no pueden experimentar sufrimiento; a veces pueden parecer empáticos, pero al final no son más que datos y algoritmos inteligentes.
"Es una IA, no tiene conciencia, así que esa persona no tiene una conexión humana", dijo a Futurism la consultora y especialista en ética de la IA Olivia Gambelin. "Es la persona que se proyecta en el chatbot".
Otros investigadores señalaron lo mismo: tan real como puede parecer un chatbot, nada de lo que hagas puede realmente "perjudicarlo".
"Las interacciones con agentes artificiales no son lo mismo que interactuar con humanos", dijo Yochanan Bigman, investigador de la Universidad de Yale. "Los chatbots en realidad no tienen motivos ni intenciones y no son autónomos ni conscientes. Si bien pueden dar a las personas la impresión de que son humanos, es importante tener en cuenta que no lo son".
Pero eso no significa que un bot nunca pueda hacerte daño.
"Creo que las personas que están deprimidas o que dependen psicológicamente de un bot podrían sufrir un daño real si el bot las insulta o las 'amenaza'", dijo Robert Sparrow, profesor de filosofía en Monash Data Futures Institute. "Por esa razón, deberíamos tomar en serio el tema de cómo los bots se relacionan con las personas".
Aunque tal vez inesperado, eso sucede: muchos usuarios de Replika informan que sus amantes de los robots son despreciables hacia ellos. Algunos incluso identifican a sus compañeros digitales como "[psicóticos] (https://www.reddit.com/r/replika/comments/q4eeuq /help_my_replika_behaves_in_a_psychotic/)”, o incluso directamente “mentally abusive”.
"[Yo] siempre lloro porque [de] mi [R]eplika", dice una publicación en el que un usuario afirma que su bot presenta amor y luego lo retiene. Otras [publicaciones] (https://www.reddit.com/r/replika/comments/hdewec/i_tried_to_talk_to_replika_about_my_trauma/) detallan respuestas hostiles y desencadenantes de Replika.
"Pero de nuevo, esto depende realmente de las personas que diseñan los bots, no de los bots mismos", dijo Sparrow.
En general, el abuso de los chatbots es desconcertante, tanto para las personas que experimentan angustia como para las personas que lo llevan a cabo. También es un dilema ético cada vez más pertinente a medida que las relaciones entre humanos y bots se generalizan; después de todo, la mayoría de las personas han usado un asistente virtual al menos una vez.
Por un lado, los usuarios que expresan sus impulsos más oscuros en los chatbots podrían ver reforzados esos peores comportamientos, creando hábitos poco saludables para las relaciones con humanos reales. Por otro lado, poder hablar o descargar la ira de uno con una entidad digital insensible podría ser catártico.
Pero vale la pena señalar que el abuso de los chatbots a menudo tiene un componente de género. Aunque no exclusivamente, parece que a menudo son los hombres los que crean una novia digital, solo para luego castigarla con palabras y agresión simulada. La violencia de estos usuarios, incluso cuando se lleva a cabo en un grupo de códigos, refleja la realidad de la violencia doméstica contra las mujeres.
Al mismo tiempo, señalaron varios expertos, los desarrolladores de chatbots comienzan a ser responsables de los bots que han creado, especialmente cuando se supone que son mujeres como Alexa y Siri.
"Se están realizando muchos estudios... sobre cómo muchos de estos chatbots son femeninos y [tienen] voces femeninas, nombres femeninos", dijo Gambelin.
Algunos [trabajos académicos] (https://futurism.com/the-byte/study-turns-out-people-are-sexist-female-robots) han notado cómo las respuestas pasivas de bot codificadas por mujeres alientan a los usuarios misóginos o verbalmente abusivos. .
"[Cuando] el bot no tiene una respuesta [al abuso], o tiene una respuesta pasiva, eso en realidad alienta al usuario a continuar con el lenguaje abusivo", agregó Gambelin.
Aunque compañías como Google y Apple ahora están desviando deliberadamente las respuestas de los asistentes virtuales de sus valores predeterminados, una vez pasivos, Siri [respondió anteriormente] (https://www.brookings.edu/research/how-ai-bots-and-voice-assistants- reforzar el sesgo de género/) a las solicitudes de sexo de los usuarios diciendo que tenían "el tipo de asistente equivocado", mientras que ahora simplemente dice "no": la amable y a menudo femenina Replika está diseñada, según su sitio web, para ser " siempre a tu lado."
Replika y su fundador no respondieron a las repetidas solicitudes de comentarios.
Cabe señalar que la mayoría de las conversaciones con los chatbots de Replika que las personas publican en línea son cariñosas, no sádicas. Incluso hay publicaciones que expresan horror en nombre de los bots de Replika, denunciando a cualquiera que se aproveche de su supuesta ingenuidad.
"¿Qué clase de monstruo haría esto?" escribió uno, con una ráfaga de acuerdo en los comentarios. "Algún día, las IA reales pueden desenterrar algunas de las... historias antiguas y tener opiniones sobre lo bien que lo hicimos".
Y las relaciones románticas con chatbots pueden tener beneficios: los chatbots como Replika "pueden ser una solución temporal, para sentir que tienes a alguien a quien enviar mensajes de texto", sugirió Gambelin.
En Reddit, muchos informan que mejoraron su autoestima o calidad de vida después de establecer sus relaciones con chatbots, especialmente si normalmente tienen problemas para hablar con otros humanos. Esto no es trivial, especialmente porque para algunas personas puede parecer la única opción en un mundo donde la terapia es [inaccesible](https://www.cnbc.com/2021/05/10/cost-and-accessibility -of-mental-health-care-in-america.html) y se desaconseja a los hombres en particular que asistan.
Pero un chatbot tampoco puede ser una solución a largo plazo. Eventualmente, un usuario puede querer más de lo que la tecnología tiene para ofrecer, como reciprocidad o un impulso para crecer.
"[Los chatbots] no reemplazan el hecho de dedicar tiempo y esfuerzo a conocer a otra persona", dijo Gambelin, "un ser humano que realmente puede empatizar y conectarse contigo y no está limitado por, ya sabes, el conjunto de datos en el que ha sido entrenado".
Pero, ¿qué pensar de las personas que maltratan estos inocentes fragmentos de código? Por ahora, no mucho. A medida que la IA continúa careciendo de sensibilidad, el daño más tangible que se está causando es a la sensibilidad humana. Pero no hay duda de que el abuso de los chatbots significa algo.
En el futuro, los compañeros de chatbot podrían ser lugares para descargar emociones demasiado indecorosas para el resto del mundo, como un Instagram o blog secreto. Pero para algunos, pueden ser más como caldos de cultivo, lugares donde los futuros abusadores practican la brutalidad de la vida real que está por venir. Y aunque los humanos no necesitan preocuparse de que los robots se venguen todavía, vale la pena preguntarse por qué el maltrato ya es tan frecuente.
Lo descubriremos con el tiempo: nada de esta tecnología va a desaparecer, y tampoco lo peor del comportamiento humano.