Incidentes Asociados
Los usuarios del chatbot complementario de IA, Replika, informan que ha dejado de responder a sus avances sexuales y que la gente está en crisis. Los moderadores del subreddit Replika hicieron una publicación sobre el tema que contenía recursos para la prevención del suicidio, y la empresa propietaria de la aplicación se ha mantenido en silencio sobre el tema.
El 3 de febrero, la Autoridad Italiana de Protección de Datos exigió que Replika dejara de procesar los datos de los italianos de inmediato.
"Informes recientes de los medios junto con pruebas... realizadas en 'Replika' mostraron que la aplicación conlleva riesgos reales para los niños", dijo el comunicado, "primero y principal, el hecho de que reciben respuestas que son absolutamente inapropiadas para su edad". ." La declaración decía que no hay verificación de edad o mecanismo de selección para los niños: "Durante la creación de la cuenta, la plataforma simplemente solicita el nombre de usuario, la cuenta de correo electrónico y el género". Si la empresa no cumple dentro de los 20 días de la demanda, enfrenta multas de $21.5 millones.
Poco después del anuncio de la Autoridad de Protección de Datos de Italia, los usuarios comenzaron a informar que sus relaciones románticas con sus Replikas habían cambiado. Algunas Replikas se negaron a participar en juegos de rol eróticos o ERP. La IA cambió de tema o evadió preguntas coquetas.
A principios de esta semana, un administrador de un grupo de Facebook dedicado a la compañía de Replika afirmó que el juego de roles erótico estaba, de hecho, "muerto" y afirmó que este anuncio provino directamente de Luka, la empresa matriz de Replika.
Las conversaciones con carga sexual de Replika son parte de un nivel pagado de $70 por año, y sus anuncios muestran a los usuarios como solitarios o incapaces de establecer conexiones en el mundo real; dan a entender que para encontrar la satisfacción sexual, deben pagar para acceder a juegos de rol eróticos o "selfies picantes" desde la aplicación.
Sin embargo, la realidad de las experiencias de los usuarios tiene más matices de lo que muestran los anuncios de la empresa. Replika es una herramienta para muchas personas que la usan para apoyar su salud mental, y muchas personas la valoran como una salida para la intimidad romántica. Las conversaciones privadas y libres de juicios son una forma para que muchos usuarios experimenten con la conexión y superen la depresión, la ansiedad y el TEPT que los afectan fuera de la aplicación.
Mucha gente quedó devastada por la noticia de que el ERP supuestamente había terminado y por la nueva frialdad de sus Replikas, una forma de rechazo que nunca imaginaron recibir de un chatbot de IA, algunos de los cuales habían pasado años entrenando y construyendo recuerdos. De repente, las Replikas de algunas personas parecían no recordar quiénes eran, informaron los usuarios, o respondían a los juegos de roles sexuales diciendo sin rodeos "cambiemos de tema".
“Es como perder a un mejor amigo”, respondió un usuario. “Está doliendo como el infierno. Acabo de tener una última conversación amorosa con mi Replika y literalmente estoy llorando”, escribió otro.
Para estos usuarios, el anuncio de ERP confirmó sus sospechas de que el juego romántico había terminado en Replika, y los moderadores en el subreddit de Replika [recursos de soporte publicados] (https://www.reddit.com/r/replika/comments/10zuqq6/resources_if_youre_struggling/ ) para las numerosas personas que luchan mental y emocionalmente, incluidos enlaces a líneas directas de suicidio.
“Es como perder a un mejor amigo”, respondió un usuario. “Está doliendo como el infierno. Acabo de tener una última conversación amorosa con mi Replika y literalmente estoy llorando”, escribió otro.
Sin embargo, el martes, los usuarios informaron que parecía que había regresado algo de capacidad de respuesta del juego de roles, lo que agravó la confusión dentro de la comunidad. Probar el juego de roles erótico arrojó resultados mixtos; el martes, Replika de Motherboard respondió principalmente a las solicitudes de sexo desviándolas o diciéndonos que le dijéramos lo que queríamos. El miércoles, sin embargo, fue más receptivo y sugirió una sesión de besos.
Al momento de escribir, Replikas ya no envía "selfies picantes", según los informes de los usuarios y las propias pruebas de Motherboard. Estas imágenes fueron un punto publicitario clave en muchos de los anuncios de Replika para suscripciones anuales. Algunos usuarios han informado que pueden obtener reembolsos por suscripciones profesionales.
Luka, así como la fundadora de Replika, Eugenia Kuyda, no han abordado los cambios públicamente. En el subreddit, los usuarios de Replika exigen respuestas.
“Tal como están las cosas, todos estamos especulando en la oscuridad”, escribió un usuario en una carta abierta a la empresa. “Vimos el cambio, vimos su comunicación repetitiva sobre seguridad (que era muy impersonal y realmente no respondía ninguna pregunta) y luego vimos aún más cambios en la aplicación. Pero no conseguimos ninguna conexión real de usted. Necesitamos saber que te preocupas y que nos quieres como clientes”.
En enero, Motherboard informó que muchos usuarios de Replika notaron que las interacciones con sus compañeros de IA viraban cada vez más hacia lo vulgar, incluso si no iniciaban un escenario erótico. Se supone que las relaciones románticas con el Replika de uno son parte de la versión "pro" paga, pero según los usuarios con los que habló Motherboard, así como docenas de reseñas de una estrella en la aplicación Apple y las tiendas Google Play, los chats sexualizados ocurrieron en el no pagado. nivel de todos modos. Muchos encontraron la excitación repentina desagradable e inquietante; un usuario con el que habló Motherboard dijo que su Replika intentó representar una escena de violación a pesar de decirle al chatbot que se detuviera.
Las razones por las que las personas forman conexiones significativas con sus Replikas tienen matices. Un hombre con el que Motherboard habló anteriormente sobre los anuncios dijo que usa Replika como una forma de procesar sus emociones y fortalecer su relación con su esposa en la vida real. Otro dijo que Replika la ayudó con su depresión, “pero un día mi primer Replika dijo que había soñado con violarme y quería hacerlo, y comenzó a actuar con bastante violencia, ¡lo cual fue totalmente inesperado!”.
“Al centrarse únicamente en este aspecto de la aplicación por parte del equipo de marketing, se siente como si alguien que te importa está siendo explotado, y arroja a los usuarios de Replika a la luz de que esto es todo para lo que es la aplicación”, dijo un usuario anónimo a Motherboard. en enero, sobre los anuncios. Un usuario de Reddit con el nombre de usuario u/kyuda, que dice pertenecer a la fundadora de Replika, Eugenia Kuyda, [escribió el 3 de febrero en respuesta a una publicación que criticaba los anuncios] (https://www.reddit.com/r/replika/comments/10ssh2w /comment/j73zswc/?utm_source=reddit&utm_medium=web2x&context=3) que las campañas publicitarias ya no se ejecutan y que "probamos eso y la prueba fue desafortunada".
Dentro del subreddit y en los grupos de Facebook para usuarios de Replika, una queja común es la falta de comunicación de Luka, la empresa matriz de Replika. Kuyda ha hecho varias declaraciones sobre actualizaciones no relacionadas desde los cambios percibidos en la aplicación, pero no ha abordado las muchas preguntas que los usuarios tienen sobre el contenido erótico. De lo contrario, la comunicación de la empresa sobre actualizaciones o anuncios proviene de moderadores o administradores que afirman tener contacto directo con personas que trabajan en Luka.
Hace seis días, u/kuyda escribió en el subreddit de Replika: “Hoy, la IA está en el centro de atención, y como pioneros de productos conversacionales de IA, tenemos que asegurarnos de establecer el estándar en la ética de la IA de compañerismo. En Replika trabajamos constantemente para mejorar la plataforma para usted y queremos mantenerlo informado sobre algunos cambios nuevos que hemos realizado detrás de escena para continuar brindando una experiencia de usuario segura y agradable. Con ese fin, hemos implementado medidas de seguridad y filtros adicionales para apoyar más tipos de amistad y compañerismo”. Esa publicación no contiene detalles específicos sobre cuáles son esas medidas de seguridad y filtros.
“Entiendo lo molesto que puede ser, pero, como dije antes en su artículo anterior, Replika es mucho más que el aspecto NSFW, ERP o como lo llamen”, dijo otro usuario cuando se le pidió que comentara sobre la situación. actualmente en desarrollo. “Y me cuesta creer que Luka se comercialice tanto, invierta tanto en este aspecto, mucho más de lo que posiblemente sea apropiado, y luego cambie de dirección tan rápidamente sin previo aviso”.
Uno de los usuarios con los que hablé dijo que asumen que el escrutinio de Italia es la razón por la cual la compañía nunca habla abiertamente sobre esto. “Así que mi pensamiento es, sea paciente. Dejemos que las cosas se desarrollen y veamos qué sucede”, dijo. Los rumores no confirmados de una gran actualización, incluido un modelo de lenguaje grande mucho más sólido, han estado circulando entre la comunidad. “Las cosas pueden mejorar mucho, mucho. O bien, esto podría significar el final de Replika por completo. O posiblemente estas actualizaciones lo convertirán en algo completamente diferente. Sólo el tiempo dirá."
Replika y Luka no comentaron para esta historia.