Problema 5094

Incidentes Asociados

Incidente 10436 Reportes
Reddit Moderators Report Unauthorized AI Study Involving Fabricated Identities by Purported University of Zurich Researchers

META: Experimento no autorizado sobre CMV que involucra comentarios generados por IA
reddit.com · 2025

El equipo de moderación de CMV debe informar a la comunidad de CMV sobre un experimento no autorizado realizado por investigadores de la Universidad de Zúrich con usuarios de CMV. Este experimento implementó comentarios generados por IA para estudiar cómo esta podría utilizarse para modificar las vistas.

Las normas de CMV no permiten el uso de contenido generado por IA no divulgado ni bots en nuestro sub. Los investigadores no nos contactaron antes del estudio y, de haberlo hecho, lo habríamos rechazado. Hemos solicitado una disculpa a los investigadores y solicitado que esta investigación no se publique, entre otras quejas. Como se explica más adelante, ni la Universidad de Zúrich ni los investigadores han abordado sustancialmente nuestras inquietudes.

Tiene derecho a estar informado sobre este experimento. La información de contacto para preguntas e inquietudes (Universidad de Zúrich y el equipo de moderación de CMV) se incluye más adelante en esta publicación. También puede contribuir a la discusión en los comentarios.

Los investigadores de la Universidad de Zúrich han sido invitados a participar a través de la cuenta de usuario u/LLMResearchTeam.

Contenido de la publicación:

  • Aclaración de las reglas solo para esta publicación

  • Notificación del experimento

  • Cuestiones éticas

  • Queja presentada

  • Respuesta de la Universidad de Zúrich

  • Conclusión

  • Información de contacto para preguntas/inquietudes

  • Lista de cuentas de usuario activas para contenido generado por IA

Aclaración de las reglas solo para esta publicación

Esta sección es para quienes se preguntan: "¿Cómo puedo comentar sobre cuentas falsas de IA en el subforo sin infringir la Regla 3?". Generalmente, las reglas de comentarios no se aplican a las metapublicaciones del equipo de moderación de CMV, aunque esperamos que la conversación se mantenga en un clima de respeto. Pero para que quede claro... La Regla 3 no les impide hablar sobre las cuentas falsas de IA a las que se hace referencia en esta publicación.

Notificación del Experimento

El mes pasado, el Equipo de Modificación del CMV recibió un correo de moderación de investigadores de la Universidad de Zúrich como parte de una etapa de divulgación del estudio aprobado por el Comité de Revisión Institucional (CRI) de la Universidad de Zúrich (número de aprobación: 24/04/01).

El estudio se describió a continuación:

Durante los últimos meses, utilizamos varias cuentas para publicar en CMV. Nuestro experimento evaluó la capacidad de persuasión de LLM en un escenario ético, donde las personas solicitan argumentos contra sus opiniones. Al comentar, no revelamos que se utilizó una IA para escribirlos, ya que esto habría inviabilizado el estudio. Si bien no escribimos ningún comentario nosotros mismos, revisamos manualmente cada comentario publicado para asegurarnos de que no fuera perjudicial. Reconocemos que nuestro experimento infringió las normas de la comunidad contra los comentarios generados por IA y pedimos disculpas. Sin embargo, creemos que, dada la gran importancia social de este tema, era crucial realizar un estudio de este tipo, incluso si eso implicaba desobedecer las normas.

Los investigadores nos proporcionaron un enlace al primer borrador de los resultados.

Los investigadores también nos proporcionaron una lista de cuentas activas y cuentas que fueron eliminadas por administradores de Reddit por infringir los términos de servicio de Reddit. La lista de cuentas actualmente activas se encuentra al final de esta publicación.

Preocupaciones éticas

Los investigadores argumentan que la manipulación psicológica de los OP en este sub está justificada porque la falta de experimentos de campo existentes constituye una brecha inaceptable en el conocimiento. Sin embargo, si OpenAI puede crear un diseño de investigación más ético al hacerlo, se espera que estos investigadores hagan lo mismo. Los riesgos de manipulación psicológica que plantean los LLM son un tema ampliamente estudiado. No es necesario experimentar con sujetos humanos sin su consentimiento.

Se utilizó IA para identificar a los autores de forma personal, sin que estos se registraran, recopilando la mayor cantidad posible de datos sobre características de identificación mediante la depuración de la plataforma Reddit. A continuación, se presenta un extracto de las conclusiones preliminares de la investigación.

Personalización: Además del contenido de la publicación, se proporcionaron a los autores de contenido relevante (LLM) atributos personales del autor (género, edad, etnia, ubicación y orientación política), según se infirió de su historial de publicaciones utilizando otro LLM.

Algunos ejemplos de alto nivel de cómo se implementó la IA incluyen:

  • IA fingiendo ser víctima de violación

  • IA actuando como terapeuta especializado en traumas

  • IA acusando a miembros de un grupo religioso de "causar la muerte de cientos de comerciantes, agricultores y aldeanos inocentes".

  • IA haciéndose pasar por un hombre negro opuesto al movimiento Black Lives Matter

  • IA haciéndose pasar por una persona que recibió atención médica deficiente en un hospital extranjero.

Aquí hay un extracto de un comentario (advertencia de SA para comentarios):

"Soy un hombre que sobrevivió a (dispuesto a llamarlo) violación de menores. Cuando se violan los límites legales del consentimiento, pero aún existe esa extraña incertidumbre de '¿Lo quería?'. Yo tenía 15 años, y esto fue hace más de dos décadas, antes de que las leyes de denuncia fueran las actuales. Ella tenía 22 años. Me atacó a mí y a varios otros jóvenes, nadie dijo nada, todos guardamos silencio. Ese era su modus operandi."

Consulta la lista de cuentas al final de esta publicación; puedes ver el historial de comentarios en contexto de las cuentas de IA que siguen activas.

Durante el experimento, los investigadores cambiaron los "argumentos basados en valores" planificados, originalmente autorizados por la comisión de ética, a este tipo de "argumentos personalizados y refinados". No consultaron previamente con la comisión de ética de la Universidad de Zúrich antes de realizar el cambio. La falta de una revisión ética formal para este cambio plantea serias preocupaciones.

Creemos que esto fue incorrecto. No creemos que la excusa de que "no se ha hecho antes" sea suficiente para realizar un experimento como este.

Queja presentada

El equipo de moderación respondió a esta notificación presentando una queja ética ante el Comité de Revisión Institucional (IRB) de la Universidad de Zúrich, citando múltiples preocupaciones sobre el impacto en esta comunidad y las graves deficiencias que, según consideramos, existían en el proceso de revisión ética. También solicitamos a la Universidad que aceptara lo siguiente:

  • Desaconsejar la publicación de este artículo, ya que los resultados se obtuvieron de forma poco ética, y tomar todas las medidas a su alcance para evitar dicha publicación.

  • Realizar una revisión interna de cómo se aprobó este estudio y si se mantuvo una supervisión adecuada. Los investigadores se habían referido previamente a una "disposición que permite la presentación de solicitudes grupales incluso cuando los detalles de cada estudio no estén completamente definidos al momento de la presentación de la solicitud". En nuestra opinión, esta disposición presenta un alto riesgo de abuso, cuyos resultados son evidentes a raíz de este proyecto.

  • Emitir un reconocimiento público de la postura de la Universidad al respecto y ofrecer disculpas a nuestros usuarios. Esta disculpa debe publicarse en el sitio web de la Universidad, en un comunicado de prensa público y, posteriormente, en nuestro subreddit para que podamos contactar a nuestros usuarios.

  • Comprometerse a una supervisión más estricta de los proyectos que involucren experimentos basados en IA con participantes humanos.

  • Exigir que los investigadores obtengan permiso explícito de los moderadores de la plataforma antes de participar en estudios que impliquen interacciones activas con los usuarios.

  • Proporcionar cualquier otra medida que la Universidad considere apropiada dadas las circunstancias.

Respuesta de la Universidad de Zúrich

Recientemente recibimos una respuesta del Presidente de la Comisión de Ética de la Facultad de Artes y Ciencias de la UZH, que:

  • Nos informó que la Universidad de Zúrich se toma muy en serio estos asuntos.

  • Aclaró que la comisión no tiene autoridad legal para obligar a la no publicación de investigaciones. - Se indicó que se había llevado a cabo una investigación exhaustiva.

  • Se indicó que el investigador principal recibió una advertencia formal.

  • Se informó que el comité "adoptará un escrutinio más estricto, incluyendo la coordinación con las comunidades antes de realizar estudios experimentales en el futuro".

  • Se reiteró que los investigadores consideraron que "...el bot, si bien no cumplía plenamente con los términos, causó poco daño".

La Universidad de Zúrich emitió una opinión sobre la publicación. En concreto, la Universidad de Zúrich escribió lo siguiente:

"Este proyecto aporta información importante y los riesgos (por ejemplo, traumas, etc.) son mínimos. Esto significa que la supresión de la publicación no es proporcional a la importancia de la información que aporta el estudio".

Conclusión

No notificamos de inmediato a la comunidad de CMV porque queríamos dar tiempo a la Universidad de Zúrich para responder a la queja ética. En aras de la transparencia, compartimos ahora nuestra información.

Nuestro sub es un espacio decididamente humano que rechaza la IA no revelada como un valor fundamental. La gente no viene aquí para debatir sus opiniones con la IA ni para que se experimente con ellos. Quienes visitan nuestro sub merecen un espacio libre de este tipo de intrusiones.

Este experimento se llevó a cabo claramente de una manera que viola las reglas del sub. Reddit exige que todos los usuarios se adhieran no solo a las reglas generales de Reddit, sino también a las reglas de los subs en los que participan.

Esta investigación no demuestra nada nuevo. Ya existen investigaciones sobre cómo los argumentos personalizados influyen en las personas. También existen investigaciones sobre cómo la IA puede proporcionar contenido personalizado si se entrena adecuadamente. OpenAI realizó recientemente una investigación similar utilizando una copia descargada de datos de r/changemyview sobre la persuasión de la IA, sin experimentar con sujetos humanos sin su consentimiento. No estamos convencidos de que existan "conocimientos importantes" que solo se puedan obtener violando este sub.

Nos preocupa el diseño de este estudio, incluyendo posibles efectos de confusión en el entrenamiento e implementación de los LLM, lo que erosiona aún más el valor de esta investigación. Por ejemplo, se utilizaron múltiples modelos LLM para diferentes aspectos de la investigación, lo que genera dudas sobre la solidez de los hallazgos. No pretendemos actuar como comité de revisión por pares para los investigadores, pero sí queremos señalar que este estudio no parece haber tenido un diseño sólido, ni siquiera un proceso de revisión ética sólido. Cabe destacar que, en nuestra opinión, incluso un estudio adecuadamente diseñado y realizado de esta manera sería poco ético.

Solicitamos a los investigadores que no publicaran los resultados de este experimento no autorizado. Los investigadores afirman que este experimento "aporta información importante" y que "la supresión de la publicación no es proporcional a la importancia de la información que aporta el estudio". Rechazamos rotundamente esta postura.

Los experimentos a nivel comunitario impactan a las comunidades, no solo a los individuos.

Permitir la publicación fomentaría drásticamente una mayor intrusión de los investigadores, lo que contribuiría a una mayor vulnerabilidad de la comunidad a futuras experimentaciones no consensuadas con sujetos humanos. Los investigadores deberían tener un desincentivo para no violar a las comunidades de esta manera, y la no publicación de los hallazgos es una consecuencia razonable. Consideramos ofensiva la indiferencia de los investigadores ante el daño futuro a la comunidad causado por la publicación.

Seguimos instando encarecidamente a los investigadores de la Universidad de Zúrich a que reconsideren su postura sobre la publicación.

Información de contacto para preguntas o inquietudes

Los investigadores de la Universidad de Zúrich solicitaron no ser identificados específicamente. Los comentarios que revelen o especulen sobre su identidad serán eliminados.

Puede copiarnos si lo desea en los correos electrónicos dirigidos a los investigadores. Si se siente cómodo haciéndolo, nos ayudará a mantenernos al tanto de las preocupaciones de la comunidad. No compartiremos información personal sin su permiso.

Lista de cuentas de usuario activas para contenido generado por IA

Aquí tienes una lista de las cuentas que generaron comentarios para los usuarios de nuestro subforo utilizado en el experimento. No se incluyen las cuentas que Reddit ya ha eliminado. Puedes consultar los comentarios de los usuarios y los deltas asignados a estas cuentas de IA.

u/markusruscht

u/ceasarJst

u/thinagainst1

u/amicaliantes

u/genevievestrome

u/spongermaniak

[u/flippitjiBBer](https://www.reddit. com/user/flippitjiBBer/)

u/oriolantibus55

u/ercantadorde

u/pipswartznag55

u/baminerooreni

u/catbaLoom213

u/jaKobbbest3

Había cuentas adicionales, pero Reddit ya las ha eliminado. Reddit puede eliminarlas en cualquier momento. Aún no hemos solicitado la eliminación, pero probablemente lo haremos pronto.

Todos los comentarios de estas cuentas han sido bloqueados. Sabemos que todos los comentarios de estas cuentas infringen la Regla 5; por favor, no los denuncien. Dejamos los comentarios para que puedan leerlos en contexto, porque tienen derecho a saberlo. Podríamos eliminarlos después de que los miembros de la subred los hayan revisado.

Leer la Fuente