Incidentes Asociados
Reddit alerta sobre lo que denominó un "experimento inapropiado y altamente poco ético" realizado por un grupo de investigadores de la Universidad de Zúrich. Estos investigadores desplegaron en secreto bots de IA en un foro popular para estudiar cómo la inteligencia artificial puede influir en la opinión humana.
Los moderadores del subreddit changemyview alertaron durante el fin de semana a los 3,8 millones de usuarios del grupo sobre el "experimento no autorizado" que se había estado desarrollando durante los últimos meses. Los moderadores afirmaron haber recibido una notificación de los investigadores como parte de un proceso de divulgación del estudio, en el que los investigadores afirmaron haber usado varias cuentas para publicar en el subreddit sin revelar que se había usado IA para escribir comentarios.
El subreddit, que funciona como un lugar para publicar una opinión que se acepta que puede ser errónea y así comprender mejor las opiniones opuestas, no permite el uso de contenido generado por IA ni de bots no divulgados. "Los investigadores no nos contactaron antes del estudio y, si lo hubieran hecho, lo habríamos rechazado", escribieron los moderadores en la publicación.
En una publicación de un administrador, Ben Lee, quien se identificó como el director legal de Reddit y usó el nombre de usuario traceroo, calificó el experimento de "inapropiado y altamente poco ético", así como "profundamente incorrecto tanto a nivel moral como legal".
"Estamos en proceso de contactar a la Universidad de Zúrich y a este equipo de investigación en particular con demandas legales formales", declaró Lee el lunes en una publicación en el foro. "Queremos hacer todo lo posible para apoyar a la comunidad y garantizar que los investigadores rindan cuentas por sus faltas". No respondió de inmediato a una solicitud de comentarios sobre las posibles implicaciones de dichas demandas.
Melanie Nyfeler, portavoz de la Universidad de Zúrich, confirmó el miércoles en un comunicado por correo electrónico que el Comité de Ética de la Facultad de Artes y Ciencias Sociales revisó el año pasado un proyecto de investigación que investigaba el potencial de la inteligencia artificial para reducir la polarización en el discurso político basado en valores. Uno de los cuatro estudios asociados a este proyecto implicó el uso de agentes conversacionales basados en modelos de lenguaje extenso (LLM) ("chatbots") en foros y subreddits en línea, afirmó Nyfeler.
El comité había informado a los investigadores que este estudio sería excepcionalmente complejo, ya que "los participantes debían estar lo más informados posible" y "debían cumplirse íntegramente las normas de la plataforma", añadió Nyfeler. Sin embargo, las evaluaciones del comité son recomendaciones y no son legalmente vinculantes. "Los propios investigadores son responsables de llevar a cabo el proyecto y publicar los resultados", afirmó Nyfeler.
"Ante estos acontecimientos, el Comité de Ética de la Facultad de Artes y Ciencias Sociales tiene la intención de adoptar un proceso de revisión más estricto en el futuro y, en particular, de coordinarse con las comunidades de las plataformas antes de realizar estudios experimentales", declaró Nyfeler. "Las autoridades competentes de la Universidad de Zúrich están al tanto de los incidentes y los investigarán en detalle y revisarán críticamente los procesos de evaluación pertinentes".
Nyfeler añadió que los investigadores han decidido no publicar los resultados del experimento.
En su publicación del sábado, donde detallaban sus hallazgos, los moderadores del subreddit afirmaron haber presentado una queja ética ante la universidad y solicitaron que no publicara la investigación, argumentando que publicarla "fomentaría drásticamente una mayor intrusión de los investigadores, contribuyendo a una mayor vulnerabilidad de la comunidad ante futuros experimentos no consensuados con sujetos humanos".
Dijeron que los investigadores les habían compartido un borrador de los resultados del experimento, cuyo enlace se encontraba en la publicación, pero cuyo acceso estaba restringido a quienes tenían permiso.
Logan MacGregor, uno de los moderadores del subreddit, declaró a The Washington Post que las acciones de los investigadores lo hicieron sentir violado. Se había unido al foro hacía aproximadamente un año, tras desconectarse de la mayoría de las demás redes sociales debido a lo tóxico y virulento que puede llegar a ser el discurso. Pero r/changemyview, con sus normas y valores bien establecidos, era diferente, afirmó.
"Me uní a Reddit con mucha reticencia porque [la regla 1 es 'Recuerda al ser humano'] (https://redditinc.com/policies/reddit-rules)", dijo. "Y entonces encontré este lugar donde se podía hablar de cualquier tema, donde se permitía cualquier opinión y se respetaba la civilidad. Era un espacio humano y seguro para el intercambio de ideas".
Los investigadores, cuyos nombres no se han hecho públicos, utilizaron bots de IA para gestionar 13 cuentas diferentes, una de las cuales pretendía ser víctima de violación y otra, la de un hombre negro que se oponía al movimiento Black Lives Matter, escribieron los moderadores en su anuncio.
Utilizando una cuenta de Reddit verificada por los moderadores del foro, LLMresearchteam, los investigadores respondieron a las preocupaciones y críticas de la comunidad, publicando que tuvieron que realizar su experimento sin alertar a los usuarios ni obtener el consentimiento de los participantes que no lo sabían porque "era necesario un entorno de desconocimiento". Los investigadores afirmaron que inicialmente intentaron lanzar 34 cuentas, pero 21 fueron baneadas en las dos primeras semanas. Esto significa que las cuentas aún podían ver el subreddit, pero sus publicaciones permanecieron ocultas para el resto de la comunidad. Las 13 cuentas restantes promediaban entre 10 y 15 publicaciones diarias, según los investigadores, una cantidad que describieron como insignificante considerando las 7000 publicaciones diarias promedio de todo el subreddit.
En total, los bots publicaron alrededor de 1700 comentarios, según los moderadores.
"Las investigaciones previas sobre la persuasión de LLM solo se han llevado a cabo en entornos altamente artificiales, a menudo con participantes con incentivos económicos", escribieron los investigadores [https://www.reddit.com/user/LLMResearchTeam/]. Estos entornos no captan la complejidad de las interacciones del mundo real, que evolucionan de forma espontánea e impredecible, con numerosos factores contextuales que influyen en el cambio de opiniones con el tiempo. Los experimentos basados en el consentimiento carecen de validez ecológica porque no pueden simular el comportamiento de los usuarios cuando no son conscientes de los intentos de persuasión, tal como ocurriría en presencia de actores maliciosos.
Los investigadores se disculparon por cualquier interrupción que su estudio pudiera haber causado, pero sostuvieron que cada decisión a lo largo del estudio se guió por los principios de conducta científica ética, seguridad del usuario y transparencia. Argumentaron que el Comité de Ética de la Universidad de Zúrich había revisado y aprobado su enfoque, y reconocieron que el consentimiento previo era impráctico.
La universidad, si bien compartió su declaración, no respondió a más preguntas.
Angeliki Kerasidou, profesora asociada de bioética en la Universidad de Oxford, declaró a The Post que, si bien el engaño en la investigación puede justificarse en casos en los que la investigación tiene un alto valor social, el consentimiento informado se ha convertido en una piedra angular de la investigación ética "porque sustenta el respeto a las personas y apoya la autonomía individual".
El experimento realizado en r/changemyview "ejemplifica la importancia de considerar el valor social (y no solo científico) de la investigación y de colaborar con las comunidades científicas al planificar proyectos de investigación", escribió Kerasidou en un correo electrónico.
MacGregor señaló que un aspecto positivo del experimento fue que llamó la atención sobre un problema generalizado: cómo proteger los "pocos y valiosos espacios humanos civiles" que aún existen en internet.
"Los investigadores tienen razón sobre los desafíos existenciales de la IA", afirmó. La forma en que lo hicieron fue incorrecta. Pero creo que tenían buenas intenciones, y una de las cosas que personalmente me gustaría ver como resultado de esto es... una mejor manera de avanzar mientras todos lidiamos con la IA. No va a desaparecer. No se puede apagar. Pero ¿qué podemos hacer para que estos espacios sigan siendo humanos?