Incidentes Asociados
Los académicos han alegado que algunas revisiones de pares de solicitudes de subvenciones se están escribiendo con ChatGPT, lo que llevó al Consejo de Investigación de Australia (ARC) a advertir a los académicos que introducir el trabajo de sus pares en modelos generativos de IA podría ser una violación de la confidencialidad.
ARC_Tracker twitteó el viernes que había recibido informes "que algunos informes de evaluación de proyectos de descubrimiento de ARC se han producido con ChatGPT".
Los proyectos de descubrimiento son programas de investigación de varios años que compiten por hasta $ 500,000 en subvenciones gubernamentales. Por lo general, solo se financia entre el 15 y el 20 por ciento de los solicitantes y [el proceso de revisión es riguroso.](https://www.science.org.au/news-and-events/newsletters/emcr-pathways-newsletter/emcr -pathways-issue-5/detrás-de-puertas-cerradas)
Pero ARC_Tracker dijo que algunos equipos de investigación habían recibido informes de evaluadores que eran solo una "regurgitación genérica" de sus aplicaciones, con al menos uno que contenía el texto "regenerar respuesta", una señal reveladora de que fue generado por ChatGPT.
El usuario de Twitter detrás de la cuenta ARC_Tracker, que es investigador en una universidad australiana, le dijo a iTnews que parecía que algunos informes de evaluación fueron generados por IA.
"Los investigadores que han liderado propuestas me han enviado (todas o partes de) algunas evaluaciones de expertos que recibieron y leen exactamente como un simple resumen de ChatGPT de una propuesta sin ninguna crítica, opinión, percepción o evaluación en absoluto", ARC_Tracker el propietario de la cuenta le dijo a iTnews.
“Los investigadores me dicen que las frases utilizadas en estas evaluaciones son reorganizaciones muy simples de las frases que ya se encuentran en sus propuestas de subvención.
“También comentaron que pusieron sus propias propuestas de subvención en ChatGPT y obtuvieron resúmenes muy similares a los que ven en la evaluación...
"Una evaluación, de un investigador, tenía el texto revelador "regenerar respuesta" en la parte inferior de (una sección de) la evaluación. Esto es lo que ChatGPT muestra en la parte inferior de su página de respuesta.
"Es una prueba irrefutable de que se utilizó ChatGPT para generar su texto de evaluación".
Desde entonces, ARC ha publicado una declaración recomendando a los revisores que no utilicen la IA como parte de sus evaluaciones.
“La publicación de material que no es suyo fuera del sistema cerrado de gestión de la investigación, incluidas las herramientas generativas de inteligencia artificial, puede constituir una violación de la confidencialidad”, dijo el consejo.
Agregó que actualizaría la guía sobre el uso de IA "en un futuro cercano".
Un portavoz de ARC le dijo a iTnews que aunque "las herramientas de inteligencia artificial generativa (IA) como ChatGPT no se nombran explícitamente" en las políticas que se aplican a las revisiones por pares, "se aplican principios comunes de confidencialidad en los canales existentes y emergentes a través de los cuales la información confidencial puede ser inapropiadamente revelado.
"El ARC no está solo al considerar una variedad de problemas relacionados con el uso de IA generativa que usa algoritmos para crear contenido nuevo y que puede presentar desafíos de confidencialidad y seguridad para la investigación y para la administración del programa de subvenciones... Cualquier inquietud planteada por los solicitantes será considerado y respondido según nuestras políticas", dijo el vocero.
El portavoz no comentó qué tan común es el uso de ChatGPT en las revisiones por pares; o si está considerando usar modelos de detección de IA para identificar el uso de ChatGPT por parte de académicos, como algunas universidades, como [la Universidad de Melbourne] (https://msd.unimelb.edu.au/belt/home/news/turnitin- ai-writing-detection-tool), han hecho para identificar el uso por parte de los estudiantes.
ARC_Tracker dijo que los factores subyacentes a las revisiones por pares asistidas por ChatGPT de las solicitudes de subvenciones incluían las cargas de trabajo inmanejables de los académicos y que ARC tardaba demasiado en publicar políticas claras sobre el uso de la IA.
“Ha habido un problema de larga data de que las propuestas de subvenciones de ARC son extremadamente largas”, dijo el propietario de la cuenta.
“Si solo hay tres o cuatro investigadores en la subvención, puede extenderse fácilmente a más de 100 páginas. He evaluado los que tienen 150 páginas.
“Los evaluadores a menudo no tienen tiempo para revisar nada en su modelo de carga de trabajo académico en las universidades (que tienen muchos problemas) y, por lo tanto, el proceso de revisión por pares generalmente está bajo mucha presión”.
ARC_Tracker dijo que otra razón por la que los revisores pueden haber recurrido a ChatGPT es que "no hay nada en ninguna de las políticas de ARC explícitamente sobre motores de texto generativo de IA" que prohíba o restrinja su uso.
ARC_Tracker agregó que la declaración que emitió ARC no abordaba explícitamente el uso de la IA generativa.
"Claro, la declaración de ARC... dice que hay requisitos generales, bajo su política de confidencialidad, de no subir el texto de la subvención de otras personas a sitios web externos", dijo el propietario de la cuenta.
“Pero toma una lectura de esa política. ¿Es claro, simple y definitivamente, sin ninguna duda, advierte claramente a las personas que no usen ChatGPT o servicios de IA similares? No me parece. Lo he leído, es bastante difícil de analizar.
“Los ARC hacen esto todo el tiempo: cuando algo sale mal, confían en una vieja política gastada, que nadie puede leer fácilmente, en lugar de anticiparse a los problemas de los que la comunidad les advierte con mucha anticipación”.