Incidentes Asociados
El Consejo Australiano de Investigación ha enfrentado acusaciones que algunos de sus revisores pueden haber utilizado ChatGPT para evaluar propuestas de investigación, lo que provocó una advertencia del ministro de educación y preocupaciones sobre una posible mala conducta académica.
Varios investigadores han informado que algunos comentarios de los evaluadores proporcionados como parte de la última ronda de financiación de subvenciones de Discovery Projects incluyeron una redacción genérica que sugiere que pueden haber sido escritos por inteligencia artificial.
Un académico, que deseaba permanecer en el anonimato, le dijo a Guardian Australia que uno de los informes de los evaluadores que recibió incluía las palabras "Regenerar respuesta", texto que aparece como un botón de aviso en la [interfaz ChatGPT] (https://www.theguardian. com/technology/2023/jan/13/chatgpt-explainer-what-can-artificial-intelligence-chatbot-do-ai).
"Es un informe bastante positivo, pero también bastante insulso, y cita la propuesta", dijo el investigador. "Es casi como leer algo que has escrito tú mismo".
Después de presentar una denuncia ante la ARC, el informe fue eliminado.
El investigador dijo que el aparente uso de IA apuntaba a las presiones de tiempo que enfrentan los académicos en Australia y también a una posible falta de control de calidad interno por parte del ARC.
"Creo que es una señal de que alguien está sobrecargado de trabajo y tratando de tomar atajos... Si has utilizado inteligencia artificial para generar una respuesta, pierdes la capacidad de realizar un esfuerzo académico adecuado".
Los informes detallados de los evaluadores suelen ser escritos por académicos en campos estrechamente relacionados y son utilizados por el Colegio de Expertos del ARC para decidir [qué propuestas de subvención deberían recibir financiación gubernamental en última instancia] (https://www.theguardian.com/australia-news/2023/ 20/abr/controvertidas-decisiones-de-subvenciones-por-los-ministros-de-la-coalición-erosionaron-la-confianza-en-los-hallazgos-de-revisión-del-consejo-de-investigación-australiano). Sólo el 19% de los proyectos Discovery de la ronda de financiación del año pasado tuvieron éxito. Aún no se han anunciado los resultados de la ronda de subvenciones de 2023.
El investigador afectado pidió mayor transparencia por parte de la ARC. Los académicos reciben informes de los evaluadores sobre sus propuestas de subvención, pero no reciben simultáneamente sus puntuaciones para cada informe correspondiente.
“Si sospecha que se trata de un informe ChatGPT, pero no tiene pruebas de que yo las tenía, no tiene forma de responder. Debería poder... [señalar si] las puntuaciones son inconsistentes”.
El ministro federal de Educación, Jason Clare, dijo a Guardian Australia en un comunicado: "El uso de la IA de esta manera no es aceptable".
Clare dijo que había ordenado al ARC que "estableciera medidas para garantizar que esto no suceda".
Los investigadores que reciben dinero de ARC deben, como condición formal de la financiación de su subvención, escribir comentarios de los evaluadores para las propuestas de otros académicos. En un año determinado, se pide a los investigadores que evalúen [hasta 20 propuestas](https://www.arc.gov.au/about-arc/program-policies/statement-support-assessors-within-national-competitive-grants -program), que suelen tener entre 50 y 100 páginas cada uno.
Andrew Francis, profesor de matemáticas en la Universidad de Western Sydney, dijo que si la información de las propuestas de subvención se incluyera en ChatGPT, eso constituiría "una violación de los acuerdos de confidencialidad que el evaluador ha firmado".
"Si [Chat]GPT genera juicios reales, entonces es terriblemente deshonroso por parte del evaluador", dijo Francis. “En mi opinión, es una mala conducta académica a la que merecería que se le negara financiación en el futuro.
"El ARC debe dejar muy claro que utilizar la IA para realizar evaluaciones es completamente inaceptable".
Un académico australiano que administra la cuenta de Twitter ARC Tracker dijo que había leído cuatro informes de evaluación recibidos por investigadores "donde estaba absolutamente claro [y] nadie podía concluir nada más que que las evaluaciones habían sido realizadas por ChatGPT”. Estaban al tanto de otros cuatro casos de sospecha de uso de IA generativa.
"El control de calidad de las evaluaciones ha sido algo sobre lo que los investigadores han estado hablando con el ARC durante mucho tiempo, y básicamente no han hecho nada al respecto", dijo el administrador de ARC Tracker.
En 2021, una presentación previa al presupuesto firmada conjuntamente por más de 1000 académicos sugirió que el ARC introduzca consecuencias para Comentarios de revisores inapropiados y poco profesionales.
"Existe una enorme presión sobre el enfoque de revisión por pares para evaluar la investigación en Australia", añadió el administrador de ARC Tracker. “La mayoría de las universidades no dan a sus investigadores tiempo de manera formal y documentada para revisar nada, ya sean artículos de otras personas, propuestas de subvenciones, propuestas para el uso de infraestructura... eso se cuenta en el tiempo de investigación.
“Como le dirá cualquier investigador, puede dedicar mucho tiempo a evaluar la investigación de otras personas y no tener tiempo para la suya propia.
“El ARC debería haber visto venir esto”.
En una declaración pública, el ARC recomendó que “los revisores pares no deberían utilizar la IA como parte de sus actividades de evaluación”.
Un portavoz de ARC dijo a Guardian Australia que más de 7.000 evaluadores contribuyeron a los procesos de revisión por pares de ARC en 2021-22.
Dijeron: “El ARC tiene una política de confidencialidad y conflicto de intereses que describe los requisitos en torno a la confidencialidad en la realización de negocios del ARC, incluida la revisión por pares. Todos los evaluadores de ARC confirman su aceptación de esta política al realizar evaluaciones.
“Si bien las herramientas de inteligencia artificial (IA) generativa, como ChatGPT, no se mencionan explícitamente en esta política, los principios comunes de confidencialidad se aplican tanto en los canales existentes como en los emergentes a través de los cuales la información confidencial puede divulgarse de manera inapropiada.
“Los avances en la IA generativa avanzan rápidamente y plantean consideraciones complejas, incluido el equilibrio de oportunidades y riesgos. El ARC está siguiendo de cerca estos desarrollos y está colaborando con otras agencias de financiación de investigaciones tanto en Australia como en el extranjero sobre estos temas”.