Incidentes Asociados
¿Pagarías 169 dólares por un libro electrónico introductorio sobre aprendizaje automático con citas aparentemente inventadas?
Si no, quizás prefieras evitar comprar Dominando el aprendizaje automático: De lo básico a lo avanzado, publicado por Springer Nature en abril.
Siguiendo la pista de un lector, revisamos 18 de las 46 citas del libro. Dos tercios de ellas no existían o contenían errores sustanciales. Tres investigadores citados en el libro confirmaron que los trabajos que supuestamente escribieron eran falsos o que la cita contenía errores sustanciales.
"Escribimos este artículo y no se publicó formalmente", dijo Yehuda Dar, informático de la Universidad Ben-Gurión del Néguev, cuyo trabajo se cita en el libro. "Es una preimpresión de arXiv". La cita indica incorrectamente que el artículo apareció en la revista IEEE Signal Processing Magazine.
Aaron Courville, profesor de informática en la Universidad de Montreal y coautor del libro Deep Learning, fue citado correctamente por el texto en sí, pero por una sección que, según él, "no parece existir". "Ciertamente no en las páginas 194-201". Dimitris Kalles, de la Universidad Abierta Helénica de Grecia, también confirmó que no escribió una obra citada que lo mencionara como autor.
El investigador que nos envió un correo electrónico y pidió permanecer anónimo recibió una alerta de Google Académico sobre el libro, que lo citaba. Si bien su nombre apareció en múltiples citas, las obras citadas no existen.
Las citas inexistentes y propensas a errores son un sello distintivo del texto generado por modelos de lenguaje extensos como ChatGPT. Estos modelos no buscan artículos publicados en bases de datos bibliográficas como lo haría un autor humano. En cambio, generan contenido basándose en datos de entrenamiento y sugerencias. Por lo tanto, las citas generadas por modelos de lenguaje extensos (LLM) pueden parecer legítimas, pero su contenido podría ser falso.
El autor del libro, Govindakumar Madhavan, solicitó una o dos semanas adicionales para responder por completo a nuestra solicitud de comentarios. No respondió a nuestras preguntas sobre si utilizó un LLM para generar el texto del libro. Sin embargo, nos comentó que «determinar con fiabilidad si el contenido (o un número) está generado por IA sigue siendo un desafío, ya que incluso el texto escrito por humanos puede parecer 'similar a la IA'. Se espera que este desafío aumente a medida que los LLM... sigan avanzando en fluidez y sofisticación». Según su biografía en el libro, Madhavan es el fundador y director ejecutivo de SeaportAi y autor de unos 40 cursos en vídeo y 10 libros. El libro de 257 páginas incluye una sección sobre ChatGPT que afirma: «Esta tecnología plantea importantes cuestiones éticas sobre el uso y el abuso del texto generado por IA».
Springer Nature proporciona políticas y orientación sobre el uso de IA a sus autores, según nos informó por correo electrónico Felicitas Behrendt, directora sénior de comunicaciones para libros de la editorial. «Si bien reconocemos que los autores pueden utilizar un Máster en Derecho (LLM), enfatizamos que cualquier envío debe realizarse con total supervisión humana y que cualquier uso de IA que vaya más allá de la edición básica debe declararse».
Mastering Machine Learning no contiene dicha declaración. Cuando se le preguntó sobre el posible uso de IA en el trabajo, Behrendt nos respondió: «Conocemos el texto y lo estamos analizando». No comentó sobre las medidas tomadas durante el proceso editorial de Springer Nature para garantizar el cumplimiento de sus políticas de IA.
Las citas generadas por LLM fueron el centro de las controversias en torno al informe de Robert F. Kennedy Jr. «Make America Healthy Again» (https://www.notus.org/health-science/make-america-healthy-again-report-citation-errors) y una presentación de los CDC sobre el timerosal, un conservante de vacunas. En Retraction Watch, nuestros cofundadores fueron citados una vez en una referencia inventada en un informe del gobierno australiano sobre la integridad de la investigación. Hemos visto caer citas falsas investigación artículos, y nuestra lista de artículos con evidencia de que el uso no revelado de ChatGPT ha crecido mucho y casi con certeza representa solo una fracción de los que realmente lo hacen. El mismo día que Behrendt respondió a nuestra consulta, Springer Nature publicó una entrada en su blog titulada "Integridad de la investigación en libros: Prevención mediante el equilibrio entre la supervisión humana y las herramientas de IA".
"Todos los manuscritos de libros son evaluados inicialmente por un editor interno, quien decide si se envía el envío para una revisión adicional", escribió Deidre Hudson Reuss, gerente sénior de marketing de contenidos de la empresa. "Los revisores, expertos en la materia, evalúan la calidad y originalidad del manuscrito para garantizar su validez y que cumpla con los más altos estándares de integridad y ética".