Incidentes Asociados
Deloitte devolverá parte del pago que recibió del gobierno australiano por un informe de 440.000 dólares australianos que contenía múltiples errores. La empresa tecnológica admitió haber utilizado inteligencia artificial (IA) generativa para elaborar el informe. El Departamento de Empleo y Relaciones Laborales (DEWR) confirmó que el último pago del contrato de 439.000 dólares australianos (290.000 dólares estadounidenses) se reembolsará una vez finalizada la transacción, informó The Guardian.
Deloitte reembolsará al gobierno tras un informe generado con IA
La senadora laborista Deborah O'Neill criticó a Deloitte, alegando que la firma tenía un "problema de inteligencia humana" y calificando el incidente como una "disculpa parcial por un trabajo deficiente". Deloitte fue contratada en diciembre de 2024 por el gobierno de Anthony Albanese para realizar una revisión independiente del Marco de Cumplimiento Específico (TCF) y su sistema informático. Este sistema automatiza las sanciones para quienes buscan empleo y no cumplen con las obligaciones mutuas bajo los programas de bienestar social de Australia.
La consultora finalizó el proyecto de siete meses a principios de este año. El informe, publicado el 4 de julio, reveló diversos problemas, como la escasa trazabilidad entre las normas marco y la legislación, diversas deficiencias del sistema y una configuración informática que se describe como "basada en supuestos punitivos de incumplimiento por parte de los participantes", entre otros.
Errores encontrados en el informe y se revela el uso de IA
En agosto, Australian Financial Review (https://www.financialexpress.com/business/healthcare-ratings-and-reviews-time-for-the-nmc-to-look-ahead-3319073/) detectó múltiples errores en el informe, incluyendo citas de referencias académicas inexistentes y un caso judicial inventado (Deanna Amato contra la Commonwealth). El Dr. Christopher Rudge, académico de la Universidad de Sídney, fue el primero en mencionar estos errores, llamándolos "alucinaciones", un término que se utiliza cuando los modelos de IA rellenan huecos o adivinan respuestas de forma incorrecta.
"En lugar de sustituir una referencia falsa alucinada por una real, sustituyeron múltiples referencias falsas", declaró Rudge. "Esto sugiere que las afirmaciones originales no se basaban en una sola fuente de pruebas".
El viernes, DEWR volvió a publicar una versión actualizada. Eliminó más de una docena de referencias inexistentes, corrigiendo notas a pie de página y errores tipográficos, junto con una lista de referencias reescrita. El departamento confirmó que "el contenido y las recomendaciones del informe se mantienen sin cambios".
Posteriormente, en el apéndice actualizado, Deloitte reconoció el uso de un modelo de lenguaje extenso de IA generativa (Azure OpenAI GPT -- 4o) como parte de la metodología. "Una parte del informe incluyó el uso de un modelo de lenguaje extenso de IA generativa con licencia de DEWR y alojado en la tenencia de Azure de DEWR", afirma el informe actualizado.
Sin embargo, la compañía no atribuyó los errores del informe original a la IA y mantiene sus conclusiones. "Las actualizaciones realizadas no afectan en modo alguno el contenido sustancial, las conclusiones ni las recomendaciones del informe", declaró Deloitte. Un portavoz de Deloitte añadió: "El asunto se ha resuelto directamente con el cliente".
La senadora Deborah O'Neill afirmó que el incidente suscitó preocupación por la excesiva dependencia de la IA. "Deloitte tiene un problema de inteligencia humana. Esto sería ridículo si no fuera tan lamentable. Un reembolso parcial parece una disculpa parcial por un trabajo deficiente", dijo. O'Neill añadió que las agencias gubernamentales deberían verificar quién realiza realmente el trabajo por el que pagan y si se utiliza IA. "Quizás, en lugar de una gran consultora, sería mejor que los compradores se suscribieran a ChatGPT", dijo.
DEWR afirmó que la transacción de reembolso y los detalles del contrato se harán públicos una vez finalizados.