Incidentes Asociados
El documento de política nacional destinado a definir el enfoque de Sudáfrica hacia la inteligencia artificial (IA) podría haber caído víctima de uno de sus escollos más conocidos.
News24 revela en exclusiva que algunos de los artículos de revistas académicas citados en el Borrador de la Política Nacional de IA son completamente ficticios. La explicación más probable de cómo sucedió esto, irónicamente, es que una herramienta de IA los generó por alucinación.
A principios de este mes, el Ministro de Comunicaciones y Tecnologías Digitales, Solly Malatsi, publicó el borrador de la política en la Gaceta Oficial para comentarios públicos. El documento indica que su propósito es establecer prioridades y normas nacionales para la IA, y reconocer las "dinámicas específicas de cada sector".
El borrador de la política propone la creación de una serie de nuevas instituciones para regular la IA. Esto incluye un Comité de Ética de la IA, un Instituto de Seguridad de la IA y un Fondo de Superventas de Seguros para la IA, responsable de compensar a las personas o entidades "perjudicadas por resultados derivados de la IA".
News24 revisó las 67 referencias citadas al final del borrador de la política. Varias de ellas citaban una revista académica inexistente o un artículo que no aparece en una revista reconocida.
Aquí hay cinco ejemplos:
Babatunde, O., & Mnguni, P. (2023). "Challenges and Opportunities in Regulating AI: Perspectives from South Africa." AI Policy Journal, 2(3), 143-156.
News24 no encontró evidencia de la existencia de la revista AI Policy Journal. No aparece ningún artículo académico con ese título en ninguna revista importante.
Burman, A., & Sewpersadh, K. (2022). "Legal Frameworks for AI in South Africa: Balancing Innovation and Accountability." Revista Sudafricana de Filosofía, 41(2), 207-217.
- La Revista Sudafricana de Filosofía (SAJP) existe. Sin embargo, su editor jefe, Dominic Griffiths, declaró a News24 que «nuestra revista no ha publicado ningún artículo de ese tipo». Griffiths afirmó que nadie con el apellido «Burman» ha publicado jamás en la SAJP. «La referencia es sin duda una alucinación de la IA», declaró.
Karr, V., & Smith, L. (2023). «Derechos digitales y gobernanza de la IA en África». Revista de Derecho Africano, 67(1), 95-108.
- La Revista de Derecho Africano existe, pero el artículo no aparece en el Volumen 67, Número 1. Un artículo con ese título tampoco parece aparecer en ninguna otra revista.
Cavaliere, F., McGregor, R., & Hersh, M. (2022). «Inteligencia Artificial y Ética en Economías Emergentes: El Caso de Sudáfrica». AI & Society, 37(4), 565-583.
- Karamjit Gill, editor jefe de AI & Society, afirmó que «no puede localizar la publicación de este artículo» en la revista. News24 tampoco pudo encontrar el artículo en Google Académico.
Smith, M., & Mahomed, R. (2021). «El impacto de la IA en la justicia social en Sudáfrica». Revista de Ética y Filosofía Social, 18(3), 313-329.
Louise Simpson, editora jefe de la Revista de Ética y Filosofía Social (JESP), confirmó que el artículo no existe. «Puedo confirmar que la JESP no ha publicado ningún artículo con ese título ni con esa combinación de autores en ese ni en ningún otro número», declaró.
Algunas de las fuentes de la lista eran documentos presentados en el marco de una investigación gubernamental o no se presentaban como artículos de revistas académicas.
News24 no pudo verificar con certeza cuántas referencias de la lista eran ficticias, pero al menos seis eran inventadas.
El autor y historiador económico sudafricano de la Universidad de Stellenbosch, Johan Fourie, colaboró en la verificación de las referencias.
“Hice dos cosas: revisé personalmente tres citas. Yo también llegué a la conclusión de que no existen. Luego las probé con una herramienta de IA (https://citetrue.com/), que también concluyó que ninguna de las tres se encontraba en bases de datos académicas comunes”, dijo Fourie.
“En resumen, eran inventadas”.
News24 contactó al Departamento de Comunicaciones y Tecnologías Digitales para aclarar si había utilizado una herramienta de IA para redactar el texto o las citas del Borrador de la Política Nacional de IA, o ambos. También solicitamos al departamento que proporcionara pruebas de la existencia de los artículos de revistas.
El departamento indicó que estaba revisando la lista de referencias para garantizar su precisión, incluyendo cómo pudieron haber surgido las “pequeñas discrepancias en las referencias”.
El departamento también indicó que inició el proceso de elaboración del borrador de la política en 2024 y que el documento había pasado por numerosas revisiones. Afirmó que incorporó investigación, aportaciones de expertos y la colaboración con la industria.
El departamento afirmó que necesitaba tiempo para determinar el origen de las discrepancias, pero restó importancia a las mismas.
«Confirmamos que estas cuestiones técnicas de referencias no afectan el contenido, la integridad ni la orientación política del Borrador del Marco de Política Nacional de IA», declaró.
Irresponsabilidad
Anné Verhoef, directora del Centro de IA de la Universidad del Noroeste y profesora de filosofía, señaló que los textos generados por IA suelen incluir fuentes y referencias inventadas.
«Esto ocurre porque las aplicaciones de IA están programadas para proporcionar siempre una respuesta. Como herramientas de predicción basadas en grandes modelos lingüísticos, anticipan qué fuentes y citas harían que un texto pareciera creíble, autorizado y científico», explicó.
Verhoef afirmó que incluir fuentes ficticias en trabajos académicos y de investigación es «indicativo de un uso irresponsable de la IA».
«Casos como el Borrador de la Política Nacional de IA, que contiene citas y fuentes inexactas, creadas sin revelar la participación de la IA, reflejan un posible uso poco ético e irresponsable de la IA», concluyó Verhoef.
Fourie afirmó que las alucinaciones provocadas por el modelo de IA no eran sorprendentes, pero sí lo era la aparente falta de supervisión.
«Estas herramientas son poderosas. Empresas, académicos y gobiernos ya las utilizan. Sin embargo, su valor depende de una supervisión humana rigurosa.
«Las referencias falsificadas de este tipo sugieren que la herramienta no se utilizó con el debido cuidado. La consecuencia, lamentable pero comprensible, es que ahora las dudas se extenderán más allá del error en sí, afectando la credibilidad de todo el documento», añadió Fourie.
- Con Katharina Moser