Incidentes Asociados
En las últimas dos semanas, CNET se ha convertido en el símbolo de la inteligencia artificial (IA) que salió mal.
Primero, el sitio web fue descubierto publicando artículos producidos por una IA bajo el título "CNET Money Staff" en un artículo escrito por Frank Landymore en el futurismo.
No hubo una revelación clara de que fue escrito por una IA, y solo se descubrió después de que algunos usuarios hicieron clic en la línea de autor. Para empeorar las cosas, la página de autor tampoco lo dejó completamente claro, diciendo que "Este artículo fue generado usando tecnología de automatización" en lugar de decir que fue escrito por una IA.
En total, parece que CNET ha publicado unos 73 artículos utilizando su sistema de IA.
Aún así, CNET hizo a un lado las críticas y dijo que todavía estaban editando y verificando esos artículos con humanos antes de publicarlos. Desafortunadamente, ese argumento fracasó en el primer obstáculo cuando Jon Christian en Futurism [publicó un artículo que destaca los errores fácticos encontrados en esos artículos] (https://futurism.com/cnet-ai-errors).
Sin embargo, incluso ese no fue el fondo del agujero del conejo, [ya que Christian publicó otro artículo que destaca las acusaciones de plagio cometido por el bot] (https://futurism.com/cnet-editor-in-chief-addresses-ai) .
Las denuncias en sí mismas se referían a pasajes cortos, generalmente una o dos oraciones, que eran similares pero reescritos por el bot. Aún así, estaba más que claro que el bot estaba intentando reescribir o alterar pasajes existentes en lugar de escribir el texto original.
[Esto llevó a la editora en jefe de CNET, Connie Guglielmo, a hablar sobre los problemas] (https://futurism.com/cnet-editor-in-chief-addresses-ai). Sobre el plagio, dijo que el plagio fue culpa del editor que supervisaba las obras. Ella alegó que, "en un puñado de historias, nuestra herramienta de verificación de plagio no fue utilizada correctamente por el editor" o que la herramienta no detectó el problema.
Con respecto a los errores de hecho, dijo que CNET realizó una auditoría de todos los artículos publicados por AI y encontró problemas adicionales. Han añadido correcciones a todas las piezas afectadas.
Continuó diciendo que, si bien han "pausado" el programa de inteligencia artificial por ahora, tienen la intención de recuperarlo.
haciendo todo mal
CNET, por su parte, no ha hecho prácticamente nada bien en este espacio.
No revelaron correctamente que estaban usando una IA para escribir historias, incluso atribuyéndolas falsamente al "personal". Afirmaron estar verificando los hechos y editando las historias, pero estaban plagados de inexactitudes y plagios.
Incluso ahora, hay muchas cosas que no sabemos. No sabemos qué IA usó CNET, no sabemos cómo se entrenó esa IA (aparte de las historias de las que plagió) y no sabemos cómo CNET cambiará sus divulgaciones cuando se reinicie el programa.
En su prisa por experimentar con la IA, CNET omitió o acortó todos los pasos que pudo haber dado para ser transparente con los lectores y asegurarse de que los artículos publicados fueran al menos de buena calidad.
Ese, a su vez, es el problema con la IA en un espacio periodístico. Si bien puede tener un reportero de IA, como Heliograf del Washington Post, si desea que el reportero haga más que llenar artículos en blanco, como lo que hace Heliograf, requiere que los humanos editen, verifiquen, pulan y agreguen.
Sin embargo, si el objetivo es tener menos humanos trabajando en una pieza en particular, la IA no es el camino a seguir. Sí, los humanos también necesitan verificar y editar hechos, pero con un humano, al menos sabes cómo se escribió el artículo. Puede revisar las notas, puede verificar sus fuentes y apoyarse un poco en su experiencia.
Una IA es una caja negra. Entra un aviso, sale el texto, y ni siquiera los creadores de la IA saben cómo llegó de A a B. Como tal, necesita un nivel de edición y verificación de datos aún mayor que el de un humano. CNET, claramente, no proporcionó eso.
En pocas palabras, la IA no es un simple atajo, especialmente en un entorno periodístico. Si desea usar IA, debe ser transparente en la forma en que la usa, encontrar el trabajo apropiado para que lo haga y luego hacer el trabajo detrás de escena para asegurarse de que no se descarrile.
Nada de eso es fácil, como puede atestiguar ahora CNET.
Entonces, ¿qué tan malos son los pecados?
Todo esto plantea una pregunta: ¿Qué tan graves fueron los errores de la IA?
La respuesta es que eran bastante malas, pero no las peores.
Mirando las acusaciones de plagio, los pasajes en cuestión son cortos y muestran signos de reescritura. Es un caso en el que el bot hizo un mal trabajo al parafrasear. Entre los humanos, [es fácilmente uno de los errores de escritura más comunes que cometen los estudiantes] (https://www.plagiaristomtoday.com/2022/08/31/how-to-paraphrase-correctly/).
Para ser claros, es plagio. Es absolutamente plagio. Sin embargo, veo este tipo exacto de plagio en los estudiantes todo el tiempo, y a menudo proviene más de malos hábitos y habilidades de escritura que de un intento de engañar.
También vale la pena señalar que este plagio no alcanza el nivel de infracción de derechos de autor. Al menos no basado únicamente en los ejemplos dados. Eso podría cambiar si hay otros problemas más profundos. Pero es probable que los pasajes breves y reescritos no sustenten un reclamo de infracción de derechos de autor por sí solos.
Lo que es mucho más condenatorio es lo que esto dice sobre CNET AI. Esta reescritura de baja calidad es algo que esperaría de una “herramienta de paráfrasis automatizada” de hace seis años o una herramienta de scraping/spinning de hace 15 años. Esto no se lee como una IA moderna que genera texto nuevo, se lee como un artículo giratorio de baja calidad que intenta ocultar sus fuentes.
Volviendo a los errores fácticos que cometió el bot, estos son errores que, si bien son obvios para las personas en el campo, no lo serían para un reportero nuevo o alguien con menos experiencia.
Sin embargo, esperaría que una organización como CNET tenga verificadores de hechos trabajando detrás de estos nuevos reporteros para detectar y corregir estos errores entre bastidores. CNET, según todas las apariencias, puso más fe en la IA que en un reportero humano y no aplicó el mismo rigor que yo esperaría.
En definitiva, estos errores y estos plagios hablan muy mal no solo de la IA que utilizaron, sino de la propia CNET. La IA no cumplió con sus deberes y CNET comparte una parte de la culpa por no verificar adecuadamente detrás de ella.
Sin embargo, la IA no tomó la decisión de no divulgar adecuadamente su uso. Ese problema es uno que solo CNET debe soportar y eso lo convierte en el que refleja peor a CNET como institución periodística.
Línea de fondo
Si CNET hubiera revelado correctamente que estaba usando un reportero de IA, mucho de esto no sería un problema tan grande.
Sí, habría habido y aún habrá una reacción violenta contra el uso de la IA en este espacio, pero los problemas encontrados en la redacción de la IA no habrían sido tan graves.
Tal como están las cosas ahora, CNET no solo fue tímido sobre el uso de una IA, sino que permitió que la IA publicara información errónea y plagio en su sitio.
No es un buen aspecto para CNET.
Sin embargo, quizás el peor paso en falso es que CNET ha dejado en claro que el programa solo está en pausa. Seguir adelante con este programa después de estos problemas hace que parezca que CNET está más comprometido con la IA que con su propia reputación.
Si bien no creo necesariamente que un reportero humano sea o deba ser despedido por estos errores, las propias acciones de CNET han contaminado este programa. Lo que podría haber sido un experimento interesante si se hubiera hecho de forma transparente se ha convertido en un punto negro para CNET.
Sería prudente que CNET se distanciara de eso, no avanzar con eso. Pero claramente esa no es la decisión que han tomado.