Au cours des deux dernières semaines, CNET est devenu l'affiche de l'intelligence artificielle (IA) qui a mal tourné.
Tout d'abord, le site Web a été surpris en train de publier des articles produits par une IA sous la signature "CNET Money Staff" dans un article écrit par Frank Landymore au Futurisme.
Il n'y avait aucune divulgation claire qu'il avait été écrit par une IA, et il n'a été découvert qu'après que certains utilisateurs aient cliqué sur la signature elle-même. Pour aggraver les choses, la page de signature n'était pas tout à fait claire non plus, disant que "Cet article a été généré à l'aide de la technologie d'automatisation" plutôt que de dire qu'il a été écrit par une IA.
Au total, il semble que CNET ait publié quelque 73 articles à l'aide de son système d'IA.
Pourtant, CNET a écarté la critique, affirmant qu'ils étaient toujours en train d'éditer et de vérifier ces articles avec des humains avant de les publier. Malheureusement, cet argument est tombé au premier obstacle lorsque Jon Christian de Futurism [a publié un article mettant en évidence les erreurs factuelles trouvées dans ces articles] (https://futurism.com/cnet-ai-errors).
Cependant, même ce n'était pas le fond du terrier du lapin, [car Christian a publié un autre article soulignant les allégations de plagiat commis par le bot] (https://futurism.com/cnet-editor-in-chief-addresses-ai) .
Les allégations elles-mêmes traitaient de courts passages, généralement une ou deux phrases, qui étaient similaires mais réécrits par le bot. Pourtant, il était plus que clair que le bot tentait de réécrire ou de modifier des passages existants plutôt que d'écrire le texte original.
Cela a incité la rédactrice en chef de CNET, Connie Guglielmo, à parler des problèmes. Concernant le plagiat, elle a déclaré que le plagiat était la faute de l'éditeur qui supervisait les travaux. Elle a allégué que "dans une poignée d'histoires, notre outil de vérification du plagiat n'a pas été correctement utilisé par l'éditeur", ou que l'outil a raté le problème.
En ce qui concerne les erreurs factuelles, elle a déclaré que CNET avait effectué un audit de tous les articles publiés par l'IA et trouvé des problèmes supplémentaires. Ils ont ajouté des corrections à toutes les pièces concernées.
Elle a poursuivi en disant que, bien qu'ils aient «suspendu» le programme d'IA pour le moment, ils ont l'intention de le ramener.
Tout faire de travers
CNET, pour sa part, n'a pratiquement rien fait de bien dans cet espace.
Ils n'ont pas correctement révélé qu'ils utilisaient une IA pour écrire des histoires, les attribuant même à tort au «personnel». Ils prétendaient v érifier les faits et éditer les histoires, mais ils étaient criblés d'inexactitudes et de plagiat.
Même maintenant, il y a beaucoup de choses que nous ne savons pas. Nous ne savons pas quelle IA CNET a utilisée, nous ne savons pas comment cette IA a été formée (à part les histoires à partir desquelles elle a plagié) et nous ne savons pas comment CNET modifiera ses divulgations lorsque le programme sera redémarré.
Dans sa précipitation à expérimenter l'IA, CNET a sauté ou escamoté toutes les étapes qu'il aurait pu franchir pour être transparent avec les lecteurs et s'assurer que les articles publiés sont au moins de bonne qualité.
C'est à son tour le problème de l'IA dans un espace journalistique. Bien que vous puissiez avoir un journaliste IA, tel que Heliograf du Washington Post, si vous le souhaitez que le journaliste fasse plus que remplir des articles en blanc, comme ce que fait Heliograf, cela nécessite des humains pour éditer, vérifier les faits, peaufiner et ajouter.
Cependant, si l'objectif est d'avoir moins d'humains travaillant sur une pièce particulière, l'IA n'est pas la voie à suivre. Oui, les humains ont aussi besoin de vérification et d'édition des faits, mais avec un humain, vous savez au moins comment l'article a été écrit. Vous pouvez consulter des notes, vous pouvez vérifier leurs sources et vous appuyer sur leur expertise.
Une IA est une boîte noire. Une invite entre, le texte sort et comment il est passé de A à B est inconnu même des créateurs de l'IA. En tant que tel, il a besoin d'un niveau d'édition et de vérification des faits encore plus élevé qu'un humain. CNET, clairement, n'a pas fourni cela.
En termes simples, l'IA n'est pas un simple raccourci, en particulier dans un contexte de journalisme. Si vous souhaitez utiliser l'IA, vous devez être transparent dans la façon dont vous l'utilisez, trouver le travail approprié à faire, puis faire le travail dans les coulisses pour vous assurer qu'il ne déraille pas.
Rien de tout cela n'est facile, comme CNET peut maintenant en témoigner.
Alors, à quel point les péchés sont-ils mauvais ?
Tout cela soulève une question : quelle était la gravité des faux pas de l'IA ?
La réponse est qu'ils étaient plutôt mauvais, mais pas les pires.
Au vu des allégations de plagiat, les passages en cause sont courts et montrent des signes de réécriture. C'est un cas où le bot a fait un mauvais travail de paraphrase. Chez les humains, c'est facilement l'une des erreurs d'écriture les plus courantes commises par les étudiants.
Pour être clair, c'est du plagiat. C'est carrément du plagiat. Cependant, je vois tout le temps ce type de plagiat chez les étudiants, et cela provient souvent davantage de mauvaises habitudes et compétences en écriture que d'une intention de tromper.
Il convient également de noter que ce plagiat n'atteint pas le niveau de violation du droit d'auteur. Du moins pas basé uniquement sur les exemples donnés. Cela pourrait changer s'il y avait d'autres problèmes plus profonds. Mais des passages courts et réécrits ne sont pas susceptibles de faire l'objet d'une réclamation pour violation du droit d'auteur à eux seuls.
Ce qui est beaucoup plus accablant, c'est ce que cela dit à propos de l'IA CNET. Cette réécriture de mauvaise qualité est quelque chose que j'attendrais d'un "[outil de paraphrase automatisé] (https://www.plagiarismtoday.com/2017/03/23/automatic-paraphrasing-a-problem-for-academia/)" de il y a six ans ou un outil de grattage/tournage d'il y a 15 ans. Cela ne se lit pas comme une IA moderne générant un nouveau texte, il se lit comme un spinner d'article de mauvaise qualité essayant de cacher ses sources.
En ce qui concerne les erreurs factuelles commises par le bot, ce sont des erreurs qui, bien qu'évidentes pour les personnes sur le terrain, ne le seraient pas pour un nouveau journaliste ou quelqu'un qui a moins d'expertise.
Cependant, je m'attendrais à ce qu'une organisation comme CNET ait des vérificateurs de faits travaillant derrière ces nouveaux journalistes pour détecter et corriger ces erreurs dans les coulisses. CNET, de toutes les apparences, a fait plus confiance à l'IA qu'à un journaliste humain et n'a pas appliqué la même rigueur à laquelle je m'attendrais.
Bref, ces erreurs et ces plagiats parlent très mal non seulement de l'IA qu'ils ont utilisée, mais de CNET lui-même. L'IA n'a pas fait ses devoirs et CNET partage une partie du blâme pour ne pas avoir suffisamment vérifié derrière elle.
Cependant, l'IA n'a pas pris la décision de ne pas divulguer correctement son utilisation. C'est un problème que CNET doit supporter seul et qui en fait celui qui reflète le pire CNET en tant qu'institution de journalisme.
Conclusion
Si CNET avait correctement révélé qu'il utilisait un journaliste d'IA, cela ne serait pas un gros problème.
Oui, il y aurait eu et il y aurait toujours un contrecoup contre l'utilisation de l'IA dans cet espace, mais les problèmes trouvés dans l'écriture de l'IA n'auraient pas été aussi graves.
Dans l'état actuel des choses, CNET a non seulement hésité à utiliser une IA, mais a permis à cette IA de publier des informations erronées et du plagiat sur son site.
Ce n'est pas un bon look pour CNET.
Cependant, le pire faux pas est peut-être que CNET a clairement indiqué que le programme n'était qu'en pause. Faire avancer ce programme après ces problèmes donne l'impression que CNET est plus attaché à l'IA qu'à sa propre réputation.
Bien que je ne pense pas nécessairement qu'un journaliste humain serait ou devrait être licencié pour ces faux pas, les propres actions de CNET ont entaché ce programme. Ce qui aurait pu être une expérience intéressante s'il était fait de manière transparente est plutôt devenu une marque noire pour CNET.
Crumpe serait sage de se distancer de cela, de ne pas aller de l'avant. Mais ce n'est clairement pas la décision qu'ils ont prise.