Incidents associés
La semaine dernière, nous avons rapporté que le célèbre site d'actualités technologiques CNET avait discrètement publié des articles générés par un "moteur d'IA" non spécifié. "
La nouvelle a suscité l'indignation. Les critiques ont souligné que l'expérience ressemblait à une tentative d'éliminer le travail des écrivains débutants et que la précision des générateurs de texte IA de la génération actuelle est [notoirement médiocre] (https://mashable.com/article/chatgpt-amazing- faux). Le fait que CNET n'ait jamais annoncé publiquement le programme et que la divulgation que les messages avaient été écrits par des robots était cachée derrière une signature à consonance humaine - "CNET Money Staff" - donnait l'impression que le point de vente essayait de camoufler le provocateur initiative de contrôle.
Après le tollé, la rédactrice en chef de _CNET , Connie Guglielmo, a reconnu les articles écrits par l'IA [dans un article](https://www.cnet.com/tech/cnet-is-experimenting-with-an-ai-assist- heres-why/) qui célébrait la réputation de CNET pour "être transparent".
Sans reconnaître les critiques, Guglielmo a écrit que la publication changeait la signature de ses articles générés par l'IA de "CNET Money Staff" à simplement "CNET Money", tout en rendant la divulgation plus visible.
De plus, a-t-elle promis, chaque histoire publiée dans le cadre du programme avait été "examinée, vérifiée et éditée par un éditeur ayant une expertise thématique avant de publier".
Cela pourrait bien être le cas. Mais nous n'avons pas pu nous empêcher de remarquer que l'un des mêmes articles générés par l'IA que Guglielmo a mis en évidence dans son article fait une série d'erreurs stupides qui font glisser le concept de remplacement des écrivains humains par l'IA sur terre.
Prenez cette section dans [l'article] (https://archive.is/aWnq5), qui est un explicatif de base sur l'intérêt composé (c'est nous qui soulignons) :
"Pour calculer les intérêts composés, utilisez la formule suivante :
_Solde initial (1+ taux d'intérêt / nombre de périodes de composition) ^ nombre de compositions par période x nombre de périodes _
Par exemple, si vous déposez 10 000 $ dans un compte d'épargne qui rapporte 3 % d'intérêts composés annuellement, vous gagnerez 10 300 $ à la fin de la première année."
Cela semble autoritaire, mais c'est faux. En réalité, bien sûr, la personne décrite par l'IA ne gagnerait que 300 $ la première année. Il est vrai que la valeur totale de leur principal _ plus _ leurs intérêts totaliserait 10 300 $, mais c'est très différent des revenus - le principal est de l'argent que l'investisseur avait déjà accumulé avant de le placer dans un compte portant intérêt.
"Ce n'est tout simplement pas correct, ou une pratique courante, de dire que vous avez" gagné "à la fois la somme principale et les intérêts", nous a dit Michael Dowling, doyen associé et professeur de finance à la Dublin College University Business School, à propos de l'IA. -article généré.
C'est une erreur stupide, et que de nombreuses personnes ayant des connaissances financières auraient le bon sens de ne pas prendre au pied de la lettre. Mais encore une fois, l'article est écrit à un niveau si basique qu'il n'intéresserait vraiment que ceux qui disposent d'informations extrêmement limitées sur les finances personnelles en premier lieu, il semble donc courir le risque de fournir des attentes extrêmement irréalistes - prétendant que vous pourrait gagner 10 300 $ en un an sur un investissement de 10 000 $ – aux lecteurs exacts qui n'en savent pas assez pour être sceptiques.
Une autre erreur dans l'article concerne la description par l'IA du fonctionnement des prêts. Voici ce qu'il a écrit (encore une fois, c'est nous qui soulignons):
"Avec les hypothèques, les prêts auto et les prêts personnels, les intérêts sont généralement calculés en termes simples.
Par exemple, si vous contractez un prêt automobile de 25 000 $ et que votre taux d'intérêt est de 4 %, vous paierez un intérêt fixe de 1 000 $ par an."
Encore une fois, l'IA écrit avec le panache d'un conseiller financier averti. Mais comme un expert humain le saurait, il fait une autre erreur d'ignorance.
Ce qui est gênant cette fois-ci, c'est que la façon dont les prêts hypothécaires et les prêts automobiles sont généralement structurés, l'emprunteur ne paie pas un montant fixe d'intérêts par an, ni même par paiement mensuel. Au lieu de cela, sur chaque paiement successif, ils ne doivent des intérêts que sur le solde restant. Cela signifie que vers le début du prêt, l'emprunteur paie plus d'intérêts et moins de principal, ce qui s'inverse progressivement au fur et à mesure que les paiements se poursuivent.
Il est facile d'illustrer l'erreur en saisissant les détails du scénario hypothétique de CNET AI - un prêt de 25 000 $ avec un taux d'intérêt de 4 % - dans un [calculateur d'amortissement de prêt automatique] (https://www.nerdwallet.com/article/loans /prêts-auto/calculateur-amortissement-prêt-auto). Le résultat? Contrairement à ce que prétend l'IA, il n'y a jamais un an où l'emprunteur paiera 1 000 $ au complet, car il commence à grignoter le solde lors de son premier paiement.
L'IA de CNET a "absolument" tort dans la façon dont elle décrit les remboursements de prêts, a déclaré Dowling.
"Ce n'est tout simplement pas le cas, il s'agirait de 1 000 dollars d'intérêts par an", a-t-il déclaré, "car le solde du prêt est réduit chaque année et vous ne payez que des intérêts sur le solde impayé".
Le problème avec cette description n'est pas seulement qu'elle est fausse. C'est que l'IA élide une réalité importante à propos de nombreux prêts : si vous les remboursez plus rapidement, vous finissez par payer moins d'intérêts à l'avenir. En d'autres termes, cela donne de terribles conseils financiers directement aux personnes qui essaient d'en améliorer la compréhension.
L'IA a commis une autre gaffe lorsqu'elle a tenté de décrire les certificats de dépôt, mieux connus sous le nom de CD, qui sont des produits financiers qui offrent des intérêts, mais qui découragent généralement le retrait des fonds avant qu'une période déterminée ne se soit écoulée (encore une fois, nous soulignons) :
"Notez qu'un compte d'épargne à haut rendement ou un compte du marché monétaire peut offrir des intérêts composés quotidiennement, hebdomadairement ou mensuellement. Mais un certificat de dépôt d'un an n'est composé qu'une seule fois, une fois que le dépôt initial arrive à échéance."
Celui-ci est tout simplement faux. Par exemple, voici un CD d'un an par Chase Bank qui se compose quotidiennement. Et en voici un de Capital One qui se compose mensuellement.
Les trois erreurs, chacune présentée par l'IA avec l'autorité facile d'un véritable expert en la matière, mettent en évidence un problème central avec les générateurs de texte d'IA de la génération actuelle : alors qu'ils sont légitimement impressionnants à cracher [glib, true-sounding prose] (https://www.scientificamerican.com/article/research-summaries-written-by-ai-fool-scientists/), ils ont une [période notoirement difficile](https://undark.org/2023/01/ 07/interview-a-conversation-on-truth-and-fiction-with-chatgpt/) distinguant la réalité de la fiction.
Pour un éditeur, c'est forcément un problème. C'est une chose de travailler avec un écrivain qui fait de son mieux pour produire un travail précis, mais c'en est une autre s'il parsème ses brouillons d'erreurs et d'embellissements occasionnels. BuzzFeed News a parfaitement illustré ce risque cette semaine, lorsqu'un journaliste a utilisé ChatGPT pour générer une histoire à propos de l'utilisation secrète de l'IA par CNET - seulement pour découvrir qu'elle "a dû réécrire l'invite plusieurs fois pour qu'elle cesse d'insérer des erreurs factuelles".
Un autre problème qui pourrait être en jeu ici est bien connu dans le domaine distinct des voitures autonomes, influencé par l'IA. Les chercheurs ont découvert que les conducteurs de sécurité humaine, chargés de s'asseoir au volant d'un véhicule autonome pour prendre le relais en cas de dysfonctionnement, ont tendance à perdre rapidement leur concentration lorsqu'ils n'ont pas à actionner activement les commandes. La même dynamique peut être en jeu lorsqu'un éditeur est chargé d'approuver un déluge d'explicateurs générés par l'IA : face à une écriture synthétique sans fin, il est peut-être logique que les éditeurs humains commencent à se mettre eux-mêmes en pilote automatique.
Tout le monde fait des erreurs, donc nous sommes certainement sympathiques. Mais en ces premiers jours de l'expérience d'IA de CNET - peu importe dans un article publié le même jour que l'éditeur du site est devenu public en réponse à une tempête de critiques - vous vous attendriez à ce que les éditeurs chargés de surveiller l'IA soient sur leur plus haute alerte.
Si ce sont le genre de gaffes qui se glissent pendant cette période d'examen minutieux, à quoi devrions-nous nous attendre quand il n'y a pas autant d'yeux sur le travail de l'IA ? Et qu'en est-il lorsque les imitateurs voient que _CNET _ s'en tire à bon compte et commencent à remplir le Web avec leur propre contenu généré par l'IA, avec encore moins de scrupules ?
Il vaut également la peine de demander ce que les lecteurs veulent réellement : des conseils financiers d'un vrai humain avec de vrais soucis financiers, ou la logorrhée d'un bot qui a été formé pour ressasser l'écriture financière existante sans aucun enjeu financier propre.
Dowling a déclaré que bien qu'il soit optimiste quant au potentiel de l'IA en général, il soupçonne qu'un algorithme comme le manque de perspective personnelle de CNET ou "des informations qui vont au-delà d'un simple résumé" l'empêchera de produire un travail véritablement intéressant.
"Les gens abordent déjà la lecture financière avec un sentiment avancé d'ennui et de réticence - ChatGPT va-t-il simplement intégrer ces caractéristiques négatives encore plus profondément dans l'écriture financière?" Il a demandé.
Après Futurism a contacté CNET au sujet des erreurs, le personnel a publié une longue correction de l'article et a modifié le texte pour corriger les trois erreurs_._
Le personnel de _CNET _a également apparemment identifié une quatrième erreur de l'IA, qu'ils ont également décrite dans la correction, concernant la distinction entre le taux annuel en pourcentage (APR) et le rendement annuel en pourcentage (APY).
Un porte-parole de CNET a fourni à Futurism une brève déclaration sur les corrections.
"Nous examinons activement toutes nos pièces assistées par l'IA pour nous assurer qu'aucune autre inexactitude n'a traversé le processus d'édition, car les humains font aussi des erreurs", ont-ils déclaré. "Nous continuerons à publier toutes les corrections nécessaires conformément à la politique de correction de CNET."
Le porte-parole n'a pas répondu à une question sur la confiance de CNET dans les autres articles que l'IA a publiés sur son site. Après que nous ayons tendu la main, cependant, un nouveau message est apparu en haut de presque tous les articles publiés par l'IA, remontant à novembre.
"Note de la rédaction : nous examinons actuellement cette histoire pour en vérifier l'exactitude", lit-on dans le message. "Si nous trouvons des erreurs, nous mettrons à jour et publierons des corrections."
Il convient de souligner, comme Casey Newton de Platformer l'a fait cette semaine, que les articles financiers générés par l'IA de CNET n'existent sans doute que dans le première place parce qu'ils essaient de manipuler l'algorithme de Google à des fins lucratives. D'innombrables meilleures explications de l'intérêt composé existent déjà ; La stratégie de CNET consiste simplement à publier de gros volumes de texte produit à moindre coût, soigneusement optimisé pour flotter au sommet des résultats de recherche, dans le but de capturer les globes oculaires monétisables des curieux financiers.
"Avec le temps, nous devrions nous attendre à ce que davantage de sites Web grand public présentent ce type de contenu" gris ": une écriture d'IA assez bonne, légèrement révisée (mais pas toujours) par des éditeurs humains, prendra en charge autant d'édition numérique que les lecteurs le toléreront, " a écrit Newton. "La propagation silencieuse des vignes AI kudzu à travers CNET est une sombre évolution pour le journalisme, car une plus grande partie du travail autrefois réservé aux rédacteurs débutants qui construisent leur CV est rapidement automatisée."
En d'autres termes, ce n'est pas seulement l'IA qui est en cause ici. C'est que l'IA mûrit à un moment où l'industrie du journalisme a déjà été creusée par une course vers le bas de plusieurs décennies - une tempête parfaite pour les patrons des médias désireux de réduire le financement des écrivains humains.