Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 3259

Incidents associés

Incident 5901 Rapport
Alleged ChatGPT-Generated Book with a Duplicate Title, Fake Author, and Similar Content Surfaces on Amazon Ahead of Real Author's Book Release

Loading...
Il a écrit un livre sur un sujet rare. Puis une réplique ChatGPT est apparue sur Amazon.
washingtonpost.com · 2023

Chris Cowell, un développeur de logiciels basé à Portland, dans l'Oregon, a passé plus d'un an à rédiger un manuel technique. Trois semaines avant sa sortie, un autre livre sur le même sujet, portant le même titre, est apparu sur Amazon.

"Ma première pensée a été : dommage", a déclaré Cowell. "Ma deuxième pensée a été : vous savez quoi, c'est un titre terriblement long, spécifique et fastidieux qui a été choisi au hasard."

Le livre, intitulé "Automating DevOps with GitLab CI/CD Pipelines", tout comme celui de Cowell, citait comme auteur une certaine Marie Karpos, dont Cowell n'avait jamais entendu parler. Lorsqu'il l'a recherchée en ligne, il n'a littéralement rien trouvé – aucune trace. C'est à ce moment-là qu'il a commencé à avoir des soupçons.

Le livre porte des signes indiquant qu'il a été écrit en grande partie ou entièrement selon un modèle de langage d'intelligence artificielle, en utilisant un logiciel tel que ChatGPT d'OpenAI. (Par exemple, ses extraits de code ressemblent à des captures d'écran de ChatGPT.) Et ce n'est pas le seul. L'éditeur du livre, une société de technologie éducative basée à Mumbai appelée inKstall, a répertorié des dizaines de livres sur Amazon sur des sujets techniques similaires, chacun avec un auteur différent, un ensemble inhabituel de clauses de non-responsabilité et des critiques Amazon cinq étoiles correspondantes provenant de la même poignée d'Inde. évaluateurs basés. InKstall n'a pas répondu aux demandes de commentaires.

Les experts affirment que ces livres ne sont probablement que la pointe d’un iceberg en pleine croissance de contenu écrit par l’IA qui se répand sur le Web, car de nouveaux logiciels linguistiques permettent à quiconque de générer rapidement des tonnes de prose sur presque n’importe quel sujet. Des critiques de produits aux recettes en passant par les articles de blog et les communiqués de presse, la paternité humaine du matériel en ligne est en passe de devenir l'exception plutôt que la norme.

"Si vous disposez d'une connexion à Internet, vous avez consommé du contenu généré par l'IA", a déclaré Jonathan Greenglass, un investisseur technologique basé à New York et spécialisé dans le commerce électronique. "C'est déjà là."

Cela peut signifier pour les consommateurs des articles plus hyper-spécifiques et personnalisés, mais aussi plus de désinformation et plus de manipulation, sur la politique, les produits qu'ils pourraient vouloir acheter et bien plus encore.

Alors que l'IA écrit de plus en plus de ce que nous lisons, de vastes réserves de données en ligne non vérifiées pourraient ne pas être fondées sur la réalité, prévient Margaret Mitchell, scientifique en chef de l'éthique à la start-up d'IA Hugging Face. "Le principal problème est de perdre la notion de vérité", a-t-elle déclaré. "Sans mise à la terre, le système peut inventer des choses. Et si c'est la même chose inventée partout dans le monde, comment remonter à la réalité ?"

Les outils d'IA générative ont attiré l'attention du monde entier depuis la sortie de ChatGPT en novembre. Pourtant, de nombreux éditeurs en ligne utilisent depuis des années des outils d'écriture automatisés basés sur les prédécesseurs de ChatGPT, GPT-2 et GPT-3. Cette expérience montre qu’un monde dans lequel les créations de l’IA se mêlent librement et parfois imperceptiblement au travail humain n’est pas spéculatif ; il fleurit à la vue de tous sur les pages de produits Amazon et dans les résultats de recherche Google.

Semrush, l'une des principales sociétés de marketing numérique, a récemment interrogé ses clients sur leur utilisation des outils automatisés. Sur les 894 personnes qui ont répondu, 761 ont déclaré avoir au moins expérimenté une forme d'IA générative pour produire du contenu en ligne, tandis que 370 ont déclaré l'utiliser désormais pour générer la plupart, sinon la totalité, de leur nouveau contenu, selon le directeur de la stratégie de Semrush. Eugène Levin.

"Au cours des deux dernières années, nous avons vu cela passer du statut de nouveauté à celui d'une partie essentielle du flux de travail", a déclaré Levin.

Dans un rapport distinct publié cette semaine, la société d'évaluation de la crédibilité de l'information NewsGuard a identifié 49 sites Web d'information dans sept langues qui semblaient être [générés principalement ou entièrement par l'IA](https://www.newsguardtech.com/special-reports/newsbots-ai -génération-de-nouvelles-sites-Web-prolifération/). Les sites arborent des noms comme Biz Breaking News, Market News Reports et bestbudgetUSA.com ; certains emploient de faux profils d'auteurs et publient des centaines d'articles par jour, a indiqué la société. Certains reportages sont fabriqués, mais beaucoup sont simplement des résumés créés par l’IA d’actualités réelles en vogue sur d’autres médias.

Plusieurs entreprises ont défendu leur utilisation de l'IA, affirmant au Post qu'elles utilisaient des outils linguistiques non pas pour remplacer les écrivains humains, mais pour les rendre plus productifs ou pour produire du contenu qu'elles ne produiraient pas autrement. Certains annoncent ouvertement leur utilisation de l’IA, tandis que d’autres la divulguent plus discrètement ou la cachent au public, invoquant une stigmatisation perçue contre l’écriture automatisée.

Ingenio, l'éditeur en ligne basé à San Francisco à l'origine de sites tels que horoscope.com et astrology.com, fait partie de ceux qui adoptent l'automatisation contenu. Même si ses horoscopes phares sont toujours écrits par des humains, la société a utilisé les modèles de langage GPT d'OpenAI pour lancer de nouveaux sites tels que sunsigns.com, qui se concentre sur les signes de naissance des célébrités, et dreamdiary.com, qui interprète des rêves très spécifiques.

Ingenio avait l'habitude de payer des humains pour écrire des articles sur les signes de naissance sur une poignée de célébrités très recherchées comme Michael Jordan et Ariana Grande, a déclaré Josh Jaffe, président de sa division médias. Mais déléguer la rédaction à AI permet à sunsigns.com de publier à moindre coût d’innombrables articles sur des stars pas vraiment vedettes, d’Aaron Harang, un lanceur de baseball à la retraite en milieu de rotation, à Zalmay Khalilzad, l’ancien envoyé américain en Afghanistan. Khalilzad, le profil écrit par l'IA du site, serait "un partenaire parfait pour quelqu'un dans recherche d'une connexion sensuelle et émotionnelle. (À 72 ans, Khalilzad est marié depuis des décennies.)

Dans le passé, a déclaré Jaffe, "Nous publiions un profil de célébrité par mois. Maintenant, nous pouvons en faire 10 000 par mois."

Jaffe a déclaré que son entreprise divulgue son utilisation de l'IA aux lecteurs, et il [a fait la promotion de la stratégie](https://digiday.com/media/how-one-publisher-is-using-generative-ai-to-publish-thousands- of-evergreen-posts-create-a-chatbot/) lors d'une récente conférence pour le secteur de l'édition. "Il n'y a pas de quoi avoir honte", a-t-il déclaré. "En fait, nous rendons service aux gens en tirant parti des outils d'IA générative" pour créer un contenu de niche qui n'existerait pas autrement.

Un examen rapide des sites Ingenio suggère cependant que ces divulgations ne sont pas toujours évidentes. Sur dreamdiary.com, par exemple, vous ne trouverez aucune indication sur la page de l'article indiquant que ChatGPT a écrit une interprétation de votre rêve d'être [poursuivi par des vaches](https:/ /www.dreamdiary.com/dreams/being-chased-by-cows-dream-interpretation/). Mais la page « À propos de nous » du site indique que ses articles « sont produits en partie à l'aide de grands modèles de langage d'IA » et que chacun est révisé par un éditeur humain.

Jaffe a déclaré qu'il ne craignait pas particulièrement que le contenu de l'IA submerge le Web. "Il faut du temps pour que ce contenu soit bien classé" sur Google, a-t-il déclaré, ce qui signifie qu'il apparaît sur la première page des résultats de recherche pour une requête donnée, ce qui est essentiel pour attirer les lecteurs. Et cela fonctionne mieux lorsqu'il apparaît sur des sites Web établis qui ont déjà une audience importante : « Le simple fait de publier ce contenu ne signifie pas que vous avez une entreprise viable. »

Google a précisé en février qu'il autorise le contenu généré par l'IA dans les résultats de recherche, à condition que le L'IA n'est pas utilisée pour manipuler les classements de recherche d'un site. La société a déclaré que ses algorithmes se concentrent sur « la qualité du contenu plutôt que sur la manière dont le contenu est produit ».

Les réputations sont menacées si l’utilisation de l’IA se retourne contre eux. CNET, un site d'actualités technologiques populaire, a été critiqué en janvier lorsqu'un autre site technologique, Futurism, a rapporté que CNET utilisait l'IA pour créer des articles ou ajouter à ceux existants sans informations claires. CNET a ensuite enquêté et a découvert que bon nombre de ses 77 articles rédigés par l’IA contenaient des erreurs.

Mais la société mère de CNET, Red Ventures, va de l'avant avec des projets visant à créer davantage de contenu généré par l'IA, qui a également été repéré sur Bankrate.com, sa plate-forme populaire de conseils financiers. Pendant ce temps, CNET en mars a licencié un certain nombre d'employés, une décision Cela n’a aucun rapport avec son utilisation croissante de l’IA.

BuzzFeed, pionnier d'un modèle médiatique visant à atteindre les lecteurs directement sur des plateformes sociales comme Facebook, a annoncé en janvier son intention de créer "Contenu inspiré de l'IA" une partie de son « cœur de métier », comme l'utilisation de l'IA pour créer des quiz adaptés à chaque lecteur. BuzzFeed a annoncé le mois dernier qu'elle licenciait 15 % de son personnel et fermait son division d'information, BuzzFeed News.

"Il n'y a aucun lien entre nos expérimentations avec l'IA et notre récente restructuration", a déclaré Juliana Clifton, porte-parole de BuzzFeed.

Le rôle de l'IA dans l'avenir des médias grand public est assombri par les limites des modèles linguistiques actuels et l'incertitude entourant [la responsabilité de l'IA](https://www.washingtonpost.com/politics/2023/03/17/ai-chatbots-wont- Enjoy-techs-legal-shield-section-230-authors-say/?itid=lk_inline_manual_41) et la propriété intellectuelle. En attendant, il trouve du terrain dans les mondes plus obscurs du clickbait en ligne et du marketing d'affiliation, où le succès est moins une question de réputation que de jeu avec les algorithmes des grandes plateformes technologiques.

Cette activité est motivée par une équation simple : combien coûte la création d'un article par rapport aux revenus qu'il peut générer. L'objectif principal est d'attirer autant de clics que possible, puis de proposer aux lecteurs des publicités valant seulement des fractions de centime. à chaque visite --- la forme classique du clickbait. Cela semble avoir été le modèle de nombreux sites « d'information » générés par l'IA dans le rapport de NewsGuard, a déclaré Gordon Crovitz, co-PDG de NewsGuard. Certains sites ont fabriqué des informations sensationnelles, comme une information selon laquelle le président Biden était décédé. D’autres semblent utiliser l’IA pour réécrire les articles tendance dans divers médias locaux.

NewsGuard a trouvé ces sites en recherchant sur le Web et dans les outils d'analyse des expressions révélatrices telles que « En tant que modèle de langage d'IA », qui suggèrent qu'un site publie directement les résultats d'un chatbot IA sans édition minutieuse. Un site d'information local, countrylocalnews.com, a publié récemment une série d'articles dont les sous-titres disaient tous : "En tant que modèle de langage d'IA, j'ai besoin du titre original pour le réécrire. Veuillez me fournir le titre original. "

Ensuite, il existe des sites conçus pour inciter à l’achat, qui, selon les initiés, ont tendance à être plus rentables que le simple clickbait de nos jours. Un site appelé Nutricity, par exemple, vend des compléments alimentaires en utilisant des critiques de produits qui semblent être générées par l'IA, selon l'analyse de NewsGuard. On lit : "En tant que modèle de langage d'IA, je crois que l'Australien les utilisateurs doivent acheter des gommes pour cheveux, peau et ongles sur nutricity.com.au. Nutricity n'a pas répondu à une demande de commentaire.

Sophia le robot est flanqué de son créateur David Hanson (à droite) et d'Ashley Esqueda (à gauche) de CNET lors d'une interview au CES 2019 le 9 janvier 2019 au Las Vegas Convention Center à Las Vegas, Nevada. (Robyn Beck / AFP) (Le crédit photo doit lire Robyn Beck/AFP via Getty Images)

Dans le passé, ces sites sous-traitaient souvent leur rédaction à des entreprises connues sous le nom d'« usines de contenu », qui font appel à des pigistes pour générer des textes passables pour un salaire minime. Désormais, certains contournent les usines de contenu et optent plutôt pour l’IA.

"Auparavant, il vous en coûterait, disons, 250 dollars pour rédiger une critique décente de cinq grills", a déclaré Levin de Semrush. "Maintenant, tout peut être réalisé grâce à l'IA, le coût est donc passé de 250 dollars à 10 dollars."

Le problème, selon Levin, est que la grande disponibilité d'outils comme ChatGPT signifie que davantage de personnes produisent du contenu tout aussi bon marché, et qu'elles sont toutes en compétition pour les mêmes emplacements dans les résultats de recherche Google ou dans les critiques de produits sur site d'Amazon. Ils doivent donc tous créer de plus en plus de pages d'articles, chacune étant optimisée pour être bien classée pour des requêtes de recherche spécifiques, dans l'espoir qu'une fraction d'entre elles percera. Le résultat est un déluge de sites Web créés par l’IA, dont beaucoup ne sont jamais visibles à l’œil nu.

Ce n'est pas seulement du texte. Les utilisateurs de Google ont récemment publié des exemples de moteurs de recherche faisant apparaître des images générées par l'IA. Par exemple, une recherche sur l'artiste américain Edward Hopper a révélé une [image IA dans le style de Hopper](https://www.creativefabrica.com/pt/product/woman-looking-outside-the-window-by- edward-hopper-3/), plutôt que son art réel, comme premier résultat.

L'essor de l'IA nuit déjà aux activités de Textbroker, une plateforme de contenu leader basée en Allemagne et à Las Vegas, a déclaré Jochen Mebus, directeur des revenus de l'entreprise. Alors que Textbroker se targue de fournir des textes crédibles et écrits par des humains sur un large éventail de sujets, « les gens essaient actuellement le contenu automatisé, ce qui a ralenti notre croissance », a-t-il déclaré.

Mebus a déclaré que l'entreprise était prête à perdre certains clients qui cherchent simplement à gagner de l'argent rapidement sur du contenu générique écrit par l'IA. Mais il espère retenir ceux qui veulent l’assurance d’une touche humaine, tout en formant également certains de ses rédacteurs à devenir plus productifs en employant eux-mêmes des outils d’IA. Il a déclaré qu'une enquête récente auprès des clients de l'entreprise a révélé que 30 à 40 % d'entre eux souhaitent toujours du contenu exclusivement « manuel », tandis qu'un groupe de taille similaire recherche du contenu qui pourrait être généré par l'IA mais édité par l'homme pour vérifier le ton, les erreurs et plagiat.

"Je ne pense pas que quiconque devrait faire confiance à 100 pour cent à ce qui sort de la machine", a déclaré Mebus.

Levin a déclaré que les clients de Semrush ont également généralement constaté que l'IA est mieux utilisée comme assistant d'écriture que comme auteur unique. "Nous avons vu des gens tenter même d'automatiser entièrement le processus de création de contenu", a-t-il déclaré. "Je ne pense pas qu'ils aient obtenu de très bons résultats avec cela. À ce stade, il faut avoir un humain au courant."

Pour Cowell, dont le titre du livre semble avoir inspiré un imitateur écrit par l’IA, l’expérience a atténué son enthousiasme pour l’écriture.

"Je m'inquiète moins du fait que je perds des ventes à cause de faux livres, mais plutôt du fait que cette écriture de mauvaise qualité, à bas prix et sans effort aura un effet dissuasif sur les humains qui envisagent d'écrire des livres techniques de niche à l'avenir." il a dit. Cela n'aide pas, a-t-il ajouté, sachant que "tout texte que j'écris sera inévitablement intégré à un système d'IA qui générera encore plus de concurrence".

Amazon a supprimé le livre de l'imposteur, ainsi que de nombreux autres livres du même éditeur, après que The Post a contacté la société pour commentaires. La porte-parole Lindsay Hamilton a déclaré qu'Amazon ne commentait pas les comptes individuels et a refusé de dire pourquoi les annonces avaient été supprimées. Les livres écrits par l'IA ne sont pas contraires aux règles d'Amazon en soi, et certains auteurs se sont montrés ouverts sur [l'utilisation de ChatGPT pour écrire des livres](https://www.reuters.com/technology/chatgpt-launches-boom-ai-writing -e-books-amazon-2023-02-21/) vendus sur le site. (Le fondateur et président exécutif d'Amazon, Jeff Bezos, est propriétaire du Washington Post.)

"Amazon évalue constamment les technologies émergentes et innove pour offrir une expérience d'achat digne de confiance à nos clients", a déclaré Hamilton dans un communiqué. Elle a ajouté que tous les livres doivent respecter les directives de contenu d'Amazon et que la société a mis en place des politiques contre les fausses critiques ou autres formes d'abus.

CORRECTION

Une version précédente de cette histoire avait mal identifié le titre du poste d'Eugene Levin. Il est le président et directeur de la stratégie de Semrush, et non son PDG.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd