Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1638

Incidents associés

Incident 1974 Rapports
Facebook Internally Reported Failure of Ranking Algorithm, Exposing Harmful Content to Viewers over Months

Loading...
Un bogue Facebook a entraîné une augmentation du nombre de vues de contenu préjudiciable sur six mois
theverge.com · 2022

Un groupe d'ingénieurs de Facebook a identifié un "échec massif de classement" qui a exposé jusqu'à la moitié de toutes les vues du fil d'actualité à des "risques d'intégrité" potentiels au cours des six derniers mois, selon un rapport interne sur l'incident obtenu par The Verge.

Les ingénieurs ont remarqué le problème pour la première fois en octobre dernier, lorsqu'une vague soudaine de désinformation a commencé à circuler dans le fil d'actualité, note le rapport, qui a été partagé au sein de l'entreprise la semaine dernière. Au lieu de supprimer les messages des récidivistes de la désinformation qui ont été examinés par le réseau de vérificateurs de faits externes de l'entreprise, le fil d'actualité a plutôt distribué les messages, augmentant le nombre de vues jusqu'à 30 % dans le monde. Incapables de trouver la cause profonde, les ingénieurs ont vu la poussée s'atténuer quelques semaines plus tard, puis s'embraser à plusieurs reprises jusqu'à ce que le problème de classement soit résolu le 11 mars.

En plus des publications signalées par les vérificateurs des faits, l'enquête interne a révélé que, pendant la période de bogue, les systèmes de Facebook n'avaient pas correctement rétrogradé la nudité probable, la violence et même les médias d'État russes que le réseau social s'est récemment engagé à cesser de recommander en réponse à la crise du pays. invasion de l'Ukraine. Le problème a été désigné en interne comme un SEV de niveau un, ou événement de site – une étiquette réservée aux crises techniques hautement prioritaires, comme le blocage continu de Facebook et Instagram par la Russie.

Le porte-parole de Meta, Joe Osborne, a confirmé l'incident dans une déclaration à The Verge, affirmant que la société "avait détecté des incohérences dans le déclassement à cinq reprises, ce qui était corrélé à de petites augmentations temporaires des mesures internes". Les documents internes indiquent que le problème technique a été introduit pour la première fois en 2019 mais n'a pas créé d'impact notable avant octobre 2021. "Nous avons retracé la cause première d'un bogue logiciel et appliqué les correctifs nécessaires", a déclaré Osborne, ajoutant que le bogue "n'a pas eu un impact significatif à long terme sur nos mesures » et ne s'appliquait pas au contenu qui atteignait le seuil de suppression de son système.

Pendant des années, Facebook a présenté le déclassement comme un moyen d'améliorer la qualité du fil d'actualité et a régulièrement élargi les types de contenu sur lesquels agit son système automatisé. Le déclassement a été utilisé en réponse à des guerres et à des histoires politiques controversées, suscitant des inquiétudes quant à l'interdiction de l'ombre et des appels à la législation. Malgré son importance croissante, Facebook n'a pas encore dévoilé son impact sur ce que les gens voient et, comme le montre cet incident, ce qui se passe lorsque le système tourne mal.

En 2018, le PDG Mark Zuckerberg a expliqué que le déclassement combat l'impulsion que les gens ont à s'engager intrinsèquement avec un contenu "plus sensationnaliste et provocateur". "Nos recherches suggèrent que peu importe où nous traçons les limites de ce qui est autorisé, à mesure qu'un élément de contenu se rapproche de cette ligne, les gens s'y engageront davantage en moyenne - même s'ils nous disent après coup qu'ils n'aiment pas le contenu. ", écrivait-il dans un post Facebook à l'époque.

Le déclassement supprime non seulement ce que Facebook appelle le contenu « borderline » qui est sur le point de violer ses règles, mais également le contenu que ses systèmes d'IA soupçonnent de violer mais qui nécessite un examen humain plus approfondi. La société a publié une liste de haut niveau de ce qu'elle rétrograde en septembre dernier, mais n'a pas précisé comment la rétrogradation affecte exactement la distribution du contenu concerné. Les responsables m'ont dit qu'ils espéraient faire la lumière sur le fonctionnement des rétrogradations, mais craignent que cela n'aide les adversaires à déjouer le système.

En attendant, les dirigeants de Facebook se vantent régulièrement de la façon dont leurs systèmes d'IA s'améliorent chaque année pour détecter de manière proactive des contenus comme les discours de haine, accordant une plus grande importance à la technologie comme moyen de modération à grande échelle. L'année dernière, Facebook a annoncé qu'il commencerait à déclasser tout le contenu politique dans le fil d'actualité - dans le cadre des efforts du PDG Mark Zuckerberg pour ramener l'application Facebook à ses racines plus légères.

Je n'ai vu aucune indication qu'il y avait une intention malveillante derrière ce bogue de classement récent qui a eu un impact sur jusqu'à la moitié des vues du fil d'actualité sur une période de plusieurs mois, et heureusement, cela n'a pas cassé les autres outils de modération de Facebook. Mais l'incident montre pourquoi plus de transparence est nécessaire dans les plateformes Internet et les algorithmes qu'elles utilisent, selon Sahar Massachi, un ancien membre de l'équipe Civic Integrity de Facebook.

"Dans un grand système complexe comme celui-ci, les bogues sont inévitables et compréhensibles", a déclaré Massachi, qui est maintenant co-fondateur de l'Institut à but non lucratif Integrity, à The Verge. « Mais que se passe-t-il lorsqu'une plateforme sociale puissante présente l'un de ces défauts accidentels ? Comment saurions-nous même? Nous avons besoin d'une réelle transparence pour construire un système durable de responsabilité, afin que nous puissions les aider à détecter ces problèmes rapidement.

Clarification à 18 h 56 HE : Spécifié avec la confirmation de Facebook que les comptes désignés comme récidivistes de la désinformation ont vu leurs vues grimper jusqu'à 30 % et que le bogue n'a pas eu d'incidence sur la capacité de l'entreprise à supprimer le contenu qui enfreignait explicitement ses règles. .

Correction à 19 h 25 HE : histoire mise à jour pour noter que « SEV » signifie « événement de site » et non « vulnérabilité technique grave », et que le niveau 1 n'est pas le pire niveau de crise. Il existe un SEV de niveau zéro utilisé pour les urgences les plus dramatiques, comme une panne mondiale. Nous regrettons l'erreur.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd