Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2400

Incidents associés

Incident 4174 Rapports
Facebook Feed Algorithms Exposed Low Digitally Skilled Users to More Disturbing Content

Loading...
Pourquoi certaines personnes voient plus de contenu dérangeant sur Facebook que d'autres, selon des documents divulgués
time.com · 2021

Certains utilisateurs sont beaucoup plus susceptibles de voir du contenu dérangeant sur Facebook que d'autres, selon des documents internes de l'entreprise divulgués par le dénonciateur Frances Haugen.

Un rapport de 2019 de l'équipe d'intégrité civique de Facebook détaille les résultats d'une étude qui a mesuré l'impact de la suppression de certaines protections d'intégrité des fils d'actualité de certains utilisateurs. Il a révélé que 11 % des utilisateurs voyaient du contenu marqué comme « dérangeant », 39 % voyaient du contenu pouvant être considéré comme « haineux » et 32 % voyaient du contenu « borderline » contenant une certaine forme de nudité chaque jour sur la plateforme.

Ce rapport est basé sur les divulgations de Haugen à la Securities and Exchange Commission (SEC), qui ont également été fournies au Congrès sous forme expurgée par son équipe juridique. Les versions expurgées reçues par le Congrès ont été obtenues par un consortium d'organisations de presse, dont TIME. Certaines publications les ont décrits comme les "Facebook Papers".

Tous les utilisateurs ne sont pas exposés à ces types de messages dérangeants dans la même mesure. Les propres recherches de Facebook indiquent que les communautés vulnérables, y compris les utilisateurs noirs, âgés et à faible revenu, font partie des groupes les plus touchés par la prévalence de contenu dérangeant sur le site. Au moment du rapport sur l'intégrité de 2019, les chercheurs de Facebook étaient encore en train de définir ce qui constituait une perturbation.

"La portée des mauvaises expériences reste un [work in progress] dans Integrity et nous sommes toujours en train de finaliser les seuils exacts utilisés pour dire qu'un utilisateur a eu une mauvaise expérience pour un concept d'intégrité", lit-on dans le rapport. "La définition utilisée dans cette analyse est simplement une [viewport view] sur un mauvais contenu, [ou une fois qu'un mauvais contenu était visible sur l'écran d'un utilisateur]. Les valeurs exactes de cette analyse doivent donc être prises avec un grain de sel.

En réponse à une demande de commentaires sur le rapport de 2019 sur les «mauvaises expériences», un porte-parole de Facebook a déclaré à TIME que les chiffres décrits dans le rapport ne quantifiaient que l'impact du recul [des rétrogradations](https://transparency.fb.com/en -gb/features/approach-to-ranking/types-of-content-we-demote/), une [intervention d'intégrité](https://about.fb.com/wp-content/uploads/2021/10/NRP_Reduce -Hate-Speech_chart.png?resize=890%2C598) qui réduit la distribution de contenu susceptible de violer ou de limiter le contenu aux normes communautaires de Facebook, pour environ 2 % des utilisateurs qui faisaient partie du groupe de test de l'étude.

"Le test des produits et des caractéristiques de sécurité est un élément important de l'amélioration de notre plate-forme et quelque chose qui est standard dans la technologie et dans de nombreuses autres industries", a déclaré le porte-parole. "Cela nous aide à créer les outils nécessaires pour réduire la prévalence des discours de haine et d'autres types de contenus problématiques sur notre plate-forme."

Cependant, le rapport indique notamment qu'au moment de l'étude, les protections de l'intégrité à l'étude avaient un «impact minimal» sur certains des «préjudices les plus graves» pour les utilisateurs.

"Ce sont des proportions importantes de [personnes actives au quotidien] et nous n'avons effectivement aucune intervention de classement en place pour atténuer cela", indique le rapport. "Au lieu de cela, notre impact se limite aux [infractions de qualité de contenu objective comme les clickbait et les fermes publicitaires] et à la désinformation."

Le porte-parole de Facebook a également signalé à TIME le plus récent Community Standards Enforcement Report de Facebook, qui comprenait des rapports sur [la violence et le contenu graphique](https:/ /transparency.fb.com/data/community-standards-enforcement/graphic-violence/facebook/), [nudité adulte et activité sexuelle](https://transparency.fb.com/data/community-standards-enforcement/adult -nudity-and-sexual-activity/facebook/), et discours de haine. Les rapports ont montré que la prévalence de ces problèmes au deuxième trimestre 2021 était d'environ 0,03-0,04 %, 0,04 % et 0,05 % du contenu consulté, soit environ trois à quatre, quatre et cinq vues pour 10 000 sur Facebook, respectivement. Le porte-parole a noté que Facebook considère la « prévalence » comme la mesure la plus importante, car elle ne représente pas ce que l'entreprise a capturé, mais ce qu'elle a manqué et que les gens ont vu sur la plate-forme.

Un document inclus dans les Facebook Papers fait référence à des études évaluant la littératie numérique qui ont montré que les utilisateurs de Facebook ayant de faibles compétences en littératie numérique sont à la fois surexposés à certains méfaits comme la violence graphique et la nudité limite, et sont moins capables de déchiffrer la véracité des publications. Définis dans un autre document comme des utilisateurs "moins capables d'utiliser des fonctionnalités conçues pour les aider à" moins "voir des choses qu'ils n'aiment pas", les utilisateurs peu alphabétisés représentent une part importante de la population totale de Facebook.

"Cela crée un préjudice lorsque les utilisateurs sont obligés de voir un contenu qui les dérange sans qu'aucune agence ne puisse réagir", indique le document.

Une enquête menée par le groupe de travail sur la littératie numérique auprès de 67 000 utilisateurs de Facebook dans 17 pays a révélé qu'au moins un quart et jusqu'à un tiers de la population mondiale de Facebook n'a pas de compétences numériques clés, tandis qu'au moins un sixième de la population américaine de Facebook a des compétences moyennes ou faibles. compétences numériques.

Alors que les utilisateurs très alphabétisés peuvent signaler qu'ils ne veulent pas voir plus de certains types de contenu en cachant, en snoozant ou en signalant des messages offensants, Facebook a constaté que les utilisateurs peu alphabétisés sont moins en mesure de signaler le contenu qu'ils n'aiment pas. et de « désabonner » des sources de mauvaise qualité.

Le problème est aggravé par le fait que lorsque les messages dérangeants ne sont pas signalés et supprimés par les systèmes automatisés de Facebook, le préjudice tombe de manière disproportionnée sur les utilisateurs à faible niveau de littératie numérique qui sont moins en mesure de filtrer ce contenu.

Dans un épisode du 17 octobre de ses ["Facebook Files"](https:/ /time.com/6097704/facebook-instagram-wall-street-journal/) série de rapports d'enquête sur les Facebook Papers, le Wall Street Journal a détaillé dans quelle mesure les systèmes d'intelligence artificielle de Facebook sont déclenchés par diverses formes de contenu dérangeant .

"L'IA de Facebook ne peut pas identifier de manière cohérente les vidéos de tournage à la première personne, les diatribes racistes et même, dans un épisode notable qui a intrigué les chercheurs internes pendant des semaines, la différence entre les combats de coqs et les accidents de voiture", indique le rapport. "En ce qui concerne le discours de haine, les documents montrent que les employés de Facebook ont estimé que l'entreprise ne supprime qu'une partie des publications qui enfreignent ses règles - un faible pourcentage à un chiffre, disent-ils."

Contrairement à la violence et à la nudité, les recherches de Facebook suggèrent que les discours de haine et d'autres types de contenus haineux sont davantage un problème chez les utilisateurs ayant des compétences en littératie numérique plus élevées, qui utilisent ensuite ces compétences pour rechercher davantage la même chose. Le discours de haine en particulier a été signalé par Haugen lors de son Oct. 25 témoignage aux législateurs britanniques comme un problème de deux manières. Non seulement un tel discours est exponentiellement plus envahissant et nuisible parmi certaines sous-populations d'utilisateurs, mais il n'est pas non plus freiné par les algorithmes de Facebook. L'impact disparate sur certains groupes d'utilisateurs devient cependant invisible lorsque seules des données agrégées sont rapportées.

"Lorsque nous disons, comment fonctionne l'algorithme, nous devons réfléchir à l'expérience de l'algorithme pour de nombreuses populations individuelles", a-t-elle déclaré. "Lorsque Facebook vous fournit des données agrégées, cela masquera probablement la dangerosité des systèmes, car l'expérience du 95e centile pour chaque atteinte à l'intégrité est radicalement différente et le 99e centile est encore plus radicalement différent de l'expérience médiane. Et je veux être vraiment clair : les gens qui vont commettre des actes de violence, ce sont des gens qui sont hyper-exposés à ce contenu dangereux. Et nous devons donc être capables de sortir de ces expériences extrêmes.

Haugen affirme que Facebook supprime moins de 5 % des discours de haine de la plateforme.

Concernant le discours de haine, le porte-parole de Facebook a dirigé TIME vers un article de la salle de presse Facebook du 17 octobre du vice-président de Facebook pour Intégrité Guy Rosen souligne à nouveau que l'entreprise considère la « prévalence » - le pourcentage de contenu visionné composé de discours de haine - comme la mesure la plus significative du discours de haine. Facebook affirme utiliser des systèmes technologiques pour aider à détecter de manière proactive les discours de haine, les acheminer vers les examinateurs et les supprimer lorsqu'ils enfreignent les politiques de Facebook, réduisant ainsi la prévalence des discours de haine sur la plate-forme.

"Les données extraites de documents divulgués sont utilisées pour créer un récit selon lequel la technologie que nous utilisons pour lutter contre le discours de haine est inadéquate et que nous déformons délibérément nos progrès", a écrit Rosen. "Ce n'est pas vrai. Nous ne voulons pas voir de haine sur notre plateforme, pas plus que nos utilisateurs ou annonceurs, et nous sommes transparents sur notre travail pour la supprimer. Ce que ces documents démontrent, c'est que notre travail d'intégrité est un voyage de plusieurs années. Bien que nous ne soyons jamais parfaits, nos équipes travaillent continuellement pour développer nos systèmes, identifier les problèmes et trouver des solutions. »

Correction, 3 novembre

La version originale de cette histoire déformait la quantité de discours de haine que Facebook prétend supprimer. L'entreprise ne prétend pas supprimer 90% de tous les discours de haine sur sa plateforme. Il a déclaré avoir supprimé 31,5 millions de cas de discours de haine au deuxième trimestre de 2021, mais n'a pas précisé quel pourcentage du discours de haine total ce chiffre représentait.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd