Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2097

Incidents associés

Incident 3591 Rapport
Facebook, Instagram, and Twitter Cited Errors in Automated Systems as Cause for Blocking pro-Palestinian Content on Israeli-Palestinian Conflict

Loading...
L'IA de Facebook traite les militants palestiniens comme elle traite les militants noirs américains. Ça les bloque.
washingtonpost.com · 2021

Quelques jours à peine après le violent conflit qui a éclaté en Israël et dans les territoires palestiniens, Facebook et Twitter ont commis un faux pas majeur : les entreprises avaient bloqué ou restreint à tort des millions de messages et de comptes principalement pro-palestiniens liés à la crise.

Des militants du monde entier ont accusé les entreprises d'avoir échoué à un test critique : si leurs services permettraient au monde de regarder un événement mondial important se dérouler sans entraves à travers les yeux des personnes concernées.

Les entreprises ont imputé les erreurs à des problèmes dans les logiciels d'intelligence artificielle.

Dans le cas de Twitter, la société a déclaré que son service avait identifié par erreur les tweets à déclenchement rapide pendant les affrontements comme du spam, entraînant le verrouillage temporaire de centaines de comptes et la non-apparition des tweets lors de la recherche. Instagram, propriété de Facebook, a donné plusieurs explications à ses problèmes, notamment un bogue logiciel qui bloquait temporairement le partage de vidéos et affirmant que son logiciel de détection des discours de haine avait identifié à tort un hashtag clé comme étant associé à un groupe terroriste.

Les entreprises ont déclaré que les problèmes avaient été rapidement résolus et les comptes rétablis. Mais certains militants affirment que de nombreux messages sont toujours censurés. Les experts en liberté d'expression et en technologie ont déclaré que c'était parce que les problèmes étaient liés à un problème plus large : des algorithmes logiciels trop zélés qui sont conçus pour protéger mais qui finissent par pénaliser à tort les groupes marginalisés qui comptent sur les médias sociaux pour obtenir un soutien. Les Noirs américains, par exemple, se plaignent depuis des années que [posts discuting race](https://www.washingtonpost.com/business/economy/for-facebook-erasing-hate-speech-proves-a-daunting-challenge/2017 /07/31/922d9bc6-6e3b-11e7-9c15-177740635e83_story.html?itid=lk_inline_manual_9) sont incorrectement signalés comme problématiques par le logiciel d'IA sur une [base de routine](https://www.washingtonpost.com/technology/2020/ 12/03/facebook-hate-speech/?itid=lk_inline_manual_9), avec peu de recours pour les personnes concernées.

Malgré des années d'investissement, de nombreux systèmes automatisés construits par les entreprises de médias sociaux pour arrêter le spam, la désinformation et le terrorisme ne sont toujours pas assez sophistiqués pour détecter la différence entre les formes d'expression souhaitables et les formes nuisibles. Ils sur-corrigent souvent, comme dans les erreurs les plus récentes pendant le conflit israélo-palestinien, ou ils sous-appliquent, permettant à la désinformation nuisible et au langage violent et haineux de proliférer, y compris les canulars sur les vaccins contre les coronavirus et les messages violents avant l'insurrection du Capitole américain le 1er janvier. 6.

La situation palestinienne a éclaté en une véritable crise de relations publiques et interne pour Facebook. La semaine dernière, le PDG Mark Zuckerberg a dépêché le plus haut responsable politique de la société, Nick Clegg, pour rencontrer les dirigeants israéliens et palestiniens, selon la société. Pendant ce temps, les Palestiniens ont lancé une campagne pour faire tomber le classement de Facebook dans les magasins d'applications en laissant des critiques à une étoile. L'incident a été désigné "gravité 1" - le terme de l'entreprise pour une urgence à l'échelle du site, selon des documents internes examinés par le Washington Post et [premier rapport] (https://www.nbcnews.com/tech/social-media/pro- palestiniens-activistes-cible-facebook-1-étoile-app-store-avis-n1268258) par NBC. Les documents notaient que les dirigeants de Facebook avaient contacté Apple, Google et Microsoft pour demander la suppression des publications.

Pendant ce temps, un groupe de 30 employés de Facebook, dont certains ont déclaré avoir des amis et de la famille touchés par le conflit, se sont plaints d'une "application excessive" du contenu palestinien dans une lettre ouverte sur les forums de messagerie de l'entreprise, selon un autre ensemble de documents internes examinés par The Post. Le groupe a déposé au moins 80 tickets pour signaler des "faux positifs" avec les systèmes d'automatisation de l'entreprise en relation avec le conflit, notant que bon nombre des problèmes étaient dus au fait que l'IA qualifiait par erreur les images de manifestations de "harcèlement ou d'intimidation".

Jillian York, directrice de l'Electronic Frontier Foundation, un groupe de défense qui s'oppose à la surveillance gouvernementale, a fait des recherches sur les pratiques des entreprises technologiques au Moyen-Orient. Elle a dit qu'elle ne croyait pas que la modération de contenu - humaine ou algorithmique - puisse fonctionner à grande échelle.

"En fin de compte, ce que nous voyons ici, c'est la répression hors ligne existante et les inégalités qui se reproduisent en ligne, et les Palestiniens sont exclus de la conversation politique", a déclaré York.

La porte-parole de Facebook, Dani Lever, a déclaré que "les politiques de l'entreprise sont conçues pour donner à chacun une voix tout en les protégeant sur nos applications, et nous appliquons ces politiques de la même manière". Elle a ajouté que Facebook dispose d'une équipe dédiée de locuteurs de l'arabe et de l'hébreu surveillant de près la situation sur le terrain, mais a refusé de dire si certains étaient palestiniens. Dans une publication Instagram du 7 mai, Facebook a également donné un compte de ce qui, selon lui, a conduit au problème.

La porte-parole de Twitter, Katie Rosborough, a déclaré que les mesures d'exécution étaient "plus sévères que prévu par nos politiques" et que la société avait rétabli les comptes le cas échéant. "Défendre et respecter la voix des personnes qui utilisent notre service est l'une de nos valeurs fondamentales chez Twitter", a-t-elle déclaré.

Les militants palestiniens se sont rendus sur les plateformes de médias sociaux alors qu'ils commençaient à organiser des manifestations fin avril avant une affaire imminente devant la Cour suprême israélienne sur la question de savoir si les colons avaient le droit d'expulser des familles de leurs maisons dans le quartier de Sheikh Jarrah à Jérusalem. Les expulsés potentiels ont diffusé en direct des affrontements et documenté des images de blessures après que la police israélienne a pris d'assaut la mosquée al-Aqsa, l'un des sites les plus sacrés de l'islam.

Le conflit a dégénéré en guerre après que le groupe terroriste Hamas, qui gouverne Gaza, a tiré des roquettes explosives sur Israël. Israël a répondu par une campagne de bombardements de 11 jours qui a tué 254 Palestiniens, dont 66 enfants. Douze personnes en Israël ont été tuées, dont deux enfants.

Pendant le barrage, les Palestiniens ont publié des photos sur Twitter montrant des maisons couvertes de décombres et des cercueils d'enfants. Un cessez-le-feu est entré en vigueur le 20 mai.

Les militants palestiniens et les experts qui étudient les mouvements sociaux disent que ce fut un autre moment historique décisif au cours duquel les médias sociaux ont contribué à modifier le cours des événements. Ils l'ont comparé à il y a dix ans, lorsque les plateformes de médias sociaux étaient essentielles pour organiser le soulèvement pro-démocratie connu sous le nom de Printemps arabe. Mais à l'époque, les entreprises technologiques ne s'appuyaient pas sur des algorithmes de contrôle, mais plutôt sur des humains qui prenaient des décisions. Et bien que des erreurs aient été commises, rien ne s'est produit à l'échelle d'aujourd'hui, a déclaré York.

Même après que les entreprises ont déclaré que les problèmes avaient été corrigés, 170 messages Instagram et cinq messages Twitter qui, selon les militants, avaient été supprimés à tort étaient toujours hors ligne, selon 7amleh, le Centre arabe pour l'avancement des médias sociaux, un groupe qui défend les droits numériques des Palestiniens. Le groupe a déclaré dans un rapport fin mai que les entreprises lui avaient dit que certains des postes restants étaient en cours d'examen.

Facebook a refusé de commenter. Rosborough de Twitter a déclaré qu'elle ne pouvait pas commenter sans voir les tweets.

Lors des premières manifestations à Jérusalem-Est, certains messages sur Facebook, Twitter et Instagram ont été supprimés pour avoir utilisé le hashtag #SaveSheikhJarrah, le nom du quartier en litige, a déclaré Iyad Alrefaie, directeur de [Sada Social](http://sada .social/), un groupe qui suit les droits numériques dans les territoires palestiniens.

Mariam Barghouti, une journaliste américano-palestinienne qui couvre la Cisjordanie pour Al Jazeera et d'autres médias, a publié sur Instagram qu'elle avait vu son compte restreint par Twitter pour avoir prétendument violé la politique de l'entreprise en matière de médias sociaux tout en couvrant une manifestation. Elle a déclaré dans des interviews aux médias qu'elle ne savait pas quels tweets enfreignaient les règles. La société a ensuite restauré son compte et ses tweets, affirmant qu'elle avait commis une erreur, selon la porte-parole Rosborough.

Les groupes de défense des droits numériques Access Now, 7amleh et d'autres organisations ont passé des années depuis le printemps arabe à documenter les problèmes liés à la manière dont les entreprises de médias sociaux traitent le contenu palestinien, ainsi que le contenu de la région dans son ensemble.

En 2016, Facebook a bloqué les comptes de plusieurs rédacteurs en chef de deux agences de presse palestiniennes sans donner de raison, [a rapporté Al Jazeera](https://www.aljazeera.com/news/2016/9/25/facebook-blocks-accounts- des-journalistes-palestiniens) à l'époque. Après des plaintes, la société de médias sociaux a annulé les interdictions et a déclaré qu'elles étaient accidentelles. En 2019, Twitter comptes suspendus géré par une agence de presse palestinienne, Quds News Network, dans une vague de comptes terroristes (qui ont depuis été rétablis, a déclaré Twitter). En mai 2020, Facebook a désactivé les comptes de plus de 50 journalistes et militants palestiniens sans fournir d'explication, ont déclaré des militants, y compris de journalistes qui ont publié des images d'[attaques](https://www.middleeasteye.net/news/facebook-deactivates -récits-de-dizaines-de-journalistes-et-militants-palestiniens) par des colons israéliens sur des agriculteurs palestiniens dans les territoires occupés.

Facebook a refusé de commenter ces exemples.

Facebook a supprimé un message d'un père souhaitant à son fils en bas âge, nommé Qassam, un joyeux anniversaire, selon Alrefaie, le directeur de Sada Social. Le groupe a supposé que c'était parce que la société bloquait de nombreux messages sur les Brigades al-Qassam, la branche armée du Hamas.

"Ces mots font partie de notre discours, c'est une partie de notre culture", a déclaré Alrefaie. "Facebook n'a fait la différence entre aucun contexte." Facebook a refusé de commenter cet incident.

Marwa Fatafta, responsable de la politique des droits numériques pour la région Moyen-Orient et Afrique du Nord pour Access Now, a déclaré que d'autres mots-clés, tels que le terme sioniste, sont souvent interdits lorsque les Palestiniens les utilisent parce qu'ils sont supposés être antisémites.

« Dans le cadre de nos politiques actuelles, nous autorisons le terme « sioniste » dans le discours politique, mais supprimons les attaques contre les sionistes dans des circonstances spécifiques, lorsqu'il y a un contexte pour montrer qu'il est utilisé comme un proxy pour les juifs ou les Israéliens, qui sont des caractéristiques protégées par notre discours de haine. politique », a déclaré Lever de Facebook.

Certains militants ont développé des solutions de contournement pour les algorithmes, notamment en utilisant une [ancienne méthode](https://hyperallergic.com/647086/people-are-using-an-ancient-method-of-writing-arabic-to-combat-ai -censeurs/) d'écrire l'arabe, selon un article du site d'information égyptien indépendant [Mada Masr](https://mada31.appspot.com/www.madamasr.com/ar/2021/05/18/feature/%D8 %B3%D9%8A%D8%A7%D8%B3%D8%A9/%D8%A7%D9%84%D8%A7%D9%AE%D8%B3%D8%A7%DA%BA-%D8 %B5%D8%AF-%D8%A7%D9%84%D8%A7%D9%84%D9%87-%D9%AE%D9%88%D8%B1%D9%87-%D8%A7% D9%84%D9%AE%D9%AF%D8%A7%D8%B7-%D8%A7%D9%84%D8%B9%D8%B1%D9%AE%D9%89%D9%87/) . Certains militants américains utilisent des tactiques similaires, orthographiant délibérément des mots courants comme "blanc" pour éviter la censure algorithmique lors de discussions sur la race, a rapporté The Post (https://www.washingtonpost.com/technology/2020/12/03/facebook -discours de haine/?itid=lk_inline_manual_50).

Les militants ont également dénoncé les relations des entreprises technologiques avec le gouvernement israélien, et en particulier la Cyber Unit du ministère de la Justice – qui dispose d’un canal direct vers les entreprises technologiques pour signaler les violations potentielles de contenu. Ils ont demandé aux entreprises technologiques de faire preuve de transparence quant au moment où le gouvernement renvoie secrètement des comptes à bloquer ou à supprimer du contenu, y compris si l'unité a été impliquée dans des démantèlements pendant la guerre.

Facebook, Google et Twitter ont tous déclaré se conformer aux lois locales et répondre régulièrement aux demandes de retrait des gouvernements, qu'ils publient dans des rapports de transparence semestriels. Twitter a déclaré que le problème du filtre anti-spam n'avait rien à voir avec les autorités israéliennes. Facebook n'a pas répondu à plusieurs demandes de commentaires sur la nature des rapports des autorités israéliennes lors de la récente crise. Un porte-parole de Google a refusé de dire s'il avait reçu des demandes groupées de la part de la Cyber Unit.

Les journalistes et les militants se sont également plaints que Google n'a pas mis à jour ses cartes de Gaza avec des images à plus haute résolution, malgré une loi américaine limitant le degré de détail des cartes publiques de la zone levée en 2020. Des cartes détaillées aident à documenter les dommages causés par les frappes aériennes. .

Google a refusé de commenter pourquoi les cartes de Gaza n'ont pas été mises à jour.

L'application de paiement Venmo a également suspendu par erreur les transactions d'aide humanitaire aux Palestiniens pendant la guerre. La société a déclaré qu'elle essayait de se conformer aux sanctions américaines et avait résolu les problèmes.

Les entreprises technologiques sont prises entre les gouvernements qui tentent de mettre fin aux troubles ou à la violence et les militants qui plaident pour la liberté d'expression démocratique, a déclaré James Grimmelmann, professeur de droit à Cornell Tech.

"Donc, les plateformes doivent vraiment faire des choix profondément politiques", a-t-il déclaré.

Les derniers problèmes ont commencé le 5 mai, lorsque Instagram a commencé à recevoir des informations selon lesquelles les personnes participant aux manifestations en Colombie ne pouvaient pas partager de vidéo, a déclaré plus tard la société dans un message dans lequel elle s'excusait pour ses erreurs. Le lendemain, des informations similaires sont parvenues de personnes participant à des manifestations au Canada et à Jérusalem-Est. Les dirigeants ont découvert un problème dans une mise à jour planifiée de longue date des produits de partage de vidéos, appelée Stories. Dans ses excuses, la société a noté que le bogue n'avait rien à voir avec ces événements particuliers et avait en fait touché plus d'utilisateurs aux États-Unis qu'ailleurs.

Plusieurs jours plus tard, des citoyens et des militants ont commencé à signaler que leurs messages sur la mosquée al-Aqsa, utilisant le hashtag #AlAqsa ou ses homologues arabes, étaient restreints. Les restrictions étaient souvent accompagnées d'une fenêtre contextuelle indiquant que le terme était associé à "la violence ou des organisations dangereuses".

Le 11 mai, un employé de Facebook a déposé une plainte, selon un rapport de BuzzFeed. Facebook a répondu que le nom de la mosquée était une organisation terroriste désignée. Facebook a déclaré plus tard à The Post que le hashtag avait été restreint de plusieurs manières, notamment en limitant la capacité des personnes à le rechercher.

Après la publication, Lever de Facebook a ajouté que l'erreur humaine avait conduit à la question de la restriction du hashtag de la mosquée al-Aqsa.

Des militants palestiniens et des employés de Facebook ont commencé à protester dans les jours à venir contre la suppression automatique de nombreux messages sur le conflit.

À peu près au même moment, Twitter a commencé à signaler que des comptes influents tweetant sur le conflit étaient suspendus de manière inattendue, a déclaré la société, en raison de l'IA confondant les messages avec du spam. La société dit avoir rétabli les comptes quelques heures plus tard.

La porte-parole de Twitter, Rosborough, a noté que des incidents similaires d'application trop sévère ont eu lieu lors des débats présidentiels de 2020 et lors des manifestations contre un coup d'État ce printemps au Myanmar.

Et parfois, a-t-elle souligné, les algorithmes font les choses correctement : à un moment donné pendant le conflit, un algorithme a également automatiquement restreint le compte officiel de l'armée israélienne. Le compte essayait de publier deux fois le même tweet, des sirènes d'urgence se déclenchant dans la ville méridionale de Beer Sheva, et Twitter l'a bloqué.

"Nous savons que c'est répétitif - mais c'est la réalité pour les Israéliens dans tout le pays", indique le tweet.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd