Incidents associés
Mise à jour : Facebook a [désactivé en utilisant les champs signalés par l'utilisateur en question](https://beta.techcrunch.com/2017/09/15/facebook-halts-ad-targeting-of-profile-details- abused-by-users/) dans son système publicitaire jusqu'à nouvel ordre.
Mise à jour 2 : Google a également désactivé des fonctionnalités similaires dans son propre système de ciblage publicitaire. (Détails ci-dessous)
Facebook génère automatiquement des catégories que les annonceurs peuvent cibler, telles que "joggeur" et "activiste", en fonction de ce qu'il observe dans les profils des utilisateurs. Habituellement, ce n'est pas un problème, mais ProPublica a découvert que Facebook avait [généré des catégories antisémites telles que "Jew Hater" et "Hitler n'a rien fait de mal"](https://www.propublica.org/article/facebook-enabled- annonceurs-pour-atteindre-les-haineux-des-juifs) qui pourraient être ciblés à des fins publicitaires.
Les catégories étaient petites – quelques milliers de personnes au total – mais le fait qu'elles existaient pour le ciblage officiel (et par conséquent, les revenus de Facebook) plutôt que d'être signalées soulève des questions sur l'efficacité – voire l'existence – des contrôles du discours de haine sur la plate-forme. . Bien que d'innombrables messages soient sûrement signalés et supprimés avec succès, les échecs sont souvent [remarquables] (https://beta.techcrunch.com/2017/08/02/another-black-activist-ijeoma-oluo-is-suspended-by- facebook-pour-poster-sur-le-racisme/).
ProPublica, agissant sur une astuce, a découvert qu'une poignée de catégories se complétaient automatiquement lorsque leurs chercheurs entraient "juifs h" dans le champ de recherche de la catégorie publicitaire. Pour vérifier qu'ils étaient réels, ils en ont regroupé quelques-uns et ont acheté une publicité les ciblant, qui a effectivement été mise en ligne.
Après avoir été alerté, Facebook a supprimé les catégories et a publié une déclaration fortement familière sur la sévérité de l'entreprise en matière de discours de haine :
Nous n'autorisons pas les discours de haine sur Facebook. Nos normes communautaires interdisent strictement d'attaquer des personnes sur la base de leurs caractéristiques protégées, y compris la religion, et nous interdisons aux annonceurs de discriminer les personnes sur la base de leur religion et d'autres attributs. Cependant, il y a des moments où du contenu apparaît sur notre plateforme qui enfreint nos normes. Dans ce cas, nous avons supprimé les champs de ciblage associés en question. Nous savons que nous avons encore du travail à faire, c'est pourquoi nous construisons également de nouvelles barrières de sécurité dans nos processus de produit et de révision pour éviter que d'autres problèmes comme celui-ci ne se reproduisent à l'avenir.
Le problème est survenu parce que les gens inscrivaient "haineux des juifs" et autres dans leur catégorie "domaine d'études", ce qui est bien sûr un bon moyen de deviner ce qui pourrait intéresser une personne : météorologie, sciences sociales, etc. Bien que les chiffres étaient extrêmement petits, cela ne devrait pas être un obstacle pour un annonceur cherchant à toucher un groupe très limité, comme les propriétaires d'une race de chien rare.
Mais aussi difficile que cela puisse être pour un algorithme de déterminer la différence entre "l'histoire du judaïsme" et "l'histoire de" pourquoi les Juifs ruinent le monde "", il semble vraiment qu'il incombe à Facebook de s'assurer qu'un algorithme does fait cette détermination. À tout le moins, lorsque des catégories sont potentiellement sensibles, traitant de données personnelles telles que la religion, la politique et la sexualité, on pourrait penser qu'elles seraient vérifiées par des humains avant d'être proposées aux annonceurs potentiels.
Facebook a déclaré à TechCrunch qu'il s'efforçait maintenant d'empêcher de telles entrées offensantes dans les traits démographiques d'apparaître comme des catégories adressables. Bien sûr, le recul est de 20/20, mais vraiment - seulement maintenant il fait ça ?
C'est bien que des mesures soient prises, mais il est assez difficile de croire qu'il n'y avait pas une sorte de liste de drapeaux qui surveillait les catégories ou les groupes qui enfreignaient clairement la disposition anti-incitation à la haine. J'ai demandé à Facebook plus de détails à ce sujet et je mettrai à jour le message si j'ai une réponse.
Comme l'a souligné Joshua Benton de Harvard sur Twitter, on peut également cibler les mêmes groupes pour les mots publicitaires de Google :
J'ai l'impression que c'est différent d'une certaine manière, bien que toujours troublant. Vous pourriez mettre des mots absurdes dans ces boîtes de mots-clés et ils seraient acceptés. D'un autre côté, Google suggère des phrases antisémites connexes au cas où vous auriez l'impression que "haineux des juifs" n'était pas assez large :
Pour moi, le mécanisme de Facebook ressemble plus à une sélection par Facebook de données de profil existantes, quasi approuvées (c'est-à-dire qui n'ont pas été signalées) qui, selon lui, correspondent à ce que vous recherchez, tandis que Google est une association plus insensée de requêtes qu'il a eues - et il a moins de latitude pour supprimer des choses, car il ne peut pas très bien interdire aux gens de rechercher des insultes ethniques ou autres. Mais visiblement ce n'est pas si simple. Honnêtement, je ne sais pas trop quoi penser.
Le SVP des publicités de Google, Sridhar Ramaswamy, a publié la déclaration suivante après avoir désactivé un certain nombre de suggestions de publicités offensantes :
Notre objectif est d'empêcher notre outil de suggestions de mots clés de faire des suggestions offensantes et d'empêcher la diffusion de toute annonce offensante. Nous avons un langage qui informe les annonceurs lorsque leurs publicités sont offensantes et donc rejetées. Dans ce cas, les annonces n'ont pas été diffusées sur la grande majorité de ces mots clés, mais nous n'avons pas retenu toutes ces suggestions offensantes. Ce n'est pas suffisant et nous ne cherchons pas d'excuses. Nous avons déjà désactivé ces suggestions, ainsi que toutes les publicités qui ont réussi, et nous travaillerons plus dur pour empêcher que cela ne se reproduise.
Les termes offensants ne verront pas les suggestions de Google, bien que l'on ne sache pas comment Google est arrivé à l'ensemble de termes ou d'expressions qu'il juge offensants.