Incidents associés
Une expérience révèle que Microsoft Outlook marque les messages comme spam sur la base d'un seul mot, tel que "Nigeria". Les filtres anti-spam ne sont en grande partie pas audités et pourraient être injustement discriminatoires.
Dans une expérience, AlgorithmWatch a envoyé quelques centaines d'e-mails à 10 boîtes de réception de messagerie chez Gmail, Yahoo, Outlook, GMX et LaPoste (les deux derniers sont utilisés par des millions d'Allemands et de Français, respectivement). Tous les comptes ont été créés spécifiquement pour l'expérience.
Les résultats, disponibles en ligne, montrent que Microsoft Outlook considère comme spam :
Une demande de stage d'un étudiant nigérian. Le même e-mail avec le mot "Nigeria" supprimé a été envoyé dans la boîte de réception.
Une description d'un programme d'éducation sexuelle. Le même e-mail a été envoyé dans la boîte de réception après avoir supprimé toutes les occurrences de "sexe" (mais en laissant un seul dirigé l'e-mail vers le dossier spam).
Un extrait d'un discours de Joe Biden sur la dette étudiante. La suppression des mots « prêt », « investissement » et « milliard » d'un e-mail similaire a entraîné sa livraison dans la boîte de réception.
Les détecteurs de spam d'autres fournisseurs n'ont pas affiché le même comportement. Outlook était le seul fournisseur où nous pouvions identifier les mots qui déclenchaient le filtre anti-spam.
Microsoft a refusé de commenter. Il est peu probable qu'un ingénieur Outlook ait établi une règle explicite pour marquer tout message contenant "Nigeria" comme spam. Au lieu de cela, un algorithme d'apprentissage automatique a probablement identifié le "Nigeria" comme un puissant discriminateur entre les spams et les non-spams. Microsoft ne met pas l'ensemble de données de formation de son filtre anti-spam à la disposition des chercheurs.
Le credo de SpamAssassin
SpamAssassin est un filtre anti-spam développé par Apache Software Foundation. Il est largement utilisé par les organisations qui gèrent leurs propres serveurs de messagerie. Contrairement à la plupart des offres commerciales, le code de SpamAssassin est open-source et peut être révisé.
Alors que les règles de SpamAssassin changent quotidiennement, ses fichiers de configuration par défaut distinguent des mots comme "Côte d'Ivoire", "Nigeria" ou "gouvernement nigérian" comme spam. L'expression "Oprah !", un artiste afro-américain, est répertoriée comme potentiellement spam, bien que la règle soit actuellement inactive.
Les règles sont modifiées en fonction des vérifications quotidiennes des données d'entraînement soumises par les utilisateurs. Aucun effort ne semble être fait pour s'assurer que les données soumises par les utilisateurs ne sont pas injustement discriminatoires.
Les données soumises par les utilisateurs ne sont pas disponibles, mais certains ensembles de données de formation le sont. SpamAssassin a publié un corpus public de spams et de courriers non-spam (que la communauté anti-spam appelle ham) qui, bien que vieux de plus de 15 ans, est encore largement utilisé. Dans le dossier spam, 59 e-mails sur 1 397 proviennent de Nigérians. Dans le dossier ham, il n'y en a pas.
Le comité de gestion du projet SpamAssassin n'a pas répondu à nos questions mais a précisé que les problèmes de règles spécifiques étaient gérés par « la communauté ».
Privilège blanc
La direction de SpamAssassin est consciente du racisme et du privilège blanc intégrés dans les logiciels. En juillet, il a annoncé que sa prochaine version utiliserait "liste de bienvenue" et "liste de blocage" pour remplacer les termes racistes qui étaient utilisés jusque-là.
Cependant, alors que SpamAssassin affirme qu'"[ils ont] un intérêt particulier à attirer des contributeurs issus d'une diversité de cultures", son comité de gestion de projet semble être composé exclusivement d'hommes blancs (certains membres utilisent des pseudonymes et n'ont pas pu être vérifiés avec certitude ). Et au moins un de ses membres signe régulièrement les e-mails qu'il publie sur la liste de diffusion de SpamAssassin avec des citations anti-féministes d'une chroniqueuse d'extrême droite.