Problème 1414

Résumé

La capacité à quantifier l'incivilité en ligne, dans les actualités et dans les débats du Congrès, intéresse au plus haut point les politologues. Les outils informatiques de détection des incivilités en ligne pour l'anglais sont désormais assez accessibles et pourraient potentiellement être appliqués plus largement. Nous testons l'API Jigsaw Perspective pour sa capacité à détecter le degré d'incivilité sur un corpus que nous avons développé, constitué d'annotations manuelles de civilité dans l'actualité américaine. Nous démontrons que les modèles de toxicité, tels qu'illustrés par Perspective, sont inadéquats pour l'analyse de l'incivilité dans les nouvelles. Nous effectuons une analyse des erreurs

cela souligne la nécessité de développer des méthodes pour éliminer les corrélations fallacieuses entre les mots souvent mentionnés dans les nouvelles, en particulier les descripteurs d'identité et l'incivilité. Sans de telles améliorations, l'application de Perspective ou de modèles similaires aux actualités risque de conduire à des conclusions erronées, qui ne correspondent pas à la perception humaine de l'incivilité.

1. Introduction

Des sondages d'opinion publique rapportent que la plupart des Américains pensent que le ton et la nature du débat politique dans ce pays sont devenus plus négatifs et moins respectueux et que la rhétorique passionnée des politiciens augmente le risque de violence (Center, 2019). Ces observations motivent la nécessité d'étudier l'(in)civilité dans le discours politique dans toutes les sphères d'interaction, y compris en ligne (Ziegele et al., 2018 ; Jaidka et al., 2019), dans les débats du Congrès (Uslaner, 2000) et comme présenté dans nouvelles (Meltzer, 2015; Rowe, 2015). Des moyens automatisés précis pour coder l'incivilité pourraient faciliter cette recherche, et les politologues se sont déjà tournés vers l'utilisation d'outils informatiques prêts à l'emploi pour étudier la civilité (Frimer et Skitka, 2018 ; Jaidka et al., 2019 ; Theocharis et al., 2020) .

Cependant, des outils informatiques ont été développés à des fins différentes, en se concentrant sur la détection du langage dans les forums en ligne qui violent les normes communautaires. Le but de ces applications est de soutenir les modérateurs humains en concentrant rapidement leur attention sur les publications potentiellement problématiques. Lors de l'étude de la civilité dans le discours politique, il est principalement intéressant de caractériser la civilité globale des interactions dans une source donnée (c'est-à-dire les programmes d'information) ou un domaine (c'est-à-dire les débats du Congrès), comme une moyenne sur une période d'intérêt. L'application d'outils prêts à l'emploi pour la détection de la toxicité est extrêmement pratique, mais une telle utilisation n'a été validée pour aucun domaine, tandis que les utilisations à l'appui des efforts de modération n'ont été validées que pour les commentaires en ligne.

Nous examinons la faisabilité de quantifier l'incivilité dans les actualités via l'API Jigsaw Perspective, qui a été formée sur plus d'un million de commentaires en ligne évalués pour leur toxicité et déployée dans plusieurs scénarios pour soutenir l'effort des modérateurs en ligne (https://www.perspectiveapi.com/ ).

Nous recueillons des jugements humains sur l'(in)civilité en un mois de trois programmes d'information américains. Nous montrons que si les gens perçoivent des différences significatives entre les trois programmes, Perspective ne peut pas distinguer de manière fiable les niveaux d'incivilité tels qu'ils se manifestent dans ces sources d'information. Nous passons ensuite au diagnostic des raisons de l'échec de Perspective. L'incivilité est plus subtile et nuancée que la toxicité, qui comprend les insultes à l'identité, les grossièretés et les menaces de violence ainsi que d'autres incivilités inacceptables. Dans la gamme des jugements humains civils à civils limites, Perspective donne des prédictions bruyantes qui ne sont pas indicatives des différences de civilité perçues par les gens. Cette constatation à elle seule suggère que la moyenne des scores de Perspective pour caractériser une source a peu de chances de produire des résultats significatifs. Pour identifier certaines des sources de bruit dans les prédictions, nous caractérisons des mots individuels comme des déclencheurs probables d'erreurs dans Perspective ou des déclencheurs de sous-erreurs qui conduisent à une surestimation de la toxicité.

Nous découvrons des anomalies notables, où des mots tout à fait typiques du journalisme neutre sont confondus avec l'incivilité dans le domaine de l'information. On découvre également que l'évocation de nombreuses identités, telles que Noir, gay, musulman, féministe, etc., déclenche des pronostics d'incivilité élevés. Cela se produit malgré le fait que Perspective a été modifié spécifiquement pour minimiser ces associations (Dixon et al., 2018a). Nos résultats font écho aux résultats de la dépolarisation sexuelle des représentations de mots, où le biais est supprimé tel que mesuré par une définition fixe mais reste présent lorsqu'il est sondé différemment (Gonen et Goldberg, 2019). Cette erreur courante - traiter la mention de l'identité comme une preuve d'incivilité - est problématique lorsqu'il s'agit d'analyser le discours politique américain, très marqué par le cadrage identitaire nous contre eux des discussions.

Ces résultats serviront de base pour les travaux futurs sur les systèmes de débiaisation pour la prédiction de l'incivilité, tandis que l'ensemble de données sur l'incivilité dans les nouvelles américaines soutiendra les travaux informatiques sur cette nouvelle tâche.

Notre travail a des implications pour les chercheurs en technologie du langage et en science politique. Pour ceux qui développent des méthodes automatisées pour quantifier l'incivilité, nous identifions deux aspects qui nécessitent des améliorations dans les travaux futurs : détecter les déclencheurs de la surprédiction de la civilité et concevoir des méthodes pour atténuer les erreurs de prédiction. Nous proposons une approche pour une détection basée sur les données des déclencheurs d'erreur ; la conception d'approches d'atténuation reste un problème ouvert. Pour ceux qui cherchent à comparer la civilité dans différentes sources, nous fournissons des preuves convaincantes que les outils automatisés de pointe ne sont pas appropriés pour cette tâche. Les données et les notes d'(in)civilité seraient utiles aux deux groupes comme données de test

pour les futurs modèles de prédiction de la civilité (https://github.com/anushreehede/incivility_in_news).

<voir le rapport complet ici : https://arxiv.org/pdf/2102.03671.pdf>

9Conclusion

Le travail que nous avons présenté était motivé par le désir d'appliquer des méthodes standard de prédiction de la toxicité pour analyser la civilité dans l'actualité américaine. Ces méthodes ont été développées pour détecter les commentaires grossiers, irrespectueux ou déraisonnables susceptibles de vous faire quitter la discussion dans un forum en ligne. Pour valider l'utilisation de Perspective pour quantifier l'incivilité dans l'actualité, nous créons un nouveau corpus d'incivilité perçue dans l'actualité. Sur ce corpus, nous comparons les évaluations humaines et les prédictions de Perspective. Nous constatons que Perspective n'est pas approprié pour une telle application, fournissant des conclusions trompeuses pour des sources qui sont pour la plupart civiles mais pour lesquelles les gens perçoivent une différence globale significative, par exemple, parce que l'on utilise le sarcasme pour exprimer l'incivilité. La perspective est capable de détecter des différences moins subtiles dans les niveaux d'incivilité, mais dans une analyse à grande échelle qui s'appuie exclusivement sur la perspective, il sera impossible de savoir quelles différences refléteraient la perception humaine et lesquelles ne le seraient pas.

Nous constatons que l'incapacité de Perspective à différencier les niveaux d'incivilité est en partie due aux fausses corrélations qu'il a formées entre certains mots non offensants et l'incivilité. Beaucoup de ces mots sont liés à l'identité. Notre travail facilitera les futurs efforts de recherche sur le débiaisation des prédictions automatisées. Ces méthodes commencent par une liste de mots que le système doit désapprendre en tant qu'associés à un résultat donné. Dans des travaux antérieurs, les listes de mots à debias provenaient d'expérimentations informelles avec des prédictions de Perspective. Notre travail fournit un mécanisme pour créer une liste basée sur les données qui nécessite une intervention humaine, mais peu. Il peut découvrir des classes de biais plus larges que les personnes

effectuer des expériences ad-hoc peut venir avec.

Une partie considérable du contenu marqué comme incivil par les gens n'est pas détecté comme inhabituel par Perspective. Le sarcasme et le registre intello dans la livraison de la langue incivile sont ici en jeu et nécessiteront le développement de nouveaux systèmes.

Les spécialistes des sciences sociales computationnelles sont bien avisés de ne pas utiliser Perspective pour les études sur l'incivilité dans le discours politique, car il présente des lacunes évidentes pour une telle application.