Incidentes Asociados
Resumen
La capacidad de cuantificar la falta de civismo en línea, en las noticias y en los debates del Congreso es de gran interés para los politólogos. Las herramientas computacionales para detectar la falta de civismo en línea para el inglés ahora son bastante accesibles y potencialmente podrían aplicarse de manera más amplia. Probamos la API de Jigsaw Perspective por su capacidad para detectar el grado de descortesía en un corpus que desarrollamos, que consiste en anotaciones manuales de civismo en las noticias estadounidenses. Demostramos que los modelos de toxicidad, como los ejemplifica Perspective, son inadecuados para el análisis de la falta de civismo en las noticias. Realizamos análisis de errores
eso apunta a la necesidad de desarrollar métodos para eliminar las correlaciones espurias entre las palabras que se mencionan a menudo en las noticias, especialmente los descriptores de identidad y la falta de civismo. Sin tales mejoras, es probable que la aplicación de Perspectiva o modelos similares en las noticias lleve a conclusiones erróneas, que no están alineadas con la percepción humana de falta de civismo.
- Introducción
Las encuestas de opinión pública informan que la mayoría de los estadounidenses piensa que el tono y la naturaleza del debate político en este país se han vuelto más negativos y menos respetuosos y que la retórica acalorada de los políticos aumenta el riesgo de violencia (Center, 2019). Estas observaciones motivan la necesidad de estudiar la (in)civilidad en el discurso político en todas las esferas de interacción, incluso en línea (Ziegele et al., 2018; Jaidka et al., 2019), en los debates del congreso (Uslaner, 2000) y como se presenta en noticias (Meltzer, 2015; Rowe, 2015). Los medios automatizados precisos para codificar la incivilidad podrían facilitar esta investigación, y los politólogos ya han recurrido al uso de herramientas computacionales listas para usar para estudiar la civilidad (Frimer y Skitka, 2018; Jaidka et al., 2019; Theocharis et al., 2020) .
Sin embargo, las herramientas computacionales se han desarrollado para diferentes propósitos, enfocándose en detectar lenguaje en foros en línea que violan las normas de la comunidad. El objetivo de estas aplicaciones es apoyar a los moderadores humanos enfocando rápidamente su atención en publicaciones probablemente problemáticas. Al estudiar la civilidad en el discurso político, es principalmente de interés caracterizar la civilidad general de las interacciones en una fuente determinada (es decir, programas de noticias) o dominio (es decir, debates en el congreso), como un promedio durante un período de interés. La aplicación de herramientas listas para usar para la detección de toxicidad es atractivamente conveniente, pero dicho uso no se ha validado para ningún dominio, mientras que los usos en apoyo de los esfuerzos de moderación se han validado solo para los comentarios en línea.
Examinamos la viabilidad de cuantificar la falta de civismo en las noticias a través de la API Jigsaw Perspective, que se entrenó en más de un millón de comentarios en línea clasificados por toxicidad y se implementó en varios escenarios para respaldar el esfuerzo del moderador en línea (https://www.perspectiveapi.com/ ).
Recopilamos juicios humanos sobre la (in)civilidad en un mes de tres programas de noticias estadounidenses. Mostramos que, si bien las personas perciben diferencias significativas entre los tres programas, Perspective no puede distinguir de manera confiable entre los niveles de descortesía que se manifiestan en estas fuentes de noticias. Luego pasamos a diagnosticar las razones del fracaso de Perspective. La descortesía es más sutil y matizada que la toxicidad, que incluye calumnias de identidad, blasfemias y amenazas de violencia junto con otras descortesías inaceptables. En el rango de juicios humanos civiles a civiles limítrofes, Perspective da predicciones ruidosas que no son indicativas de las diferencias en la civilidad percibida por las personas. Este hallazgo por sí solo sugiere que es poco probable que promediar las puntuaciones de Perspectiva para caracterizar una fuente arroje resultados significativos. Para señalar algunas de las fuentes del ruido en las predicciones, caracterizamos palabras individuales como probables desencadenantes de errores en Perspective o desencadenantes de suberrores que conducen a una predicción excesiva de toxicidad.
Descubrimos anomalías notables, donde las palabras bastante típicas en los informes de noticias neutrales se confunden con descortesía en el dominio de las noticias. También descubrimos que la mención de muchas identidades, como negra, gay, musulmana, feminista, etc., desencadena predicciones de alta incivilidad. Esto ocurre a pesar de que Perspective se ha modificado específicamente para minimizar tales asociaciones (Dixon et al., 2018a). Nuestros hallazgos se hacen eco de los resultados de la eliminación del sesgo de género de las representaciones de palabras, donde el sesgo se elimina cuando se mide por una definición fija, pero permanece presente cuando se investiga de manera diferente (Gonen y Goldberg, 2019). Este error común, tratar la mención de la identidad como evidencia de descortesía, es problemático cuando el objetivo es analizar el discurso político estadounidense, que está muy marcado por el marco de las discusiones de identidad de nosotros contra ellos.
Estos hallazgos servirán como base para el trabajo futuro en la eliminación de sistemas para la predicción de la incivilidad, mientras que el conjunto de datos de la incivilidad en las noticias estadounidenses respaldará el trabajo computacional en esta nueva tarea.
Nuestro trabajo tiene implicaciones tanto para los investigadores de la tecnología del lenguaje como para las ciencias políticas. Para aquellos que desarrollan métodos automatizados para cuantificar la incivilidad, señalamos dos aspectos que requieren mejoras en el trabajo futuro: detectar los factores desencadenantes de la predicción excesiva de la civilidad y diseñar métodos para mitigar los errores en la predicción. Proponemos un enfoque para la detección de desencadenantes de errores basada en datos; la elaboración de enfoques de mitigación sigue siendo un problema abierto. Para aquellos que buscan contrastar el civismo en diferentes fuentes, brindamos evidencia convincente de que las herramientas automatizadas de última generación no son apropiadas para esta tarea. Los datos y las calificaciones de (in)civismo serían útiles para ambos grupos como datos de prueba.
para futuros modelos de predicción de civismo (https://github.com/anushreehede/incivility_in_news).
<ver informe completo aquí: https://arxiv.org/pdf/2102.03671.pdf>
9 Conclusión
El trabajo que presentamos fue motivado por el deseo de aplicar métodos listos para usar para la predicción de toxicidad para analizar el civismo en las noticias estadounidenses. Estos métodos se desarrollaron para detectar comentarios groseros, irrespetuosos o irrazonables que probablemente lo hagan abandonar la discusión en un foro en línea. Para validar el uso de Perspective para cuantificar la incivilidad en las noticias, creamos un nuevo corpus de incivilidad percibida en las noticias. En este corpus, comparamos calificaciones humanas y predicciones de Perspective. Encontramos que Perspective no es apropiado para tal aplicación, proporcionando conclusiones engañosas para fuentes que son en su mayoría civilizadas pero para las cuales las personas perciben una diferencia general significativa, por ejemplo, porque uno usa el sarcasmo para expresar descortesía. Perspective es capaz de detectar diferencias menos sutiles en los niveles de descortesía, pero en un análisis a gran escala que se basa exclusivamente en Perspective, será imposible saber qué diferencias reflejarían la percepción humana y cuáles no.
Encontramos que la incapacidad de Perspective para diferenciar los niveles de descortesía se debe en parte a las correlaciones falsas que ha formado entre ciertas palabras no ofensivas y la descortesía. Muchas de estas palabras están relacionadas con la identidad. Nuestro trabajo facilitará los futuros esfuerzos de investigación sobre la eliminación del sesgo de las predicciones automatizadas. Estos métodos comienzan con una lista de palabras que el sistema tiene que desaprender asociadas con un resultado determinado. En trabajos anteriores, las listas de palabras de debias procedían de experimentos informales con predicciones de Perspective. Nuestro trabajo proporciona un mecanismo para crear una lista basada en datos que requiere poca intervención humana. Puede descubrir clases más amplias de sesgo que las personas.
realizar experimentos ad-hoc puede surgir.
Perspective no detecta como inusual una parte considerable del contenido marcado como incívico por las personas. El sarcasmo y el registro intelectual en la entrega del lenguaje incivilizado están en juego aquí y requerirán el desarrollo de nuevos sistemas.
Se aconseja a los científicos sociales computacionales que no utilicen Perspective para estudios de descortesía en el discurso político porque tiene claras deficiencias para tal aplicación.