Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2249

Incidentes Asociados

Incidente 3922 Reportes
Facebook's AI-Supported Moderation Failed to Classify Terrorist Content in East African Languages

Loading...
Submoderados, trastornados y ubicuos: Al-Shabaab y las redes del Estado Islámico en Facebook: por qué las páginas y los perfiles de Al-Shabaab y el Estado Islámico en los idiomas de África Oriental continúan plagando Facebook
isdglobal.org · 2022

Resumen ejecutivo

El ecosistema de apoyo a Harakaat al-Shabaab al-Mujahideen (al-Shabaab) y el Estado Islámico en África se extiende a través de la web abierta, las aplicaciones de mensajería encriptada, las plataformas de nicho y directamente a través de Facebook, sin ser molestado por la moderación en idiomas que han demostrado durante mucho tiempo problemática para la plataforma (Imagen 1). Si bien gran parte del enfoque de la investigación sobre los ataques terroristas en África se ha centrado en las capacidades operativas de al-Shabaab para atacar en el este de África y el ascenso del Estado Islámico en todo el continente africano, sigue habiendo escasez de investigación sobre al-Shabaab y el movimiento islámico. La maquinaria estatal de propaganda digital y sus narrativas centradas en África.

Investigadores del Instituto para el Diálogo Estratégico (ISD) dirigieron una investigación de dos años sobre el ecosistema de medios en línea de al-Shabaab y el Estado Islámico, analizando el papel de los medios de "noticias independientes" y sus intersecciones con cientos de redes fuertes de perfiles amplificadores. en Facebook vinculado a una serie de páginas centrales que se identifican como "medios de comunicación" o "personalidades de los medios" que operan en somalí, kiswahili y árabe. Los investigadores descubrieron que la red de apoyo a al-Shabaab y el Estado Islámico se extendía a través de varias plataformas, incluidas aplicaciones de mensajería descentralizadas como Element y RocketChat, y plataformas de mensajería encriptada como Telegram, además de Twitter, YouTube y Facebook.

Un análisis cualitativo multiplataforma mostró que el ecosistema de apoyo a al-Shabaab y el Estado Islámico más activo, en red y multilingüe existía en Facebook, donde los perfiles y páginas clasificados como "medios de comunicación" compartían contenido terrorista abiertamente y evitaban los grupos privados. y perfiles. El contenido que los investigadores de ISD observaron a través de las redes a menudo está vinculado a páginas de "medios" y "personalidades de los medios" en somalí, kiswahili y árabe, y no solo viola las pautas de la comunidad de la plataforma, sino que también apunta a puntos ciegos de moderación del lenguaje que han sido previamente documentado por periodistas y denunciantes.

Estas brechas en el idioma continúan perturbando la moderación de Facebook, a pesar de la mayor inversión de la compañía en la moderación. En octubre del año pasado, los documentos internos de Facebook que se dieron a conocer al público por primera vez indicaron que la plataforma estaba rezagada en su capacidad para moderar idiomas de manera efectiva en países "en riesgo" como Irak, Etiopía, India y Pakistán. En Afganistán, por ejemplo, los investigadores de Facebook afirmaron que encontrar traducciones precisas de pashto y dari socavaba la moderación efectiva. El árabe y sus variantes y dialectos regionales eran motivo de preocupación similar para Facebook. La investigación de ISD ha demostrado previamente cómo las conspiraciones árabes8 y el contenido terrorista desconcertaron a los moderadores y los esfuerzos de moderación. Facebook ha intentado moderar el árabe, basándose tanto en las revelaciones como en las indicaciones de los documentos internos publicados para mejorar esos esfuerzos en varios idiomas.

Sin embargo, incluso con el mayor escrutinio de los esfuerzos de moderación de la plataforma en idiomas distintos del inglés, lo que la investigación de ISD indica es que las brechas en la moderación del idioma no solo le hacen el juego a los gobiernos que cometen abusos contra los derechos humanos o difunden discursos de odio, sino que también resultan en descaradamente muestras abiertas de apoyo a grupos terroristas como al-Shabaab y el Estado Islámico (Imagen 3). Emblemático de este problema, los investigadores encontraron que un "medio de comunicación" en idioma somalí compartió cuatro videos oficiales de al-Shabaab a través de su página pública durante un período de tres semanas de octubre de 2021, obteniendo colectivamente 53,300 visitas y 17,800 compartidos. Estos videos llevaban la marca oficial del medio de comunicación de al-Shabaab y no estaban disfrazados de ninguna forma para burlar a los moderadores y, sin embargo, lograron permanecer en la plataforma durante meses. Este informe es un intento de comprender las brechas en la moderación y las tácticas para evadir la dinámica de la moderación, y las redes de terror que respaldan los perfiles y las páginas que se encuentran en el centro del problema.

Recomendaciones

Las redes de páginas y perfiles somalíes, kiswahili y árabes en Facebook que apoyan a al-Shabaab y al Estado Islámico son un estudio de caso sobre los puntos ciegos de moderación de la plataforma en idiomas distintos del inglés e ilustran cómo los partidarios de los terroristas están aprovechando estas brechas ( Imagen 8). Este tema de la paridad lingüística en los esfuerzos de moderación no es nuevo y, de hecho, ha sido un tema de discusión durante 5 años, y los desafíos se han vuelto más agudos en períodos de conflicto y lucha civil en lugares de todo el mundo. Incluso con el uso de algoritmos para erradicar el contenido terrorista en otros idiomas, Facebook y otros también han clasificado erróneamente el contenido no terrorista, lo que apunta a otro problema cuando se relaciona con problemas de moderación lingüística. No es solo Facebook el que enfrenta este desafío, sino todas las plataformas que actualmente están lidiando con el odio, la polarización y el terrorismo. Facebook se encuentra entre los más grandes con alto alcance en ciertos contextos geográficos, como Kenia, Somalia y los países vecinos de África Oriental.

Las brechas de moderación en la identificación de contenido terrorista afiliado con la marca principal de medios de comunicación de al-Shabaab permanecen intactas en la plataforma, a veces durante años (Imagen 9). Sin duda, mejorar la capacidad de la inteligencia artificial utilizada para encontrar este contenido daría como resultado que se elimine más contenido. Sin embargo, este problema no se resolverá solo con la tecnología, y mejorar la capacitación de los moderadores o las entidades que se subcontratan para Facebook moderado, también dará como resultado la capacidad de marcar este contenido y, en última instancia, eliminarlo de la plataforma.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd