Incidentes Asociados
Según las respuestas al cuestionario de BIRN, alrededor del 57 por ciento de los que denunciaron discursos de odio dijeron que se les notificó que la publicación/cuenta denunciada violaba las reglas.
Por otro lado, alrededor del 28 por ciento dijo que había recibido una notificación de que el contenido que reportaron no violaba las reglas, mientras que el 14 por ciento recibió solo la confirmación de que su reporte fue archivado.
En términos de informes de acoso dirigido, la mitad de las personas dijeron que recibieron confirmación de que el contenido violaba las reglas; Al 16 por ciento se le dijo que el contenido no violaba las reglas. Un tercio de los que denunciaron acoso dirigido solo recibió confirmación de que se recibió su informe.
En cuanto a las amenazas de violencia, el 40 % de las personas recibió la confirmación de que la publicación/cuenta denunciada infringía las normas, mientras que el 60 % solo recibió la confirmación de que se había recibido la denuncia.
Uno de los encuestados le dijo a BIRN que habían denunciado al menos siete cuentas por difundir odio y contenido violento.
“No participo activamente en tales informes ni sigo buscándolos y buscándolos. Sin embargo, cuando me encuentro con uno de estos odiosos negacionistas del genocidio y partidarios del genocidio, siento que lo correcto es evitar que dicho contenido vaya más allá”, dijo el encuestado, hablando bajo condición de anonimato. “Tal vez uno de todos los individuos denunciados se detiene y se pregunta qué los llevó a esto y simplemente abre discusiones, consigo mismos o con sus círculos”.
Aunque para esas siete cuentas Twitter confirmó que violan algunas de las reglas, seis de ellas todavía están disponibles en línea.
Metodología BIRN BIRN realizó su cuestionario a través de la herramienta de la red para involucrar a los ciudadanos en la elaboración de informes, desarrollada en cooperación con el British Council. El cuestionario anónimo tenía como objetivo recopilar información sobre qué tipo de violaciones reportaron las personas, quién era el objetivo y qué tan exitoso fue el reporte. Las preguntas estaban disponibles en inglés, macedonio, albanés y bosnio/serbio/montenegrino. BIRN se centró en Facebook y Twitter dada su popularidad en los Balcanes y la sensibilidad del contenido compartido, que es principalmente textual y más difícil de evaluar en comparación con videos y fotos.
Otro problema que surgió son los criterios poco claros al informar las violaciones. También se requieren conocimientos básicos de inglés.
Sanjana Hattotuwa, asesora especial de la Fundación ICT4Peace estuvo de acuerdo en que el proceso de presentación de informes en la aplicación o en la web es confuso.
“Además, a menudo está en inglés, aunque el resto de la UI/UX [interfaz de usuario/experiencia de usuario] podría estar en el idioma local. Además, la laboriosa selección de categorías no es fácil para una víctima, especialmente bajo coacción”.
Facebook le dijo a BIRN que la gran mayoría de los informes se revisan dentro de las 24 horas y que la empresa utiliza informes comunitarios, revisión humana y automatización.
Sin embargo, se negó a dar detalles sobre las personas que emplea para revisar el contenido o los informes en los idiomas de los Balcanes y dijo que "no es exacto dar solo la cantidad de revisores de contenido".
“Eso por sí solo no refleja la cantidad de personas que trabajan en una revisión de contenido para un país en particular en un momento dado”, dijo el portavoz.
Las redes sociales a menudo eliminan el contenido por sí mismas, en lo que llaman un "enfoque proactivo".
Según datos facilitados por Facebook, en el último trimestre de 2017 su tasa de detección proactiva fue del 23,6%.
“Esto significa que del discurso de odio que eliminamos, el 23,6 por ciento se encontró antes de que un usuario nos lo informara”, dijo el portavoz. “La mayoría restante se eliminó después de que un usuario lo informara. Hoy detectamos de manera proactiva alrededor del 95 por ciento del contenido de incitación al odio que eliminamos”.
“Ya sea que los usuarios detecten o informen proactivamente el contenido, a menudo usamos IA para tomar medidas en los casos sencillos y priorizar los casos más matizados, donde se debe considerar el contexto, para nuestros revisores”.
Sin embargo, no hay datos disponibles cuando se trata de contenido en un idioma o país específico.
Facebook publica trimestralmente un Informe de Cumplimiento de Normas Comunitarias, pero, según el portavoz, la empresa no "divulga datos sobre la moderación de contenido en países específicos".
Cualesquiera que sean las herramientas, los resultados a veces son muy cuestionables.
En mayo de 2018, Facebook bloqueó durante 24 horas el perfil del periodista bosnio Dragan Bursac después de que publicara una foto de un campo de detención para bosnios en Serbia durante el colapso de la Yugoslavia federal en la década de 1990.
Facebook determinó que la publicación de Bursac había violado los “estándares de la comunidad”, informaron los medios locales.
Bojan Kordalov, especialista en relaciones públicas y nuevos medios con sede en Skopje, dijo que, “al evaluar la eficiencia en esta área, es importante enfatizar que el tráfico en el espacio de Internet es muy denso y aumenta cada segundo, lo que inequívocamente lo convierte en un campo en el que todos deben contribuir”.
“Esto significa que los administradores de las redes sociales son innegablemente responsables de cumplir con los estándares y las regulaciones dentro de sus plataformas, pero esto no exime a los legisladores, gobiernos e instituciones de la responsabilidad de adaptarse a las necesidades de la nueva era digital, ni le da a nadie el derecho a redefinir y acotar la noción y los beneficios que trae la democracia”.
Falta de sensibilidad lingüística.
SHARE Foundation, una ONG con sede en Belgrado que trabaja en derechos digitales, dijo que la pregunta era crucial dado el enorme volumen de contenido que fluye a través de Facebook y Twitter en todos los idiomas.
“Cuando se trata de grupos lingüísticos relativamente pequeños en números absolutos de usuarios, como los idiomas en la ex Yugoslavia o incluso en los Balcanes, simplemente no hay incentivo o presión suficiente por parte del público y los líderes políticos para invertir en la moderación humana”, COMPARTE le dijo a BIRN.
Berthelemy de EDRi dijo que los Balcanes no eran un ejemplo único y que las prácticas y políticas de moderación de contenido de Facebook y Twitter están “condenadas al fracaso”.
“Muchas de estas corporaciones operan a gran escala, algunas de ellas atienden a una cuarta parte de la población mundial con un solo servicio”, dijo Berthelemy a BIRN. “Es imposible que una arquitectura monolítica y un proceso y política de regulación del habla se adapten y satisfagan las necesidades culturales y sociales específicas de individuos y grupos”.
El Parlamento Europeo también ha subrayado la importancia de una evaluación combinada.
"Las expresiones de odio se pueden transmitir de muchas maneras, y las mismas palabras que se usan normalmente para transmitir tales expresiones también se pueden usar para diferentes propósitos", según un estudio de 2020: 'El impacto de los algoritmos para el filtrado o moderación de contenido en línea' - encargado por el Departamento Temático de Derechos de los Ciudadanos y Asuntos Constitucionales del Parlamento.
“Por ejemplo, tales palabras pueden usarse para condenar la violencia, la injusticia o la discriminación contra los grupos objetivo, o simplemente para describir sus circunstancias sociales. Por lo tanto, para identificar contenidos de odio en mensajes de texto, se debe intentar captar el significado de dichos mensajes, utilizando los recursos proporcionados por el procesamiento del lenguaje natural”.
Hattotuwa dijo que, en general, "los mercados de idiomas distintos del inglés con guiones no románicos (es decir, no basados en letras en inglés) son mucho más difíciles de diseñar para soluciones de IA/ML".
“Y en muchos casos, estos mercados están fuera de la vista y de la mente, a menos que la violencia, el abuso o los daños de la plataforma sean tan significativos que lleguen a la portada del New York Times”, dijo Hattotuwa a BIRN.
“Los seres humanos son necesarios para las evaluaciones, pero como saben, existen serios problemas emocionales/trastorno de estrés postraumático relacionados con la supervisión de contenido violento, por los que compañías como Facebook han sido demandadas (y perdidas, teniendo que pagar daños)”.
Reprobar en no inglés
Dragan Vujanovic, de la ONG Vasa prava [Tus derechos], con sede en Sarajevo, criticó lo que dijo que era un “cierto nivel de tolerancia con respecto a las violaciones que respaldan ciertas narrativas sociales”.
“Esto es particularmente evidente en el comportamiento inconsistente de los moderadores de las redes sociales, donde se prohíben o suspenden las cuentas con comentarios bastante inocuos, mientras que se toleran otras cuentas con abusos manifiestos y un claro impacto social negativo”.
Para Chloe Berthelemy, tratar de aplicar un conjunto uniforme de reglas sobre la muy diversa gama de normas, valores y opiniones sobre todos los temas disponibles que existen en el mundo está “destinado a fallar”.
“Por ejemplo, donde la desnudez se considera delicada en los Estados Unidos, otras culturas adoptan un enfoque más liberal”, dijo.
El ejemplo de Myanmar, cuando Facebook bloqueó efectivamente un idioma completo al rechazar todos los mensajes escritos en jinghpaw, un idioma hablado por la etnia kachin de Myanmar y escrito con un alfabeto romano, muestra la magnitud del problema.
“La plataforma funciona muy mal en la detección del discurso de odio en idiomas distintos del inglés”, dijo Berthelemy a BIRN.
Las técnicas utilizadas para filtrar los contenidos difieren en función de los medios analizados, según el estudio de 2020 para el Parlamento Europeo.
“Un filtro puede funcionar en diferentes niveles de complejidad, desde simplemente comparar contenidos con una lista negra, hasta técnicas más sofisticadas que emplean técnicas complejas de inteligencia artificial”, dijo.
“En los enfoques de aprendizaje automático, el sistema, en lugar de contar con una definición lógica de los criterios que se utilizarán para encontrar y clasificar el contenido (por ejemplo, para determinar qué cuenta como discurso de odio, difamación, etc.) cuenta con un amplio conjunto de datos, de los cuales debe aprender por sí mismo los criterios para hacer tal clasificación”.
Los usuarios de Twitter y Facebook pueden apelar en caso de que sus cuentas sean suspendidas o bloqueadas.
“Lamentablemente, el proceso carece de transparencia, ya que en el informe de transparencia no se menciona la cantidad de apelaciones presentadas, ni la cantidad de cuentas procesadas o rehabilitadas o tweets”, señaló el estudio.
Entre enero y octubre de 2020, Facebook restauró unos 50.000 elementos de contenido sin apelación y 613.000 después de la apelación.
Según el informe de Transparencia de Twitter, en los primeros seis meses de 2020 se denunciaron a la empresa 12,4 millones de cuentas, de las cuales poco más de seis millones fueron denunciadas por conductas de odio y unas 5,1 millones por “abuso/acoso”.
En el mismo período, Twitter suspendió 925.744 cuentas, de las cuales 127.954 fueron marcadas por conducta odiosa y 72.139 por abuso/acoso. La empresa eliminó dicho contenido en poco más de 1,9 millones de casos: 955.212 en la categoría de conducta odiosa y 609.253 en la categoría de abuso/acoso.
Toskic Cvetinovic dijo que las reglas debían ser más claras y mejor comunicadas a los usuarios por “personas vivas”.
“A menudo, la eliminación de contenido no tiene una función correctiva, sino que equivale a censura”, dijo.
Berthelemy dijo que, “debido a que las plataformas de redes sociales dominantes reproducen los sistemas sociales de opresión, a menudo también son inseguras para muchos grupos en los márgenes”.
“Son incapaces de comprender los comportamientos discriminatorios y violentos en línea, incluidas ciertas formas de acoso y amenazas violentas y, por lo tanto, no pueden abordar las necesidades de las víctimas”, dijo Berthelemy a BIRN.
“Además”, dijo, “esas redes sociales también son empresas de publicidad. Se basan en contenido incendiario para generar datos de perfiles y, por lo tanto, ganancias publicitarias. No habrá una respuesta efectiva y sistemática sin abordar los modelos comerciales de acumulación e intercambio de datos personales”.