Incidentes Asociados
Después de otro gran incidente de abuso racista en línea, dirigido a miembros del equipo de fútbol inglés, Facebook ha [proporcionado una nueva descripción general] (https://www.facebook.com/business/news/what-were-doing-to-tackle -online-hate#) de cómo funciona para abordar tales ataques y evitar que las personas sufran abusos basados en la raza en sus plataformas.
Tras la derrota de Inglaterra en la final del Campeonato de Europa el domingo, los trolls de las redes sociales publicaron [cientos de comentarios racistas](https://www.vox.com/recode/2021/7/14/22577682/marcus-rashford-sancho-bukayo- saka-inglaterra-facebook-instagram-social-media-racismo-inglaterra-twitter), atacando a los tres jugadores negros de la selección de fútbol de Inglaterra, que incluía el uso de emojis como elemento de abuso. Los sistemas de Instagram inicialmente no detectaron una preocupación, pero ahora, en revisión, Facebook actualizó sus sistemas y equipos para garantizar que aborde incidentes similares en el futuro, mientras que también busca mejorar sus procesos en general.
Como lo explica Facebook:
"Estamos consternados por el abominable abuso racista que sufrieron algunos miembros del equipo de fútbol de Inglaterra después de la final de la Eurocopa 2020 el fin de semana pasado. Este es un problema increíblemente serio en el que hemos estado trabajando durante años, que ha incluido trabajar directamente con organizaciones de fútbol y aplicación de la ley."
De hecho, incluso este año, Facebook se ha enfrentado a serios desafíos en este frente, nuevamente ligado a los fanáticos del fútbol del Reino Unido.
En febrero, Instagram, sin saberlo, [se convirtió en la fuente de varios incidentes de ataques basados en la raza] (http://www.skysports.com/football/news/11095/12214128/instagram-announces-tougher-sanctions-on-abusive- mensajes-después-de-abuso-racista-dirigido-a-futbolistas) contra jugadores del Manchester United, Chelsea y Liverpool, entre otros, que fueron atacados a través de Instagram Direct. Manchester United, en una [declaración conjunta con Everton, Liverpool y Manchester City](https://www.skysports.com/football/news/11661/12210090/everton-liverpool-manchester-city-and-manchester-united-issue -declaración conjunta-condenando-abuso-racista), condenó los incidentes y pidió a la empresa matriz de Instagram, Facebook, que hiciera más para proteger a los usuarios de tales, lo que llevó a Instagram a implementar sanciones más duras para aquellos que envían abusos a través de DM, y una nueva opción para que las cuentas personales desactiven los DM de personas que no siguen.
Claramente, sin embargo, todavía hay más cuestiones que abordar al respecto. Y si bien el racismo es un problema social, y no se limita a las plataformas sociales como tal, Facebook debe asegurarse de no amplificarlo, a fin de hacer su parte para reducir sus impactos.
Facebook dice claramente que:
"No permitimos ataques a personas en función de sus características protegidas, que incluyen raza, religión, nacionalidad u orientación sexual. Si tenemos conocimiento de que se utilizan palabras o emojis para atacar a personas en función de su raza, eliminarlos porque violan nuestras políticas. Publicamos nuestras políticas de incitación al odio en nuestras Normas comunitarias y en las Normas comunitarias de Instagram".
El problema en este último incidente, como se señaló, fue que el uso de emojis como un marcador racista no se identificó inicialmente, lo que reconoció el jefe de Instagram, Adam Mosseri.
Contamos con tecnología para tratar de priorizar los informes y, por error, marcamos algunos de estos como comentarios benignos, lo cual no lo es en absoluto. Desde entonces, se ha abordado el problema y la publicación tiene todo este contexto.
— Adam Mosseri (@mosseri) 14 de julio de 2021
Facebook explica que identifica el discurso de odio mediante el uso de una combinación de inteligencia artificial y revisión humana.
"La IA nos ayuda a priorizar los informes para nuestros revisores y a tomar medidas automáticas cuando corresponde. Entre enero y marzo de 2021, eliminamos más de 25 millones de contenidos de incitación al odio de Facebook, casi el 97 % antes de que alguien nos lo denunciara. Y en Instagram, tomamos medidas en 6,3 millones de piezas de contenido, el 93 % antes de que alguien nos lo informara".
Lo cual es una buena tasa de resultados, pero como muestra este último incidente, todavía hay ocasiones en que estos sistemas no podrán capturar todo. Lo cual, como señala Mosseri, también es un desafío de escala.
Por nuestra escala. Manejamos millones o reportes al día. Si cometemos un error en el uno por ciento de ellos, son decenas de miles de errores. Tenemos que hacerlo mejor y lo seguiremos haciendo, pero siempre habrá algunos errores.
— Adam Mosseri (@mosseri) 15 de julio de 2021
Siendo realistas, no hay forma de acabar con eso por completo, pero Facebook está trabajando para garantizar que actualice sus sistemas en tiempo real, a medida que se detectan casos, a fin de trabajar más rápido para combatir el abuso y limitar la exposición.
"La gente se ha sentido frustrada con razón cuando han denunciado publicaciones y se les ha dicho incorrectamente que los comentarios de odio con ciertos emojis no infringen nuestras reglas. Eso se debe a que nuestra IA no entendió el contexto, y eso es un error. Nosotros Nos hemos movido rápidamente para corregir esto a través de mejoras recientes en nuestra tecnología. Continuaremos trabajando en esto para poder eliminar emojis infractores de nuestra plataforma más rápido".
Es un equilibrio muy difícil, y nadie tiene todas las respuestas. Varios grupos reguladores, por ejemplo, han propuesto sanciones más duras para las plataformas sociales que no aborden esto de manera oportuna. El problema es que lo que se considera "oportuno" será diferente casi según el caso.
¿Debería Instagram haber detectado antes el mal uso de los emojis? Sí, pero sus sistemas automatizados no identificaron esto como un problema. Porque no lo fue, hasta que lo fue, y nadie necesariamente podría haberlo anticipado hasta que fue demasiado tarde.
Una forma posible de abordar esto podría ser imponer requisitos de identificación más estrictos a las personas cuando se registran en cuentas de redes sociales, lo que facilitaría la identificación de los delincuentes. Si existe una amenaza de recurso legal en el mundo real para sus acciones en línea, eso podría actuar como una amenaza suficiente para que los usuarios reconsideren sus acciones.
Pero Facebook dice que este tampoco es necesariamente el camino a seguir:
"Existen riesgos con la verificación de identidad, principalmente la exclusión de grupos, particularmente grupos desfavorecidos, que no tienen fácil acceso a formas oficiales de identificación. El modelo más reciente de la Comisión Electoral estima que 11 millones de personas en el Reino Unido no tienen no tienen licencia de conducir ni pasaporte, y que este grupo era más probable que proviniera de entornos desfavorecidos".
Lo cual es un punto válido, y una vez más brinda más alcance en cuanto al desafío que tiene ante sí, y todas las plataformas en línea, a este respecto.
Es un desafío difícil pero importante, y Facebook se lo está tomando muy en serio. Idealmente, se puede encontrar una solución que aborde estos problemas clave, pero siendo realistas, siempre habrá un nivel de uso indebido, sin importar las medidas que se implementen.
Y nuevamente, a la escala de Facebook, incluso un pequeño margen de error puede significar un gran impacto.
Con suerte, a medida que evolucionan los sistemas automatizados, se pueden implementar más herramientas para mantener un entorno seguro para todos.