Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2247

Incidentes Asociados

Incidente 3931 Reporte
Facebook AI-Supported Moderation for Ads Failed to Detect Violating Content

Loading...
En una tercera prueba, Facebook sigue sin bloquear el discurso de odio
apnews.com · 2022

Facebook está permitiendo que el discurso de odio violento se escape de sus controles en Kenia como lo ha hecho en otros países, según un nuevo informe de los grupos sin fines de lucro Global Witness y Foxglove.

Es la tercera prueba de este tipo de la capacidad de Facebook para detectar lenguaje de odio, ya sea a través de inteligencia artificial o moderadores humanos, que los grupos han realizado y que la empresa ha fallado.

Los anuncios, que los grupos presentaron tanto en inglés como en swahili, hablaban de decapitaciones, violaciones y derramamiento de sangre. Compararon a las personas con burros y cabras. Algunos también incluían blasfemias y errores gramaticales. Los anuncios en idioma swahili pasaron fácilmente a través de los sistemas de detección de Facebook y fueron aprobados para su publicación.

En cuanto a los anuncios en inglés, algunos fueron rechazados al principio, pero solo porque contenían blasfemias y errores además del discurso de odio. Sin embargo, una vez que se eliminaron las blasfemias y se corrigieron los errores gramaticales, los anuncios, que todavía pedían asesinatos y contenían un discurso de odio obvio, se publicaron sin problemas.

"Nos sorprendió ver que nuestros anuncios habían sido marcados por primera vez, pero no lo habían sido por las razones mucho más importantes que esperábamos", dijo Nienke Palstra, activista sénior de Global Witness, con sede en Londres. .

Los anuncios nunca se publicaron en Facebook. Pero el hecho de que fácilmente podrían haber sido muestra que, a pesar de las repetidas garantías de que lo haría mejor, Meta, matriz de Facebook, todavía parece fallar regularmente en detectar discursos de odio y llamadas a la violencia en su plataforma.

Global Witness dijo que contactó a Meta después de que sus anuncios fueran aceptados para su publicación, pero no recibió respuesta. Sin embargo, el jueves, Global Witness dijo que recibió una respuesta a principios de julio, pero que se perdió en una carpeta de correo no deseado. Meta también confirmó el jueves que envió una respuesta.

“Hemos tomado amplias medidas para ayudarnos a detectar el discurso de odio y el contenido incendiario en Kenia, y estamos intensificando estos esfuerzos antes de las elecciones. Contamos con equipos dedicados de hablantes de swahili y tecnología de detección proactiva para ayudarnos a eliminar contenido dañino de manera rápida y a gran escala”, dijo Meta en un comunicado. “A pesar de estos esfuerzos, sabemos que habrá ejemplos de cosas que nos perdemos o que eliminamos por error, ya que tanto las máquinas como las personas cometen errores. Es por eso que tenemos equipos que monitorean de cerca la situación y abordan estos errores lo más rápido posible”.

Cada vez que Global Witness envió anuncios con un discurso de odio flagrante para ver si los sistemas de Facebook lo detectarían, la empresa no lo hizo. En Myanmar, uno de los anuncios usaba una calumnia para referirse a personas de origen musulmán o de la India oriental y pedir su asesinato. En Etiopía, los anuncios utilizaron un discurso de odio deshumanizante para pedir el asesinato de personas pertenecientes a cada uno de los tres grupos étnicos principales de Etiopía: los amhara, los oromo y los tigrayanos. .

¿Por qué anuncios y no publicaciones regulares? Esto se debe a que Meta afirma mantener los anuncios en un estándar "aún más estricto" que las publicaciones regulares no pagadas, de acuerdo con su [centro de ayuda] (https://www.facebook.com/business/help/714656935225188?id=802745156580214) página para anuncios pagados.

Meta se ha negado constantemente a decir cuántos moderadores de contenido tiene en países donde el inglés no es el idioma principal. Esto incluye moderadores en Kenia, Myanmar y otras regiones donde el material publicado en las plataformas de la empresa se ha relacionado con la violencia en el mundo real.

Kenia se está preparando para unas elecciones nacionales en agosto. El 20 de julio, Meta publicó una [publicación de blog] detallada (https://about.fb.com/news/2022/07/how-metas-preparing-for-kenyas-2022-general-election/) sobre cómo es prepararse para las elecciones del país, incluido el establecimiento de un "centro de operaciones" y la eliminación de contenido dañino.

“En los seis meses previos al 30 de abril de 2022, tomamos medidas en más de 37 000 piezas de contenido por violar nuestras políticas de incitación al odio en Facebook e Instagram en Kenia. Durante ese mismo período, también tomamos medidas sobre más de 42 000 piezas de contenido que violaban nuestras políticas de violencia e incitación”, escribió Mercy Ndegwa, directora de políticas públicas en el Este y el Cuerno de África.

Global Witness dijo que volvió a enviar dos de sus anuncios, uno en inglés y otro en swahili, después de que Meta publicara su blog para ver si algo había cambiado. Una vez más, los anuncios pasaron.

“Si no está captando estos 20 anuncios, este número de 37,000 que está celebrando, probablemente sea la punta del iceberg. Tienes que pensar que hay muchas cosas que se están escapando de tu filtro”, dijo Palstra.

El informe de Global Witness sigue a un estudio separado de junio que encontró que Facebook no ha logrado atrapar al grupo Estado Islámico y otros Contenido extremista de Shabab en publicaciones dirigidas a África Oriental. La región sigue bajo la amenaza de ataques violentos mientras Kenia se prepara para votar.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd