Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2097

Incidentes Asociados

Incidente 3591 Reporte
Facebook, Instagram, and Twitter Cited Errors in Automated Systems as Cause for Blocking pro-Palestinian Content on Israeli-Palestinian Conflict

Loading...
La IA de Facebook trata a los activistas palestinos como trata a los activistas negros estadounidenses. Los bloquea.
washingtonpost.com · 2021

Apenas unos días después de que estallara un conflicto violento en Israel y los territorios palestinos, tanto Facebook como Twitter cometieron un gran paso en falso: las empresas habían bloqueado o restringido por error millones de publicaciones y cuentas, en su mayoría pro-palestinas, relacionadas con la crisis.

Activistas de todo el mundo acusaron a las empresas de fallar en una prueba crítica: si sus servicios permitirían al mundo ver cómo se desarrollaba un evento global importante sin restricciones a través de los ojos de los afectados.

Las empresas atribuyeron los errores a fallas en el software de inteligencia artificial.

En el caso de Twitter, la compañía dijo que su servicio identificó erróneamente los tuits rápidos durante las confrontaciones como spam, lo que resultó en el bloqueo temporal de cientos de cuentas y los tuits no aparecían cuando se buscaban. Instagram, propiedad de Facebook, dio varias explicaciones de sus problemas, incluido un error de software que bloqueó temporalmente el intercambio de videos y dijo que su software de detección de discursos de odio identificó erróneamente un hashtag clave asociado con un grupo terrorista.

Las empresas dijeron que los problemas se resolvieron rápidamente y las cuentas se restauraron. Pero algunos activistas dicen que todavía se censuran muchas publicaciones. Los expertos en libertad de expresión y tecnología dijeron que eso se debe a que los problemas están relacionados con un problema más amplio: algoritmos de software demasiado entusiastas que están diseñados para proteger, pero terminan penalizando erróneamente a los grupos marginados que dependen de las redes sociales para generar apoyo. Los afroamericanos, por ejemplo, se han quejado durante años de que [publicaciones sobre raza](https://www.washingtonpost.com/business/economy/for-facebook-erasing-hate-speech-proves-a-daunting-challenge/2017 /07/31/922d9bc6-6e3b-11e7-9c15-177740635e83_story.html?itid=lk_inline_manual_9) están incorrectamente marcados como problemáticos por el software de IA de forma [rutinaria](https://www.washingtonpost.com/technology/2020/ 12/03/facebook-hate-speech/?itid=lk_inline_manual_9), con pocos recursos para los afectados.

A pesar de años de inversión, muchos de los sistemas automatizados creados por las empresas de redes sociales para detener el spam, la desinformación y el terrorismo aún no son lo suficientemente sofisticados para detectar la diferencia entre formas de expresión deseables y dañinas. A menudo corrigen en exceso, como en los errores más recientes durante el conflicto israelí-palestino, o los aplican de manera insuficiente, lo que permite que prolifere información errónea dañina y un lenguaje violento y lleno de odio, incluidos engaños sobre las vacunas contra el coronavirus y publicaciones violentas antes de la insurrección del Capitolio de EE. 6.

La situación palestina estalló en una crisis interna y de relaciones públicas en toda regla para Facebook. La semana pasada, el CEO Mark Zuckerberg envió al principal ejecutivo de políticas de la compañía, Nick Clegg, a reunirse con líderes israelíes y palestinos, según la compañía. Mientras tanto, los palestinos lanzaron una campaña para derribar el ranking de Facebook en las tiendas de aplicaciones dejando reseñas de una estrella. El incidente se designó como "gravedad 1", el término de la empresa para una emergencia en todo el sitio, según documentos internos revisados por The Washington Post y [informado por primera vez] (https://www.nbcnews.com/tech/social-media/pro- activistas-palestinos-target-facebook-1-star-app-store-reviews-n1268258) por NBC. Los documentos señalaron que los ejecutivos de Facebook se comunicaron con Apple, Google y Microsoft para solicitar que se eliminaran las publicaciones.

Mientras tanto, un grupo de 30 empleados de Facebook, algunos de los cuales dijeron que tenían amigos y familiares afectados por el conflicto, se han quejado de "sobreaplicación" del contenido palestino en una carta abierta en los foros de mensajes de la fuerza laboral de la empresa, según otro grupo. de documentos internos revisados por The Post. El grupo ha presentado al menos 80 tickets para informar "falsos positivos" con los sistemas de automatización de la empresa en relación con el conflicto, y señaló que muchos de los problemas se debían a que la IA etiquetó erróneamente las imágenes de las protestas como "acoso o intimidación".

Jillian York, directora de Electronic Frontier Foundation, un grupo de defensa que se opone a la vigilancia gubernamental, ha investigado las prácticas de las empresas tecnológicas en Oriente Medio. Dijo que no cree que la moderación de contenido, humana o algorítmica, pueda funcionar a escala.

“En última instancia, lo que estamos viendo aquí es la represión existente fuera de línea y la desigualdad que se replica en línea, y los palestinos quedan fuera de la conversación política”, dijo York.

La portavoz de Facebook, Dani Lever, dijo que las “políticas de la compañía están diseñadas para dar voz a todos mientras los mantenemos seguros en nuestras aplicaciones, y aplicamos estas políticas por igual”. Agregó que Facebook tiene un equipo dedicado de hablantes de árabe y hebreo que monitorean de cerca la situación en el terreno, pero se negó a decir si alguno era palestino. En una publicación de Instagram del 7 de mayo, Facebook también dio una [cuenta] (https://twitter.com/InstagramComms/status/1390818110664593409) de lo que dijo que condujo a la falla.

La portavoz de Twitter, Katie Rosborough, dijo que las acciones de ejecución fueron “más severas de lo previsto según nuestras políticas” y que la compañía había restablecido las cuentas cuando correspondía. “Defender y respetar las voces de las personas que usan nuestro servicio es uno de nuestros valores fundamentales en Twitter”, dijo.

Los activistas palestinos recurrieron a las plataformas de las redes sociales cuando comenzaron a organizar protestas a fines de abril antes de un caso inminente en la Corte Suprema de Israel sobre si los colonos tenían derecho a desalojar a las familias de sus hogares en el barrio de Sheikh Jarrah en Jerusalén. Los posibles desalojados transmitieron en vivo enfrentamientos y documentaron imágenes de lesiones después de que la policía israelí irrumpiera en la mezquita de al-Aqsa, uno de los lugares más sagrados del Islam.

El conflicto se convirtió en una guerra después de que el grupo terrorista Hamas, que gobierna Gaza, disparara cohetes explosivos contra Israel. Israel respondió con una campaña de bombardeos de 11 días que mató a 254 palestinos, incluidos 66 niños. Doce personas en Israel fueron asesinadas, incluidos dos niños.

Durante el bombardeo, los palestinos publicaron fotos en Twitter que mostraban casas cubiertas de escombros y ataúdes de niños. Un alto el fuego entró en vigor el 20 de mayo.

Activistas y expertos palestinos que estudian los movimientos sociales dicen que fue otro momento histórico decisivo en el que las redes sociales ayudaron a alterar el curso de los acontecimientos. Lo compararon con hace una década, cuando las plataformas de redes sociales fueron clave para organizar el levantamiento a favor de la democracia conocido como la Primavera Árabe. Pero en ese momento, las empresas tecnológicas no se basaban en algoritmos de vigilancia, sino en humanos que tomaban decisiones. Y aunque se cometieron errores, nada ocurrió en la escala de hoy, dijo York.

Incluso después de que las empresas dijeran que se solucionaron los problemas técnicos, 170 publicaciones de Instagram y cinco publicaciones de Twitter que los activistas creen que se eliminaron por error seguían sin conexión, según 7amleh, el Centro Árabe para el Avance de las Redes Sociales, un grupo que defiende los derechos digitales palestinos. El grupo dijo en un informe a fines de mayo que las compañías le dijeron que algunas de las publicaciones restantes están bajo revisión.

Facebook se negó a comentar. Rosborough de Twitter dijo que no podía comentar sin ver los tuits.

Durante las primeras protestas en Jerusalén Este, se eliminaron algunas publicaciones en Facebook, Twitter e Instagram por usar el hashtag #SaveSheikhJarrah, el nombre del barrio en disputa, dijo Iyad Alrefaie, director de [Sada Social] (http://sada .social/), un grupo que rastrea los derechos digitales en los territorios palestinos.

Mariam Barghouti, una periodista palestino-estadounidense que cubre Cisjordania para Al Jazeera y otros medios, publicó en Instagram que Twitter restringió su cuenta por supuestamente violar la política de redes sociales de la compañía mientras cubría una protesta. Ella dijo en entrevistas con los medios que no sabía qué tuits rompían las reglas. Más tarde, la compañía restauró su cuenta y sus tuits, diciendo que cometió un error, según la portavoz Rosborough.

Los grupos de derechos digitales Access Now, 7amleh y otras organizaciones han pasado los años desde la Primavera Árabe documentando problemas con la forma en que las empresas de redes sociales manejan el contenido palestino, así como el contenido de la región en general.

En 2016, Facebook bloqueó las cuentas de varios editores en dos organizaciones de noticias palestinas sin dar una razón, [informó Al Jazeera] (https://www.aljazeera.com/news/2016/9/25/facebook-blocks-accounts- de-los-periodistas-palestinos) en ese momento. Después de las quejas, la compañía de redes sociales revirtió las prohibiciones y dijo que habían sido accidentales. En 2019, [cuentas suspendidas] de Twitter (https://www.aljazeera.com/news/2019/11/2/twitter-suspends-accounts-of-palestinian-quds-news-network) administradas por una organización de noticias palestina, Quds News Network, en una redada de cuentas terroristas (que desde entonces se han restablecido, dijo Twitter). En mayo de 2020, Facebook desactivó las cuentas de más de 50 periodistas y activistas palestinos sin dar una explicación, dijeron los activistas, incluso de periodistas que publicaron imágenes de [ataques] (https://www.middleeasteye.net/news/facebook-deactivates -relatos-decenas-de-periodistas-y-activistas-palestinos) de los colonos israelíes sobre los agricultores palestinos en los territorios ocupados.

Facebook se negó a comentar sobre esos ejemplos.

Facebook eliminó una publicación de un padre que le deseaba un feliz cumpleaños a su pequeño hijo, llamado Qassam, según Alrefaie, director de Sada Social. El grupo asumió que era porque la empresa bloquea muchas publicaciones sobre las Brigadas al-Qassam, el ala militar de Hamás.

“Estas palabras son parte de nuestro discurso, es parte de nuestra cultura”, dijo Alrefaie. “Facebook no diferenció entre ningún contexto”. Facebook se negó a comentar sobre ese incidente.

Marwa Fatafta, gerente de políticas de derechos digitales para la región de Medio Oriente y África del Norte de Access Now, dijo que otras palabras clave, como el término sionista, a menudo están prohibidas cuando los palestinos las usan porque se supone que son antisemitas.

“Bajo nuestras políticas actuales, permitimos el término 'sionista' en el discurso político, pero eliminamos los ataques contra los sionistas en circunstancias específicas, cuando hay contexto para mostrar que se está utilizando como representante de judíos o israelíes, que son características protegidas bajo nuestro discurso de odio. política”, dijo Lever de Facebook.

Algunos activistas han desarrollado soluciones alternativas a los algoritmos, incluido el uso de un [método antiguo](https://hyperallergic.com/647086/people-are-using-an-ancient-method-of-write-arabic-to-combat-ai -censores/) de escribir en árabe, según un artículo del sitio web independiente de noticias egipcio [Mada Masr](https://mada31.appspot.com/www.madamasr.com/ar/2021/05/18/feature/%D8 %B3%D9%8A%D8%A7%D8%B3%D8%A9/%D8%A7%D9%84%D8%A7%D9%AE%D8%B3%D8%A7%DA%BA-%D8 %B5%D8%AF-%D8%A7%D9%84%D8%A7%D9%84%D9%87-%D9%AE%D9%88%D8%B1%D9%87-%D8%A7% D9%84%D9%AE%D9%AF%D8%A7%D8%B7-%D8%A7%D9%84%D8%B9%D8%B1%D9%AE%D9%89%D9%87/) . Algunos activistas estadounidenses usan tácticas similares, escribiendo mal deliberadamente palabras comunes como "blanco" para evitar la censura algorítmica durante las discusiones sobre raza, The Post [ha informado] (https://www.washingtonpost.com/technology/2020/12/03/facebook -hate-speech/?itid=lk_inline_manual_50).

Los activistas también han denunciado la relación de las empresas de tecnología con el gobierno israelí y, en particular, la Unidad Cibernética del Ministerio de Justicia, que tiene un canal directo con las empresas de tecnología para denunciar posibles violaciones de contenido. Han pedido a las empresas de tecnología que sean transparentes sobre cuándo el gobierno remite en secreto el bloqueo de cuentas o la eliminación de contenido, incluso si la unidad estuvo involucrada en derribos durante la guerra.

Facebook, Google y Twitter dijeron que cumplen con las leyes locales y responden regularmente a las solicitudes de eliminación de los gobiernos, que publican en informes de transparencia semestrales. Twitter dijo que el problema del filtro de spam no tenía nada que ver con las autoridades israelíes. Facebook no respondió a varias solicitudes de comentarios sobre la naturaleza de los informes de las autoridades israelíes durante la reciente crisis. Un portavoz de Google se negó a decir si recibió solicitudes masivas de la Unidad Cibernética.

Periodistas y activistas también se han quejado de que Google no ha actualizado sus mapas de Gaza con imágenes de mayor resolución, a pesar de que en 2020 se levantará una ley estadounidense que limita el grado de detalle en los mapas públicos del área. Los mapas detallados ayudan a documentar el daño de los ataques aéreos. .

Google se negó a comentar por qué los mapas de Gaza no se han actualizado.

La aplicación de pago Venmo también suspendió por error las transacciones de ayuda humanitaria a los palestinos durante la guerra. La compañía dijo que estaba tratando de cumplir con las sanciones de Estados Unidos y que había resuelto los problemas.

Las empresas tecnológicas están atrapadas entre los gobiernos que intentan detener los disturbios o la violencia y los activistas que abogan por la libre expresión democrática, dijo James Grimmelmann, profesor de derecho en Cornell Tech.

“Entonces, las plataformas realmente tienen que tomar decisiones profundamente políticas”, dijo.

Los últimos problemas comenzaron el 5 de mayo, cuando Instagram comenzó a recibir informes de que las personas que participaban en las protestas en Colombia no podían compartir videos, dijo la compañía más tarde en una publicación en la que se disculpó por sus errores. Al día siguiente, llegaron informes similares de personas que participaban en manifestaciones en Canadá y Jerusalén Este. Los ejecutivos descubrieron una falla en una actualización planificada desde hace mucho tiempo para los productos para compartir videos, llamada Stories. En su disculpa, la compañía señaló que el error no tenía nada que ver con estos eventos en particular y, de hecho, había afectado a más usuarios en los Estados Unidos que en otros lugares.

Varios días después, ciudadanos y activistas comenzaron a denunciar que sus publicaciones sobre la mezquita de al-Aqsa, usando el hashtag #AlAqsa o sus equivalentes árabes, estaban siendo restringidas. Las restricciones a menudo iban acompañadas de una ventana emergente que decía que el término estaba asociado con "violencia u organizaciones peligrosas".

El 11 de mayo, un empleado de Facebook presentó una queja, según un informe de BuzzFeed. Facebook dijo en respuesta que el nombre de la mezquita era una organización terrorista designada. Facebook le dijo más tarde a The Post que el hashtag había sido restringido de varias maneras, incluida la limitación de la capacidad de las personas para buscarlo.

Después de la publicación, Lever de Facebook agregó que un error humano condujo al problema de restringir el hashtag de la Mezquita al-Aqsa.

Los activistas palestinos y los empleados de Facebook comenzaron a protestar en los días siguientes porque muchas publicaciones sobre el conflicto se eliminarían automáticamente.

Casi al mismo tiempo, Twitter comenzó a recibir informes de que cuentas influyentes que tuiteaban sobre el conflicto estaban siendo suspendidas inesperadamente, dijo la compañía, debido a que AI confundió las publicaciones con spam. La compañía dice que restauró las cuentas unas horas después.

La portavoz de Twitter, Rosborough, señaló que se produjeron incidentes similares de aplicación excesivamente severa durante los debates presidenciales de 2020 y durante las protestas contra un golpe de Estado esta primavera en Myanmar.

Y a veces, señaló, los algoritmos hacen las cosas bien: en un momento durante el conflicto, un algoritmo también restringió automáticamente la cuenta oficial del ejército israelí. La cuenta estaba tratando de publicar el mismo tuit dos veces, de sirenas de emergencia sonando en la ciudad sureña de Beersheba, y Twitter la bloqueó.

“Sabemos que es repetitivo, pero esa es la realidad para los israelíes de todo el país”, decía el tuit.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd