Incidentes Asociados
El año pasado, los investigadores de Facebook mostraron a los ejecutivos un ejemplo del tipo de discurso de odio que circula en la red social: una publicación real con una imagen de cuatro legisladoras demócratas conocidas colectivamente como "The Squad".
El cartel, cuyo nombre fue borrado por motivos de privacidad, se refería a las mujeres, dos de las cuales son musulmanas, como “swami cabezas de trapo”. Un comentario de otra persona usó un lenguaje aún más vulgar, refiriéndose a las cuatro mujeres de color como “c---s negras”, según documentos internos de la empresa obtenidos exclusivamente por The Washington Post.
La publicación representaba el lenguaje "lo peor de lo peor" en Facebook, la mayoría dirigido a grupos minoritarios, según un esfuerzo de dos años de un gran equipo que trabaja en toda la empresa, según el documento. Los investigadores instaron a los ejecutivos a adoptar una revisión agresiva de su sistema de software que principalmente eliminaría solo las publicaciones odiosas antes de que los usuarios de Facebook pudieran verlas.
Pero los líderes de Facebook se opusieron al plan. Según dos personas familiarizadas con el debate interno, los altos ejecutivos, incluido el vicepresidente de Políticas Públicas Globales, Joel Kaplan, temían que el nuevo sistema inclinara la balanza al proteger a algunos grupos vulnerables sobre otros. Un ejecutivo de políticas preparó un documento para Kaplan que planteó el potencial de una reacción violenta de los "socios conservadores", según el documento. Las personas hablaron con The Post bajo condición de anonimato para discutir asuntos internos delicados.
El debate no informado anteriormente es un ejemplo de cómo las decisiones de Facebook en nombre de ser neutral y ciego a la raza, de hecho, se producen a expensas de las minorías y, en particular, de las personas de color. Lejos de proteger a los usuarios negros y de otras minorías, los ejecutivos de Facebook terminaron instituyendo medidas a medias después del proyecto "lo peor de lo peor" que dejó a las minorías más propensas a encontrar lenguaje despectivo y racista en el sitio, dijeron las personas.
“Aunque [los ejecutivos de Facebook] no tienen ningún rencor hacia las personas de color, sus acciones están del lado de los racistas”, dijo Tatenda Musapatike, exgerente de Facebook que trabaja en anuncios políticos y director ejecutivo del Proyecto de Formación de Votantes, una organización no partidista. , organización sin fines de lucro que utiliza la comunicación digital para aumentar la participación en las elecciones locales, estatales y nacionales. “Estás diciendo que la salud y la seguridad de las mujeres de color en la plataforma no es tan importante como complacer a tus amigos blancos ricos”.
La audiencia negra en Facebook está en declive, según los datos de un estudio que Facebook realizó a principios de este año y que se reveló en documentos obtenidos por la denunciante Frances Haugen. Según el informe de febrero, la cantidad de usuarios negros mensuales cayó un 2,7 por ciento en un mes a 17,3 millones de adultos. También muestra que el uso por parte de los negros alcanzó su punto máximo en septiembre de 2020. El asesor legal de Haugen proporcionó versiones redactadas de los documentos al Congreso, que fueron vistos por un consorcio de organizaciones de noticias, incluido The Post.
Los grupos de derechos civiles han afirmado durante mucho tiempo que los algoritmos y las políticas de Facebook tuvieron un impacto negativo desproporcionado en las minorías, y en particular en los usuarios negros. Los documentos de "lo peor de lo peor" muestran que esas acusaciones eran en gran parte ciertas en el caso de que el discurso de odio permaneciera en línea.
Pero Facebook no reveló sus hallazgos a los líderes de derechos civiles. Incluso los auditores independientes de derechos civiles que Facebook contrató en 2018 para realizar un importante estudio sobre cuestiones raciales en su plataforma dicen que no fueron informados de los detalles de la investigación de que los algoritmos de la empresa dañaron desproporcionadamente a las minorías. Laura Murphy, presidenta de Laura Murphy and Associates, quien dirigió el proceso de auditoría de derechos civiles, dijo que Facebook le dijo que “la empresa no recopila datos sobre los grupos protegidos contra los que se dirigía el discurso de odio”.
“No estoy afirmando una intención nefasta, pero es profundamente preocupante que las métricas que mostraron el impacto desproporcionado del odio dirigido a los usuarios negros, judíos, musulmanes, árabes y LGBTQIA no se hayan compartido con los auditores”, dijo Murphy en un comunicado. "Claramente, han recopilado algunos datos en este sentido".
Los auditores, en el informe que publicaron el año pasado, aún concluyeron que las decisiones políticas de Facebook fueron un “tremendo revés” para los derechos civiles.
El portavoz de Facebook, Andy Stone, defendió las decisiones de la empresa en torno a sus políticas de incitación al odio y cómo llevó a cabo su relación con los auditores de derechos civiles.
“El proyecto Worst of the Worst ayudó a mostrarnos qué tipo de discurso de odio era y no detectaba y comprendía de manera efectiva qué formas de odio la gente cree que son las más insidiosas”, dijo Stone en un comunicado.
Dijo que el progreso en cuestiones raciales incluía políticas como la prohibición de grupos nacionalistas blancos, la prohibición de contenido que promoviera estereotipos raciales, como personas con la cara pintada de negro o afirmaciones de que los judíos controlan los medios, y la reducción de la prevalencia del discurso de odio al 0,03 por ciento del contenido en la plataforma.
Facebook abordó la auditoría de derechos civiles con “transparencia y apertura” y se enorgulleció del progreso que ha logrado en temas de raza, dijo Stone.
Stone señaló que la empresa había implementado partes del proyecto "lo peor de lo peor". “Pero después de una discusión interna rigurosa sobre estas preguntas difíciles, no implementamos todas las partes, ya que hacerlo habría significado menos eliminaciones automáticas de discursos de odio, como declaraciones de inferioridad sobre las mujeres o expresiones de desprecio hacia las personas multirraciales”, agregó.
Sesgo algorítmico
Los investigadores de Facebook mostraron por primera vez la publicación racista con The Squad: las representantes Alexandria Ocasio-Cortez (D-N.Y.), Ilhan Omar (D-Minn.), Rashida Tlaib (D-Mich.) y Ayanna Pressley (D-Mass.) — a más de 10,000 usuarios de Facebook en una encuesta en línea en 2019. (The Squad ahora tiene seis miembros). Se pidió a los usuarios que calificaran 75 ejemplos de discurso de odio en la plataforma para determinar cuál consideraban más dañino.
Otras publicaciones entre los ejemplos incluían una publicación que decía: “Muchos immagruntz de la asistencia social envían dinero a sus junglas de origen”. Una imagen de un chimpancé con una camisa de manga larga fue subtitulada, "Aquí está uno de Michelle Obama". Otra publicación en la encuesta decía: “La única asistencia humanitaria que se necesita en la frontera son unos cientos de torretas de ametralladoras con sensores de movimiento. Problema resuelto."
Los 10 peores ejemplos, según los usuarios encuestados, estaban casi todos dirigidos a grupos minoritarios, según muestran los documentos. Cinco de las publicaciones estaban dirigidas a personas negras, incluidas declaraciones sobre inferioridad mental y disgusto. Dos estaban dirigidos a la comunidad LGBTQ. Los tres restantes fueron comentarios violentos dirigidos a mujeres, mexicanos y blancos.
Estos hallazgos sobre el contenido más objetable se mantuvieron incluso entre los conservadores blancos autoidentificados que el equipo de investigación de mercado viajó para visitar en los estados del sur. Los investigadores de Facebook buscaron las opiniones de los conservadores blancos en particular porque querían superar las posibles objeciones de los líderes de la empresa, que era conocida por apaciguar los puntos de vista de derecha, dijeron dos personas.
Sin embargo, las publicaciones racistas contra las minorías no eran lo que los propios algoritmos de detección de discursos de odio de Facebook encontraban con mayor frecuencia. Se suponía que el software, que la compañía presentó en 2015, detectaría y eliminaría automáticamente el discurso de odio antes de que los usuarios lo vieran. Públicamente, la compañía dijo en 2019 que sus algoritmos detectaron de manera proactiva más del 80 por ciento del discurso de odio.
Pero esta estadística escondía un problema grave que era obvio para los investigadores: el algoritmo detectaba agresivamente los comentarios que denigraban a los blancos más que los ataques a cualquier otro grupo, según varios de los documentos. Un documento de abril de 2020 decía que aproximadamente el 90 por ciento del "discurso de odio" sujeto a eliminación de contenido eran declaraciones de desprecio, inferioridad y disgusto dirigidas a las personas y los hombres blancos, aunque el marco de tiempo no está claro. Y fracasó constantemente en eliminar el contenido más despectivo y racista. The Post informó anteriormente sobre una parte del proyecto.
Los investigadores también descubrieron en 2019 que los algoritmos de incitación al odio no estaban en sintonía con los informes reales de incitación al discurso dañino en la plataforma. En ese año, los investigadores descubrieron que el 55 por ciento del contenido que los usuarios reportaron en Facebook como más dañino estaba dirigido a solo cuatro grupos minoritarios: negros, musulmanes, la comunidad LGBTQ y judíos, según los documentos.
Una de las razones de estos errores, descubrieron los investigadores, fue que las reglas de conducta "ciegas a la raza" de Facebook en la plataforma no distinguían entre los objetivos del discurso de odio. Además, la compañía había decidido no permitir que los algoritmos eliminaran automáticamente muchos insultos, según las personas, con el argumento de que los algoritmos no podían notar fácilmente la diferencia cuando un insulto como la palabra n y la palabra c se usaba positiva o coloquialmente dentro de una comunidad. Los algoritmos también estaban indexados en exceso para detectar contenido menos dañino que ocurría con más frecuencia, como "los hombres son cerdos", en lugar de encontrar contenido menos común pero más dañino.
“Si no haces algo para controlar el racismo estructural en tu sociedad, siempre terminarás amplificándolo”, dijo a The Post una de las personas involucradas en el proyecto. “Y eso es exactamente lo que hicieron los algoritmos de Facebook”.
“Esta información confirma lo que muchos de nosotros ya sabíamos: que Facebook es un participante activo y dispuesto en la difusión de discursos de odio y desinformación”, dijo Omar en un comunicado. “Durante años, hemos planteado preocupaciones a Facebook sobre el contenido antimusulmán, antinegro y antiinmigrante de rutina en Facebook, en gran parte basado en falsedades absolutas. Está claro que solo se preocupan por las ganancias y sacrificarán nuestra democracia para maximizarlas”.
Durante años, los usuarios negros dijeron que esos mismos sistemas automatizados también confundieron las publicaciones sobre racismo con discurso de odio, enviando al usuario a la “cárcel de Facebook” al bloquear su cuenta, y los convirtió en objetivos desproporcionados de discurso de odio que la empresa no pudo controlar. Pero cuando los líderes de derechos civiles se quejaron, esos problemas de moderación de contenido se descartaron de forma rutinaria como meros "incidentes aislados" o "anecdóticos", dijo Rashad Robinson, presidente de Color of Change, un grupo de derechos civiles que regularmente buscaba una acción más contundente por parte de la empresa contra el odio. discursos e incitaciones a la violencia en Facebook, y ha argumentado que Kaplan debería ser despedido.
“Retrocedían regularmente contra eso”, dijo Robinson. "Dirían: 'Eso simplemente no es cierto, Rashad'. Decían: '¿Tienes datos que respalden eso?'".
Malkia Devich-Cyril, una activista negra y queer, y ex directora ejecutiva del Center for Media Justice, que dirigió dos páginas de Black Lives Matter en Facebook en 2016, dijo que tenían que dejar de administrar las páginas porque eran “hostigadas sin descanso, ” incluyendo recibir amenazas de muerte.
“Me enfermó”, dijo Devich-Cyril. “Como activista, cuyo llamado es estar en primera línea y luchar por el cambio, me creó una especie de miedo. Si ese tipo de factor de enfriamiento en un estado democrático es lo que busca Facebook, lo han logrado”.
Un conjunto de reglas para todos
En diciembre de 2019, los investigadores de "lo peor de lo peor", que llegó a conocerse como Project WoW, estaban listos para entregar sus hallazgos de dos años de trabajo a los líderes clave de la empresa, incluido Kaplan y la directora de gestión de políticas globales Monika Bickert.
Estaban proponiendo una revisión importante del algoritmo de incitación al odio. De ahora en adelante, el algoritmo se adaptará de manera limitada para eliminar automáticamente el discurso de odio contra solo cinco grupos de personas (los que son negros, judíos, LGBTQ, musulmanes o de múltiples razas) que los usuarios calificaron como los más severos y dañinos. (Los investigadores esperaban eventualmente expandir las capacidades de detección del algoritmo para proteger a otros grupos vulnerables, después de que el algoritmo hubiera sido reentrenado y estuviera en camino). Las amenazas directas de violencia contra todos los grupos aún se eliminarían.
Los usuarios de Facebook aún podían denunciar cualquier publicación que consideraran dañina, y los moderadores de contenido de la empresa la revisarían por segunda vez.
El equipo sabía que hacer estos cambios para proteger a las minorías más vulnerables sobre otras sería difícil de vender, según las personas familiarizadas con la situación. Facebook opera en gran medida con un conjunto de estándares para miles de millones de usuarios. Las políticas que podrían beneficiar a un país o grupo en particular a menudo se descartaban porque no eran "escalables" en todo el mundo y, por lo tanto, podían interferir con el crecimiento de la empresa, según muchos empleados anteriores y actuales.
En febrero de 2020, Kaplan y otros líderes revisaron la propuesta y rápidamente rechazaron los cambios más importantes. Sintieron que los cambios protegieron demasiado a unos pocos grupos, dejando fuera a otros, exponiendo a la empresa a las críticas, según tres de las personas. Por ejemplo, la propuesta no habría permitido la eliminación automática de comentarios en contra de mexicanos o mujeres. El documento preparado para Kaplan hacía referencia a que algunos “socios conservadores” podrían resistirse al cambio porque piensan que “el odio dirigido hacia las personas trans es una expresión de opinión”.
Cuando se le pidió un comentario sobre la inclinación de Kaplan a los conservadores, Stone de Facebook dijo que la objeción de Kaplan a la propuesta se debía a los tipos de discurso de odio que ya no eliminaría automáticamente.
Kaplan, el republicano más influyente de la compañía, era ampliamente conocido como un firme creyente en la idea de que Facebook debería parecer “políticamente neutral”, y su ideología de línea dura sobre la libertad de expresión estaba en sintonía con el director ejecutivo de la compañía, Mark Zuckerberg. (Facebook cambió recientemente su nombre corporativo a Meta). Hizo todo lo posible para proteger a los conservadores, según informes anteriores en The Post, numerosos ex informantes y Facebook Papers.
Pero Kaplan y los otros ejecutivos dieron luz verde a una versión del proyecto que eliminaría el discurso menos dañino, según el propio estudio de Facebook: programar los algoritmos para que dejen de eliminar automáticamente el contenido dirigido a personas blancas, estadounidenses y hombres. The Post informó anteriormente sobre este cambio cuando se anunció internamente más adelante en 2020.
“Facebook parece equiparar proteger a los usuarios negros con poner su pulgar en la balanza”, dijo David Brody, asesor principal del Comité de Abogados por los Derechos Civiles Bajo la Ley, cuando The Post le presentó la investigación de la compañía. “El algoritmo que protegió desproporcionadamente a los usuarios blancos y expuso a los usuarios negros, fue entonces cuando Facebook puso su pulgar en la balanza”.
Este año, Facebook realizó un estudio de productos de consumo sobre "justicia racial" que descubrió que los usuarios negros estaban abandonando Facebook. Descubrió que los usuarios negros más jóvenes en particular se sintieron atraídos por TikTok. Parecía confirmar un estudio de hace tres años llamado Project Vibe que advertía que los usuarios negros estaban “en peligro” de abandonar la plataforma debido a “cómo Facebook aplica su política de incitación al odio”.
“El grado de amenazas de muerte en estas plataformas, específicamente Facebook, que han sufrido mis colegas es insostenible”, dijo Devich-Cyril, quien agregó que hoy en día rara vez publican sobre política en Facebook. “Es una plataforma demasiado insegura”.