Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2400

Incidentes Asociados

Incidente 4174 Reportes
Facebook Feed Algorithms Exposed Low Digitally Skilled Users to More Disturbing Content

Loading...
Por qué algunas personas ven más contenido perturbador en Facebook que otras, según documentos filtrados
time.com · 2021

Es significativamente más probable que algunos usuarios vean contenido perturbador en Facebook que otros, según documentos internos de la empresa filtrados por la denunciante Frances Haugen.

Un informe de 2019 del equipo de integridad cívica de Facebook detalla los resultados de un estudio que midió el impacto de eliminar ciertas protecciones de integridad de las fuentes de noticias de algunos usuarios. Encontró que el 11% de los usuarios veía contenido marcado como "perturbador", el 39% veía contenido que podría considerarse "odioso" y el 32% veía contenido "límite" que contenía algún tipo de desnudez todos los días en la plataforma.

Este informe se basa en las divulgaciones de Haugen a la Comisión de Bolsa y Valores (SEC), que también fueron proporcionadas al Congreso en forma redactada por su equipo legal. Las versiones redactadas recibidas por el Congreso fueron obtenidas por un consorcio de organizaciones de noticias, incluido TIME. Algunas publicaciones los han descrito como los “Facebook Papers”.

No todos los usuarios están expuestos a este tipo de publicaciones perturbadoras en la misma medida. La propia investigación de Facebook indica que las comunidades vulnerables, incluidos los usuarios negros, ancianos y de bajos ingresos, se encuentran entre los grupos más perjudicados por la prevalencia de contenido perturbador en el sitio. En el momento del informe de integridad de 2019, los investigadores de Facebook aún estaban definiendo lo que constituía perturbador.

“El alcance de las malas experiencias sigue siendo un [trabajo en progreso] en Integrity y todavía estamos finalizando los umbrales exactos utilizados para decir que un usuario tuvo una mala experiencia para algún concepto de integridad”, se lee en el informe. “La definición utilizada en este análisis es simplemente una [vista de ventana] en una pieza de contenido incorrecto, [o una vez que una pieza de contenido incorrecto estuvo visible en la pantalla de un usuario]. Por lo tanto, los valores exactos de este análisis deben tomarse con pinzas”.

En respuesta a una solicitud de comentarios sobre el informe de "malas experiencias" de 2019, un portavoz de Facebook le dijo a TIME que las cifras descritas en el informe solo cuantifican el impacto de retroceder [degradaciones] (https://transparency.fb.com/en -gb/features/approach-to-ranking/types-of-content-we-demote/), una [intervención de integridad](https://about.fb.com/wp-content/uploads/2021/10/NRP_Reduce -Hate-Speech_chart.png?resize=890%2C598) que reduce la distribución de contenido que probablemente infrinja o que se encuentre en el límite de los estándares de la comunidad de Facebook, para aproximadamente el 2 % de los usuarios que formaron parte del grupo de prueba en el estudio.

“Probar las características de seguridad y productos es una parte importante de la mejora de nuestra plataforma y algo que es estándar en tecnología y muchas otras industrias”, dijo el portavoz. “Nos ayuda a construir las herramientas para reducir la prevalencia del discurso de odio y otros tipos de contenido problemático en nuestra plataforma”.

Sin embargo, el informe señala en particular que, en el momento del estudio, las protecciones de integridad bajo revisión tenían un "impacto mínimo" en algunos de los "daños más graves" para los usuarios.

“Estas son proporciones significativas de [personas activas diariamente] y efectivamente no tenemos intervenciones de clasificación para mitigar esto”, se lee en el informe. “Más bien, nuestro impacto se limita a [ofensas objetivas de calidad de contenido como clickbait y ad farms] e información errónea”.

El portavoz de Facebook también señaló a TIME el [Informe de cumplimiento de estándares comunitarios] más reciente de Facebook (https://transparency.fb.com/data/community-standards-enforcement/), que incluía informes sobre [violencia y contenido gráfico] (https:/ /transparency.fb.com/data/community-standards-enforcement/graphic-violence/facebook/), [desnudez de adultos y actividad sexual](https://transparency.fb.com/data/community-standards-enforcement/adult -desnudez-y-actividad-sexual/facebook/) y discurso de odio. Los informes mostraron que la prevalencia de estos problemas en el segundo trimestre de 2021 fue de alrededor del 0,03-0,04 %, 0,04 % y 0,05 % del contenido visto, o alrededor de tres a cuatro, cuatro y cinco vistas por cada 10 000 en Facebook, respectivamente. El portavoz señaló que Facebook ve la "prevalencia" como la métrica más importante porque no representa lo que la empresa captó sino lo que se perdió y la gente vio en la plataforma.

Un documento incluido en los estudios de referencia de Facebook Papers que evalúan la alfabetización digital han demostrado que los usuarios de Facebook con habilidades de alfabetización digital más bajas están demasiado expuestos a ciertos daños como violencia gráfica y desnudez límite, y son menos capaces de descifrar la veracidad de las publicaciones. Definidos en otro documento como usuarios que son "menos capaces de usar las funciones diseñadas para ayudarlos a 'ver menos' las cosas que no les gustan", los usuarios con bajo nivel de alfabetización constituyen una parte significativa de la población total de Facebook.

“Esto crea daño cuando los usuarios se ven obligados a ver contenido que los molesta sin ninguna agencia para reaccionar”, dice el documento.

Una encuesta de 67.000 usuarios de Facebook en 17 países realizada por el grupo de Trabajo de Alfabetización Digital encontró que al menos una cuarta parte y hasta un tercio de la población mundial de Facebook carece de habilidades digitales clave, mientras que al menos una sexta parte de la población de Facebook de EE. UU. tiene habilidades medias o bajas. habilidades digitales.

Si bien los usuarios con un alto nivel de alfabetización pueden señalar que no quieren ver más de ciertos tipos de contenido escondiéndolos, posponiéndolos o denunciando publicaciones ofensivas, Facebook descubrió que los usuarios con un bajo nivel de alfabetización tienen menos capacidad para marcar el contenido que no les gusta. y para "darse de baja" de fuentes de baja calidad.

El problema se ve agravado por el hecho de que cuando los sistemas automatizados de Facebook no marcan ni eliminan las publicaciones perturbadoras, el daño recae de manera desproporcionada en los usuarios con un bajo nivel de alfabetización digital que tienen menos capacidad para filtrar ese contenido.

En una cuota del 17 de octubre de sus [“Archivos de Facebook”](https:/ /time.com/6097704/facebook-instagram-wall-street-journal/) serie de informes de investigación sobre los Papeles de Facebook, el Wall Street Journal detalló hasta qué punto los sistemas de inteligencia artificial de Facebook se ven afectados por diversas formas de contenido perturbador. .

“La IA de Facebook no puede identificar consistentemente videos de disparos en primera persona, diatribas racistas e incluso, en un episodio notable que desconcertó a los investigadores internos durante semanas, la diferencia entre peleas de gallos y accidentes automovilísticos”, se lee en el informe. “Sobre el discurso de odio, muestran los documentos, los empleados de Facebook han estimado que la compañía elimina solo una pequeña parte de las publicaciones que violan sus reglas, un porcentaje bajo de un solo dígito, dicen”.

A diferencia de la violencia y la desnudez, la investigación de Facebook sugiere que el discurso de odio y otros tipos de contenido de odio son un problema mayor entre los usuarios con mayores habilidades de alfabetización digital que luego usan esas habilidades para buscar más de lo mismo. El discurso de odio en particular fue señalado por Haugen durante su Oct. 25 testimonios a legisladores británicos como un problema de dos maneras. Dicho discurso no solo es exponencialmente más generalizado y dañino entre ciertas subpoblaciones de usuarios, sino que tampoco se ve frenado por los algoritmos de Facebook. Sin embargo, el impacto dispar en ciertos grupos de usuarios se vuelve invisible cuando solo se informan datos agregados.

“Cuando decimos cómo funciona el algoritmo, debemos pensar en cuál es la experiencia del algoritmo para muchas poblaciones individuales”, dijo. “Cuando Facebook le brinda datos agregados, es probable que oculte cuán peligrosos son los sistemas porque la experiencia del percentil 95 para cada daño a la integridad es radicalmente diferente y el percentil 99 es aún más radicalmente diferente que la experiencia promedio. Y quiero ser muy claro: las personas que van y cometen actos de violencia, son personas que se hiperexponen a este contenido peligroso. Por lo tanto, debemos ser capaces de superar esas experiencias extremas”.

Haugen dice que Facebook elimina menos del 5% del discurso de odio de la plataforma.

Con respecto al discurso de odio, el portavoz de Facebook dirigió a TIME a una [publicación de Facebook Newsroom del 17 de octubre] (https://about.fb.com/news/2021/10/hate-speech-prevalence-dropped-facebook/) del vicepresidente de Facebook para Integridad Guy Rosen vuelve a enfatizar que la empresa considera la "prevalencia", el porcentaje de contenido visto que consiste en discurso de odio, como la métrica de discurso de odio más significativa. Facebook dice que utiliza sistemas tecnológicos para ayudar a detectar proactivamente el discurso de odio, enrutarlo a los revisores y eliminarlo cuando viola las políticas de Facebook, reduciendo así la prevalencia del discurso de odio en la plataforma.

“Los datos extraídos de documentos filtrados se utilizan para crear una narrativa de que la tecnología que usamos para combatir el discurso de odio es inadecuada y que deliberadamente tergiversamos nuestro progreso”, escribió Rosen. "Esto no es verdad. No queremos ver odio en nuestra plataforma, ni tampoco nuestros usuarios o anunciantes, y somos transparentes sobre nuestro trabajo para eliminarlo. Lo que estos documentos demuestran es que nuestro trabajo de integridad es un viaje de varios años. Si bien nunca seremos perfectos, nuestros equipos trabajan continuamente para desarrollar nuestros sistemas, identificar problemas y crear soluciones”.

Corrección, 3 de noviembre

La versión original de esta historia expresó erróneamente la cantidad de discurso de odio que Facebook afirma que elimina. La empresa no pretende eliminar el 90% de todos los discursos de odio en su plataforma. Ha dicho que eliminó 31,5 millones de instancias de discurso de odio en el segundo trimestre de 2021, pero no dijo qué porcentaje del discurso de odio total representaba esa cifra.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd