Problema 3232
En noviembre de 2022, los líderes militares de la región de Tigray, en el norte de Etiopía, acordaron un frágil alto el fuego, poniendo fin técnicamente a dos años de brutal guerra civil. Pero a pesar de la tregua, continúan las campañas de limpieza étnica contra las comunidades minoritarias de Tigray. Desde que estalló la guerra, Facebook ha sido acusado periódicamente de [no moderar el discurso de odio](https://www.amnesty.org/en/latest/news/2022/12/kenya-meta-sued-for-1 -6 mil millones de dólares para alimentar la violencia étnica en Etiopía /) dirigido a los tigrayanos.
Más recientemente, Meta enfrenta una demanda del hijo del académico etíope, Meareg Amare, quien fue asesinado afuera de su casa. en noviembre de 2021. La demanda, presentada en diciembre de 2022, afirma que Meta no [tomó medidas contra las amenazas de muerte](https://www.businessinsider.com/facebooks-local-partners-say-hate-speech-stays-on- the-platform-2023-4) publicó en Facebook en las semanas previas al ataque y, en términos más generales, no invirtió en suficientes recursos de moderación para los idiomas etíopes.
Meta ha luchado antes con la moderación en zonas de conflicto, sobre todo en Myanmar y [Sri Lanka] (https://www.aljazeera.com/news/2020/5/13/sri-lanka-facebook-apologises-for-role- en 2018-disturbios-anti-musulmanes). El conflicto en Tigray ha planteado nuevas preguntas sobre cómo Facebook y otras plataformas de redes sociales manejan el discurso de odio en idiomas marginados y otros idiomas menos dominantes que el inglés.
“Un modelo de lengua multilingüe no puede entender el amárico sin el intermediario del inglés”
Un enfoque que adoptan las plataformas es desarrollar herramientas de inteligencia artificial para detectar y eliminar el discurso de odio. Los sistemas de moderación de IA a menudo carecen de datos suficientes para entrenar un modelo separado en idiomas como el amárico y el tigrinya (los dos idiomas más hablados en la región de Tigray), lo que obliga a los sistemas a depender de modelos entrenados en una variedad de idiomas. Pero una nueva investigación ha generado preocupación sobre las limitaciones de los modelos lingüísticos multilingües, con implicaciones potencialmente alarmantes sobre cómo se moderan las plataformas en la región de Tigray.
En la investigación de la IA, el amárico se conoce como un “lenguaje de bajos recursos”. Este grupo incluye algunos de los idiomas más hablados del mundo, como el urdu, pero debido a que están menos representados en Internet, hay Hay texto menos digitalizado que se puede utilizar para entrenar modelos de IA adaptados a ellos. Como resultado, las herramientas de moderación automatizada a menudo tratan con idiomas de bajos recursos a través de un proceso llamado "transferencia entre idiomas", que esencialmente traduce las lecciones de un sistema entrenado en inglés a un idioma de bajos recursos como el urdu o el amárico.
Un nuevo estudio del Centro para la Democracia y la Tecnología (CDT), titulado “Lost in Translation: Large Language Models in Non-English Content Analysis” (Perdidos en la traducción: grandes modelos lingüísticos en el análisis de contenido en idiomas distintos del inglés) resalta lo fácil que es que ese proceso salga mal. Lo que se considera discurso de odio racista en un conjunto de datos en inglés americano puede ser fundamental para que una herramienta comprenda el discurso de odio étnico en otros idiomas, lo que resulta en más errores y falsas alarmas.
"Un modelo de lenguaje multilingüe no puede entender el amárico sin el intermediario del inglés", dijo al Resto del Mundo Gabriel Nicholas, investigador del CDT y coautor del estudio. "Tenemos muchas preocupaciones cuando se usa en algo que es tan específico del idioma y culturalmente específico como la moderación de contenido".
Un ejemplo descrito en el artículo mostró que en inglés, las referencias a una paloma a menudo se asocian con la paz. En vasco, un idioma de bajos recursos, la palabra paloma (uso) es un insulto usado contra los hombres que se presentan femeninos. Un sistema de moderación de IA que se utiliza para detectar discursos de odio homofóbicos y que está dominado por datos de capacitación en inglés, puede tener dificultades para identificar el “uso” tal como se entiende.
El informe no saca ninguna conclusión sobre Meta o el conflicto de Tigray específicamente, pero sí señala problemas particulares en torno a la lengua tigrinya, que tiene más de 7 millones de hablantes, la gran mayoría en Eritrea y la parte norte de Etiopía. A algunos modelos de idiomas multilingües les faltan caracteres completos en el alfabeto tigrinya, una escritura basada en Ge'ez similar al amárico. Esto lleva a lo que los ingenieros de aprendizaje automático llaman el "problema UNK", en referencia a palabras desconocidas que están fuera del vocabulario del modelo.
7 millones El número de hablantes de tigrinya en todo el mundo.
Es difícil decir cuánta diferencia habría hecho una mejor moderación en Facebook en Tigray. Pero los documentos de Facebook, publicados a finales de 2021, documentaron deficiencias crónicas de moderación en la región. Y el esfuerzo legal en curso para responsabilizar a la empresa por incidentes específicos de violencia, como la [campaña de acoso contra](https://www.businessinsider.com/facebooks-local-partners-say-hate-speech-stays-on -the-platform-2023-4) Meareg Amare, resalta la falta de moderadores humanos en algunos idiomas etíopes.
Existe evidencia significativa de que Meta depende de la IA multilingüe en sus sistemas de moderación. En una audiencia en el Congreso de 2021, Mark Zuckerberg afirmó que la empresa utiliza inteligencia artificial para identificar más del 95% del "contenido de incitación al odio". Ese año, en una publicación de blog, la compañía compartió que había lanzado un sistema llamado [Few-Shot Learner](https://about.fb.com/news/2021/12/metas-new-ai-system-tackles -harmful-content/), que se puede utilizar en más de 100 idiomas diferentes. Meta afirmó que el modelo puede identificar y tomar medidas sobre contenido dañino que tiene pocos o ningún precedente en la plataforma.
Esto sigue a un reconocimiento anterior en 2019 de un modelo llamado [XLM-R](https://ai.facebook.com/blog/-xlm-r-state-of-the-art-cross-lingual-understanding-through- autosupervisión /), que Meta promocionó en ese momento como entrenado en un idioma y luego usado en otros idiomas sin datos de entrenamiento adicionales. En términos generales, afirmó que el modelo podría mejorar la moderación en “idiomas de bajos recursos”, una conclusión puesta en duda por el documento del CDT.
Meta no respondió a una solicitud de comentarios.
Las empresas de redes sociales rara vez son transparentes sobre cómo exactamente ponen en práctica sus modelos lingüísticos multilingües, o qué tan efectivos son en la moderación una vez que se han ampliado a todas las operaciones globales. Pero Meta no es el único que invierte en ellos. En 2022, Jigsaw de Google publicó un [artículo sobre Perspective API] (https://arxiv.org/abs/2202.11176), un modelo similar que puede usarse para clasificar comentarios tóxicos. Y en abril, el director ejecutivo de TikTok, Shou Zi Chew, dijo que la empresa estaba haciendo [importantes inversiones en IA](https://observer.com/2023/04/tiktok-ceo-shou-zi-chew-increasing-ai-content-moderation /) para abordar sus propios desafíos de moderación.
Tanto Meta como Google han anunciado inversiones en grandes modelos de traducción (aparentemente para aumentar los datos disponibles para el desarrollo de la IA) que utilizan métodos similares de transferencia entre idiomas. En el caso de Google, su modelo de voz universal anunciado en noviembre de 2022 abarcaría el los 1.000 idiomas más hablados del mundo en un solo modelo de traducción.
“Las empresas no pueden resolver el problema de la moderación desigual del contenido poniéndole una curita”, dijo a Rest of World Aliya Bhatia, analista de políticas de CDT y coautora del artículo. "Ya hay personas que comprenden los matices específicos de la comunidad lingüística y lo que está en juego en un conflicto", dijo, recomendando que las empresas de redes sociales trabajen con comunidades lingüísticas e investigadores que ya están preparados para realizar la difícil tarea de digitalizar textos sin depender de materiales deficientes. traducciones automáticas.
Es raro que las grandes empresas tecnológicas entrenen modelos adaptados a lenguajes específicos de bajos recursos, pero algunas nuevas empresas están asumiendo el desafío. Una empresa con sede en Berlín llamada Lesan ha creado el primer servicio general de traducción automática para Tigrinya. Según su cofundador y director de tecnología, Asmelash Teka Hadgu, las empresas de redes sociales deberían adoptar un enfoque similar.
"En el caso de Facebook en particular, está lleno de contenido dañino y odioso en amárico y tigrinya", dijo al resto del mundo. El problema es muy cercano: el propio Hadgu es de Tigray, como muchos en Lesan. equipo. "Los bajos recursos en muchos de los idiomas en los que operamos son en realidad la barrera más importante para las grandes empresas de tecnología u otras que quieran innovar en este espacio".
Lesan está abordando ese cuello de botella recurriendo a recursos fuera de línea, como libros y revistas. La startup se coordinó con comunidades de habla tigrinya para escanear estos textos impresos y crear herramientas de reconocimiento de caracteres personalizadas para convertirlos en un formato legible por máquinas. Desde entonces, Lesan ha utilizado este método de recopilación de datos de base para crear un nuevo [conjunto de datos de referencia] (https://lesan.ai/benchmark) para idiomas en todo el Cuerno de África. La startup ahora se ha asociado con el Distributed AI Research Institute (DAIR) para desarrollar una herramienta de código abierto para identificar los idiomas que se hablan en Etiopía y detectar discursos dañinos en ellos.
Pero a pesar del éxito inicial de nuevas empresas como Lesan, las empresas de tecnología todavía están comprometidas con el enfoque multilingüe, atraídas por la posibilidad de capturar el valor de los idiomas de un mundo en una sola herramienta. “Las empresas de redes sociales argumentan que la solución más escalable es también la mejor. Es un resultado muy conveniente”, afirmó Nicholas. "Lo que funcionará mejor funcionará mejor para cada idioma diferente... y ni siquiera vemos que las empresas de redes sociales lo consideren".