Incidentes Asociados
A principios de este año, Mighty Well, una empresa de ropa adaptada que fabrica ropa de moda para personas con discapacidades, hizo algo que hacen muchas marcas nuevas: intentó colocar un anuncio de uno de sus productos más populares en Facebook.
El producto en cuestión era una sudadera gris con cremallera ($39.95) con el mensaje: “Estoy inmunocomprometido. Por favor, dame espacio”. El "inmunocomprometido" estaba en un rectángulo blanco, como el rojo de Supreme. Tiene críticas favorables de los clientes en el sitio web de la empresa.
A Facebook, o más bien, al centro de publicidad automatizado de Facebook, no le gustó tanto el anuncio.
Fue rechazado por violar la política, específicamente, la promoción de "productos y servicios médicos y de atención de la salud, incluidos los dispositivos médicos", aunque no incluía dichos productos. Mighty Well apeló la decisión y, después de un poco de demora, el fallo cambió.
Esto puede no parecer un gran problema. Después de todo, la historia terminó bien.
Pero la experiencia de Mighty Well es simplemente un ejemplo de un patrón que ha estado ocurriendo durante al menos dos años: los algoritmos que son los guardianes del lado comercial de Facebook (así como Instagram, que es propiedad de Facebook) rutinariamente identifican erróneamente la moda adaptativa. productos y bloquearlos de sus plataformas.
Al menos otras seis pequeñas empresas de ropa adaptada han experimentado los mismos problemas que Mighty Well, que fue fundada hace cuatro años por Emily Levy y Maria Del Mar Gomez, algunas incluso en mayor medida. Una marca ha estado lidiando con el problema semanalmente; otro ha tenido cientos de productos rechazados. En cada caso, la empresa ha tenido que apelar cada caso artículo por artículo.
En un momento en que la importancia de la representación está en el centro de la conversación cultural, cuando las empresas de todo el mundo proclaman públicamente su compromiso con la "diversidad, la equidad y la inclusión" (D.E.I.) y el cambio sistémico, y cuando una empresa de tecnología como Facebook está bajo un escrutinio extra profundo de la forma en que sus políticas pueden dar forma a la sociedad en general, la lucha de la moda adaptativa refleja un problema mayor: los sesgos implícitos incrustados en el aprendizaje automático y la forma en que impactan a las comunidades marginadas.
“Es la historia no contada de las consecuencias de la clasificación en el aprendizaje automático”, dijo Kate Crawford, autora del próximo libro “Atlas of AI” y presidenta visitante en A.I. y juez de la École Normale Supérieure de París. “Cada sistema de clasificación en el aprendizaje automático contiene una visión del mundo. Cada uno.”
Y este, dijo, sugiere que "el humano estándar", uno que puede estar interesado en usar la moda y el estilo como una forma de autoexpresión, no se reconoce automáticamente como posiblemente un ser humano discapacitado.
“Queremos ayudar a las marcas de moda adaptable a encontrar y conectarse con los clientes en Facebook”, envió un correo electrónico una portavoz de Facebook cuando se le contactó sobre el problema. “Varios de los listados que se nos enviaron no deberían haber sido marcados por nuestros sistemas y ahora se han restaurado. Pedimos disculpas por este error y estamos trabajando para mejorar nuestros sistemas para que las marcas no tengan estos problemas en el futuro”.
Facebook no es el único en tener barreras de entrada erigidas por IA para los negocios de moda adaptable. TikTok y Amazon se encuentran entre las empresas que han tenido problemas similares. Pero debido a los 2.800 millones de usuarios de Facebook y debido a su postura como la plataforma que representa a las comunidades, Facebook, que recientemente publicó anuncios en los periódicos, incluidos este, The Washington Post y The Wall Street Journal, diciendo que estaban "de pie". up” para las pequeñas empresas, es particularmente importante para los grupos de personas con discapacidad y las empresas que los atienden. E Instagram es la plataforma preferida del mundo de la moda.
De ropa y contexto
La moda adaptativa es un nicho relativamente nuevo en el mundo de la moda, aunque está creciendo rápidamente. Según los Centros para el Control y la Prevención de Enfermedades, 1 de cada 4 adultos en los Estados Unidos vive con una discapacidad, y Coherent Market Insights ha proyectado que el mercado global de ropa adaptable tendrá un valor de más de $392 mil millones para 2026.
Ahora hay marcas que crean cubiertas para líneas de catéter que parecen mangas deportivas; fundas para bolsas de colostomía y ostomía en colores vivos y estampados; ropa interior que se sujeta a través de cierres laterales en lugar de tener que ponerse sobre las piernas; jeans y pantalones elegantes hechos a la medida para acomodar el cuerpo sentado con costuras que no irritan; y camisas abotonadas que emplean cierres magnéticos en lugar de botones. Estos y muchos otros diseños se crearon para centrarse en el individuo, no en el diagnóstico.
Hay algunas grandes empresas y minoristas que trabajan en el espacio, incluidos Tommy Hilfiger, Nike y Aerie, pero muchas de las marcas que atienden a la comunidad son pequeñas independientes, en su mayoría iniciadas por personas con experiencia personal de discapacidad y enfocadas en productos directos al consumidor. Ventas. A menudo incluyen diseñadores y modelos con discapacidades, que también aparecen en sus anuncios y escaparates.
Maura Horton es una de las pioneras de la ropa adaptable. En 2014, creó MagnaReady, un sistema de botones magnéticos, luego de que su esposo supiera que tenía Parkinson. En 2019, vendió su empresa a Global Brands Group, el gigante de la moda propietario de Sean John y Frye. El año pasado, la Sra. Horton y GBG crearon JUNIPERunltd, un centro de contenido, una plataforma de comercio electrónico y una comunidad centrada en el sector de las personas con discapacidad, así como Yarrow, su propia marca de moda adaptable. La Sra. Horton planeó anunciarse tanto en Facebook como en Instagram.
Entre noviembre y enero, presentó cuatro series de anuncios que incluían un par de pantalones Yarrow, uno diseñado con un "ajuste de pie" y con una mujer... bueno, de pie, y otro diseñado para una persona sentada y con un mujer joven en silla de ruedas (el corte cambia según la posición del cuerpo). Cada vez, el anuncio permanente fue aprobado y el anuncio de silla de ruedas fue rechazado por no cumplir con las políticas comerciales que establecen: "Los listados no pueden promocionar productos y servicios médicos y de atención médica, incluidos dispositivos médicos o productos para dejar de fumar que contengan nicotina". En el "ajuste sentado", el sistema aparentemente se centró en la silla de ruedas, no en el producto que usa la persona en la silla de ruedas. Pero incluso después de que la Sra. Horton apeló con éxito el primer rechazo, volvió a ocurrir lo mismo. Y otra vez. Cada vez, el sistema tardó unos 10 días en reconocer que había cometido un error.
“Automatización”, dijo la Sra. Horton, “realmente no puede hacer DEI”.
El problema, dijo Crawford, es el contexto. “¿Qué no hace bien el contexto? Aprendizaje automático. La clasificación a gran escala suele ser simplista y muy normalizada. Es muy malo para detectar matices. Así que tienes este contexto humano dinámico, que siempre está cambiando, chocando contra el gigantesco muro de la clasificación codificada”.
Ninguna de las empresas de moda adaptada a las que se ha hablado en este artículo cree que la plataforma está discriminando deliberadamente a las personas con discapacidades. Facebook ha sido fundamental en la creación de texto alternativo para que los usuarios con problemas de visión puedan acceder a las imágenes de la plataforma. La compañía ha nombrado la inclusión de la discapacidad como "una de nuestras principales prioridades". Y, sin embargo, esta forma particular de discriminación por negligencia, denunciada públicamente por primera vez en 2018, aparentemente aún no ha alcanzado el nivel de reconocimiento humano.
En cambio, el aprendizaje automático está desempeñando un papel cada vez más importante en la perpetuación del problema. Según la portavoz de Facebook, su inteligencia automatizada no solo controla el punto de entrada al anuncio y los productos de la tienda. También controla en gran medida el proceso de apelación.
Lo último en una historia de malentendidos
Así es como funciona: una empresa hace un anuncio o crea una tienda y lo envía a Facebook para su aprobación, un proceso automatizado. (Si se trata de una tienda, los productos también pueden llegar a través de un feed, y cada uno debe cumplir con las reglas de Facebook). Si el sistema marca una posible infracción, el anuncio o producto se envía a la empresa como no conforme. Pero no se identifica la palabra precisa o parte de la imagen que creó el problema, lo que significa que depende de la empresa adivinar dónde radica el problema.
Luego, la empresa puede apelar el anuncio/la lista tal como está, o hacer un cambio en la imagen o en la redacción que espera cumpla con las reglas de Facebook. De cualquier manera, la comunicación se devuelve a través del sistema automatizado, donde puede ser revisada por otro sistema automatizado o por una persona real.
Según Facebook, ha agregado miles de revisores en los últimos años, pero tres millones de empresas se anuncian en Facebook, la mayoría de las cuales son pequeñas empresas. La portavoz de Facebook no identificó qué provocaría que se elevara una apelación a un revisor humano, o si había un proceso codificado por el cual eso sucedería. A menudo, los propietarios de pequeñas empresas se sienten atrapados en un bucle sin fin controlado por máquinas.
“El problema al que nos enfrentamos son los canales de comunicación”, dijo Sinéad Burke, una activista de la inclusión que consulta con numerosas marcas y plataformas, incluida Juniper. “Acceso debe significar algo más que acceso digital. Y tenemos que entender quién está en la sala cuando se crean estos sistemas”.
La portavoz de Facebook dijo que había empleados con discapacidades en toda la empresa, incluso a nivel ejecutivo, y que había un equipo de Accesibilidad que trabajaba en Facebook para integrar la accesibilidad en el proceso de desarrollo de productos. Pero aunque no hay duda de que las reglas que rigen la política de anuncios y tiendas creadas por Facebook fueron diseñadas en parte para proteger a sus comunidades de afirmaciones médicas falsas y productos falsos, esas reglas también, aunque sin darse cuenta, bloquean el acceso de algunas de esas mismas comunidades a los productos. creado para ellos.
“Este es uno de los problemas más típicos que vemos”, dijo Tobias Matzner, profesor de medios, algoritmos y sociedad en la Universidad de Paderborn en Alemania. “Los algoritmos resuelven el problema de la eficiencia a gran escala”, al detectar patrones y hacer suposiciones, “pero al hacer eso, también hacen todo tipo de cosas, como dañar a las pequeñas empresas”.
De hecho, este es simplemente el último de una larga historia de problemas de las plataformas digitales para reconciliar las suposiciones generales exigidas por el código con situaciones humanas complejas, dijo Jillian C. York, directora de libertad de expresión internacional en Electronic Frontier Foundation, una organización sin fines de lucro. centrado en los derechos digitales. Otros ejemplos incluyen las controversias pasadas de Facebook sobre la prohibición de las imágenes de amamantamiento como sexuales, y la prohibición de Instagram en 2015 de las fotos del poeta Rupi Kaur que exploraban los tabúes de la menstruación. Ambos problemas se corrigieron más tarde después de una protesta pública. La diferencia ahora es que en lugar de contenido personal y libertad de expresión, el tema se ha convertido en un discurso comercial.
“A menudo hemos hablado de esto en términos de contenido del usuario, y se ha presionado a Facebook para que tenga en cuenta las diferencias culturales”, dijo Tarleton Gillespie, autor de “Custodians of the Internet”. “Pero claramente la capacidad de participar en el comercio es crucial para una comunidad, y no creo que hayan sido empujados tan lejos en esa área”.
Haz ruido o ríndete
Fue el 3 de diciembre de 2018, cuando Helya Mohammadian, fundadora de Slick Chicks, una empresa que crea ropa interior adaptable que venden empresas como Nordstrom y Zappos, notó el problema por primera vez. Los enlaces a su sitio web publicados en Facebook e Instagram enviaron a los usuarios a una página de error y esta declaración: "El enlace que intentó visitar va en contra de los estándares de la comunidad de Facebook", una práctica conocida como "prohibición oculta".
Las imágenes del sitio mostraban a embajadores de la marca y clientes modelando el producto, aunque no de forma provocativa. Aún así, el algoritmo parecía haber asumido por defecto que estaba buscando contenido para adultos.
La Sra. Mohammadian comenzó a apelar el fallo a través del servicio de atención al cliente, enviando aproximadamente un correo electrónico al día durante tres semanas. “Probablemente enviamos alrededor de 30”, dijo. Finalmente, a mediados de diciembre, se hartó e inició una petición en change.org titulada “Hacer que las redes sociales sean más inclusivas”. Rápidamente recibió alrededor de 800 firmas y se levantaron las prohibiciones.
Podría haber sido una coincidencia; Facebook nunca reconoció explícitamente la petición. Pero sus productos no volvieron a marcarse hasta marzo de 2020, cuando se rechazó una foto de una mujer en silla de ruedas que mostraba cómo funcionaba un sostén por violar la política de "contenido para adultos".
Care + Wear, una empresa de adaptación fundada en 2014 que crea "ropa de salud" (camisetas de acceso a puertos y cubiertas de línea, entre otros productos) pasó años frustrada por la naturaleza irracional del proceso de juicio automatizado. Facebook rechazaba una talla de camisa, mientras que la misma camisa en otra talla se aceptaba como parte de su feed de tienda. Finalmente, en marzo del año pasado, la empresa recurrió a la contratación de una agencia de compra de medios externa en parte porque en realidad podía conseguir que una persona de Facebook hablara por teléfono.
“Pero si eres una empresa pequeña y no puedes pagar eso, es imposible”, dijo Jim Lahren, jefe de marketing.
Abilitee Adaptive, que se fundó en 2015 y hasta fines del año pasado fabricaba cinturones para bombas de insulina y fundas para bolsas de ostomía en colores brillantes y llamativos, comenzó a anunciar sus productos en Facebook a principios de 2020; aproximadamente la mitad de los que presentó fueron rechazados. La empresa intentó cambiar el idioma de los anuncios: volvería a enviar algunos productos cinco veces, con una redacción diferente, pero algunas bolsas serían aprobadas y otras no.
“La respuesta fue muy vaga, lo cual ha sido frustrante”, dijo Marta Elena Cortez-Neavel, una de las fundadoras de Abilitee. Al final, la empresa dejó de intentar anunciarse en Facebook e Instagram. (Posteriormente, los fundadores se separaron y Abilitee se está reorganizando).
La Sra. Del Mar Gomez de Mighty Well dijo que había tenido problemas similares con el lenguaje y, en ocasiones, tuvo que eliminar tantas palabras clave y hashtags de un anuncio que, en esencia, se volvió imposible de encontrar. Lucy Jones, la fundadora de FFora, una empresa que vende accesorios para sillas de ruedas como vasos y bolsas, descubrió que sus productos estaban bloqueados por ser "equipos médicos". ("Pensé en ellos más como tazas de cochecito", dijo). Al igual que la Sra. Cortez-Neavel de Abilitee, simplemente se dio por vencida porque sintió que, como pequeña empresa, sus recursos se utilizarían mejor en otros lugares.
Alexandra Herold, fundadora y única empleada a tiempo completo de Patti + Ricky, un mercado en línea, dijo que de aproximadamente 1000 productos de moda adaptable de los 100 diseñadores que alberga (y quería ofrecer en su tienda de Facebook), al menos 200 tienen sido confundido con equipo médico, marcado por "violaciones de la política" y atrapado en el proceso de apelación. Está agotada por los constantes intentos de razonar con el vacío de un algoritmo.
“¿Cómo podemos educar al mundo de que la ropa adaptable”, sin mencionar a las personas que la usan, “es una parte fundamental de la moda, cuando tengo que hacer peticiones constantemente para que la vean?”. ella preguntó.