Incidents associés
Plus tôt cette année, Mighty Well, une entreprise de vêtements adaptés qui fabrique des vêtements à la mode pour les personnes handicapées, a fait quelque chose que beaucoup de nouvelles marques font : elle a essayé de placer une publicité pour l'un de ses produits les plus populaires sur Facebook.
Le produit en question était un sweat à capuche gris à fermeture éclair (39,95 $) avec le message : "Je suis immunodéprimé - Donnez-moi de l'espace, s'il vous plaît." Le « immunodéprimé » était dans un rectangle blanc, un peu comme le rouge de Supreme. Il a des critiques élogieuses des clients sur le site Web de l'entreprise
Facebook - ou plutôt le centre de publicité automatisé de Facebook - n'a pas tellement aimé l'annonce.
Il a été rejeté pour avoir enfreint la politique - en particulier, la promotion de "produits et services médicaux et de soins de santé, y compris les dispositifs médicaux", bien qu'il n'inclue aucun de ces produits. Mighty Well a fait appel de la décision et, après un certain délai, la décision a changé.
Cela peut ne pas sembler si grave. Après tout, l'histoire s'est bien terminée.
Mais l'expérience de Mighty Well n'est qu'un exemple d'un modèle qui dure depuis au moins deux ans : les algorithmes qui sont les gardiens du côté commercial de Facebook (ainsi qu'Instagram, qui appartient à Facebook) identifient régulièrement à tort la mode adaptative. produits et les bloquer de leurs plates-formes.
Au moins six autres petites entreprises de vêtements adaptés ont connu les mêmes problèmes que Mighty Well, qui a été fondée il y a quatre ans par Emily Levy et Maria Del Mar Gomez – certaines à un degré encore plus grand. Une marque a traité le problème sur une base hebdomadaire ; un autre a eu des centaines de produits rejetés. Dans chaque cas, la société a dû interjeter appel de chaque cas au cas par cas.
À une époque où l'importance de la représentation est au centre de la conversation culturelle, où les entreprises du monde entier claironnent publiquement leur engagement envers la «diversité, l'équité et l'inclusion» (D.E.I.) et le changement systémique, et où une entreprise technologique comme Facebook est sous un examen plus approfondi de la manière dont ses politiques peuvent façonner la société dans son ensemble, la lutte de la mode adaptative reflète un problème plus vaste : les préjugés implicites intégrés à l'apprentissage automatique et leur impact sur les communautés marginalisées.
"C'est l'histoire inédite des conséquences de la classification dans l'apprentissage automatique", a déclaré Kate Crawford, auteur du prochain livre "Atlas of AI" et présidente invitée d'A.I. et juge de l'École Normale Supérieure de Paris. "Chaque système de classification dans l'apprentissage automatique contient une vision du monde. Chacun d'entre eux.
Et celui-ci, a-t-elle dit, suggère que "l'humain standard" - celui qui peut être intéressé par l'utilisation de la mode et du style comme forme d'expression de soi - n'est pas automatiquement reconnu comme pouvant être un humain handicapé.
"Nous voulons aider les marques de mode adaptative à trouver et à se connecter avec des clients sur Facebook", a envoyé un porte-parole de Facebook par e-mail lorsqu'il a été contacté à propos du problème. "Plusieurs des listes qui nous ont été transmises n'auraient pas dû être signalées par nos systèmes et ont maintenant été restaurées. Nous nous excusons pour cette erreur et nous nous efforçons d'améliorer nos systèmes afin que les marques ne rencontrent pas ces problèmes à l'avenir.
Facebook n'est pas le seul à avoir érigé des barrières à l'entrée pour les entreprises de mode adaptative. TikTok et Amazon font partie des entreprises qui ont rencontré des problèmes similaires. Mais à cause des 2,8 milliards d'utilisateurs de Facebook et à cause de sa position de plate-forme qui représente les communautés, Facebook, qui a récemment publié des publicités dans les journaux, dont celui-ci ainsi que le Washington Post et le Wall Street Journal, se disant « debout up » pour les petites entreprises, est particulièrement important pour les groupes de personnes handicapées et les entreprises qui les desservent. Et Instagram est la plateforme de choix du monde de la mode.
Des vêtements et du contexte
La mode adaptée est un créneau relativement nouveau dans le monde de la mode, même s'il se développe rapidement. Selon les Centers for Disease Control and Prevention, 1 adulte sur 4 aux États-Unis vit avec un handicap, et Coherent Market Insights a prévu que le marché mondial des vêtements adaptés vaudra plus de 392 milliards de dollars d'ici 2026.
Il existe maintenant des marques qui créent des couvertures pour les lignes de cathéter qui ressemblent à des manchons athlétiques ; housses de sac de colostomie et de stomie aux couleurs et motifs vifs ; des sous-vêtements qui s'attachent via des fermetures latérales plutôt que d'avoir à être enfilés sur les jambes ; jeans et pantalons chics conçus pour s'adapter au corps assis avec des coutures non irritantes ; et des chemises boutonnées qui utilisent des fermetures magnétiques au lieu de boutons. Ces conceptions et bien d'autres ont été créées pour se concentrer sur l'individu, pas sur le diagnostic.
Certaines grandes entreprises et détaillants travaillent dans l'espace, notamment Tommy Hilfiger, Nike et Aerie, mais de nombreuses marques au service de la communauté sont de petites entreprises indépendantes, le plus souvent créées par des personnes ayant une expérience personnelle du handicap et axées sur la vente directe au consommateur. Ventes. Ils incluent souvent des designers et des mannequins handicapés, qui apparaissent également dans leurs publicités et leurs vitrines.
Maura Horton est l'une des pionnières des vêtements adaptés. En 2014, elle a créé MagnaReady, un système de boutons magnétiques, après que son mari a appris qu'il avait la maladie de Parkinson. En 2019, elle a vendu son entreprise à Global Brands Group, le géant de la mode qui possède Sean John et Frye. L'année dernière, Mme Horton et GBG ont créé JUNIPERunltd, un hub de contenu, une plateforme de commerce électronique et une communauté axée sur le secteur des personnes handicapées, ainsi que Yarrow, leur propre marque de mode adaptative exclusive. Mme Horton prévoyait de faire de la publicité sur Facebook et Instagram.
Entre novembre et janvier, elle a soumis quatre séries d'annonces comprenant une paire de pantalons Yarrow, une conçue avec une « coupe debout » et mettant en vedette une femme… enfin, debout, et une conçue pour une personne assise et présentant un jeune femme en fauteuil roulant (la coupe change selon la position du corps). À chaque fois, l'annonce permanente a été approuvée et l'annonce pour fauteuil roulant a été rejetée pour non-conformité aux politiques commerciales qui stipulent : "Les annonces ne peuvent pas promouvoir des produits et services médicaux et de soins de santé, y compris des dispositifs médicaux, ou des produits de sevrage tabagique contenant de la nicotine". Dans la « coupe assise », le système se concentrait apparemment sur le fauteuil roulant, et non sur le produit porté par la personne en fauteuil roulant. Mais même après que Mme Horton ait fait appel avec succès du premier rejet, la même chose s'est reproduite. Et encore. Chaque fois, il a fallu environ 10 jours au système pour reconnaître qu'il avait fait une erreur.
"L'automatisation", a déclaré Mme Horton, "ne peut pas vraiment faire D.E.I."
Le problème, a déclaré Mme Crawford, est le contexte. « Qu'est-ce qui ne convient pas au contexte ? Apprentissage automatique. La classification à grande échelle est souvent simpliste et hautement normalisée. Il est très mauvais pour détecter les nuances. Vous avez donc ce contexte humain dynamique, qui est toujours en mouvement, se heurtant au gigantesque mur de la classification codée en dur.
Aucune des entreprises de mode adaptative interrogées pour cet article ne pense que la plate-forme discrimine délibérément les personnes handicapées. Facebook a joué un rôle déterminant dans la création de texte alternatif afin que les utilisateurs malvoyants puissent accéder aux images de la plate-forme. L'entreprise a désigné l'inclusion des personnes handicapées comme "l'une de nos principales priorités". Et pourtant, cette forme particulière de discrimination par négligence, dénoncée publiquement pour la première fois en 2018, n'a apparemment pas encore atteint le niveau de reconnaissance humaine.
Au lieu de cela, l'apprentissage automatique joue un rôle de plus en plus important dans la perpétuation du problème. Selon la porte-parole de Facebook, son intelligence automatisée ne contrôle pas seulement le point d'entrée des produits publicitaires et des magasins. Il contrôle également en grande partie le processus d'appel.
Le dernier d'une histoire de malentendus
Voici comment cela fonctionne : une entreprise crée une annonce ou crée une boutique et la soumet à Facebook pour approbation, un processus automatisé. (S'il s'agit d'une vitrine, les produits peuvent également arriver via un flux, et chacun doit se conformer aux règles de Facebook.) Si le système signale une violation potentielle, l'annonce ou le produit est renvoyé à l'entreprise comme non conforme. Mais le mot précis ou une partie de l'image qui a créé le problème n'est pas identifié, ce qui signifie qu'il appartient à l'entreprise de deviner efficacement où se situe le problème.
L'entreprise peut alors soit faire appel de l'annonce/de la liste telle quelle, soit apporter une modification à l'image ou à la formulation qui, espère-t-elle, respectera les règles de Facebook. Dans les deux cas, la communication est renvoyée via le système automatisé, où elle peut être examinée par un autre système automatisé ou par une personne réelle.
Selon Facebook, il a ajouté des milliers de critiques au cours des dernières années, mais trois millions d'entreprises font de la publicité sur Facebook, dont la majorité sont de petites entreprises. La porte-parole de Facebook n'a pas identifié ce qui déclencherait l'élévation d'un appel à un examinateur humain, ou s'il y avait un processus codifié par lequel cela se produirait. Souvent, les propriétaires de petites entreprises se sentent pris dans une boucle sans fin régie par la machine.
"Le problème auquel nous sommes constamment confrontés, ce sont les canaux de communication", a déclaré Sinéad Burke, une militante de l'inclusivité qui consulte de nombreuses marques et plateformes, dont Juniper. « L'accès doit signifier plus qu'un simple accès numérique. Et nous devons comprendre qui est dans la pièce lorsque ces systèmes sont créés.
La porte-parole de Facebook a déclaré qu'il y avait des employés handicapés dans toute l'entreprise, y compris au niveau de la direction, et qu'il y avait une équipe d'accessibilité qui travaillait sur Facebook pour intégrer l'accessibilité dans le processus de développement de produits. Mais bien qu'il ne fasse aucun doute que les règles régissant la politique des publicités et des magasins créées par Facebook ont été conçues en partie pour protéger leurs communautés contre les fausses allégations médicales et les faux produits, ces règles empêchent également, par inadvertance, certaines de ces mêmes communautés d'accéder aux produits. créé pour eux.
"C'est l'un des problèmes les plus courants que nous rencontrons", a déclaré Tobias Matzner, professeur de médias, d'algorithmes et de société à l'université de Paderborn en Allemagne. "Les algorithmes résolvent le problème de l'efficacité à grande échelle" - en détectant des modèles et en faisant des hypothèses - "mais en faisant cette chose, ils font aussi toutes sortes d'autres choses, comme nuire aux petites entreprises".
En effet, il s'agit simplement du dernier d'une longue histoire de problèmes de plate-forme numérique pour concilier les hypothèses générales exigées par le code avec des situations humaines complexes, a déclaré Jillian C. York, directrice de la liberté d'expression internationale à l'Electronic Frontier Foundation, une organisation à but non lucratif. axé sur les droits numériques. D'autres exemples incluent les controverses passées de Facebook sur l'interdiction des photos d'allaitement comme étant sexuelles, et l'interdiction par Instagram en 2015 des photos du poète Rupi Kaur qui exploraient les tabous de la menstruation. Les deux problèmes ont ensuite été corrigés après un tollé public. La différence maintenant est qu'au lieu du contenu personnel et de la liberté d'expression, la question est devenue celle du discours commercial.
"Nous en avons souvent parlé en termes de contenu utilisateur, et Facebook a été poussé à prendre en compte les différences culturelles", a déclaré Tarleton Gillespie, l'auteur de "Custodians of the Internet". "Mais il est clair que la capacité de s'engager dans le commerce est cruciale pour une communauté, et je ne pense pas qu'ils aient été poussés aussi loin dans ce domaine."
Faire du bruit ou abandonner
C'était le 3 décembre 2018, lorsque Helya Mohammadian, la fondatrice de Slick Chicks, une entreprise qui crée des sous-vêtements adaptés vendus par des entreprises comme Nordstrom et Zappos, a remarqué le problème pour la première fois. Les liens vers son site Web publiés sur Facebook et Instagram renvoyaient les utilisateurs vers une page d'erreur et cette déclaration : "Le lien que vous avez essayé de visiter va à l'encontre des normes de la communauté Facebook", une pratique connue sous le nom de "interdiction de l'ombre".
Les images sur le site présentaient des ambassadeurs de la marque et des clients modélisant le produit, mais pas de manière provocante. Pourtant, l'algorithme semblait avoir par défaut l'hypothèse qu'il examinait le contenu pour adultes.
Mme Mohammadian a commencé à faire appel de la décision via le service client, en envoyant environ un e-mail par jour pendant trois semaines. "Nous en avons probablement envoyé une trentaine", a-t-elle déclaré. Finalement, à la mi-décembre, elle en a eu marre et a lancé une pétition sur change.org intitulée "Rendre les médias sociaux plus inclusifs". Elle a rapidement reçu environ 800 signatures et les interdictions ont été levées.
Cela aurait pu être une coïncidence; Facebook n'a jamais explicitement reconnu la pétition. Mais ses produits n'ont été signalés à nouveau qu'en mars 2020, lorsqu'une photo d'une femme en fauteuil roulant montrant le fonctionnement d'un soutien-gorge a été rejetée pour avoir enfreint la politique de "contenu pour adultes".
Care + Wear, une entreprise adaptative fondée en 2014 qui crée des «vêtements de santé» - chemises d'accès aux ports et couvre-lignes, entre autres produits - a passé des années à être frustrée par la nature irrationnelle du processus de jugement automatisé. Une taille de chemise serait rejetée par Facebook tandis que la même chemise dans une autre taille était acceptée dans le cadre de son flux de boutique. Enfin, en mars de l'année dernière, l'entreprise a eu recours à une agence d'achat de médias externe, en partie parce qu'elle pouvait en fait avoir une personne de Facebook au téléphone.
"Mais si vous êtes une petite entreprise et que vous ne pouvez pas vous le permettre, c'est impossible", a déclaré Jim Lahren, responsable du marketing.
Abilitee Adaptive, qui a été fondée en 2015 et fabriquait jusqu'à la fin de l'année dernière des ceintures de pompe à insuline et des housses de sac de stomie dans des couleurs vives et accrocheuses, a commencé à faire la publicité de ses produits sur Facebook au début de 2020 ; environ la moitié de ceux qu'il a soumis ont été rejetés. La société a essayé de changer la langue des publicités – elle soumettrait à nouveau certains produits cinq fois, avec un libellé différent – mais certains sacs seraient approuvés et d'autres non.
"La réponse a été très vague, ce qui a été frustrant", a déclaré Marta Elena Cortez-Neavel, l'une des fondatrices d'Abilitee. En fin de compte, l'entreprise a cessé d'essayer de faire de la publicité sur Facebook et Instagram. (Par la suite, les fondateurs se sont séparés et Abilitee est en cours de réorganisation.)
Mme Del Mar Gomez de Mighty Well a déclaré qu'elle avait eu des problèmes de langue similaires et qu'à l'occasion, elle devait supprimer tellement de mots clés et de hashtags d'une annonce qu'elle devenait essentiellement impossible à trouver. Lucy Jones, la fondatrice de FFora, une entreprise qui vend des accessoires pour fauteuils roulants comme des tasses et des sacs, a trouvé ses produits bloqués comme étant du « matériel médical ». ("Je les voyais plus comme des tasses de poussette", a-t-elle déclaré.) Comme Mme Cortez-Neavel d'Abilitee, elle a tout simplement abandonné parce qu'elle estimait qu'en tant que petite entreprise, ses ressources étaient mieux utilisées ailleurs.
Alexandra Herold, fondatrice et seule employée à plein temps de Patti + Ricky, une place de marché en ligne, a déclaré que sur environ 1 000 produits de mode adaptatifs des 100 créateurs qu'elle héberge (et souhaitait proposer sur sa boutique Facebook), au moins 200 ont ont été confondus avec du matériel médical, signalés pour des « violations de la politique » et pris dans le processus d'appel. Elle est épuisée par les tentatives constantes de raisonner avec le vide d'un algorithme.
"Comment pouvons-nous éduquer le monde que les vêtements adaptés" - sans parler des personnes qui les portent - "sont un élément fondamental de la mode, alors que je dois constamment pétitionner pour les faire voir?" elle a demandé.