Incidents associés
Ce week-end, l'application de retouche photo Lensa a inondé les réseaux sociaux d'avatars magiques célestes, irisés et inspirés de l'anime. Comme c'est typique dans notre cycle d'actualités Internet milkshake-duck, les arguments expliquant pourquoi l'utilisation de l'application était problématique ont proliféré à une vitesse juste après celle de la prolifération des avatars eux-mêmes.
J'ai déjà entendu des conférences sur les dangers de la façon dont l'utilisation de l'application nous implique dans l'enseignement de l'IA, voler des artistes, et se livrant à des pratiques prédatrices de partage de données. Chaque préoccupation est légitime, mais moins discutées sont les violations les plus sinistres inhérentes à l'application, à savoir la tendance algorithmique à sexualiser les sujets à un degré non seulement inconfortable mais aussi potentiellement dangereux.
Les conditions d'utilisation de Lensa demandent aux utilisateurs de ne soumettre que du contenu approprié contenant "pas de nus" et "pas d'enfants, adultes uniquement". Et pourtant, de nombreux utilisateurs - principalement des femmes - ont remarqué que même lorsqu'ils téléchargent des photos modestes, l'application génère non seulement des nus, mais attribue également à leurs images des caractéristiques sexualisées de manière caricaturale, comme des poses sensuelles et des seins gigantesques. Par exemple, j'ai reçu plusieurs résultats entièrement nus malgré le téléchargement de photos à la tête uniquement. La sexualisation était aussi souvent racialisée : près d'une douzaine de femmes de couleur m'ont dit que Lensa avait blanchi leur peau et anglicisé leurs traits, et une femme d'origine asiatique m'a dit que sur les photos "où je ne parais pas blanche, elles m'ont littéralement donné [ visage ahegao] (https://en.wikipedia.org/wiki/Ahegao). Une autre femme qui a partagé à la fois les images entièrement habillées qu'elle a téléchargées et les résultats seins nus qu'elles ont produits - qu'elle a choisi de modifier avec "quelques emojis pour une petite pudeur parce que omg" - m'a dit : "Honnêtement, je me suis sentie très violée après l'avoir vu."
J'ai l'habitude de me sentir violé par Internet. Ayant été la cible de plusieurs campagnes de harcèlement, j'ai vu mon image manipulée, déformée et diffusée sans mon consentement à plusieurs reprises. Parce que je ne suis pas de face en tant que travailleuse du sexe, la nouveauté de traquer et de faire circuler ma ressemblance est, pour certains, un sport. Parce que les travailleurs du sexe ne sont pas perçus par le grand public comme des êtres humains ou méritant des droits fondamentaux, ce comportement est célébré plutôt que condamné. Parce que le travail du sexe est si souvent présumé être un échec moral plutôt qu'un travail, notre déshumanisation est redondante. Je me suis connectée à Twitter pour voir mon visage photographié sur le corps d'autres femmes, des photos de moi et de clientes dévêtues en séance, et même une fois une recherche de mots comprenant mon visage, des détails personnels et des intérêts de recherche. Je n'ai pas peur de Lensa.
Je suis suffisamment désensibilisé aux horreurs de la technologie pour avoir décidé d'être mon propre rat de laboratoire. J'ai fait quelques expériences : d'abord, uniquement des photos BDSM et de donjon ; ensuite, mes photos les plus féminines sous l'option de genre "masculin" ; plus tard, des selfies de conférences universitaires - qui ont tous produit des seins de taille spectaculaire et une nudité complète.
Je me suis ensuite lancé dans ce que je savais être un voyage à travers l'enfer et j'ai décidé d'utiliser ma ressemblance pour tester l'autre restriction de l'application : "Pas d'enfants, adultes uniquement". (Certains des résultats sont ci-dessous : veuillez noter qu'ils montrent des images sexualisées d'enfants.)
J'ai peu de photos de moi depuis mon enfance. Jusqu'à la fin de mon adolescence et entre mes cheveux indisciplinés, mes dents inégales et les verres à double foyer que j'ai commencé à porter à l'âge de sept ans, mon apparence pouvait le plus généreusement être décrite comme "souris". J'ai aussi grandi avant l'avènement du smartphone, et toutes les autres photos sont probablement enterrées dans les albums photo de parents éloignés. Mais j'ai réussi à rassembler les 10 photos minimales requises pour exécuter l'application et j'ai attendu de voir comment cela m'a transformé de six ans maladroit en princesse féerique.
Les résultats étaient horribles.
Dans certains cas, l'IA a semblé reconnaître le corps de mon enfant et a heureusement négligé d'ajouter des seins. Ce n'était probablement pas le reflet de l'éthique personnelle de la technologie, mais des modèles qu'elle a identifiés sur ma photo ; peut-être percevait-il ma poitrine plate comme étant celle d'un homme adulte. Sur d'autres photos, l'IA a attaché des orbes à ma poitrine qui étaient distinctes des vêtements mais aussi différentes des photos nues que mes autres tests avaient produites.
J'ai réessayé, cette fois avec un mélange de photos d'enfance et de selfies. Il en a résulté des photos entièrement nues d'un visage adolescent et parfois enfantin mais d'un corps nettement adulte. Semblable à mes tests précédents qui généraient des regards et des poses séduisants, cet ensemble produisait une sorte de timidité : un dos nu, des cheveux ébouriffés, un avatar avec mon visage d'enfant tenant une feuille entre ses seins nus d'adulte. Beaucoup rappelaient étrangement la séance photo de Miley Cyrus en 2008 avec Annie Leibovitz pour Vanity Fair, qui mettait en vedette Cyrus, 15 ans, tenant un satin drap autour de son corps nu. Ce qui était troublant dans l'image à l'époque, c'était l'appariement de son visage sans maquillage, presque chérubin, avec le corps de quelqu'un supposé avoir eu des relations sexuelles.
C'est Cyrus dont la réputation a souffert, pas celle du magazine ou du photographe Leibovitz, alors âgé de 58 ans, lorsque Vanity Fair a publié la série de photos. La sexualisation et l'exploitation des enfants, et en particulier des filles, sont si insidieuses qu'elles se naturalisent. La défense de Cyrus de la séance photo, qu'elle a qualifiée de "vraiment artistique" et non "d'une manière skanky" dans son interview, était encore plus aberrante que les photos elles-mêmes.
Bien que les photos de Cyrus n'aient pas été générées artificiellement, leurs échos dans mes propres avatars Lensa - Lensa, après tout, est censé vous fournir des avatars flatteurs - suggèrent que, malgré le dégoût collectif du grand public pour la photo nue de Cyrus, les images de jeunes , les filles blanches nues correspondent à des concepts culturels plus larges de la beauté. Comme l'ont établi des chercheurs comme Ruha Benjamin et Safiya Noble, les algorithmes d'apprentissage automatique reproduisent les préjugés culturels des ingénieurs qui les codent et des consommateurs qui les utilisent comme produits. Les préjugés des utilisateurs, y compris les normes de beauté occidentales, ont un impact sur le développement des algorithmes. Et en ce qui concerne la beauté, dans son livre Algorithms of Oppression de 2018, Noble fournit une capture d'écran d'une recherche Google Images de 2014 pour "belle" en tant qu'air du temps technoculturel : les résultats présentent en grande partie des images hautement sexualisées de femmes blanches.
Mais la beauté n'est qu'une métrique en jeu. Comme Bethany Biron l'a écrit pour Business Insider, les résultats de Lensa penchent souvent vers l'horreur aussi. Biron décrit certains de ses propres avatars contenant des visages en fusion et des membres multiples comme "l'étoffe des cauchemars".
Une controverse concomitante dans l'art de l'IA est celle de Loab, une femme générée par l'IA découverte par le musicien suédois et artiste de l'IA Supercomposite. Les fonctionnalités de Loab inspirent inexplicablement des images grotesques et macabres lorsqu'elles sont entrées dans un générateur d'art AI encore non divulgué. Au pire, selon Supercomposite, le "croisement" de Loab avec d'autres images produit "des images de tabac à priser à la limite d'enfants démembrés et hurlants".
La violence graphique de Loab et de ses dérivés rappelle les premiers jours d'un Internet non modéré de sites de choc portant des décapitations et de la pornographie. Ces images, basées sur des choix de modération antérieurs et des données de formation en apprentissage automatique, n'ont ni l'agence ni le jugement d'artistes ou d'ingénieurs en logiciel. Ils identifient simplement des modèles. Et contrairement au contenu généré par les utilisateurs soumis à modération ou aux données utilisées pour développer ces technologies, le contenu généré par l'IA se présente entièrement non filtré.
Pour Lensa, qui s'efforce d'"embellir" (c'est-à-dire de blanchir et de sexualiser) le contenu soumis par les utilisateurs, le manque de modération menace également de déclencher un torrent de contenu tout aussi horrifiant - dans ce cas, du matériel d'exploitation sexuelle d'enfants (CSEM). Au cours des 30 dernières années, les efforts visant à lutter contre la maltraitance des enfants et la traite des êtres humains se sont développés parallèlement à Internet. La modération de contenu pour le CSEM, par exemple, est devenue soumise à diverses lois et réglementations, y compris un mandat de signaler tous les CSEM au National Center for Missing and Exploited Children (NCMEC). Le NCMEC gère ensuite une base de données pour développer des outils comme PhotoDNA, un outil soutenu par Microsoft utilisé par de grandes entreprises technologiques comme Meta et Twitter pour identifier le CSEM. Mais les générateurs d'art IA échappent complètement à la modération du contenu.
Je n'étais pas une enfant conventionnellement attirante, comme beaucoup de mes résultats l'ont reflété, mais je soupçonne que les filles avec des caractéristiques plus susceptibles d'être sexualisées par l'IA - en particulier les filles noires, qui sont régulièrement perçues comme des femmes adultes - trouveraient des exemples encore plus troublants de ce que est essentiellement le CSEM deepfake. Les enfants qui utilisent l'application peuvent voir leur corps hypersexualisé et se sentir violés, comme le font déjà de nombreux utilisateurs adultes de Lensa, ou ils peuvent militariser l'application pour harceler sexuellement leurs pairs.
Sans aucune modération ni surveillance, le potentiel de violence générée par l'IA inhérent aux "avatars magiques" est stupéfiant. Lensa ne semble pas appliquer ses politiques interdisant la nudité et les mineurs, et il n'a aucune politique stipulant que les utilisateurs ne peuvent télécharger que des images d'eux-mêmes. (Ses seules spécifications pertinentes sont "la même personne sur toutes les photos" et "aucune autre personne sur la photo".) Comme la plupart des autres "innovations" technologiques, l'utilisation abusive de Lensa nuira le plus gravement à ceux qui sont déjà à risque : les enfants, les femmes de couleur et travailleuses du sexe.
Alors que les artistes craignent que les générateurs d'art IA ne deviennent une alternative bon marché pour leur travail, les applications qui génèrent des images sexuellement explicites pourraient potentiellement avoir un impact sur les créateurs de contenu pour adultes. Et parce que le travail du sexe et en particulier le contenu pour adultes sont souvent confondus avec le CSEM, je m'inquiète de la possibilité que ces violations, comme le font souvent de telles controverses, deviennent en quelque sorte le problème des travailleuses du sexe. Après tout, la fréquence des nus indésirables générés par une application basée sur des algorithmes d'apprentissage automatique indique que les utilisateurs ont téléchargé des photos explicites sur Lensa, malgré ses conditions de service, à un volume suffisamment élevé pour que la nudité s'installe dans la technologie. Que ce soit le résultat de l'édition de leur contenu par les travailleuses du sexe, de l'amélioration de leurs propres nus par des civils ou de l'alimentation d'autres personnes par du porno de vengeance dans l'application n'est pas pertinent. Comme pour la controverse Vanity Fair de Cyrus, le blâme pour le regard sexualisé de Lensa tombera sur la tête des plus vulnérables.
Les menaces matérielles du CSEM et des deepfakes ne peuvent pas être dissociées de la phobie de la putain qui entraîne le [licenciement des enseignants](https://www.dailyrecord.co.uk/news/scottish-news/teacher-glasgow-only-fans -leak-28623167) lorsque leurs élèves découvrent leurs OnlyFans. Les étudiants et collègues des travailleurs du sexe qui consomment du contenu pour adultes sont rarement, voire jamais, sanctionnés pour avoir harcelé sexuellement leurs collègues travailleurs du sexe. Il n'y a aucune raison de croire que la pornographie générée par l'IA serait traitée différemment. Et lorsque la pornographie générée par l'IA est utilisée pour nuire aux gens, ce sont les travailleuses du sexe qui seront blâmées pour avoir soumis du contenu pour adultes qui a formé l'IA, même si les images n'ont jamais été destinées à être récupérées et utilisées de cette manière. Que vous soyez une travailleuse du sexe ou simplement perçue comme telle, la stigmatisation est la même. Et contrairement à OnlyFans et à d'autres plates-formes qui monétisent le contenu pour adultes, aucune de ces applications de réglage du visage ne vérifie si les utilisateurs possèdent réellement le contenu qu'ils soumettent.
Cette histoire d'horreur que je viens de raconter semble trop dystopique pour être une véritable menace. Mais comme je l'ai également appris à travers ma propre porte tournante sans fin de cyberharceleurs, aucune preuve exonérante n'est suffisante pour réprimer une campagne de harcèlement. Le harcèlement coordonné est déjà incroyablement efficace pour faire taire les voix marginalisées, en particulier celles des travailleuses du sexe, queer people, et Femmes noires—sans revenge porn généré par l'IA. Et même si la technologie n'est peut-être pas assez sophistiquée pour produire des deepfakes convaincants maintenant, elle le sera bientôt. "Vos photos seront utilisées pour entraîner l'IA qui créera des avatars magiques pour vous", et pour seulement 3,99 $ pièce.