Vous avez peut-être vu récemment des images étranges et fantaisistes sur Internet. Il y a un chien Shiba Inu portant un béret et un col roulé noir. Et une loutre de mer dans le style de "La jeune fille à la perle" du peintre néerlandais Vermeer. Et un bol de soupe qui ressemble à un monstre tricoté en laine.
Ces images n'ont été dessinées par aucun illustrateur humain. Au lieu de cela, ils ont été créés par DALL-E 2, un nouveau système d'IA capable de transformer des descriptions textuelles en images. Écrivez simplement ce que vous voulez voir, et l'IA le dessine pour vous - avec des détails saisissants, une haute résolution et, sans doute, une réelle créativité.
Sam Altman, PDG d'OpenAI - la société qui a créé DALL-E 2 - l'a qualifié de "la chose la plus agréable à jouer avec laquelle nous ayons créé jusqu'à présent... et amusante d'une manière que je n'ai pas ressentie de la part de la technologie depuis un moment. ”
C'est tout à fait vrai : DALL-E 2 est délicieux et amusant ! Mais comme beaucoup de choses amusantes, c'est aussi très risqué.
Il y a des risques évidents - que les gens puissent utiliser ce type d'IA pour tout faire, de la pornographie aux deepfakes politiques, ou la possibilité que cela finisse par mettre certains illustrateurs humains au chômage. Mais il y a aussi le risque que DALL-E 2 - comme tant d'autres systèmes d'IA de pointe - renforce les stéréotypes et les préjugés nuisibles et, ce faisant, accentue certains de nos problèmes sociaux.
Comment DALL-E 2 renforce les stéréotypes — et que faire à ce sujet
Comme c'est généralement le cas pour les systèmes d'IA, DALL-E 2 a hérité des biais du corpus de données utilisé pour l'entraîner : des millions d'images récupérées sur Internet et leurs légendes correspondantes. Cela signifie que pour toutes les images délicieuses que DALL-E 2 a produites, il est également capable de générer beaucoup d'images qui ne sont pas délicieuses.
Par exemple, voici ce que l'IA vous donne si vous lui demandez une image d'avocats :
En attendant, voici la sortie de l'IA lorsque vous demandez un agent de bord :
OpenAI est bien conscient que DALL-E 2 génère des résultats présentant des préjugés sexistes et raciaux. En fait, les exemples ci-dessus proviennent du document «Risques et limitations» de la société, que vous trouverez si vous faites défiler vers le bas de la page Web principale de DALL-E 2.
Les chercheurs d'OpenAI ont fait quelques tentatives pour résoudre les problèmes de biais et d'équité. Mais ils ne pouvaient pas vraiment résoudre ces problèmes de manière efficace, car différentes solutions entraînent différents compromis.
Par exemple, les chercheurs voulaient filtrer le contenu sexuel des données de formation car cela pourrait entraîner un préjudice disproportionné pour les femmes. Mais ils ont constaté que lorsqu'ils essayaient de filtrer cela, DALL-E 2 générait moins d'images de femmes en général. Ce n'est pas bon, car cela conduit à un autre type de préjudice pour les femmes : l'effacement.
OpenAI est loin d'être la seule société d'intelligence artificielle à faire face à des problèmes de biais et à des compromis. C'est un défi pour toute la communauté de l'IA.
"Le biais est un énorme problème à l'échelle de l'industrie auquel personne n'a de réponse efficace et infaillible", m'a dit Miles Brundage, responsable de la recherche sur les politiques chez OpenAI. "Donc, une grande partie du travail en ce moment consiste simplement à être transparent et franc avec les utilisateurs sur les limitations restantes."
Pourquoi publier un modèle d'IA biaisé ?
En février, avant la sortie de DALL-E 2, OpenAI a invité 23 chercheurs externes à l'«équipe rouge» - en termes d'ingénierie pour essayer de trouver autant de failles et de vulnérabilités que possible, afin que le système puisse être amélioré. L'une des principales suggestions de l'équipe rouge était de limiter la version initiale aux seuls utilisateurs de confiance.
À son crédit, OpenAI a adopté cette suggestion. Pour l'instant, seules environ 400 personnes (un mélange d'employés et de membres du conseil d'administration d'OpenAI, ainsi que d'universitaires et de créatifs triés sur le volet) peuvent utiliser DALL-E 2, et uniquement à des fins non commerciales.
C'est un changement par rapport à la façon dont OpenAI a choisi de déployer GPT-3, un générateur de texte salué pour son potentiel à améliorer notre créativité. Étant donné une phrase ou deux écrites par un humain, il peut ajouter plus de phrases qui ressemblent étrangement à des humains. Mais il fait preuve de préjugés contre certains groupes, comme les musulmans, qu'il associe de manière disproportionnée à la violence et au terrorisme. OpenAI était au courant des problèmes de biais, mais a quand même communiqué le modèle à un groupe limité de développeurs et d'entreprises approuvés, qui pourraient utiliser GPT-3 à des fins commerciales.
L'année dernière, j'ai demandé à Sandhini Agarwal, chercheur au sein de l'équipe politique d'OpenAI, s'il était logique que GPT-3 soit sondé par des chercheurs pour ses biais alors même qu'il était diffusé à certains acteurs commerciaux. Elle a dit qu'à l'avenir, "C'est une bonne chose à laquelle nous devons réfléchir. Vous avez raison de dire que, jusqu'à présent, notre stratégie a été de faire en sorte que cela se produise en parallèle. Et peut-être que cela devrait changer pour les futurs modèles.
Le fait que l'approche de déploiement ait changé pour DALL-E 2 semble être une étape positive. Pourtant, comme le reconnaît le document « Risques et limites » de DALL-E 2, « même si l'aperçu lui-même n'est pas directement nuisible, sa démonstration du potentiel de cette technologie pourrait motiver divers acteurs à accroître leurs investissements dans les technologies et les tactiques connexes ».
Et vous devez vous demander : cette accélération est-elle une bonne chose, à ce stade ? Voulons-nous vraiment construire et lancer ces modèles maintenant, sachant que cela peut inciter les autres à publier leurs versions encore plus rapidement ?
Certains experts affirment que puisque nous savons qu'il y a des problèmes avec les modèles et que nous ne savons pas comment les résoudre, nous devrions donner à la recherche éthique sur l'IA le temps de rattraper les progrès et de résoudre certains des problèmes, avant de continuer à construire et à publier Nouvelle technologie.
Helen Ngo, chercheuse affiliée au Stanford Institute for Human-Centered AI, dit que nous avons désespérément besoin de mesures standard pour les biais. Un peu de travail a été fait pour mesurer, par exemple, la probabilité que certains attributs soient associés à certains groupes. "Mais c'est super sous-étudié", a déclaré Ngo. "Nous n'avons pas encore vraiment établi de standards ou de normes de l'industrie sur la façon de mesurer ces problèmes" - sans parler de les résoudre.
Brundage d'OpenAI m'a dit que laisser un groupe limité d'utilisateurs jouer avec un modèle d'IA permet aux chercheurs d'en savoir plus sur les problèmes qui surgiraient dans le monde réel. "Il y a beaucoup de choses que vous ne pouvez pas prévoir, il est donc précieux d'entrer en contact avec la réalité", a-t-il déclaré.
C'est assez vrai, mais comme nous connaissons déjà bon nombre des problèmes qui se posent à plusieurs reprises dans l'IA, il n'est pas clair que ce soit une justification suffisamment forte pour lancer le modèle maintenant, même de manière limitée.
Le problème des incitations mal alignées dans l'industrie de l'IA
Brundage a également noté une autre motivation chez OpenAI : la compétition. "Certains des chercheurs en interne étaient ravis de diffuser cela dans le monde parce qu'ils voyaient que d'autres rattrapaient leur retard", a-t-il déclaré.
Cet esprit de compétition est une impulsion naturelle pour toute personne impliquée dans la création de technologies transformatrices. Il faut également s'y attendre dans toute organisation qui vise à faire du profit. Être le premier à sortir de la porte est récompensé, et ceux qui terminent deuxièmes sont rarement rappelés dans la Silicon Valley.
Comme l'a dit l'équipe d'Anthropic, une société de sécurité et de recherche sur l'IA, dans un article récent, "Les incitations économiques à construire de tels modèles, et les incitations de prestige à les annoncer, sont assez fortes."
Mais il est facile de voir comment ces incitations peuvent être mal alignées pour produire une IA qui profite vraiment à toute l'humanité. Plutôt que de supposer que d'autres acteurs créeront et déploieront inévitablement ces modèles, il ne sert donc à rien d'attendre, nous devrions nous poser la question : comment pouvons-nous réellement changer la structure incitative sous-jacente qui anime tous les acteurs ?
L'équipe d'Anthropic propose plusieurs idées. L'une de leurs observations est qu'au cours des dernières années, une grande partie des recherches les plus éclatantes sur l'IA ont migré du milieu universitaire vers l'industrie. Pour mener des expériences d'IA à grande échelle de nos jours, vous avez besoin d'une tonne de puissance de calcul - plus de 300 000 fois ce dont vous aviez besoin il y a dix ans - ainsi que des meilleurs talents techniques. C'est à la fois cher et rare, et le coût qui en résulte est souvent prohibitif dans un cadre universitaire.
Une solution serait donc de donner plus de moyens aux chercheurs universitaires ; comme ils n'ont pas d'incitation financière à déployer commercialement leurs modèles rapidement de la même manière que les chercheurs de l'industrie, ils peuvent servir de contrepoids. Plus précisément, les pays pourraient développer des nuages de recherche nationaux pour donner aux universitaires un accès à une puissance de calcul gratuite, ou du moins bon marché; il en existe déjà un exemple à Calcul Canada, qui coordonne l'accès à de puissantes ressources informatiques pour les chercheurs canadiens.
L'équipe d'Anthropic recommande également d'explorer une réglementation qui modifierait les incitations. « Pour ce faire », écrivent-ils, « il y aura une combinaison de réglementation douce (par exemple, la création de meilleures pratiques volontaires par l'industrie, le milieu universitaire, la société civile et le gouvernement) et une réglementation dure (par exemple, le transfert de ces meilleures pratiques dans normes et législation).
Bien que certaines bonnes nouvelles normes aient été adoptées volontairement au sein de la communauté de l'IA ces dernières années - comme la publication de «cartes modèles», qui documentent les risques d'un modèle, comme OpenAI l'a fait pour DALL-E 2 - la communauté n'a pas encore créé de normes reproductibles qui rendent il est clair comment les développeurs doivent mesurer et atténuer ces risques.
"Ce manque de normes rend à la fois plus difficile le déploiement de systèmes, car les développeurs peuvent avoir besoin de déterminer leurs propres politiques de déploiement, et cela rend également les déploiements intrinsèquement risqués, car il y a moins de connaissances partagées sur ce à quoi ressemblent les déploiements" sûrs "", a déclaré le L'équipe d'Anthropic écrit. "Nous construisons, en un sens, l'avion au moment où il décolle."