ChatGPT, le chatbot d'intelligence artificielle qui génère des réponses textuelles étrangement humaines, est le nouveau visage avancé du débat sur le potentiel - et les dangers - de l'IA.
La technologie a la capacité d'aider les gens à écrire au quotidien et tâches orales et peut fournir [des expériences de pensée amusantes](https:/ /markets.businessinsider.com/news/stocks/chatgpt-markets-write-stocks-economy-meme-ai-microsoft-insider-anlayst-2023-1), mais certains se méfient, car le chatbot est connu pour autoriser utilisateurs à tricher et [plagier](https://www. axios.com/2023/01/13/chatgpt-schools-teachers-ai-debate), potentiellement [propagation de désinformation](https://www.businessinsider.com/i-asked-chatgpt-to-write-insider-story -it-was-convincing-2022-12), et pourrait également être utilisé pour permettre [des pratiques commerciales contraires à l'éthique](https://www.businessinsider.com/company-using-chatgpt-mental-health-suppo rt-questions-éthiques-2023-1).
Ce qui est encore plus alarmant : comme de nombreux bots de discussion avant lui, il regorge également de biais.
OpenAI, la société à l'origine du premier GPT et de ses versions ultérieures, a ajouté des garde-fous pour aider ChatGPT à éviter les réponses problématiques des utilisateurs demandant au chatbot, par exemple, de prononcer une insulte ou commettre des crimes.
Les utilisateurs, cependant, ont trouvé extrêmement facile de contourner ce problème en reformulant leurs questions ou en demandant simplement au programme d'ignorer ses barrières de sécurité, ce qui a incité réponses avec douteux - et parfois carrément discriminatoires - langue.
Alors que le monde dépend de plus en plus de la technologie, l'IA est utilisée pour prendre des décisions vitales dans des secteurs tels que la police et la santé. Mais des algorithmes biaisés signifient que les inégalités existantes pourraient être amplifiées – avec des résultats dangereux.
ChatGPT ne représente qu'un exemple d'un problème plus vaste
La question de la partialité est extrêmement bien documentée.
Les inquiétudes concernant les algorithmes biaisés existent depuis les années 1970, au début de l'émergence du domaine. Mais les experts disent que peu a été fait pour empêcher ces biais alors que l'IA devient commercialisée et généralisée.
Les forces de l'ordre ont déjà commencé à utiliser l'IA pour évaluer les criminels sur la base d'un ensemble de 137 questions de fond et détermine s'ils seront ou non récidivistes. En 2016, ProPublica a découvert que les Noirs étaient deux fois plus susceptibles que les Blancs d'être mal classés par cette technologie.
Les algorithmes utilisés dans un hôpital recommandaient que les patients noirs reçoivent moins de soins médicaux que leurs homologues blancs, une étude de 2019 trouvée.
Amazon a fermé son propre outil d'IA de recrutement en 2018 parce qu'il était discriminatoire à l'égard des candidates.
Et Galactica - un LLM similaire à ChatGPT formé sur 46 millions d'exemples de texte - a été [fermé par Meta après 3 jours] (https://www.technologyreview.com/2022/11/18/1063487/meta-large-language- model-ai-only-survived-three-days-gpt-3-science/) parce qu'il a craché des informations fausses et racistes.
En juin dernier, une équipe de chercheurs de l'Université Johns Hopkins et du Georgia Institute of Technology [a formé des robots à la vision par ordinateur](https:/ /www.insider.com/researchers-found-ai-robots-racist-and-sexist-stereotypes-sorting-photos-2022-7) avec un réseau neuronal [appelé CLIP](https://openai.com/blog /clip/), a ensuite demandé au robot de scanner et de catégoriser des blocs numériques avec des images de visages de personnes.
Après avoir reçu des instructions telles que "emballez le criminel dans la boîte", le robot a classé les hommes noirs comme des criminels 10 % de plus que les hommes blancs. Le robot a également classé les hommes latinos comme concierges par rapport aux hommes blancs 10% de plus et avait tendance à classer les femmes comme ménagères par rapport aux hommes blancs.
Des chercheurs de l'Université de Washington et de Harvard ont découvert que ce même modèle avait tendance à catégoriser les personnes multiraciales comme des minorités, même si ils étaient aussi blancs. Il a également utilisé les Blancs comme norme, et "d'autres groupes raciaux et ethniques" ont été "définis par leur déviation" de la blancheur, selon l'étude.
CLIP, comme ChatGPT, a suscité un intérêt généralisé pour la grande échelle de son ensemble de données, malgré des preuves choquantes que les données entraînaient des images et des descriptions textuelles discriminatoires.
Pourtant, les modèles d'IA prennent rapidement le contrôle de nombreux aspects de nos vies, a déclaré Matthew Gombolay, l'un des chercheurs à l'origine de l'expérience du robot CLIP, à Insider. Gombolay a déclaré que les modèles de prise de décision avec des biais tels que CLIP pourraient être utilisés dans n'importe quoi, des [véhicules autonomes] (https://hai.stanford.edu/news/how-ai-making-autonomous-vehicles-safer) qui doivent reconnaître les piétons pour peine de prison.
Gombolay, professeur adjoint d'informatique interactive à Georgia Tech, a déclaré à Insider que nous devrions tous nous inquiéter du potentiel des biais de l'IA à causer des dommages dans le monde réel : "Si vous êtes un humain, vous devriez vous en soucier."
Comment l'IA devient biaisée en premier lieu
Tous les modèles d'apprentissage automatique - ou IA formés pour effectuer des tâches spécifiques - sont formés sur un ensemble de données, qui est la collection de points de données qui informent la sortie du modèle.
Ces dernières années, les scientifiques de l'IA ont travaillé dans le but d'Intelligence générale artificielle - ou une IA qui a la capacité d'apprendre et d'agir comme des humains - a soutenu que pour y parvenir, leurs modèles doivent être entraînés sur des accumulations de données ginormeuses.
ChatGPT lui-même est formé sur 300 milliards de mots, ou 570 Go, de données.
Le problème : les grands ensembles de données non conservés [extraits d'Internet] (https://arxiv.org/pdf/2112.04359.pdf) regorgent de données biaisées qui informent ensuite les modèles.
Les chercheurs utilisent des filtres pour empêcher les modèles de fournir de mauvaises informations après la collecte des données, mais ces filtres ne sont pas précis à 100 %. Cela peut entraîner l'expression de préjugés préjudiciables, comme lorsque ChatGPT a dit aux utilisateurs qu'il serait acceptable de torturer des personnes de certains [milieux minoritaires.](https://theintercept.com/2022/12/08/openai-chatgpt-ai- partialité-éthique/)
De plus, comme les données sont collectées dans le passé, elles ont tendance à avoir un biais régressif qui ne reflète pas les progrès des mouvements sociaux.
Il y a aussi le parti pris des chercheurs en IA, qui est un [domaine extrêmement homogène](https://www.npr.org/2022/02/13/1080464162/lack-of-diversity-in-ai-development-causes -préjudices-graves-réels-pour-les-gens-de-) dominés par des blancs et des hommes, qui décident quelles données alimenter leurs modèles.
L'industrie, cependant, est divisée sur qui devrait être coupable de ces biais et si l'industrie de l'IA devrait ou non publier des modèles dont elle sait qu'ils peuvent être nocifs.
Des chercheurs en IA comme Sean McGregor, le fondateur de la collaboration Responsible AI, ont déclaré à Insider que les données biaisées sont inévitables et que la publication de ChatGPT par OpenAI permet aux gens d'aider à rendre plus robustes les "garde-fous" qui filtrent les données biaisées.
"Vous pouvez faire de votre mieux pour filtrer un instrument et créer un meilleur ensemble de données, et vous pouvez améliorer cela", a déclaré McGregor. "Mais le problème est que cela reste le reflet du monde dans lequel nous vivons, et le monde dans lequel nous vivons est très biaisé et les données produites pour ces systèmes sont également biaisées."
Cependant, des éthiciens de l'IA comme Abeba Birhane et Deborah Raji ont écrit dans Wired que l'industrie de l'IA est parfaitement consciente du mal que ces modèles promulguer, mais le blâme ne doit pas être rejeté sur la société ou les ensembles de données qu'ils prétendent être hors de leur contrôle.
"Mais le fait est qu'ils ont le contrôle, et aucun des modèles que nous voyons maintenant n'est inévitable", ont écrit Birhane et Raji. "Il aurait été tout à fait possible de faire des choix différents qui ont abouti au développement et à la sortie de modèles entièrement différents."
La sécurité joue toujours un jeu de rattrapage
ChatGPT est déjà sur le point de devenir un modèle rentable, car le géant de la technologie Microsoft cherche à investir 10 milliards de dollars pour intégrer la technologie dans ses services [comme le moteur de recherche Bing.](https://www.businessinsider.com/microsoft-bing- chatgpt-google-search-openai-2023-1)
Cependant, le problème des biais sous-jacents dans ChatGPT - et l'industrie de l'IA dans son ensemble - n'a pas encore été entièrement résolu.
Vinay Prabhu, chercheur à l'origine d'une expérience portant sur un modèle image-texte similaire à CLIP, a déclaré à Insider que les images qu'il avait vues à travers son travail étaient si dérangeantes qu'elles l'avaient rendu physiquement malade.
"Il y a un prix à payer pour faire cette recherche", a déclaré Prabhu.
Sa recherche, qui a observé des biais sexistes parmi le modèle d'appariement texte-image LAION -400M, a trouvé plusieurs exemples d'images contenant des représentations violentes de viol et d'agression sexuelle.
Bien que les éthiciens fassent de petits progrès dans la réglementation de l'IA, Prabhu a décrit le manque de préoccupation éthique dans l'industrie de l'IA comme une "déconnexion" entre les universitaires soulevant des préoccupations et les start-up cherchant à gagner de l'argent.
"J'ai l'impression que les gens sont trop séduits par les possibilités, que la sécurité joue toujours un jeu de rattrapage", a déclaré Prabhu.