Incidents associés
Lorsque l'entrepreneur technologique David Heinmeier Hansson s'est récemment adressé à Twitter en disant que la carte Apple lui accordait une limite de crédit 20 fois plus élevée que celle de sa femme, malgré le fait qu'elle avait un pointage de crédit plus élevé, c'était peut-être le premier titre majeur sur l'algorithme biais que vous lisez dans votre vie de tous les jours. Ce n'était pas le premier - il y a eu des histoires majeures sur les biais algorithmiques potentiels dans la garde d'enfants et l'assurance - et ce ne sera pas le dernier.
Directeur de la technologie de la société de logiciels de gestion de projet Basecamp, Heinmeier n'était pas la seule personnalité technique à parler des biais algorithmiques et de la carte Apple. En fait, le propre co-fondateur d'Apple, Steve Wozniak [a eu une expérience similaire](https://www.cnbc.com/2019/11/14/apple-card-algo-affair-and-the-future-of-ai -dans-votre-vie-quotidienne.html#). La candidate présidentielle Elizabeth Warren a même participé à l'action, dénigrer Apple et Goldman, et les régulateurs ont déclaré qu'ils [lancent une sonde] (https://www.cnbc.com/2019/11/11/regulator-probing-goldmans-apple-card-no-room-for-bias- in-algorithms.html).
Goldman Sachs, qui administre la carte pour Apple, a nié les allégations de préjugés sexistes, et a également déclaré qu'il [examinerait les évaluations de crédit] (https://www.cnbc.com/2019/11/11/goldman-sachs-to-reevaluate-apple-card-credit-limits-after-bias -claim.html) au cas par cas lorsque les demandeurs estiment que la détermination de la carte est injuste.
Le porte-parole de Goldman, Patrick Lenihan, a déclaré que le biais algorithmique est un problème important, mais que la carte Apple n'en est pas un exemple. "Goldman Sachs n'a pas pris et ne prendra jamais de décisions basées sur des facteurs tels que le sexe, la race, l'âge, l'orientation sexuelle ou tout autre facteur légalement interdit lors de la détermination de la solvabilité. Il n'y a pas de" boîte noire "", a-t-il déclaré, faisant souvent référence à un terme. utilisé pour décrire les algorithmes. "Pour les décisions de crédit que nous prenons, nous pouvons identifier les facteurs du rapport de solvabilité émis par un individu ou le revenu déclaré qui contribuent au résultat. Nous accueillons favorablement une discussion sur ce sujet avec les décideurs et les régulateurs."
Alors que l'IA et les algorithmes qui sous-tendent la technologie deviennent une partie de plus en plus importante de la vie quotidienne, il est important d'en savoir plus sur la technologie. L'une des principales affirmations des entreprises technologiques utilisant des algorithmes dans des décisions telles que la notation de crédit est que les algorithmes sont moins biaisés que les êtres humains. Cela est utilisé dans des domaines tels que l'embauche: l'État de Californie a récemment adopté une règle pour encourager le développement d'algorithmes davantage basés sur l'emploi afin d'éliminer les préjugés humains du processus d'embauche. Mais il est loin d'être scientifiquement prouvé à 100 % qu'une IA qui s'appuie sur un code écrit par des humains, ainsi que sur des données qui y sont introduites en tant que mécanisme d'apprentissage, ne reflétera pas les préjugés existants de notre monde.
Voici les points clés sur les algorithmes d'IA qui seront pris en compte dans les prochains titres.
1. I.A. est déjà largement utilisé dans des domaines clés de la vie
Comme Hansson et sa femme l'ont découvert, les systèmes d'IA deviennent de plus en plus courants dans les domaines sur lesquels les gens ordinaires comptent.
Cette technologie n'est pas seulement introduite dans le crédit et l'embauche, mais aussi dans l'assurance, [hypothèques](https://www.cnbc.com/2019/10/03/huds-new-housing-rule-has-an-ai-loophole -thats-bad-for-america.html) et la protection de l'enfance.
En 2016, le comté d'Allegheny, en Pennsylvanie, a introduit un outil appelé Allegheny Family Screening Tool. Il s'agit d'un outil de modélisation prédictive des risques qui est utilisé pour aider à prendre des décisions de filtrage des appels de protection de l'enfance lorsque des préoccupations de maltraitance d'enfants sont signalées au département des services sociaux du comté.
Le système a collecté des données sur chaque personne de la référence et les utilise pour créer un "score global de la famille". Ce score détermine la probabilité d'un événement futur.
Allegheny a fait face à des réactions négatives, mais une conclusion a été que cela a créé ["moins de mauvais biais."](https://medium.com/mps-seminar-one/less-bad-bias-an-analysis-of-the- allegheny-family-screening-tool-ef6ffa8a56fb) D'autres endroits, dont Los Angeles, ont [utilisé une technologie similaire pour tenter d'améliorer le bien-être des enfants] (https://www.cnbc.com/2016/01/14/an-80 -billion-annual-tax-bill-thats-failing-our-children.html), et c'est un exemple de la façon dont les systèmes d'IA seront utilisés d'une manière qui peut affecter les gens de manière importante, et par conséquent, il est important savoir comment ces systèmes peuvent être défectueux.
2. I.A. peut être biaisé
La plupart des IA sont créées à partir d'un processus appelé apprentissage automatique, qui enseigne quelque chose à un ordinateur en lui fournissant des milliers de données pour l'aider à apprendre les informations de l'ensemble de données par lui-même.
Un exemple serait de donner à un système d'IA des milliers d'images de chiens, dans le but d'enseigner au système ce qu'est un chien. À partir de là, le système serait en mesure de regarder une photo et de décider s'il s'agit d'un chien ou non en fonction de ces données passées.
Et si les données que vous fournissez à un système sont à 75 % des golden retrievers et à 25 % des dalmatiens ?
La chercheuse postdoctorale à l'AI Now Institute, la Dre Sarah Myers West, affirme que ces systèmes sont conçus pour refléter les données qui leur sont fournies et que ces données peuvent être fondées sur des biais.
"Ces systèmes sont formés sur des données qui reflètent notre société au sens large", a déclaré West. "Ainsi, l'IA va refléter et vraiment amplifier les formes passées d'inégalité et de discrimination."
Un exemple concret : bien que le processus d'embauche basé sur un gestionnaire humain puisse sans aucun doute être biaisé, un débat demeure sur la question de savoir si la technologie de candidature algorithmique supprime sans aucun doute les préjugés humains. Le processus d'apprentissage de l'IA pourrait intégrer les biais des données qu'ils reçoivent - par exemple, les CV des candidats les plus performants dans les meilleures entreprises.
3. Les personnes qui programment l'I.A. peut être biaisé
L'AI Now Institute a également trouvé des préjugés chez les personnes qui créent l'IA. Dans une étude d'avril 2019, ils ont constaté que seulement 15 % du personnel de l'IA de Facebook sont des femmes et que seulement 4 % de leur effectif total sont noirs. La main-d'œuvre de Google est encore moins diversifiée, avec seulement 10 % de son personnel d'IA étant des femmes et 2,5 % de ses employés noirs.
Joy Buolamwini, informaticienne au MIT, a découvert au cours de ses recherches sur un projet qui projetterait des masques numériques sur un miroir, que le logiciel générique de reconnaissance faciale qu'elle utilisait n'identifierait pas son visage à moins qu'elle n'utilise un masque de couleur blanche.
Elle a découvert que son système ne pouvait pas identifier le visage d'une femme noire, car l'ensemble de données sur lequel il fonctionnait était extrêmement clair.
"De toute évidence, ce n'est pas un problème résolu", a déclaré West. "C'est en fait un problème très réel qui refait surface dans les systèmes d'IA sur une base hebdomadaire, presque quotidienne."
4. Les algorithmes ne sont pas des informations publiques
Les algorithmes d'IA sont entièrement la propriété de l'entreprise qui les a créés.
"Les chercheurs sont confrontés à des défis vraiment importants pour comprendre où il y a un biais algorithmique, car beaucoup d'entre eux sont opaques", a déclaré West.
Même si nous pouvions les voir, cela ne signifierait pas que nous comprendrions, déclare Dipayan Ghosh, codirecteur du projet Plateformes numériques et démocratie et boursier Shorenstein à l'Université de Harvard.
"Il est difficile de tirer des conclusions basées sur le code source", a déclaré Ghosh. "L'algorithme de solvabilité propriétaire d'Apple est quelque chose que même Apple ne peut pas facilement cerner et dire :" D'accord, voici le code pour cela", car il implique probablement de nombreuses sources de données différentes et de nombreuses implémentations de code différentes pour analyser ces données dans différents secteurs cloisonnés de l'entreprise."
Pour aller plus loin, des entreprises comme Apple écrivent leur code pour qu'il soit lisible par les employés d'Apple, et cela peut ne pas avoir de sens pour ceux qui ne font pas partie de l'entreprise.
5. La surveillance gouvernementale de l'I.A. est limitée.
À l'heure actuelle, il y a peu de surveillance gouvernementale des systèmes d'IA.
"Lorsque les systèmes d'IA sont utilisés dans des domaines d'une importance sociale, politique et économique incroyable, nous avons intérêt à comprendre comment ils affectent nos vies", a déclaré West. "Nous n'avons actuellement pas vraiment les moyens d'obtenir le type de transparence dont nous aurions besoin pour la responsabilité."
Un candidat à la présidentielle essaie de changer cela. Le sénateur du New Jersey, Cory Booker, a parrainé un projet de loi plus tôt cette année appelé "The Algorithmic Accountability Act".
Le projet de loi oblige les entreprises à examiner des algorithmes défectueux qui pourraient créer des situations injustes ou discriminatoires pour les Américains. En vertu du projet de loi, la Federal Trade Commission serait en mesure de créer des réglementations pour "réaliser des évaluations d'impact des systèmes de décision automatisés hautement sensibles". Cette exigence aurait un impact sur les systèmes sous la juridiction de la FTC, nouveaux ou existants.
La description du projet de loi sur le site Web de Cory Booker cite directement les erreurs algorithmiques de Facebook et [Amazon](https://www.cnbc. com/quotes/AMZN) au cours des dernières années.
Booker n'est pas le premier politicien à appeler à une meilleure réglementation de l'IA. En 2016, l'administration Obama a appelé au développement au sein de l'industrie de l'audit algorithmique et des tests externes des systèmes de mégadonnées.
6. Les algorithmes peuvent être audités, mais ce n'est pas obligatoire
Bien que la surveillance gouvernementale soit rare, une pratique croissante consiste à auditer les algorithmes par des tiers.
Le processus implique qu'une entité extérieure entre et analyse la façon dont l'algorithme est créé sans révéler de secrets commerciaux, ce qui est une des principales raisons pour lesquelles les algorithmes sont privés.
Ghosh dit que cela se produit plus fréquemment, mais pas tout le temps.
"Cela se produit lorsque les entreprises se sentent obligées par l'opinion publique ou l'influence du public de faire quelque chose parce qu'elles ne veulent pas être appelées à n'avoir subi aucun audit", a déclaré Ghosh.
Ghosh a également déclaré qu'une action réglementaire peut avoir lieu, comme le montrent les nombreuses enquêtes de la FTC sur Google et Facebook. "S'il est démontré qu'une entreprise pratique une discrimination préjudiciable, vous pouvez demander à une agence de réglementation d'intervenir et de dire : "Hé, nous allons soit vous poursuivre en justice, soit vous allez faire X, Y et Z. Lequel tu veux faire?'"
Cette histoire a été mise à jour pour inclure un commentaire de Goldman Sachs selon lequel il n'a pas pris et ne prendra jamais de décisions basées sur des facteurs tels que le sexe, la race, l'âge, l'orientation sexuelle ou tout autre facteur légalement interdit lors de la détermination de la solvabilité.