Problème 2037

L'algorithme responsable des décisions de crédit pour la carte Apple donne aux femmes des limites de crédit inférieures à celles des hommes également qualifiés. Ce sont les allégations qui ont commencé à se répandre lorsque les consommateurs se sont adressés aux médias sociaux avec des plaintes concernant la carte de crédit d'Apple conçue pour fonctionner avec Apple Pay et sur divers appareils Apple.

La controverse a commencé le 7 novembre lorsque l'entrepreneur David Heinemeier Hansson, le créateur de l'outil de programmation Ruby on Rails, a publié un long fil de discussion sur Twitter se plaignant de l'expérience de sa femme avec la carte Apple.

"La @AppleCard est un programme tellement sexiste [juron]. Ma femme et moi avons déposé des déclarations de revenus conjointes, vivons dans un État de propriété communautaire et sommes mariés depuis longtemps. Pourtant, l'algorithme de la boîte noire d'Apple pense que je mérite 20 fois la limite de crédit qu'elle mérite. Aucun appel ne fonctionne », Hansson tweeted. « C'est encore pire. Même lorsqu'elle rembourse intégralement sa limite ridiculement basse, la carte n'approuvera aucune dépense avant la prochaine période de facturation. Les femmes ne sont apparemment pas de bons risques de crédit, même lorsqu'elles remboursent le solde [expletif] à l'avance et en totalité. »

Hansson poursuit en décrivant son expérience avec le support client d'Apple Card concernant le problème. Il dit que les représentants du service client lui ont assuré qu'il n'y avait aucune discrimination en cause et que les résultats que lui et sa femme voyaient étaient dus à l'algorithme.

"Alors récapitulons ici : Apple propose une carte de crédit qui fonde son évaluation de crédit sur un algorithme de boîte noire sur lequel [six] représentants différents d'Apple et de [Goldman Sachs] n'ont aucune visibilité. Même plusieurs couches de gestion. Une enquête interne. C'EST JUSTE L'ALGORITHME !" Hansson a écrit (je souligne). "...Ainsi, personne ne comprend L'ALGORITHME. Personne n'a le pouvoir d'examiner ou de vérifier L'ALGORITHME. Pourtant, tous ceux à qui nous avons parlé d'Apple et de [Goldman Sachs] sont TELLEMENT SÛRS que L'ALGORITHME n'est en aucun cas biaisé et discriminatoire. C'est une gestion de niveau A de la dissonance cognitive.

David Heinemeier Hansson tweeted une longue déclaration décrivant sa frustration avec Apple Card. (Tweet édité pour la langue).

Les tweets de Hansson ont incité d'autres personnes à partager des expériences similaires, notamment le cofondateur d'Apple [Steve Wozniak](https://www.designnews.com/electronics-test/chat-apple-co-founder-and-engineering-icon-steve- wozniak/162111071356437). La même chose nous est arrivée », Wozniak tweeté. "J'ai obtenu 10x [sic] la limite de crédit. Nous n'avons pas de comptes bancaires ou de cartes de crédit distincts ni d'actifs distincts. Difficile d'atteindre un humain pour une correction cependant. C'est la grande technologie en 2019. »

La cinéaste Lexi Alexander a déclaré qu'elle et un groupe d'amis avaient demandé une carte Apple pour voir si les allégations étaient vraies. Ce qu'ils ont trouvé a confirmé les récits de Hansson et Wozniak. "Un groupe d'entre nous a postulé [pour] cette carte aujourd'hui. Cela prend 5 secondes sur votre iPhone [et] cela n'apparaît pas dans votre historique de crédit (on me l'a dit). Apple Card vous fait alors une offre de limite de crédit [et] APR que vous pouvez accepter ou refuser. J'essaie actuellement de me remettre de la gifle sexiste au visage », Alexander tweeted. "Comme si c'était vraiment très mauvais. Les amis masculins avec une mauvaise cote de crédit et des revenus irréguliers ont reçu de bien meilleures offres que les femmes avec un crédit parfait et des revenus élevés. Nous étions 12, 6 femmes 6 hommes. Nous voulions juste voir ce qui se passait et ce n'était pas joli.

Alors que les plaintes concernant la carte Apple sont devenues virales, Goldman Sachs, la banque basée à New York qui soutient la carte Apple, a publié une déclaration en novembre 10. Dans la déclaration, Goldman Sachs a déclaré que le problème découlait du fait que les décisions de crédit concernant la carte Apple sont basées sur des lignes de crédit et des historiques individuels, et non sur ceux partagés avec les membres de la famille.

"Comme pour toute autre carte de crédit individuelle, votre demande est évaluée de manière indépendante", indique le communiqué de Goldman Sachs. «Nous examinons le revenu et la solvabilité d'un individu, ce qui inclut des facteurs tels que les cotes de crédit personnelles, le montant de votre dette personnelle et la manière dont cette dette a été gérée. Sur la base de ces facteurs, il est possible que deux membres de la famille reçoivent des décisions de crédit très différentes... Dans tous les cas, nous n'avons pas pris et ne prendrons pas de décisions en fonction de facteurs tels que le sexe.

Les facteurs contributifs cités par Goldman Sachs sembleraient contredire ceux proposés par des personnes telles que Hansson et Wozniak.

CNBC [rapporté] (https://www.cnbc.com/2019/11/10/wall-street-regulator-probes-goldman-over-allegations-of-sexist-credit-decisions-at-apple-card.html ) que les allégations de discrimination ont incité le Département des services financiers de New York (DFS) à ouvrir une enquête officielle sur les pratiques de Goldman Sachs en matière de cartes de crédit. "DFS est troublé d'apprendre un traitement discriminatoire potentiel en ce qui concerne les décisions de limite de crédit qui auraient été prises par un algorithme d'Apple Card, émis par Goldman Sachs", a déclaré Linda Lacewell, surintendante du DFS, à CNBC, "Le Département mènera une enquête pour déterminer si la loi de New York a été violée et garantir que tous les consommateurs sont traités de la même manière, quel que soit leur sexe.

Selon CNBC , Goldman Sachs était conscient du biais potentiel lors du déploiement de la carte Apple en août. Mais la banque a choisi de faire prendre les décisions de crédit sur une base individuelle pour éviter la complexité liée aux relations avec les cosignataires et autres comptes partagés.

Le problème de la boîte noire

Bien que ces rapports de biais liés à la carte Apple attirent sûrement l'attention en raison des noms très médiatisés qui y sont attachés, c'est loin d'être le premier cas d'un algorithme d'IA largement utilisé présentant un biais. Des incidents de biais algorithmique dans les applications de soins de santé, de prêt et même de justice pénale ont été découverts au cours des dernières années. Et les experts de nombreuses grandes entreprises technologiques et instituts de recherche travaillent avec diligence pour [s'attaquer aux biais dans l'IA](https://www.designnews.com/electronics-test/ai-will-never-be-free-bias-we-can -still-address-it/177626177961788).

« Une partie du problème ici est que, comme pour de nombreux algorithmes d'IA et d'apprentissage automatique, l'Apple Card est une boîte noire ; ce qui signifie qu'il n'y a pas de cadre en place pour retracer la formation et la prise de décision de l'algorithme », a déclaré Irina Farooq, chef de produit de la société d'analyse de données, Kinetica, à Design News dans une déclaration préparée. « Pour les entreprises, il s'agit d'un risque juridique et de relations publiques important. Pour la société, c'est encore plus grave. Si nous cédons notre prise de décision à l'IA, que ce soit pour les remboursements de covoiturage, la facturation des assurances ou les taux hypothécaires, nous risquons de nous soumettre à un jugement sans appel, à une monarchie de machines où le monde entier est un ensemble de données, et tout les hommes et les femmes, simplement des données.

Farooq a fait écho aux déclarations de nombreux [concernés] (https://www.designnews.com/electronics-test/ai-will-never-be-free-bias-we-can-still-address-it/177626177961788) avec parti pris dans l'IA en déclarant que les algorithmes que nous utilisons ne sont aussi justes que les données avec lesquelles ils sont formés. "Les paramètres de ce que l'algorithme doit prendre en compte lors de l'analyse d'un ensemble de données sont toujours définis par les gens. Et les développeurs et les scientifiques des données qui font ce travail peuvent ne pas être conscients des biais inconscients que contiennent les paramètres qu'ils ont mis en place », a-t-elle déclaré. "Nous ne savons pas quels étaient les paramètres pour les déterminations de crédit de la carte Apple, mais si les facteurs incluaient le revenu annuel sans tenir compte de la copropriété et des déclarations de revenus, les femmes, qui en Amérique gagnent encore 80,7 [cents] pour chaque dollar d'homme, serait dans un désavantage inhérent.

Le 11 novembre, à la suite de l'annonce de l'enquête DFS à New York, Carey Halio, PDG de Goldman Sachs Bank USA, a publié une autre déclaration au nom de la banque, s'engageant à travailler pour s'assurer que ses algorithmes ne présentent pas de parti pris et à demander à tous les clients qui estiment avoir été affectés de tendre la main.

"Nous n'avons pas pris et ne prendrons jamais de décisions basées sur des facteurs tels que le sexe. En fait, nous ne connaissons pas votre sexe ou votre état civil pendant le processus de demande de carte Apple », a écrit Halio. « Nous nous engageons à faire en sorte que notre processus de décision en matière de crédit soit équitable. En collaboration avec un tiers, nous avons revu notre processus de décision de crédit pour nous prémunir contre les biais et les résultats involontaires. »