Journal des citations pour l'incident 92

Description: Apple Card's credit assessment algorithm was reported by Goldman-Sachs customers to have shown gender bias, in which men received significantly higher credit limits than women with equal credit qualifications.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique
Présumé : un système d'IA développé par Apple et mis en œuvre par Goldman-Sachs, endommagé Apple Card female users and Apple Card female credit applicants.

Statistiques d'incidents

ID
92
Nombre de rapports
6
Date de l'incident
2019-11-11
Editeurs
Sean McGregor, Khoa Lam

Classifications de taxonomie CSETv0

Détails de la taxonomie

Full Description

In November 2019, customers of Goldman-Sachs and Apple's Apple Card, the first credit offering by Goldman-Sachs, claimed that there was gender discrimination in the credit assessment algorithm that distributes credit lines, with men receiving significantly higher credit limits than women with equal credit qualifications. Apple co-founder Steve Wozniak confirmed this also happened with him and his wife and the New York Department for Financial Services have launched an investigation regarding the discrimination claim. In response to this incident, Goldman Sachs made a statement that it has not and will never make decisions based on factors like gender, race, age, sexual orientation or any other legally prohibited factors when determining credit worthiness.

Short Description

In November 2019, Apple Card clients claimed that the credit assessment algorithm possesses a gender bias in favor of men.

Severity

Minor

Harm Distribution Basis

Sex

Harm Type

Financial harm

AI System Description

Goldman-Sachs uses a credit assessment algorithm that factors credit score, credit report, and reported income to determine credit lines for clients

System Developer

Goldman-Sachs

Sector of Deployment

Financial and insurance activities

Relevant AI functions

Perception, Cognition, Action

AI Techniques

machine learning, daya analytics

AI Applications

data analytics, recommendation engine, decision support

Location

United States

Named Entities

Goldman Sachs, Apple Card, Apple, Steve Wozniak, New York Department of Financial Services

Technology Purveyor

Apple, Goldman-Sachs

Beginning Date

11/2019

Ending Date

11/2019

Near Miss

Harm caused

Intent

Accident

Lives Lost

No

Laws Implicated

The Equal Credit Opportunity Act (ECOA) prohibits credit discrimination on the basis of race, color, religion, national origin, sex, marital status, age, or because you get public assistance.

Data Inputs

credit score, credit report, reported income

washingtonpost.com · 2019

Ce qui a commencé avec un fil Twitter viral s'est métastasé en une enquête réglementaire sur les pratiques de Goldman Sachs en matière de cartes de crédit après qu'un éminent développeur de logiciels a attiré l'attention sur les différences…

La carte Apple est le cas le plus médiatisé de biais d'IA à ce jour
designnews.com · 2019

L'algorithme responsable des décisions de crédit pour la carte Apple donne aux femmes des limites de crédit inférieures à celles des hommes également qualifiés. Ce sont les allégations qui ont commencé à se répandre lorsque les consommateur…

Le problème de l'algo Apple Card : ce que vous devez savoir sur l'IA. dans la vie de tous les jours
cnbc.com · 2019

Lorsque l'entrepreneur technologique David Heinmeier Hansson s'est récemment adressé à Twitter en disant que la carte Apple lui accordait une limite de crédit 20 fois plus élevée que celle de sa femme, malgré le fait qu'elle avait un pointa…

Les prédictions erronées de Goldman Sachs sur la Coupe du monde pourraient fournir des indices sur la controverse de la carte Apple
qz.com · 2019

Les régulateurs américains enquêtent pour savoir si la carte de crédit d'Apple, lancée en août, est [biaisée contre les femmes](https://qz.com/1746446/the-real-hero-of-the-sexist-applecard-saga-has-issued- une déclaration/). L'ingénieur log…

Les plaintes pour préjugés sexistes contre Apple Card signalent un côté obscur à la Fintech
hbswk.hbs.edu · 2019

La possibilité que les demandeurs d'Apple Card aient été soumis à des préjugés sexistes ouvre une nouvelle frontière pour le secteur des services financiers dans lequel les régulateurs sont largement absents, affirme Karen Mills.

Fin août, …

Comment la loi s'est trompée avec Apple Card
techcrunch.com · 2021

Les partisans de la justice algorithmique ont commencé à voir leurs proverbiales « journées devant les tribunaux » avec des enquêtes judiciaires sur des entreprises comme [UHG](https://www.wsj.com/articles/new-york-regulator-probes-unitedhe…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.