Registro de citas para el Incidente 92

Description: Apple Card's credit assessment algorithm was reported by Goldman-Sachs customers to have shown gender bias, in which men received significantly higher credit limits than women with equal credit qualifications.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial
Presunto: un sistema de IA desarrollado por Apple e implementado por Goldman-Sachs, perjudicó a Apple Card female users y Apple Card female credit applicants.

Estadísticas de incidentes

ID
92
Cantidad de informes
6
Fecha del Incidente
2019-11-11
Editores
Sean McGregor, Khoa Lam

Clasificaciones de la Taxonomía CSETv0

Detalles de la Taxonomía

Full Description

In November 2019, customers of Goldman-Sachs and Apple's Apple Card, the first credit offering by Goldman-Sachs, claimed that there was gender discrimination in the credit assessment algorithm that distributes credit lines, with men receiving significantly higher credit limits than women with equal credit qualifications. Apple co-founder Steve Wozniak confirmed this also happened with him and his wife and the New York Department for Financial Services have launched an investigation regarding the discrimination claim. In response to this incident, Goldman Sachs made a statement that it has not and will never make decisions based on factors like gender, race, age, sexual orientation or any other legally prohibited factors when determining credit worthiness.

Short Description

In November 2019, Apple Card clients claimed that the credit assessment algorithm possesses a gender bias in favor of men.

Severity

Minor

Harm Distribution Basis

Sex

Harm Type

Financial harm

AI System Description

Goldman-Sachs uses a credit assessment algorithm that factors credit score, credit report, and reported income to determine credit lines for clients

System Developer

Goldman-Sachs

Sector of Deployment

Financial and insurance activities

Relevant AI functions

Perception, Cognition, Action

AI Techniques

machine learning, daya analytics

AI Applications

data analytics, recommendation engine, decision support

Location

United States

Named Entities

Goldman Sachs, Apple Card, Apple, Steve Wozniak, New York Department of Financial Services

Technology Purveyor

Apple, Goldman-Sachs

Beginning Date

11/2019

Ending Date

11/2019

Near Miss

Harm caused

Intent

Accident

Lives Lost

No

Laws Implicated

The Equal Credit Opportunity Act (ECOA) prohibits credit discrimination on the basis of race, color, religion, national origin, sex, marital status, age, or because you get public assistance.

Data Inputs

credit score, credit report, reported income

washingtonpost.com · 2019

Lo que comenzó con un hilo viral de Twitter se transformó en una investigación regulatoria de las prácticas de tarjetas de crédito de Goldman Sachs después de que un destacado desarrollador de software llamara la atención sobre las diferenc…

La Apple Card es el caso de sesgo de IA de más alto perfil hasta el momento
designnews.com · 2019

El algoritmo responsable de las decisiones de crédito para la Apple Card otorga a las mujeres límites de crédito más bajos que a los hombres igualmente calificados. Esas son las acusaciones que comenzaron a difundirse cuando los consumidore…

El problema del algoritmo de Apple Card: lo que necesita saber sobre A.I. en todos los días de la vida
cnbc.com · 2019

Cuando el empresario tecnológico David Heinmeier Hansson acudió recientemente a Twitter diciendo que la Apple Card le otorgaba un límite de crédito 20 veces mayor que el de su esposa, a pesar de que ella tenía un puntaje de crédito más alto…

Las predicciones equivocadas de la Copa del Mundo de Goldman Sachs podrían proporcionar pistas sobre la controversia de la Apple Card
qz.com · 2019

Los reguladores estadounidenses están investigando si la tarjeta de crédito de Apple, lanzada en agosto, está [sesgada contra las mujeres](https://qz.com/1746446/the-real-hero-of-the-sexist-applecard-saga-has-issued- una declaración/). El i…

Las quejas de sesgo de género contra Apple Card señalan un lado oscuro para Fintech
hbswk.hbs.edu · 2019

La posibilidad de que los solicitantes de Apple Card estuvieran sujetos a prejuicios de género abre una nueva frontera para el sector de servicios financieros en el que los reguladores están prácticamente ausentes, argumenta Karen Mills.

A …

Cómo la ley se equivocó con Apple Card
techcrunch.com · 2021

Los defensores de la justicia algorítmica han comenzado a ver sus proverbiales "días en la corte" con investigaciones legales de empresas como [UHG] (https://www.wsj.com/articles/new-york-regulator-probes-unitedhealth-algorithm-for -racial-…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.