Incidentes Asociados
El algoritmo responsable de las decisiones de crédito para la Apple Card otorga a las mujeres límites de crédito más bajos que a los hombres igualmente calificados. Esas son las acusaciones que comenzaron a difundirse cuando los consumidores recurrieron a las redes sociales con quejas sobre la tarjeta de crédito de Apple diseñada para funcionar con Apple Pay y en varios dispositivos de Apple.
La controversia comenzó el 7 de noviembre cuando el empresario David Heinemeier Hansson, el creador de la herramienta de programación Ruby on Rails, publicó un hilo largo y molesto en Twitter quejándose de la experiencia de su esposa con la Apple Card.
“La @AppleCard es un programa tan [improperio] sexista. Mi esposa y yo presentamos declaraciones de impuestos conjuntas, vivimos en un estado de propiedad comunitaria y hemos estado casados por mucho tiempo. Sin embargo, el algoritmo de caja negra de Apple cree que merezco 20 veces [sic] el límite de crédito que ella merece. No funcionan las apelaciones”, [twitteó] Hansson (https://twitter.com/dhh/status/1192540900393705474?s=20). “Se pone aún peor. Incluso cuando paga su límite ridículamente bajo en su totalidad, la tarjeta no aprobará ningún gasto hasta el próximo período de facturación. Aparentemente, las mujeres no son buenos riesgos crediticios, incluso cuando pagan el saldo de [improperio] por adelantado y en su totalidad".
Hansson continúa describiendo su experiencia con el servicio de atención al cliente de Apple Card con respecto al problema. Él dice que los representantes de servicio al cliente le aseguraron que no hubo discriminación y que los resultados que él y su esposa estaban viendo se debían al algoritmo.
“Así que recapitulemos aquí: Apple ofrece una tarjeta de crédito que basa su evaluación crediticia en un algoritmo de caja negra que [seis] representantes diferentes en Apple y [Goldman Sachs] no tienen visibilidad. Incluso varias capas de gestión. Una investigación interna. ¡ES SOLO EL ALGORITMO!” Hansson escribió (énfasis suyo). “...Entonces nadie entiende EL ALGORITMO. Nadie tiene el poder de examinar o comprobar EL ALGORITMO. Sin embargo, todas las personas con las que hemos hablado tanto de Apple como de [Goldman Sachs] están TAN SEGURAS de que EL ALGORITMO no está sesgado ni discrimina de ninguna manera. Eso es un manejo de grado A de la disonancia cognitiva”.
David Heinemeier Hansson twitteó una larga declaración que describe su frustración con Apple Card. (Twitt editado por idioma).
Los tuits de Hansson incitaron a otros a compartir experiencias similares, en particular al cofundador de Apple [Steve Wozniak](https://www.designnews.com/electronics-test/chat-apple-co-founder-and-engineering-icon-steve- wozniak/162111071356437). Nos pasó lo mismo”, Wozniak twitteó. “Obtuve 10x [sic] del límite de crédito. No tenemos cuentas bancarias o de tarjetas de crédito separadas ni activos separados. Sin embargo, es difícil llegar a un humano para una corrección. Es gran tecnología en 2019”.
La cineasta Lexi Alexander dijo que ella y un grupo de sus amigos solicitaron una Apple Card para ver si las acusaciones eran ciertas. Lo que encontraron confirmó los relatos hechos por Hansson y Wozniak. “Muchos de nosotros solicitamos [for] esta tarjeta hoy. Tarda 5 segundos en tu iPhone [y] no aparece en tu historial crediticio (me han dicho). Luego, Apple Card le hace una oferta de límite de crédito [y] APR que puede aceptar o rechazar. Actualmente estoy tratando de recuperarme de la bofetada sexista en mi cara”, [twitteó] Alexander (https://twitter.com/Lexialex/status/1194098949784834048?s=20). “Como si fuera realmente muy malo. Los amigos varones con mala puntuación de crédito e ingresos irregulares recibieron ofertas mucho mejores que las mujeres con crédito perfecto y altos ingresos. Éramos 12, 6 mujeres 6 hombres. Solo queríamos ver qué pasaba y no fue bonito”.
Cuando las quejas sobre la Apple Card se volvieron virales, Goldman Sachs, el banco con sede en Nueva York que respalda la Apple Card, emitió una declaración el noviembre 10. En el comunicado, Goldman Sachs dijo que el problema surge del hecho de que las decisiones crediticias con respecto a la Apple Card se basan en líneas de crédito e historiales individuales, no en los compartidos con miembros de la familia.
“Al igual que con cualquier otra tarjeta de crédito individual, su solicitud se evalúa de forma independiente”, dijo el comunicado de Goldman Sachs. “Analizamos los ingresos de una persona y su solvencia, que incluye factores como puntajes de crédito personal, cuánta deuda personal tiene y cómo se ha administrado esa deuda. Con base en estos factores, es posible que dos miembros de la familia reciban decisiones crediticias significativamente diferentes... En todos los casos, no hemos tomado ni tomaremos decisiones basadas en factores como el género”.
Los factores contribuyentes citados por Goldman Sachs parecen contradecir los ofrecidos por personas como Hansson y Wozniak.
CNBC informado que las acusaciones de discriminación han impulsado al Departamento de Servicios Financieros (DFS) de Nueva York a iniciar una investigación oficial sobre las prácticas de tarjetas de crédito de Goldman Sachs. “DFS está preocupado al enterarse de un posible trato discriminatorio con respecto a las decisiones de límite de crédito supuestamente tomadas por un algoritmo de Apple Card, emitido por Goldman Sachs”, dijo a CNBC Linda Lacewell, superintendente del DFS, “El Departamento llevará a cabo una investigación. para determinar si se violó la ley de Nueva York y garantizar que todos los consumidores sean tratados por igual independientemente del sexo”.
Según CNBC , Goldman Sachs era consciente del posible sesgo cuando se lanzó la Apple Card en agosto. Pero el banco optó por que las decisiones crediticias se tomaran de forma individual para evitar la complejidad que conlleva tratar con cofirmantes y otras cuentas compartidas.
El problema de la caja negra
Si bien estos informes de sesgo relacionados con Apple Card seguramente llaman la atención debido a los nombres de alto perfil adjuntos, está lejos de ser el primer caso de un algoritmo de IA ampliamente utilizado que muestra sesgo. Se han descubierto incidentes de sesgo algorítmico en aplicaciones de atención médica, préstamos e incluso justicia penal. en años recientes. Y los expertos de muchas de las principales empresas de tecnología e instituciones de investigación están trabajando diligentemente para [abordar el sesgo en la IA](https://www.designnews.com/electronics-test/ai-will-never-be-free-bias-we-can -todavía-address-it/177626177961788).
“Parte del problema aquí es que, al igual que con muchos algoritmos de inteligencia artificial y aprendizaje automático, la Apple Card es una caja negra; lo que significa que no existe un marco para rastrear el entrenamiento y la toma de decisiones del algoritmo”, dijo Irina Farooq, directora de productos de la empresa de análisis de datos, Kinetica, a Design News en una declaración preparada. “Para las corporaciones, este es un riesgo legal y de relaciones públicas significativo. Para la sociedad, esto es aún más grave. Si cedemos nuestra toma de decisiones a la IA, ya sea para reembolsos de viajes compartidos, facturación de seguros o tasas hipotecarias, corremos el riesgo de someternos a un juicio sin apelación, a una monarquía de máquinas donde todo el mundo es un conjunto de datos y todo los hombres y mujeres, meros datos.”
Farooq se hizo eco de las declaraciones de muchos preocupados con parcialidad en IA afirmando que los algoritmos que empleamos son tan justos como los datos con los que se entrenan. “Los parámetros de lo que el algoritmo debe tener en cuenta al analizar un conjunto de datos aún los establecen las personas. Y los desarrolladores y científicos de datos que hacen este trabajo pueden no ser conscientes de los sesgos inconscientes que contienen los parámetros que han establecido”, dijo. “No sabemos cuáles fueron los parámetros para las determinaciones de crédito de la Apple Card, pero si los factores incluyeran el ingreso anual sin considerar la propiedad conjunta y las declaraciones de impuestos, las mujeres, que en Estados Unidos todavía ganan 80.7 [centavos] por cada dólar de un hombre, estaría en una desventaja inherente”.
El 11 de noviembre, tras el anuncio de la investigación del DFS de Nueva York, Carey Halio, directora ejecutiva de Goldman Sachs Bank USA, emitió otra declaración en nombre del banco, comprometiéndose a trabajar para garantizar que sus algoritmos no muestren sesgos y pedir a los clientes que sientan que pueden haber sido afectados que se comuniquen.
“No hemos tomado y nunca tomaremos decisiones basadas en factores como el género. De hecho, no sabemos su género o estado civil durante el proceso de solicitud de la Apple Card”, escribió Halio. “Estamos comprometidos a garantizar que nuestro proceso de decisión crediticia sea justo. Junto con un tercero, revisamos nuestro proceso de toma de decisiones crediticias para protegernos contra sesgos y resultados no deseados”.