Incidentes Asociados
Los reguladores estadounidenses están investigando si la tarjeta de crédito de Apple, lanzada en agosto, está [sesgada contra las mujeres](https://qz.com/1746446/the-real-hero-of-the-sexist-applecard-saga-has-issued- una declaración/). El ingeniero de software David Heinemeier Hansson informó en las redes sociales que Apple le había ofrecido un límite de gasto 20 veces superior al de su esposa, Jamie Heinemeier Hansson. Cuando Jamie habló con el servicio de atención al cliente de Goldman Sachs, el banco detrás de la tarjeta Apple, le dijeron que su límite de crédito estaba determinado por un algoritmo, y los representantes del banco no pudieron explicar por qué llegaron a esa conclusión.
Un portavoz de Goldman le dijo a Bloomberg: “Nuestras decisiones crediticias se basan en la solvencia del cliente y no en factores como género, raza, edad, orientación sexual o cualquier otra base prohibida por la ley”. Apple y Goldman afirman que utilizan la [puntaje de crédito] (https://support.apple.com/en-us/HT209218) de los solicitantes, la información en su informe de crédito y los ingresos para establecer límites de crédito.
Todavía no hay evidencia de que el algoritmo sea sexista, más allá de estas anécdotas. Pero la falta de transparencia ha sido un tema recurrente. Goldman no respondió a las preguntas de Quartz sobre los mecanismos exactos que utilizó para determinar el límite de crédito de Jamie Heinemeier Hansson. Más información sobre qué medidas cuantitativas utilizó en este proceso: ¿aprendizaje automático de alta potencia? ¿Álgebra de octavo grado? Podría ofrecer pistas sobre qué salió mal aquí, si es que hubo algo.
Por ejemplo, en 2018, cuando Goldman quería mostrar su destreza cuantitativa pronosticando el ganador de la Copa Mundial de fútbol, sus investigadores recurrieron al aprendizaje automático. Podrían haber usado estadísticas básicas, pero eso no habría sido [tan preciso] (https://www.goldmansachs.com/insights/pages/world-cup-2018/). Los cuantos de Goldman dijeron que un método de predicción que aprovechó los métodos de aprendizaje automático (como [bosque aleatorio] (https://qz.com/1261817/predictive-algorithms-are-not-all-that-complicated/), regresión de cresta bayesiana y una máquina potenciada por gradiente) fue cinco veces más precisa que usar una regresión estadística más simple.
El problema con el uso de un método de aprendizaje automático es que hace que sea difícil explicar cómo funciona una predicción. Las herramientas de aprendizaje automático son, en su mayor parte, cajas negras: por lo que prometen en cuanto a precisión, los científicos de datos que las usan pierden la capacidad de comprender cuánto importa cada factor para el resultado final de una predicción (en estadística, esto se denomina "inferencia"). ”).
Para la Copa del Mundo, los investigadores de Goldman sabían que las variables de fuerza del equipo, la fuerza del jugador individual y el desempeño reciente eran predictores importantes, pero era imposible cuantificar con precisión cuánto importa cada uno para el resultado de un partido. Si bien un modelo basado en regresión habría sido una herramienta más contundente, habría permitido a los investigadores establecer claramente cuánto efecto tuvo cada variable en su predicción. Básicamente, habría sido mejor en transparencia, pero peor en previsión.
Y al final, el sofisticado algoritmo de Goldman hizo [un trabajo bastante pobre](https://www.bloomberg.com/opinion/articles/2018-07-14/world-cup-goldman-sachs-gs-model-got- todo está mal) de predecir la Copa del Mundo de todos modos. Un modelo que fuera al menos más fácil de explicar podría haber sido más útil.
En el caso de Apple Card, no sabemos con certeza si Goldman usó el aprendizaje automático para informar su sistema para calcular los límites de crédito, pero parece probable que lo haya hecho y, al hacerlo, puede haber puesto la primacía en la precisión por encima de todo. Como matemática Cathy O'Neal le dijo recientemente a Slate, cuando las empresas eligen usar algoritmos, "[t]miran el lado positivo, que es una toma de decisiones más rápida, escalable y rápida, e ignoran el lado negativo, que es que están asumiendo muchos riesgos".
La ciencia de datos, como campo, tiende a centrarse en hacer predicciones. Este objetivo limitado puede hacer que las empresas se alejen aún más de pensar en el sesgo o en qué tan bien pueden explicar las metodologías de toma de decisiones a los reguladores y al público en general. También puede conducir a una menor consideración de las deficiencias de los datos introducidos en los modelos algorítmicos; algunas investigaciones sugieren que la calificación crediticia es discriminatoria, y cualquier modelo que incorpore esos datos reflejará ese sesgo. Pero en muchos casos en la ciencia de datos moderna, si el modelo hace un pronóstico "mejor" en términos estadísticos, sus otros efectos pueden pasarse por alto.