Incidentes Asociados
Lo que comenzó con un hilo viral de Twitter se transformó en una investigación regulatoria de las prácticas de tarjetas de crédito de Goldman Sachs después de que un destacado desarrollador de software llamara la atención sobre las diferencias en las líneas de crédito de Apple Card para clientes masculinos y femeninos.
David Heinemeier Hansson, un empresario y desarrollador danés, dijo en tuits la semana pasada que a su esposa, Jamie Hansson, se le negó un aumento en la línea de crédito para la Apple Card, a pesar de tener un puntaje crediticio más alto que él.
“Mi esposa y yo presentamos declaraciones de impuestos conjuntas, vivimos en un estado de propiedad comunitaria y hemos estado casados por mucho tiempo. Sin embargo, el algoritmo de caja negra de Apple cree que merezco 20 veces el límite de crédito que ella merece”, tuiteó Hansson.
Hansson detalló los esfuerzos de la pareja para plantear el problema al servicio de atención al cliente de Apple, lo que resultó en una queja interna formal. Los representantes aseguraron repetidamente a la pareja que no hubo discriminación, citando el algoritmo que realiza las evaluaciones crediticias de Apple Card. El límite de crédito de Jamie Hansson finalmente se elevó para igualarlo, pero dijo que esto no solucionó la raíz del problema.
Los tuits de Hansson llamaron la atención de Linda Lacewell, superintendente del Departamento de Servicios Financieros del Estado de Nueva York, quien anunció el sábado que su oficina investigaría el algoritmo de Apple Card por denuncias de discriminación.
“No se trata solo de investigar un algoritmo”, escribió en una publicación de Medium. “DFS quiere trabajar con la comunidad tecnológica para asegurarse de que los consumidores de todo el país puedan confiar en que los algoritmos que afectan cada vez más su capacidad para acceder a los servicios financieros no discriminan y, en cambio, tratan a todas las personas de manera equitativa y justa”.
Apple no respondió de inmediato a una solicitud de comentarios de The Washington Post.
Con la expansión de la automatización, las computadoras toman cada vez más decisiones sobre nuestras vidas, desde la aprobación del crédito hasta la atención médica y las opciones de contratación. Los algoritmos (fórmulas para procesar información o completar tareas) que hacen estos juicios están programados por personas y, por lo tanto, a menudo reproducen los sesgos humanos, sin querer o no, lo que da como resultado resultados menos favorables para las mujeres y las personas de color. Pero el público, e incluso las propias empresas, a menudo tienen poca visibilidad sobre cómo funcionan los algoritmos.
“Las mujeres tienden a ser mejores riesgos crediticios. Si bien es ilegal discriminar, los datos indican que al controlar los ingresos y otras cosas, las mujeres son mejores riesgos crediticios”, dijo Aaron Klein, miembro de Brookings Institution. “Así que dar a los hombres mejores condiciones de crédito es ilegal y parece ser inconsistente con la experiencia internacional”.
Las iteraciones anteriores de Google Translate han tenido problemas con el sesgo de género en las traducciones. Amazon se vio obligado a deshacerse de una herramienta de reclutamiento experimental en 2017 que usaba inteligencia artificial para calificar candidatos porque la prevalencia de candidatos masculinos resultó en que el algoritmo penalizara los currículums que incluían "mujeres" y degradara a los candidatos que asistieron a universidades de mujeres. Un estudio publicado el mes pasado en Science encontró que el sesgo racial en un algoritmo de predicción de riesgos de atención médica ampliamente utilizado hizo que los pacientes negros fueran significativamente menos propensos que los pacientes blancos a recibir un tratamiento médico importante.
“No importa cuál sea la intención de los representantes individuales de Apple, importa qué hace el algoritmo en el que han depositado toda su fe”, tuiteó Hansson. “Y lo que hace es discriminar”.
Docenas de personas compartieron experiencias similares después de que los tuits de Hansson se volvieron virales, incluido el cofundador de Apple, Steve Wozniak, quien indicó que su límite de crédito es 10 veces mayor que el de su esposa. El clamor llevó a Goldman Sachs a emitir una respuesta el domingo enfatizando que las evaluaciones crediticias se realizan en función de los ingresos individuales y la solvencia, lo que podría dar lugar a que los miembros de la familia tomen "decisiones crediticias significativamente diferentes".
“En todos los casos, no hemos tomado ni tomaremos decisiones basadas en factores como el género”, dijo Andrew Williams, portavoz de Goldman Sachs, en un comunicado.
Lanzada en agosto a través de una asociación con Goldman Sachs, la Apple Card es una "primicia digital", una tarjeta de crédito innumerable "basada en la simplicidad, la transparencia y la privacidad", según un comunicado de prensa.