Incidents associés
Ce qui a commencé avec un fil Twitter viral s'est métastasé en une enquête réglementaire sur les pratiques de Goldman Sachs en matière de cartes de crédit après qu'un éminent développeur de logiciels a attiré l'attention sur les différences entre les lignes de crédit Apple Card pour les clients masculins et féminins.
David Heinemeier Hansson, un entrepreneur et développeur danois, a déclaré dans des tweets la semaine dernière que sa femme, Jamie Hansson, s'était vu refuser une augmentation de la ligne de crédit pour la carte Apple, malgré un pointage de crédit plus élevé que lui.
"Ma femme et moi avons déposé des déclarations de revenus conjointes, vivons dans un État de propriété communautaire et sommes mariés depuis longtemps. Pourtant, l'algorithme de la boîte noire d'Apple pense que je mérite 20 fois la limite de crédit qu'elle mérite », a tweeté Hansson.
Hansson a détaillé les efforts du couple pour soulever le problème avec le service client d'Apple, ce qui a abouti à une plainte interne officielle. Les représentants ont assuré à plusieurs reprises au couple qu'il n'y avait pas de discrimination, citant l'algorithme qui fait les évaluations de crédit d'Apple Card. La limite de crédit de Jamie Hansson a finalement été augmentée pour égaler la sienne, mais il a déclaré que cela n'avait pas permis de résoudre le problème à la racine.
Les tweets de Hansson ont attiré l'attention de Linda Lacewell, surintendante du Département des services financiers de l'État de New York, qui a annoncé samedi que son bureau enquêterait sur l'algorithme Apple Card sur les allégations de discrimination.
"Il ne s'agit pas seulement d'examiner un algorithme", a-t-elle écrit dans un article de Medium. "DFS veut travailler avec la communauté technologique pour s'assurer que les consommateurs du pays peuvent avoir confiance que les algorithmes qui ont de plus en plus d'impact sur leur capacité à accéder aux services financiers ne font pas de discrimination et traitent plutôt tous les individus de manière égale et équitable."
Apple n'a pas immédiatement répondu à une demande de commentaire du Washington Post.
Avec la propagation de l'automatisation, de plus en plus de décisions concernant nos vies sont prises par des ordinateurs, de l'approbation du crédit aux soins médicaux en passant par les choix d'embauche. Les algorithmes - formules de traitement des informations ou d'exécution des tâches - qui rendent ces jugements sont programmés par des personnes et reproduisent donc souvent des préjugés humains, involontairement ou non, entraînant des résultats moins favorables pour les femmes et les personnes de couleur. Mais le public, et même les entreprises elles-mêmes, ont souvent peu de visibilité sur le fonctionnement des algorithmes.
«Les femmes ont tendance à être de meilleurs risques de crédit. Bien qu'il soit illégal de discriminer, les données indiquent qu'en contrôlant le revenu, et d'autres choses, les femmes présentent de meilleurs risques de crédit », a déclaré Aaron Klein, membre de la Brookings Institution. "Donc, donner aux hommes de meilleures conditions de crédit est à la fois illégal et semble incompatible avec l'expérience internationale."
Les versions précédentes de Google Translate ont lutté contre les préjugés sexistes dans les traductions. Amazon a été contraint d'abandonner un outil de recrutement expérimental en 2017 qui utilisait l'intelligence artificielle pour noter les candidats parce que la prévalence des candidats masculins entraînait l'algorithme pénalisant les CV qui incluaient des "femmes" et déclassant les candidats qui fréquentaient des collèges pour femmes. Une étude publiée le mois dernier dans Science a révélé que les préjugés raciaux dans un algorithme de prédiction des risques de soins de santé largement utilisé rendaient les patients noirs beaucoup moins susceptibles que les patients blancs de recevoir un traitement médical important.
"Peu importe l'intention des représentants individuels d'Apple, peu importe ce que fait l'algorithme dans lequel ils ont mis toute leur confiance", a tweeté Hansson. "Et ce qu'il fait, c'est de la discrimination."
Des dizaines de personnes ont partagé des expériences similaires après que les tweets de Hansson soient devenus viraux, y compris le co-fondateur d'Apple, Steve Wozniak, qui a indiqué que sa limite de crédit est 10 fois supérieure à celle de sa femme. Le tollé a incité Goldman Sachs à publier une réponse dimanche soulignant que les évaluations de crédit sont effectuées sur la base du revenu et de la solvabilité individuels, ce qui pourrait entraîner des membres de la famille ayant des "décisions de crédit considérablement différentes".
"Dans tous les cas, nous n'avons pas pris et ne prendrons pas de décisions basées sur des facteurs tels que le sexe", a déclaré Andrew Williams, porte-parole de Goldman Sachs, dans un communiqué.
Lancée en août grâce à un partenariat avec Goldman Sachs, la carte Apple est une «première numérique», une carte de crédit sans numéro «basée sur la simplicité, la transparence et la confidentialité», selon un communiqué de presse.