Incidents associés
Le carnaval de Notting Hill est la plus grande fête de rue d'Europe. Célébration de la culture noire britannique, elle attire jusqu'à deux millions de fêtards et des milliers de policiers. Lors de l'événement de l'année dernière, le Metropolitan Police Service de Londres a déployé un nouveau type de détective : un algorithme de reconnaissance faciale qui a recherché dans la foule plus de 500 personnes recherchées pour arrestation ou empêchées d'y assister. Conduisant dans une camionnette équipée de télévisions en circuit fermé, la police espérait attraper des criminels potentiellement dangereux et prévenir de futurs crimes.
Ça ne s'est pas bien passé. Sur les 96 personnes signalées par l'algorithme, une seule correspondait correctement. Certaines erreurs étaient évidentes, comme la jeune femme identifiée comme un suspect chauve. Dans ces cas, la police a annulé le match et les spectateurs du carnaval n'ont jamais su qu'ils avaient été signalés. Mais beaucoup ont été arrêtés et interrogés avant d'être relâchés. Et la seule correspondance "correcte" ? Au moment du carnaval, la personne avait déjà été arrêtée et interrogée, et n'était plus recherchée.
Compte tenu du taux de réussite dérisoire, vous pourriez vous attendre à ce que le service de police métropolitain soit penaud à propos de son expérience. Au contraire, Cressida Dick, l'officier de police le plus haut gradé de Grande-Bretagne, a déclaré qu'elle était "tout à fait à l'aise" avec le déploiement d'une telle technologie, arguant que le public s'attend à ce que les forces de l'ordre utilisent des systèmes de pointe. Pour Dick, l'attrait de l'algorithme a éclipsé son manque d'efficacité.
Elle n'est pas seule. Un système similaire testé au Pays de Galles n'était correct que 7 % du temps : sur 2 470 fans de football signalés par l'algorithme, seuls 173 étaient des matchs réels. La police galloise a défendu la technologie dans un article de blog, déclarant : "Bien sûr, aucun système de reconnaissance faciale n'est précis à 100 % dans toutes les conditions". Les forces de police britanniques étendent l'utilisation de la technologie dans les mois à venir, et d'autres services de police emboîtent le pas. Le NYPD chercherait à accéder à la base de données complète des permis de conduire pour aider à son programme de reconnaissance faciale.
l'empressement des forces de l'ordre à utiliser une technologie immature souligne une situation inquiétante tendance que vous avez peut-être remarquée ailleurs : les humains ont l'habitude de faire confiance à la sortie d'un algorithme sans se soucier de réfléchir aux conséquences. Prenez les erreurs que nous imputons au correcteur orthographique ou les histoires de personnes qui suivent leur GPS au-dessus d'une falaise. Nous supposons que les cabines de reconnaissance faciale au contrôle des passeports doivent être précises simplement parce qu'elles sont installées à nos frontières.
Au cours de mes années de travail en tant que mathématicien avec des données et des algorithmes, j'en suis venu à croire que l'analyse du fonctionnement d'un algorithme est le seul moyen de juger objectivement s'il est digne de confiance. Les algorithmes ressemblent beaucoup à des illusions magiques. Au début, ils semblent n'être rien de moins que de la sorcellerie, mais dès que vous savez comment le tour est fait, le mystère s'évapore. Il y a souvent quelque chose de ridiculement simple (ou téméraire) qui se cache derrière la façade.
Il ne fait aucun doute que les algorithmes ont eu un impact positif profond sur nos vies. Ceux que nous avons construits à ce jour affichent une liste impressionnante de réalisations. Ils peuvent nous aider à diagnostiquer le cancer du sein, attraper des tueurs en série et éviter les accidents d'avion . Mais dans notre hâte d'automatiser, nous semblons avoir troqué un problème pour un autre. Les algorithmes, aussi utiles et impressionnants soient-ils, nous ont déjà laissé un enchevêtrement de complications.
Notre réticence à remettre en question la puissance d'une machine a donné aux algorithmes indésirables le pouvoir de prendre des décisions qui changent la vie et a libéré un vendeur moderne d'huile de serpent prêt à échanger sur des mythes et à profiter de la crédulité. Malgré le manque de preuves scientifiques pour étayer ces affirmations, [les entreprises vendent des algorithmes aux forces de police](https://www.wsj.com/articles/amazons-facial-recognition-fans-big-brother-fears-1527025556?mod =article_inline) et les gouvernements qui peuvent soi-disant "prédire" si quelqu'un est un terroriste ou un pédophile en se basant uniquement sur ses caractéristiques faciales. D'autres insistent sur le fait que leurs algorithmes peuvent suggérer une modification d'une seule ligne d'un scénario qui rendra le film plus rentable au box-office. Les services de jumelage insistent sur le fait que leur algorithme localisera votre seul véritable amour.
Même les algorithmes qui tiennent (pour la plupart) leurs promesses ont des problèmes. L'algorithme de reconnaissance faciale de l'aéroport de Manchester n'a pas remarqué qu'un mari et une femme se présentaient accidentellement les passeports de l'autre aux scanners. Les algorithmes de récidive utilisés dans les salles d'audience ont surestimé la probabilité que les accusés noirs soient des récidivistes et sous-estimé la même probabilité pour les accusés blancs. Les algorithmes utilisés par les détaillants pour identifier les femmes enceintes et leur diffuser des publicités ne peuvent pas être désactivés, même après une fausse couche ou un mort-né.
En plus des algorithmes défectueux ou biaisés, il existe d'innombrables exemples d'humains utilisant des algorithmes à des fins non intentionnelles. Un algorithme conçu pour identifier les personnes susceptibles d'être impliquées dans un futur crime commis avec une arme à feu, soit en tant qu'auteur, soit en tant que victime, a été utilisé à mauvais escient par le département de police de Chicago pour dresser une liste de suspects chaque fois qu'un homicide s'était produit.
Les problèmes inhérents aux algorithmes sont amplifiés lorsqu'ils sont associés aux humains et à notre acceptation immédiate de l'autorité artificielle.
Mais peut-être que c'est précisément le point. Peut-être que penser aux algorithmes comme une sorte d'autorité est là où nous nous sommes trompés.
Même lorsque les algorithmes ne sont pas impliqués, il existe peu d'exemples de systèmes parfaitement justes et précis. Où que vous regardiez, quelle que soit la sphère que vous examinez, vous trouverez une sorte de biais si vous approfondissez suffisamment.
Imaginez si nous acceptions que la perfection n'existe pas. Les algorithmes feront des erreurs. Les algorithmes seront injustes. Avec le temps, ils s'amélioreront. Mais admettre que les algorithmes, comme les humains, ont des défauts devrait diminuer notre confiance aveugle en leur autorité et conduire à moins d'erreurs. À mon avis, les meilleurs algorithmes tiennent compte de leurs créateurs à chaque étape. Ils reconnaissent notre tendance à faire trop confiance aux machines. Ils embrassent leur propre incertitude.
IBM's Watson l'a fait pendant sa course gagnante "Jeopardy!" en présentant un score de confiance indiquant à quel point il était sûr d'une réponse, ainsi qu'une liste d'autres suppositions qu'il avait envisagées. Peut-être que si les algorithmes de récidive présentaient quelque chose de similaire, les juges trouveraient peut-être plus facile de les remettre en question. Si les algorithmes de reconnaissance faciale utilisés par la police présentaient un certain nombre de correspondances possibles – au lieu de se concentrer sur un seul visage – les erreurs d'identification pourraient être moins problématiques.
Les meilleurs résultats se produisent lorsque les humains et les algorithmes travaillent ensemble. Les réseaux de neurones qui dépistaient les lames de cancer du sein ne sont pas conçus pour diagnostiquer les tumeurs ; ils sont conçus pour réduire un vaste éventail de cellules à une poignée de zones suspectes que le pathologiste doit vérifier. L'algorithme effectue la part du lion du travail, et l'humain intervient à la fin pour apporter son expertise. La machine et l'humain travaillent ensemble de concert, exploitant les forces de l'autre et embrassant les défauts de l'autre.
C'est l'avenir que j'espère, un avenir où les algorithmes arrogants et dictatoriaux appartiennent au passé, et nous cessons de considérer les machines comme des maîtres objectifs et commençons à les traiter comme nous le ferions pour toute autre source de pouvoir. Nous devons remettre en question les décisions des algorithmes, examiner leurs motivations, reconnaître nos émotions, exiger de savoir qui en bénéficiera, tenir les machines responsables de leurs erreurs et refuser d'accepter des systèmes peu performants. C'est la clé d'un avenir dans lequel l'effet net des algorithmes est une force positive dans la société. Le travail repose carrément sur nos épaules. Car une chose est sûre : à l'ère de l'algorithme, l'humain n'a jamais été aussi important.