Incidents associés
Target n'a pas compris qu'une adolescente était enceinte avant son père, et cet article qui disait qu'ils l'avaient fait était stupide et mauvais.
En 2012, un article a été publié dans le New York Times sous le titre How Companies Learn Your Secrets. L'article explique, entre autres, comment et pourquoi une équipe marketing de Target a tenté de créer un modèle pour prédire quelles clientes étaient enceintes. Au milieu de l'article, il y a une anecdote
Environ un an après que Pole ait créé son modèle de prédiction de grossesse, un homme est entré dans une cible à l'extérieur de Minneapolis et a demandé à voir le directeur. Il tenait à la main des coupons qui avaient été envoyés à sa fille et il était en colère, selon un employé qui a participé à la conversation.
"Ma fille a reçu ça par la poste !" il a dit. « Elle est encore au lycée, et vous lui envoyez des coupons pour des vêtements de bébé et des berceaux ? Essayez-vous de l'encourager à tomber enceinte ?
Le directeur n'avait aucune idée de ce dont l'homme parlait. Il regarda le courrier. Effectivement, il était adressé à la fille de l'homme et contenait des publicités pour des vêtements de maternité, des meubles de crèche et des photos de bébés souriants. Le directeur s'est excusé puis a appelé quelques jours plus tard pour s'excuser à nouveau.
Au téléphone, cependant, le père était quelque peu décontenancé. "J'ai eu une conversation avec ma fille", a-t-il déclaré. "Il s'avère qu'il y a eu des activités dans ma maison dont je n'étais pas complètement au courant. Elle doit accoucher en août. Je vous dois des excuses."
Peu de temps après la publication de l'article initial, un rédacteur technique de Forbes a souligné cette anecdote dans un article sous le titre Comment Target a compris qu'une adolescente était enceinte avant son père. Apparemment, elle savait comment ne pas enterrer le lede.
À partir de là, l'histoire a explosé dans la conscience générale de manière considérable. Une recherche rapide sur Twitter pour "Cible fille enceinte" montre que les gens parlent encore beaucoup de cette histoire plus de 7 ans après la publication initiale de l'article. Généralement, il est utilisé pour montrer comment le Big Data peut être utilisé pour tout savoir sur nous, comment les Facebook, les Google et les cibles du monde en savent plus sur nous que les membres de notre propre famille.
Mais la vérité est que cette anecdote et une grande partie du discours qui l'entoure est, si vous me pardonnerez mon langage, stupide et mauvaise.
Laissez-moi compter les chemins.
- Ce n'est probablement pas vrai
Je n'insisterai pas sur ce point car nous ne pouvons pas vraiment le savoir, mais l'anecdote du père appelant le magasin et parlant au gérant n'est probablement tout simplement pas vraie. Il provient, non pas du statisticien protagoniste Pole, mais d'"un employé qui a participé à la conversation", ce qui soulève des questions. Comment l'auteur de cette pièce a-t-il appris cette anecdote ? Combien de cibles a-t-il dû visiter pour trouver un employé qui avait eu une conversation comme celle-ci ? Comment détermine-t-il que l'incident s'est produit "environ un an après que Pole a créé son modèle de prédiction de grossesse", et surtout, comment détermine-t-il que le carnet de coupons a été envoyé à la fille à cause du modèle ? L'écrivain Forbes qui ressasse l'anecdote la décrit même comme "si bonne qu'elle semble inventée". En effet.
Mais c'est une critique facile et hors de propos, donc pour le reste de cet article, supposons que l'anecdote soit vraie.
- Il n'y a aucun sens significatif dans lequel cette anecdote montre que l'algorithme de Target a prédit que la fille était enceinte
Cette histoire vise à montrer que l'opération Big Data de Target, et de plus les opérations Big Data de tous les différents géants de la vente au détail et de la technologie avec lesquels nous interagissons, font des prédictions sur les détails intimes de nos vies avec une précision étonnante.
Mais que montre-t-il réellement ? Une fille a reçu un carnet de coupons contenant des articles de maternité. Target a probablement envoyé de nombreux carnets de coupons similaires à de nombreuses personnes. Si Target venait d'envoyer des carnets de coupons de maternité complètement au hasard, ce scénario exact aurait pu se produire; certains des carnets de coupons attribués au hasard atteindraient certainement des femmes enceintes par hasard, et certaines de ces femmes enceintes auraient pu avoir des pères qui ne savaient pas qu'elles étaient enceintes, et l'un de ces pères aurait pu se rendre dans un magasin pour se plaindre.
Cette histoire ne montre même pas que Target a essayé de savoir si la fille était enceinte. Cela montre simplement qu'elle a reçu un dépliant contenant des articles de maternité et que son père bizarre a paniqué et a voulu parler au directeur. Il n'y a aucun moyen de savoir si le dépliant est arrivé à la suite d'un algorithme de ciblage complexe qui a correctement déduit que la fille était enceinte parce qu'elle avait acheté un tas de lotion, ou s'il se trouvait qu'il y avait une vente de couches cette semaine-là et envoyé un dépliant à ce sujet à tous leurs clients.
- Même si l'algorithme de Target a prédit que cette fille était enceinte, l'anecdote ne montre rien sur la qualité de l'algorithme pour prédire la grossesse
L'article de Forbes affirme que cette histoire "indique à quel point le ciblage est étrangement précis", mais en fait, il ne montre précisément rien sur la précision du ciblage de Target - il vous montre simplement que le ciblage a fonctionné au moins une fois.
« Précision » est un terme technique en apprentissage automatique. La précision d'un algorithme est la fraction de fois où l'algorithme est correct sur le nombre total de prédictions qu'il fait. De toute évidence, une seule anecdote ne peut rien nous dire sur la précision d'un algorithme. Alors pourquoi l'écrivain de Forbes pense-t-il que cette histoire démontre une exactitude étrange ?
Il y a une erreur que j'ai remarquée dans de nombreux écrits populaires sur l'IA. Je l'appellerai l'erreur surhumaine. L'erreur surhumaine dit que si un algorithme prédit correctement un cas où un humain, en particulier un expert, s'est trompé, alors l'algorithme doit faire des prédictions plus précises que l'humain en moyenne. Bien sûr, cela ne suit pas du tout. Généralement, les humains et les algorithmes feront différents types d'erreurs. Les humains sont peut-être un peu moins bons que les voitures autonomes pour rester au centre de la voie, mais ils sont bien meilleurs pour repérer un camion de pompiers arrêté au milieu de la route. L'ensemble des erreurs qu'ils commettent est différent, et nous faisons des déclarations sur les performances relatives des humains et des machines en examinant un seul exemple.
Combien de clientes cibles enceintes n'ont pas reçu les coupons ? Il n'y a vraiment aucun moyen de le savoir, car les pères des filles enceintes qui n'ont pas reçu de coupons n'ont jamais eu la chance de se plaindre auprès du directeur de leur cible locale. Cette question est exactement ce à quoi nous aurions besoin de la réponse si nous voulions savoir si l'algorithme était "étrangement précis".
Pourquoi est-ce que j'écris sur un article de blog Forbes aléatoire de 2012 ?
Je me trompe probablement, mais pour autant que je m'en souvienne, l'histoire de Target découvrant que la fille était enceinte était la première grande histoire d'une décennie entière d'histoires où un algorithme était le sujet de l'histoire. Les écrivains n'avaient pas l'habitude d'écrire sur les algorithmes. Ils ont écrit sur les gens, les lieux, les choses physiques et les systèmes, mais pas tellement sur les algorithmes. Mais cette histoire en 2012 a lancé l'idée dans la conscience publique que les entreprises peuvent créer des algorithmes capables de diagnostiquer, de résoudre, de prédire l'avenir et généralement de modéliser la situation humaine mieux que les humains.
Cela a conduit à une vague de confiance extrême dans l'efficacité des algorithmes (quels qu'ils soient) ou de l'IA en général pour comprendre les choses. Les algorithmes, selon le récit, sont maintenant meilleurs que les humains pour déterminer si vous êtes enceinte, ou si vous êtes sur le point de quitter votre emploi, ou si vous allez commettre un crime si vous êtes libéré de prison.
Mais beaucoup d'algorithmes sont en fait un peu nuls. Un secret peu connu est qu'il est très difficile, même pour les experts, de créer, de produire et de maintenir un algorithme qui fait des prédictions précises sur quoi que ce soit, sans parler du comportement humain - et malgré ce que vous avez entendu, la plupart des entreprises ne font généralement pas du bon travail. de celui-ci. Et il est encore plus difficile de construire ces algorithmes de manière à ce qu'ils n'intègrent pas et n'amplifient pas les systèmes de discrimination et d'oppression.
Notre discours populaire n'a pas le vocabulaire pour faire la distinction entre les algorithmes d'apprentissage automatique utiles et l'huile de serpent [avertissement pdf], nous finissons donc par écrire sur l'IA en termes d'anecdotes et sommes victimes de l'erreur surhumaine. C'est ainsi que nous nous retrouvons avec des choses comme des flics qui arrêtent des gens sur la base de techniques de reconnaissance faciale qui réussissent moins de 10% du temps.
Heureusement, un tel vocabulaire existe. Les praticiens qui construisent ces systèmes d'IA se soucient beaucoup de caractériser leur efficacité et ont développé une myriade de façons de la décrire. Et une grande partie n'est pas si difficile à comprendre pour un profane - il y a quelques questions simples que l'auteur de l'histoire aurait pu poser pour démontrer l'efficacité (ou son absence) de l'algorithme de grossesse.
De toutes les prédictions faites par l'algorithme, combien de fois était-il juste ? C'est la précision de l'algorithme.
Lorsque l'algorithme a prédit qu'une femme était enceinte, combien de fois s'est-il trompé ? C'est le taux de faux positifs de l'algorithme
Lorsque l'algorithme a prédit qu'une femme n'était pas enceinte, combien de fois s'est-il trompé ? C'est le taux de faux négatifs de l'algorithme.
Lorsque l'algorithme a prédit qu'une femme était enceinte, combien de fois était-ce juste ? C'est la précision de l'algorithme.
Parmi toutes les femmes enceintes de la base de données de Target, combien d'entre elles l'algorithme a-t-il trouvées ? C'est le rappel de l'algorithme.
Il n'est pas nécessaire de répondre à toutes ces questions dans chaque pièce (en fait, certaines d'entre elles peuvent être déduites des réponses aux autres), mais certaines d'entre elles devraient l'être si vous voulez avoir un espoir de caractériser si l'algorithme est bon . Mais généralement, ces types de statistiques ne sont pas du tout mentionnés dans ce nouveau genre d'écriture sur les algorithmes (s'il y en a, c'est généralement la précision, qui est sans doute la moins informative).
Je suppose qu'il y a de l'espoir. Il y a certaines autres choses dont nous parlons en termes de paramètres largement compris et convenus. Le sport est un gros. Nous savons qu'une seule anecdote ne transmet généralement rien d'utile sur la contribution d'un athlète à un sport, et pour la plupart des sports, il existe certaines mesures qui, selon nous, sont de bons descripteurs de la performance d'un athlète. Un article sur la saison 2019-2020 de LeBron ne serait pas complet sans mentionner qu'il affiche une moyenne de 25-8-11 à sa 17e saison. Ces mesures ne racontent pas toute l'histoire de sa saison - pas plus que celles que je propose ci-dessus à propos d'un algorithme - mais elles en disent beaucoup plus sur l'histoire qu'une seule anecdote.
Mais même si mon rêve utopique où chaque article de presse sur un algorithme inclut un résumé détaillé de sa stratégie de validation et de ses statistiques ne se réalise jamais, nous pourrions quand même faire preuve d'une bonne dose de scepticisme quant à ce que ces algorithmes peuvent faire. Croyez-le ou non, ce que l'apprentissage automatique est capable de faire de manière fiable en 2020 est encore très très limité. Nous sommes devenus assez bons dans des choses comme la lecture de texte ou la classification d'images, mais nous sommes encore très mauvais dans des choses comme la compréhension et la prédiction du comportement humain - en fait, nous ne deviendrons peut-être jamais bons dans ce domaine. Ainsi, lorsqu'une personne ou une entreprise ayant quelque chose à vendre prétend pouvoir prédire qui est enceinte ou qui quittera son emploi ou qui ira en prison, notre première réaction ne devrait pas être de démissionner face à nos maîtres robots, mais plutôt de leur demander prouver que ça marche avec quelque chose de mieux qu'une simple anecdote.