Problème 2974
- Afficher le rapport d'origine à sa source
- Voir le rapport sur l'Archive d'Internet
Vous étiez excité pour le rendez-vous : un dîner et un film. Votre rendez-vous a choisi un restaurant - "Il a obtenu cinq étoiles sur Yelp!" – mais le film dépendait de vous. Vous avez donc vérifié ce qui se passait et acheté les billets sur [le site Web de Fandango] (http://www.fandango.com/). Vous avez décidé de regarder "Fantastic Four", et même si vous n'aviez pas entendu de bonnes choses, les utilisateurs de Fandango ont pensé que c'était bien ! Plus de 7 000 personnes l'ont évalué, et il avait une moyenne de 3 étoiles sur 5. Ça va être un bon film.
Ce n'est pas un film décent.
Les classements de films en ligne sont devenus une affaire sérieuse. Hollywood génère quelque chose de l'ordre de [10 milliards de dollars par an au box-office américain] (http://www.boxofficemojo.com/yearly/), et les agrégateurs de notations en ligne peuvent avoir une influence croissante sur la destination de cet argent. Des sites comme Rotten Tomatoes qui regroupent les critiques de films en une seule note globale sont étant [blâmés](http://www .theguardian.com/film/2015/sep/08/hollywood-rotten-tomatoes-jurassic-world-fantastic-four-terminator-genisys) pour les mauvais week-ends d'ouverture. Un seul critique de cinéma ne peut plus faire ou défaire un film, mais peut-être que des milliers de critiques, professionnels et amateurs ensemble, le peuvent.
Plusieurs sites ont construit des systèmes de classement populaires : Rotten Tomatoes,1 Metacritic2 et IMDb3 ont chacun leur propre façon d'agréger les critiques de films. . Et bien que les sites aient des critères différents pour sélectionner et combiner les avis, ils ont tous construit des systèmes avec des valeurs similaires : ils utilisent le continuum complet de leur échelle de notation,4 essaient de maintenir la cohérence,5 et tenter de limiter les interférences délibérées dans leurs classements.6
Ces systèmes de notation ne sont pas parfaits, mais ils sont suffisamment solides pour être utiles.
Tout cela ne peut pas être dit de Fandango, une filiale de NBCUniversal qui utilise un système de notation à cinq étoiles dans lequel presque aucun film n'obtient moins de trois étoiles, selon une analyse de FiveThirtyEight. De plus, au moment où j'écris ceci, les scores sur Fandango.com sont encore plus faussés en raison de la façon étrange dont Fandango agrège les avis de ses utilisateurs. Et tandis que d'autres sites qui recueillent des avis d'utilisateurs sont souvent liés de manière indirecte à l'industrie des médias, Fandango a un intérêt immédiat dans votre désir de voir un film : l'entreprise vend des billets directement aux consommateurs.
Qu'est-ce qui a commencé tout cela ? Il y a quelques mois, un collègue a remarqué qu'un mauvais film avait reçu une note décente sur Fandango et m'a demandé de l'examiner. Lorsque j'ai extrait les données de 510 films sur Fandango.com qui avaient des billets en vente cette année (vous pouvez consulter toutes les données vous-même sur GitHub),7 quelque chose a tout de suite déplu : sur les 437 films avec au moins une critique, 98 % avaient une note de 3 étoiles ou plus et 75 % avaient une note de 4 étoiles ou plus.
Il semblait presque impossible qu'un film échoue selon les normes de Fandango.
Lorsque je me suis concentré sur les films qui avaient 308 avis d'utilisateurs ou plus,9, aucun des 209 films n'avait moins de 3 étoiles. Soixante-dix-huit pour cent avaient une note de 4 étoiles ou plus.
Mais peut-être que les films étaient si bons que ça ? Peut-être vivons-nous vraiment dans une société qui considère "Mortdecai" comme un film 3,5 étoiles ?
Nous ne le faisons pas. Les autres sites d'avis n'étaient pas aussi charitables. Pour les 209 films, j'ai extrait la note des utilisateurs d'IMDb, la note globale des critiques de Metacritic, le score des utilisateurs de Metacritic, le score du tomatomètre Rotten Tomatoes (critique) et le score des utilisateurs de Rotten Tomatoes. Je les ai ensuite normalisés sur l'échelle de notation à cinq étoiles utilisée par Fandango et arrondis à la demi-étoile la plus proche.10
Les notes d'IMDb, Metacritic et Rotten Tomatoes étaient généralement dans le même ordre d'idées, ce qui rend cette conclusion peu surprenante : la note de Fandango était supérieure à la note d'IMDb 79 % du temps, le score de critique global de Metacritic 77 % du temps, le Metacritic l'utilisateur marque 86 % du temps, le critique Rotten Tomatoes marque 62 % du temps et l'utilisateur Rotten Tomatoes marque 74 % du temps.
Il y a toutes sortes de raisons pour lesquelles les scores peuvent être plus élevés sur un site comme Fandango par rapport à des concurrents ; après tout, si vous interrogez les gens sur un film après l'avoir payé 15 $ et y avoir consacré quelques heures de leur vie, ils auront peut-être une opinion plus favorable de l'œuvre. Peut-être que le déplacement profondément vers la droite de la courbe en cloche de Fandango n'est qu'une version cinéphile du syndrome de Stockholm.
Pourtant, il s'agit d'un système de notation profondément défectueux. On ne sait pas pourquoi si peu de films gagnent moins de 3 étoiles, et Fandango n'a fourni aucune explication. "Comme nous n'avons pas analysé les systèmes d'évaluation des utilisateurs d'autres sites et que nous n'avons pas accès au profil et au comportement d'engagement de leurs clients, il est injuste de notre part de spéculer sur la manière dont nos évaluations peuvent ou non différer des leurs", a déclaré Fandango dans un communiqué. déclaration envoyée par courriel.
Donc, à toutes fins utiles, Fandango utilise une échelle de 3 à 5 étoiles. Et ce n'est pas la seule chose qui ne va pas avec ses notes. J'ai trouvé un problème avec la méthodologie utilisée par Fandango pour calculer la moyenne des notes des utilisateurs sur son site Web : Fandango n'arrondit jamais la moyenne à la baisse.
Sur la page d'un film donné sur le site Web de Fandango, sa note d'utilisateur globale est affichée en un seul endroit : les étoiles à côté de l'affiche du film, au-dessus de la zone qui fournit les horaires. Les étoiles sont exprimées sur une échelle de cinq points par incréments d'une demi-étoile. Sous le nombre d'étoiles, Fandango répertorie le nombre de critiques que le film a reçues.
Mais lorsque vous extrayez la source HTML d'une page sur le site Web de Fandango, il y a plus d'informations. Prenez "Ted 2." Lorsque j'ai extrait des données lundi, le film avait 4,5 étoiles sur 6 568 critiques.
Vous pouvez voir ces informations sur le backend HTML de la page ; le schéma "AggregateRating" indique que "Ted 2" avait 6 568 notes, un score maximum de cinq étoiles et un score minimum de 0 étoiles. Tout cela a du sens.
Voici le problème, cependant : selon le code de la page, "Ted 2" avait une "valeur d'évaluation" de seulement 4,1 étoiles.
Dans un système d'arrondi normal, un site serait arrondi à la demi-étoile la plus proche - vers le haut ou vers le bas. Dans le cas de "Ted 2", alors, nous nous attendons à ce que la note soit arrondie à 4 étoiles. Mais Fandango a arrondi la "ratingValue". J'ai extrait le nombre d'étoiles répertoriées sur la page de chaque film de notre échantillon de 437 (avec au moins un avis d'utilisateur), ainsi que la valeur de notation indiquée sur la source de la page. Et j'ai trouvé que Fandango n'arrondissait pas une note alors que nous nous attendions mathématiquement à cela (il semble que Fandango arrondisse correctement sur son application mobile - plus à ce sujet dans un instant).
Il existe des cas encore plus extrêmes que celui de "Ted 2". Prenez "Avengers: Age of Ultron". Lorsque j'ai extrait des données pour cela lundi, le film avait 5 étoiles sur 15 116 critiques.
Mais selon le code de la page, "Avengers: Age of Ultron" avait une "ratingValue" de seulement 4,5 étoiles, ce qui signifie qu'il a gagné une demi-étoile complète en arrondissant.
Alors, quel genre d'effet cela a-t-il eu à tous les niveaux ?
Voici une ventilation de la façon dont le système de Fandango.com a géré l'arrondi pour chacun des 437 films de notre échantillon :
- À 109 reprises, soit environ un quart du temps, la RatingValue était identique au nombre d'étoiles présentées. Cela signifie que la note moyenne d'un film était déjà à une demi-étoile et qu'aucun arrondi n'a eu lieu.
- À 148 reprises, environ 34 % du temps, Fandango a arrondi comme on pouvait s'y attendre — arrondissant 0,1 ou 0,2 étoiles,11 comme on arrondirait 3,9 ou 3,8 à 4.
- À 142 reprises (y compris pour "Ted 2"), 32 % du temps, Fandango a ajouté 0,3 ou 0,4 étoile à la note,12 alors qu'on arrondirait normalement à l'inférieur, augmentant ainsi le score de une demi-étoile. Pensez-y de cette façon : cela équivaut à dire que votre score SAT13 était supérieur d'environ 100 à 120 points à ce qu'il était réellement.
- À 37 reprises, environ 8% du temps, le système d'arrondi de Fandango a ajouté une demi-étoile à la note du film. On ne sait pas pourquoi cela s'est produit – pourquoi "Avengers: Age of Ultron" aurait sa valeur de 4,5 arrondie à 5 étoiles – mais cela s'est produit environ 1 fois sur 12. Il se peut que le Fandango arrondisse à la deuxième décimale - par exemple, 4,51 à 5. Mais encore une fois, ce n'est pas clair ; la «ratingValue» dans le code HTML n'est affichée qu'à la première décimale.
- À une occasion, un film a été arrondi par une star entière, d'un 4 à un 5.
Les cas ci-dessus incluent des films avec très peu de critiques ; la note moyenne de ces films est plus susceptible de tomber sur une étoile entière ou une demi-étoile, ce qui ne nécessite pas d'arrondi. Pour en revenir aux 209 films qui avaient 30 avis d'utilisateurs ou plus sur Fandango.com, le film moyen a gagné 0,25 étoiles grâce à cet arrondi. En utilisant un système normal, cette moyenne devrait être proche de 0.
Lorsque j'ai initialement interrogé Fandango sur sa pratique d'arrondi, la coordinatrice des relations publiques, Alison Ver Meulen, a déclaré ceci dans un e-mail : « Nous affichons toujours les étoiles arrondies à la demi-étoile la plus proche. Ainsi, par exemple, 3,6 étoiles apparaîtraient comme 4 sur notre site.
Cependant, après d'autres allers-retours, la société a décrit la disparité d'arrondi – par laquelle, par exemple, 4,1 est arrondi à 4,5 – comme un bogue dans le système plutôt que comme une pratique générale. "Il semble y avoir un problème logiciel sur notre site avec la logique d'arrondi de notre système de notation à cinq étoiles, car il arrondit à la demi-étoile la plus élevée suivante au lieu de la demi-étoile la plus proche", a déclaré la société dans un communiqué envoyé par courrier électronique.
Fandango nous a dit qu'il prévoyait de corriger l'algorithme d'arrondi sur son site Web "dès que possible".
Fandango a également déclaré que "la logique d'arrondi est affichée avec précision sur nos applications mobiles". Et cela semble être vrai; J'ai vérifié plusieurs films qui avaient soulevé des drapeaux rouges sur le site Web de l'entreprise et j'ai constaté que leurs scores étaient représentés avec précision sur l'application iOS de Fandango. Pourtant, les scores basés sur les étoiles sur l'application sont tout aussi élevés que sur le site Web.
La méthodologie d'arrondi de Fandango.com, même s'il ne s'agissait que d'un bogue innocent, est un bon exemple de la raison pour laquelle vous devriez être sceptique quant aux classements de films en ligne, en particulier de la part des entreprises qui vous vendent des billets. Si ce type de bogue peut survivre inaperçu sur le site Web d'un grand vendeur de billets américain pendant qui sait combien de temps, il n'y a aucune raison pour qu'un bogue similaire - ou un autre problème qui nous manque - ne puisse pas être sur un autre site que nous utilisons. pour savoir si quelque chose est bon ou pas.
Et la Federal Trade Commission, qui protège les consommateurs contre les pratiques commerciales trompeuses et anticoncurrentielles, prête attention à [l'utilisation des notations et des mentions](https://www.ftc.gov/news-events/media-resources/truth- publicité/publicité-recommandations) pour promouvoir les produits. "Les évaluations des utilisateurs seraient importantes pour les consommateurs, elles doivent donc être véridiques et non trompeuses", a déclaré Mary Engle, qui dirige la division de la FTC relative aux pratiques publicitaires. Engle n'a pas pu commenter une entreprise spécifique qui ne faisait pas déjà l'objet d'une enquête, mais a déclaré que l'on s'attend à ce que les entreprises qui présentent les évaluations des utilisateurs le fassent avec précision. "Nous savons que de nos jours, les avis des utilisateurs sont très importants, qu'il s'agisse d'un film, d'un achat de vacances, d'appareils électroniques, peu importe", a-t-elle déclaré. « Vous allez en ligne pour voir ce que disent les autres consommateurs. Et donc nous examinons les problèmes où ces critiques ne sont pas ce qu'elles prétendent être.
Tout cela compte plus pour les studios de cinéma maintenant que par le passé.
"Si vous regardez au cours des 20 dernières années, la stratégie de sortie était beaucoup plus basée sur un film diffusé depuis longtemps, peut-être une sortie régionale et la création d'un bouche-à-oreille dans tout le pays", a déclaré l'analyste du box-office Bruce Nash, qui exploite The-Numbers.com, qui suit les données du box-office. «Aujourd'hui, il est beaucoup plus concentré sur l'entrée dans les salles le week-end d'ouverture et sur le fait de frapper aussi fort que possible avec l'ouverture. Pour cela, je pense que les critiques peuvent avoir plus d'effet.
Vu sous cet angle, l'idée d'un studio inventant un critique pour promouvoir ses films, comme l'un [a été accusé de](http://www.telegraph.co.uk/news/worldnews/northamerica/usa/1495591/Sony -ordered-to-pay-1.5m-for-film-goer-hoax.html) au début des années 2000, commence à sembler raisonnable.
Le fandango est peut-être un cas extrême, mais ses problèmes sont révélateurs des limites de la classification des films en ligne en général. Le critique de cinéma indépendant Ben Kenigsberg a déclaré : "C'est un raccourci ou une heuristique utile pour les lecteurs, mais je pense que c'est une façon ironique de voir films, et je pense qu'ils devraient être pris comme tels.
En ce qui concerne les agrégateurs critiques comme Metacritic et Rotten Tomatoes, le fait de réduire la valeur des critiques d'une nation à un nombre a un air de finalité inexact. "J'aime les deux sites", a déclaré Todd VanDerWerff, rédacteur culturel chez Vox.com. "Mais j'ai l'impression qu'ils ont créé le sentiment qu'il existe une réponse à la question de savoir si un film est bon ou mauvais alors que c'est vraiment une question très personnelle."
Il a ajouté: "Parce que cela ressemble à des mathématiques, nous avons dans notre tête que c'est en quelque sorte objectivement vrai, mais en réalité, tout est basé sur une expérience subjective."