Problema 2974
- Ver el informe original en su fuente
- Ver el informe en el Archivo de Internet
Estabas emocionado por la cita: cena y una película. Su cita eligió un restaurante: "¡Obtuvo cinco estrellas en Yelp!" - pero la película dependía de ti. Así que miraste lo que estaban tocando y compraste las entradas en [el sitio web de Fandango] (http://www.fandango.com/). Decidiste echarle un vistazo a “Fantastic Four”, y aunque no habías escuchado nada bueno, ¡los usuarios de Fandango pensaron que era bueno! Más de 7000 personas lo habían revisado y tenía un promedio de 3 de 5 estrellas. Esta va a ser una película decente.
No es una película decente.
Las clasificaciones de películas en línea se han convertido en un asunto serio. Hollywood genera algo del orden de [$ 10 mil millones anuales en la taquilla de EE. UU.] (http://www.boxofficemojo.com/yearly/), y los agregadores de calificaciones en línea pueden tener una influencia cada vez mayor sobre el destino de ese dinero. Sitios como Rotten Tomatoes que agregan reseñas de películas en una calificación general están siendo [culpables](http://www .theguardian.com/film/2015/sep/08/hollywood-rotten-tomatoes-jurassic-world-fantastic-four-terminator-genisys) para fines de semana de apertura pobres. Un solo crítico de cine ya no puede hacer o deshacer una película, pero tal vez miles de críticos, profesionales y aficionados juntos, sí puedan.
Varios sitios han creado sistemas de calificación populares: Rotten Tomatoes,1 Metacritic2 e IMDb3, cada uno tiene su propia forma de agregar reseñas de películas. . Y si bien los sitios tienen diferentes criterios para seleccionar y combinar reseñas, todos han creado sistemas con valores similares: utilizan el continuo completo de su escala de calificaciones,4 intentan mantener la coherencia,5 e intentar limitar la interferencia deliberada en sus clasificaciones.6
Estos sistemas de calificación no son perfectos, pero son lo suficientemente sólidos como para ser útiles.
No se puede decir todo eso de Fandango, una subsidiaria de NBCUniversal que utiliza un sistema de calificación de cinco estrellas en el que casi ninguna película obtiene menos de tres estrellas, según un análisis de FiveThirtyEight. Además, mientras escribo esto, los puntajes en Fandango.com están sesgados aún más debido a la forma extraña en que Fandango agrega las reseñas de sus usuarios. Y mientras que otros sitios que recopilan reseñas de usuarios suelen estar tangencialmente conectados con la industria de los medios, Fandango tiene un interés inmediato en su deseo de ver una película: la empresa vende boletos directamente a los consumidores.
¿Qué empezó todo esto? Hace un par de meses, un colega notó que una mala película había recibido una calificación decente en Fandango y me pidió que la investigara. Cuando saqué los datos de 510 películas en Fandango.com que tenían entradas a la venta este año (puedes consultar todos los datos tú mismo en GitHub),7 algo pareció no funcionar de inmediato: de las 437 películas con al menos una reseña, el 98 % tenía una calificación de 3 estrellas o más y el 75 % tenía una calificación de 4 estrellas o más.
Parecía casi imposible que una película fallara según los estándares de Fandango.
Cuando me concentré en las películas que tenían 308 o más reseñas de usuarios,9 ninguna de las 209 películas tenía menos de 3 estrellas. El setenta y ocho por ciento tenía una calificación de 4 estrellas o más.
¿Pero tal vez las películas eran tan buenas? ¿Quizás realmente vivimos en una sociedad que califica a “Mortdecai” como una [película de 3,5 estrellas] (http://www.fandango.com/mortdecai_175471/movieoverview)?
nosotros no Los otros sitios de revisión no fueron tan caritativos. Para las 209 películas, saqué la calificación de usuario de IMDb, la calificación de crítica agregada de Metacritic, la calificación de usuario de Metacritic, la calificación del Tomatómetro (crítico) de Rotten Tomatoes y la calificación de usuario de Rotten Tomatoes. Luego los normalicé a la escala de calificación de cinco estrellas que usa Fandango y los redondeé a la media estrella más cercana.10
Las calificaciones de IMDb, Metacritic y Rotten Tomatoes estuvieron típicamente en el mismo estadio de béisbol, lo que hace que este hallazgo no sea sorprendente: la calificación de estrellas de Fandango fue más alta que la calificación de IMDb el 79 por ciento de las veces, la calificación agregada de críticos de Metacritic el 77 por ciento de las veces, Metacritic la puntuación de los usuarios el 86 % de las veces, la puntuación de los críticos de Rotten Tomatoes el 62 % de las veces y la puntuación de los usuarios de Rotten Tomatoes el 74 % de las veces.
Hay todo tipo de razones por las que los puntajes pueden ser más altos en un sitio como Fandango en comparación con los competidores; después de todo, si le preguntas a la gente sobre una película después de que hayan pagado $15 por ella y le hayan dedicado un par de horas de su vida, tal vez tengan una opinión más favorable del trabajo. Tal vez el cambio profundamente hacia la derecha en la curva de campana de Fandango es solo la versión del síndrome de Estocolmo de un cinéfilo.
Aún así, este es un sistema de calificación profundamente defectuoso. No está claro por qué tan pocas películas obtienen menos de 3 estrellas y Fandango no ofreció ninguna explicación. “Como no hemos analizado los sistemas de calificación de los usuarios de otros sitios y no tenemos acceso al perfil de sus clientes ni al comportamiento de participación, es injusto para nosotros especular cómo nuestras calificaciones pueden o no diferir de las de ellos”, dijo Fandango en un comunicado. declaración enviada por correo electrónico.
Entonces, para todos los efectos, Fandango está usando una escala de 3 a 5 estrellas. Y eso no es lo único malo con sus calificaciones. Encontré un problema con la metodología que usa Fandango para promediar las calificaciones de los usuarios en su sitio web: Fandango nunca redondea el promedio hacia abajo.
En la página de una película dada en el sitio web de Fandango, su calificación de usuario agregada se muestra en un lugar: las estrellas junto al póster de la película, sobre el área que proporciona los horarios. Las estrellas se expresan en una escala de cinco puntos en incrementos de media estrella. Debajo de las calificaciones de estrellas, Fandango enumera la cantidad de críticas que ha recibido la película.
Pero cuando extrae la fuente HTML de una página en el sitio web de Fandango, hay más información. Tome "[Ted 2] (http://www.fandango.com/ted2_169836/movieoverview)". Cuando saqué datos el lunes, la película tenía 4,5 estrellas de 6.568 reseñas.
Puede ver esa información en el backend HTML de la página; el esquema "AggregateRating" dice que "Ted 2" tuvo 6568 calificaciones, una puntuación máxima de cinco estrellas y una puntuación mínima de 0 estrellas. Todo eso tiene sentido.
Sin embargo, aquí está la cuestión: según el código de la página, "Ted 2" tenía un "valor de calificación" de solo 4,1 estrellas.
En un sistema de redondeo normal, un sitio se redondearía a la media estrella más cercana, hacia arriba o hacia abajo. Entonces, en el caso de "Ted 2", esperaríamos que la calificación se redondeara a 4 estrellas. Pero Fandango redondeó el "valor de calificación" hacia arriba. Obtuve la cantidad de estrellas que figuran en la página de cada película en nuestra muestra de 437 (con al menos una reseña de un usuario), así como el valor de calificación que figura en la fuente de la página. Y descubrí que Fandango no redondea una calificación hacia abajo cuando lo esperaríamos matemáticamente (parece que Fandango redondea correctamente en su aplicación móvil; más sobre esto en un momento).
Incluso hay casos más extremos que el de “Ted 2”. Tome "Avengers: Age of Ultron". Cuando saqué datos para eso el lunes, la película tenía 5 estrellas de 15,116 reseñas.
Pero de acuerdo con el código de la página, "Avengers: Age of Ultron" tenía un "valor de calificación" de solo 4,5 estrellas, lo que significa que ganó media estrella completa al redondear.
Entonces, ¿qué tipo de efecto tuvo esto en todos los ámbitos?
Aquí hay un desglose de cómo el sistema de Fandango.com manejó el redondeo para cada una de las 437 películas de nuestra muestra:
- En 109 ocasiones, aproximadamente una cuarta parte de las veces, el ratingValue fue igual al número de estrellas presentadas. Esto significa que la calificación promedio de una película ya era de media estrella y no se produjo ningún redondeo.
- En 148 ocasiones, alrededor del 34 % de las veces, Fandango redondeó como cabría esperar: redondeó 0,1 o 0,2 estrellas,11 como si redondeara 3,9 o 3,8 a 4.
- En 142 ocasiones (incluso para “Ted 2”), el 32 por ciento de las veces, Fandango agregó 0.3 o 0.4 estrellas a la calificación,12 cuando uno normalmente redondearía hacia abajo, aumentando la puntuación una media estrella. Piénselo de esta manera: eso es el equivalente a decir que su puntaje SAT13 fue de 100 a 120 puntos más alto de lo que realmente era.
- En 37 ocasiones, alrededor del 8 por ciento de las veces, el sistema de redondeo de Fandango agregó media estrella a la calificación de la película. No está claro por qué sucedió esto, por qué "Avengers: Age of Ultron" tendría su valor de calificación de 4.5 redondeado a 5 estrellas, pero sucedió aproximadamente 1 de cada 12 veces. Puede ser que Fandango esté redondeando al segundo decimal, por ejemplo, 4,51 a 5. Pero, de nuevo, no está claro; el "valor de calificación" en el código HTML solo se muestra hasta el primer decimal.
- En una ocasión, una película fue redondeada por una estrella entera, de un 4 a un 5.
Los casos anteriores incluyen películas con muy pocas reseñas; es más probable que la calificación promedio de estas películas caiga en una estrella entera o media, lo que no requiere redondeo. Volviendo a las 209 películas que tenían 30 o más reseñas de usuarios en Fandango.com, la película promedio ganó 0,25 estrellas en este redondeo. Usando un sistema normal, ese promedio debería estar cerca de 0.
Cuando inicialmente le pregunté a Fandango sobre su práctica de redondeo, la coordinadora de relaciones públicas, Alison Ver Meulen, dijo esto en un correo electrónico: “Siempre mostramos estrellas redondeadas a la media estrella más cercana. Entonces, por ejemplo, 3,6 estrellas se mostrarían como 4 en nuestro sitio”.
Sin embargo, después de más ida y vuelta, la compañía describió la disparidad de redondeo, por la cual, por ejemplo, 4.1 se redondea a 4.5, como un error en el sistema en lugar de una práctica general. “Parece que hay una falla de software en nuestro sitio con la lógica de redondeo de nuestro sistema de calificación de cinco estrellas, ya que se redondea a la media estrella siguiente más alta en lugar de a la media estrella más cercana”, dijo la compañía en un comunicado enviado por correo electrónico.
Fandango nos dijo que planea corregir el algoritmo de redondeo en su sitio web "lo antes posible".
Fandango también dijo que "la lógica de redondeo se muestra con precisión en nuestras aplicaciones móviles". Y eso parece ser cierto; Revisé varias películas que habían levantado banderas rojas en el sitio web de la compañía y descubrí que sus puntajes estaban representados con precisión en la aplicación iOS de Fandango. Aún así, las puntuaciones basadas en estrellas en la aplicación son tan altas como en el sitio web.
La metodología de redondeo de Fandango.com, aunque solo fuera un error inocente, es un buen ejemplo de por qué debería ser escéptico con respecto a las clasificaciones de películas en línea, especialmente de las compañías que le venden boletos. Si este tipo de error puede pasar desapercibido en el sitio web de un importante vendedor de boletos estadounidense durante quién sabe cuánto tiempo, no hay razón para que un error similar, u otro problema que nos falte, no pueda estar en ningún otro sitio que estemos usando. para saber si algo es bueno o no.
Y la Comisión Federal de Comercio, que protege a los consumidores de prácticas comerciales engañosas y anticompetitivas, presta atención al [uso de calificaciones y avales](https://www.ftc.gov/news-events/media-resources/truth- publicidad/publicidad-respaldos) para promocionar productos. “Las calificaciones de los usuarios serían importantes para los consumidores, por lo que deben ser veraces y no engañosas”, dijo Mary Engle, quien dirige la división de la FTC relacionada con las prácticas publicitarias. Engle no pudo comentar sobre ninguna empresa específica que aún no esté bajo investigación, pero dijo que existe la expectativa de que las empresas que presentan las calificaciones de los usuarios lo hagan con precisión. “Sabemos que hoy en día las reseñas de los usuarios son muy importantes, ya sea una película, una compra de vacaciones, productos electrónicos, lo que sea”, dijo. “Usted entra en línea para ver lo que dicen otros consumidores. Y entonces estamos analizando problemas en los que esas revisiones no son lo que pretenden ser”.
Todo esto es más importante para los estudios de cine ahora que en el pasado.
“Si observa los últimos 20 años, la estrategia de lanzamiento solía basarse mucho más en una película que se proyectaba durante mucho tiempo, tal vez estrenada a nivel regional y fomentando el boca a boca en todo el país”, dijo el analista de taquilla Bruce Nash. que opera The-Numbers.com, que rastrea los datos de taquilla. “Hoy, está mucho más enfocado en llegar a los cines el fin de semana de apertura y golpear lo más fuerte posible con la apertura. Por eso, creo que las críticas pueden tener más efecto”.
Mirándolo de esta manera, la idea de un estudio inventando un crítico para promocionar sus películas, como uno [fue acusado de] (http://www.telegraph.co.uk/news/worldnews/northamerica/usa/1495591/Sony -ordered-to-pay-1.5m-for-film-goer-hoax.html) a principios de la década de 2000, comienza a parecer razonable.
Fandango puede ser un caso extremo, pero sus problemas son indicativos de las limitaciones de las clasificaciones de películas en línea en general. El crítico de cine independiente Ben Kenigsberg dijo: "Son una forma abreviada o heurística útil para los lectores, pero creo que son una especie de forma irónica de ver películas, y creo que deberían tomarse como tales”.
Cuando se trata de agregadores críticos como Metacritic y Rotten Tomatoes, el acto de reducir el valor de los críticos de una nación a un número tiene un aire inexacto de finalidad. “Me gustan ambos sitios”, dijo Todd VanDerWerff, editor cultural de Vox.com. “Pero siento que han creado la sensación de que hay una respuesta a si una película es buena o mala cuando en realidad esa es una pregunta muy personal”.
Agregó: “Debido a que parece matemáticas, tenemos en nuestra cabeza que de alguna manera es objetivamente cierto, pero en realidad, todo se basa en la experiencia subjetiva”.