Problema 1329
En la parte 1, demostré que había poca correlación entre la calificación de un maestro en 2009 y la calificación de ese mismo maestro en 2010. Entonces, ¿qué puede ser más loco que calificar a un maestro como altamente efectivo un año y luego como altamente ineficaz al siguiente? ¿Qué tal si un maestro es calificado como altamente efectivo y altamente ineficaz EN EL MISMO AÑO?
Mostraré en esta publicación cómo sucedió exactamente eso para cientos de maestros en 2010. Al observar los datos, noté que de las 18,000 entradas en 2010, alrededor de 6,000 eran nombres repetidos. Esto se debe a que hay dos formas en que un maestro puede obtener múltiples calificaciones de valor agregado para el mismo año.
La forma más común en que esto sucede es cuando el maestro está enseñando una escuela primaria independiente en 3.°, 4.° o 5.° grado. Los estudiantes toman el examen estatal de matemáticas y artes del lenguaje y ese maestro obtiene dos calificaciones diferentes de efectividad. Entonces, un maestro podría, de acuerdo con la fórmula, 'agregar' mucho 'valor' cuando se trata de matemáticas, pero 'agregar' poco 'valor' (o incluso 'restar' valor) cuando se trata de artes del lenguaje.
Para aquellos que no saben mucho sobre educación (sí, les estoy hablando a ustedes, los 'reformadores'), podría parecer razonable que un maestro puede hacer un excelente trabajo en matemáticas y un mal trabajo en artes del lenguaje y no debe ser sorprendente si los dos puntajes para ese maestro no se correlacionan. Pero aquellos que saben de enseñanza esperarían que la cantidad que los estudiantes aprendan se correlacione, ya que alguien que está haciendo un excelente trabajo enseñando matemáticas probablemente esté haciendo un excelente trabajo enseñando artes del lenguaje, ya que ambos trabajos están establecidos por una base común que beneficia todo el aprendizaje en la clase. El docente tiene un buen manejo del aula. La profesora ha ayudado a sus alumnos a automotivarse. El profesor tiene una relación con las familias. Todas estas cosas aumentan la cantidad de aprendizaje de cada tema enseñado. Entonces, incluso si un maestro de primaria es un poco más fuerte en una materia que en otra, se trata más del entorno de aprendizaje que creó el maestro que de cualquier otra cosa.
Al revisar los datos, noté que los maestros, como un maestro de quinto grado en P.S. 196 que obtuvo 97 de 100 en lengua y literatura y 2 de 100 en matemáticas. ¡Esto es con los mismos estudiantes en el mismo año! ¿Cómo puede un maestro ser tan bueno y tan malo al mismo tiempo? Cualquier sistema de evaluación en el que esto pueda suceder es extremadamente defectuoso, por supuesto, pero quería explorar si esto era un valor atípico importante o si era algo bastante común. Corrí los números y los resultados me sorprendieron (lo cual es bastante difícil de hacer). Esto es lo que aprendí:
De 5,675 maestros de escuela primaria, la diferencia promedio entre los dos puntajes fue de 22 puntos. Uno de cada seis docentes, o aproximadamente el 17%, tuvo una diferencia de 40 o más puntos. Uno de cada 25 profesores, que eran 250 profesores en total, tenía una diferencia de 60 o más puntos y, lo creas o no, 110 profesores, o alrededor del 2% (¡eso es uno de cada cincuenta!) tenían diferencias de 70 o más puntos. . A riesgo de parecer repetitivo, permítanme repetir que este era el mismo maestro, el mismo año, con los mismos niños. El valor agregado fue más inexacto de lo que jamás imaginé.
Hice un diagrama de dispersión de los 5675 maestros. En el eje x está el puntaje de artes del lenguaje de ese maestro para 2010. En el eje y está el puntaje de matemáticas de ese mismo maestro para 2010. Casi no hay correlación.
Para la gente que sabe de educación esto es chocante, pero hay gente a la que probablemente no le convenza mi explicación de que estas deberían estar más correlacionadas si las fórmulas realmente miden el aprendizaje. Algunos podrían pensar que esto realmente solo significa que así como hay personas que son mejores en matemáticas que en artes del lenguaje y viceversa, hay maestros que son mejores en enseñar matemáticas que en artes del lenguaje y viceversa.
Así que realicé un experimento diferente para aquellos que aún no están convencidos. Hay otro escenario en el que un maestro obtuvo múltiples calificaciones en el mismo año. Esto es cuando un maestro de matemáticas o artes del lenguaje de la escuela intermedia enseña varios grados en el mismo año. Entonces, por ejemplo, hay un maestro en M.S. 35 que enseñó matemáticas de sexto y séptimo grado. Como se supone que estos puntajes miden qué tan bien avanzó a los niños que estaban en su clase, independientemente de su punto de partida, ciertamente se esperaría que un maestro obtenga aproximadamente el mismo puntaje sobre qué tan bien enseñó matemáticas de sexto grado y matemáticas de séptimo grado. Tal vez usted podría argumentar que algunos maestros son mucho mejores enseñando artes del lenguaje que matemáticas, pero se necesitaría mucho para tratar de convencer a alguien de que algunos maestros son mucho mejores enseñando matemáticas de sexto grado que matemáticas de séptimo grado. Pero cuando fui al informe de datos de M.S. 35 Descubrí que mientras esta maestra obtuvo 97 de 100 en matemáticas de sexto grado, solo obtuvo un puntaje de 6 de 100 en matemáticas de séptimo grado.
Nuevamente, investigué para ver si esto era solo un extraño valor atípico. no lo fue En fa