Archivos de etiquetas para Evaluación

TIMSS 2015 – leve mejoría

El pasado día 29 se publicaron los primeros resultados del estudio TIMSS 2015. Aunque la puntuación obtenida por España apunta a una leve mejoría, las reacciones que he visto en la mayoría de los medios de comunicación me parecen excesivas. Sobre esa carrera que hemos observado entre nuestros políticos para atribuirse los méritos, no tengo nada mejor que decir que recomendar la lectura de esta serie de tuits de @lucas_gortazar (a cuento de los resultados de PISA que salen el 6 de diciembre, pero exactamente lo mismo se puede decir sobre TIMSS):

Algunas breves observaciones sobre los resultados de TIMSS 2015.

A diferencia de PISA, la escala de puntuación de TIMSS no se obtiene de una media, sino que es una escala absoluta. El nivel se mantiene (o se trata de mantener) constante mediante una serie de preguntas que se repiten en cada estudio. Desde ese punto de vista, los 505 puntos obtenidos por España en esta oleada son una mejora respecto de los 482 del estudio TIMSS 2011. Sin embargo, hay al menos dos razones para reprimir el entusiasmo:

  • Si calculamos la media de los resultados de los países occidentales que han participado en los dos estudios, nos encontramos con un resultado de 519 para TIMSS 2011 y  529 para TIMSS 2015. Eso puede querer decir que ha habido una pequeña mejora general, o que la prueba ha sido ligeramente más fácil. Creo que todos los docentes somos conscientes de lo difícil que es mantener el nivel de dificultad de un examen.
  • En la siguiente figura trato de contextualizar los resultados de España. Para ello, me he olvidado de los países asiáticos, que juegan en otra liga, y he representado los resultados de los países de Europa occidental (junto con EEUU y Rusia). Creo que salta a la vista que no hay demasiados motivos para el entusiasmo. (Un entusiasmo que sí me permitiría sentir si fuera noruego, o polaco).

timss-2011-2015

Un examen de 4º de ESO

Antes de enseñar el examen en cuestión, unas notas aclaratorias:

Esta entrada no es, en absoluto, un «desahogo de un padre enfadado». Mi hija ya pasó los cursos mas difíciles, y trabaja razonablemente. Además, claro, tiene en casa ayuda cuando la necesita. De manera que su único problema es que tiene un poco mas difícil – que no imposible – llegar al sobresaliente, que es su objetivo.

Tampoco se trata de lanzarse al deporte de «criticar al profesor». No conozco personalmente a su profesora, pero estoy convencido de que me encontaría con un perfil similar al que ya he comentado en alguna ocasión: una persona trabajadora, y convencida de que hace lo que puede, dada la formación que tienen sus alumnos, los requerimientos del programa, etc. Algún comentario me ha llegado en la dirección de que pone muchas cosas en el examen para que todo el mundo pueda hacer algo … El problema de fondo aquí, claro, es el aislamiento en que vive una buena parte del profesorado. Y en este punto me parece que las responsabilidades están bastante repartidas: la administración no cuida la formación continua lo que debería, es verdad, pero en estos tiempos cualquier interesado tiene a su alcance experiencias, materiales y puntos de vista distintos: no necesariamente mejores, pero adecuados para promover la reflexión.

Por último, es evidente que se trata solo de «evidencia anecdótica». No tengo ni idea de lo extendido que está este enfoque en nuestras aulas. El problema es que ¡nadie lo sabe! Estoy intentando arrancar un estudio (anónimo, y con selección aleatoria de aulas) pero de momento sin éxito. No me he dado por vencido …

Para terminar, un dato relevante es, claro, el tiempo dedicado al examen: 1 h 20 minutos. Supongo que un día venceré la pereza y lo haré completo; de momento la opinión que tengo es solo «de primera vista». Y prefiero reservarla, por ahora, para escuchar antes las vuestras.

ex-ESO-4

Un ejemplo de pruebas externas

Creo que el debate sobre las pruebas externas está demasiado condicionado por la triste experiencia de la única prueba externa – con efectos sobre el currículo – que tenemos en España. Me parece que todos estamos de acuerdo en que la prueba de matemáticas (y seguramente también de otras materias) de la selectividad – la PAU – está mal diseñada. No es un examen que evalúe bien los conocimientos matemáticos (una buena parte de las preguntas son siempre «las mismas» y marcadamente rutinarias). Lo que es peor, condiciona fuertemente el desarrollo de 2º de Bachillerato, y creo que empobrece el aprendizaje. El famoso efecto «teach to the test» tiene en este caso efectos negativos.

Lo que querría discutir es si esto no tiene mucho que ver con el diseño del examen de selectividad, y no tanto con el concepto «prueba externa». Aclaración preventiva: no estoy diciendo que esté a favor de las pruebas externas (ni lo contrario). Lo que estoy diciendo es que para tener un debate constructivo sobre las pruebas externas habría que tener una visión más general del tema.

Como ya saben los lectores de este blog, me gusta mucho el enfoque de la enseñanza de las matemáticas en Singapur. Investigando en la etapa de Bachillerato, he descubierto que esa etapa en buena parte del mundo anglosajón es, en buena medida, y de forma nada encubierta, una preparación de la prueba conocida como A-level.  Quede claro: esta prueba no está exenta de controversias, como puede comprobar cualquier lector que busque «A level examination». No puede ser de otra forma: las pruebas externas son un tema muy complejo, y ninguna solución se acerca a la perfección.

Lo que quiero enseñar hoy es una muestra de un libro pensado para preparar las matemáticas de los A-level de Singapur. En este enlace he puesto una copia del índice del libro y las páginas con preguntas de los diferentes exámenes. Las siglas entre corchetes después de cada problema corresponden a las diferentes agencias en cuyas pruebas apareción la pregunta. Nueva aclaración preventiva: personalmente, preferiría que esta tarea corriera a cargo de un organismo público correctamente diseñado.

Mi opinión: un bachillerato dirigido a preparar un examen como el que muestra el libro me parece un bachillerato muy bien dirigido. Dicho de otra forma: creo que un alumno que sabe contestar las cuestiones y problemas que se muestran está preparado para comenzar sus estudios universitarios con las debidas garantías.

PISA versus TIMSS

En la semana de la publicación de los resultados del informe PISA, un blog que trata sobre educación matemática podría ser sancionado por no tratar el tema 🙂 . Pero intentaré hacerlo desde una perspectiva un poco diferente de los comentarios con los que nos han bombardeado los últimos días. Es verdad que echar un vistazo a las preguntas del informe (una muestra más amplia, con preguntas de informes anteriores y con los resultados obtenidos por alumnos españoles en ellas, aquí), y compararlas con la mayoría de las tareas que vemos en nuestras aulas de secundaria deja bastante claro tanto parte de las razones de los pobres resultados de nuestro país como lo desfasado que se ha quedado nuestro enfoque. Pero creo que sería un error concluir que debemos enfocar la enseñanza de las matemáticas hacia «preguntas tipo PISA». No solo por los efectos perniciosos del famoso «teach to the test» sino sobre todo por la propia filosofía del informe PISA. Según se puede leer en su propia página web, «PISA is unique because it develops tests which are not directly linked to the school curriculum. The tests are designed to assess to what extent students at the end of compulsory education, can apply their knowledge to real-life situations and be equipped for full participation in society«. Por supuesto que la capacidad para aplicar el conocimiento en situaciones de la vida real, y para interpretar información y tomar decisiones, es uno de los objetivos de la formación matemática, y un objetivo que no se cuida lo suficiente en nuestro sistema. Pero si queremos guiarnos por test internacionales, creo que TIMSS sería una referencia más adecuada. Los estudios TIMSS (Trends in International Mathematics and Sciencie Study), que ya han aparecido en este blog, tienen como objetivo evaluar los conocimientos matemáticos de los alumnos de los grados 4 y 8. Son menos conocidos en nuestro país, supongo que en buena medida porque apenas hemos participado en ellos. Aparte de una aparición esporádica hace 20 años, España sólo ha tomado parte en el último, el TIMSS 2011, y solo en el correspondiente a 4º de Primaria.

Me parecen estudios muy bien diseñados, y creo que puede ser muy útil echar un vistazo a las preguntas que aparecen. Aún con las limitaciones que impone el formato de estudio de gran tamaño, y las preguntas tipo test, podríamos aprender mucho sobre el apropiado equilibrio entre las diferentes áreas (aritmética, álgebra, geometría, estadística y probabilidad), y en cómo se puede evaluar tanto el domino de las técnicas básicas como la comprensión de los conceptos fundamentales. Aquí dejo los enlaces a las preguntas liberadas de 4º y a las de 8º.

No voy a volver sobre lo desastrosos que fueron los resultados de España en el estudio, bastante peores que los de PISA. Pero escuchando los comentarios de estos días me ha venido a la cabeza una posible explicación de por qué la publicación de los resultados pasó bastante desapercibida: a ninguno de los dos bandos que llevan enredados en el debate sobre política educativa (que no debate sobre educación) más de 20 años les valían sus argumentos habituales. Por un lado, es complicado responsabilizar a la LOGSE de los resultados; pero parece igualmente inverosímil achacar el bajo nivel de los alumnos de 4º de Primaria al atraso histórico de la educación en nuestro país.

Sería interesante poder entrar a comparar los enfoques de los dos estudios, y el comportamiento de diferentes países. A primera vista, parece que hay una alta correlación, aunque con llamativas excepciones, como Rusia o Hungría (con resultados aceptables en TIMSS, y bastant peores en PISA), lo que concuerda bastante con una tradición de enseñanza de las matemáticas sesgada a los aspectos más teóricos.