Archivos de etiquetas para Evaluación

Reforma de la Selectividad – Comparativa internacional

Parece ser que se está cocinando una reforma del examen que hacen los alumnos en España antes de entrar en la universidad, que se llamó Selectividad originalmente, y que ha cambiado varias veces de nombre en los últimos años, al ritmo de las repetidas leyes educativas que hemos tenido. Desde el ministerio se dice que se quiere diseñar un «examen competencial», siguiendo la idea de lo que se hace en otros países europeos. Es muy posible que en otras áreas esto tenga bastante sentido, pero si hablamos de matemáticas y pensando en la interpretación mayoritaria en nuestro país de «competencia matemática», lo que está por venir me genera bastante preocupación. En todo caso, el objetivo de esta entrada es reunir ejemplos de exámenes análogos de diferentes países que he ido publicando en twitter en los pasados meses bajo la etiqueta #ReformaSelectividad. Esta es la lista, en el orden en el que fui recopilando los datos.

  • Portugal: este es el enlace a su instituto de evaluación educativa, donde está toda la información. Los datos que me parecen más relevantes son que el examen dura 150 minutos (+ 30 mins de «tolerancia»), se incluye un formulario al principio y se permite el uso de calculadora gráfica. Es obligatorio contestar a cierto número de preguntas, señaladas en el enunciado, y además se eligen las mejores notas del resto de los ejercicios (los números precisos varían de unos exámenes a otros). Estos son los exámenes de 2022.
  • Italia: este es el enlace a la página del Ministerio de Educación con información general sobre la prueba. Aquí, un ejemplo del examen de matemáticas, y aquí una página con ejemplos de examen de los últimos 20 años. Se permiten calculadoras gráficas (sin cálculo simbólico). El examen consta de varias preguntas cortas y de dos problemas, de los que hay que resolver uno. La duración máxima del examen es de 6 horas, lo que da una idea de que se trata de auténticos problemas (parece que con bastante preponderancia del análisis).
  • Singapur: la información sobre el examen preuniversitario de Singapur se puede encontrar en esta entrada de este mismo blog. (Y buscando la etiqueta Singapur se llega a mucha más información sobre su enseñanza de las matemáticas).
  • Gran Bretaña: su «Bachillerato» consiste en preparar una serie de A-levels. Parece que el mínimo para seguir estudiando son 3, y hay estudiantes que llegan a 5. Hay dos niveles (la S de AS es de “subsidiary»). En la imagen vemos las dos especialidades, cada una con un total de 4 exámenes.

Aquí están los ejemplos de exámenes. Se permite lista de fórmulas y, sobre la calculadora, todos tienen el comentario “You should use a calculator where appropriate“ Nada de modelización, nada de contextos, excepto en Estadística y Probabilidad.

  1. https://www.cambridgeinternational.org/Images/415312-2020-specimen-paper-1.pdf (1 h 50 min), con lista de fórmulas, análisis, álgebra y geometría, con preguntas “clásicas”
  2. https://www.cambridgeinternational.org/Images/415314-2020-specimen-paper-2.pdf (1 h 15 min), misma idea que el anterior (corresponde al nivel “subsidiary”)
  3. https://www.cambridgeinternational.org/Images/415315-2020-specimen-paper-3.pdf (1 h 50 min), también “clásico”, como el 1. Llega a contenidos más avanzados. (Una ecuación diferencial).
  4. https://www.cambridgeinternational.org/Images/415317-2020-specimen-paper-4.pdf (1 h 15 min), Mecánica.
  5. https://www.cambridgeinternational.org/Images/415319-2020-specimen-paper-5.pdf (1 h 15 min), Probabilidad y Estadística.
  6. https://www.cambridgeinternational.org/Images/415320-2020-specimen-paper-6.pdf (1 h 15 min), Probabilidad y Estadística.
  • Alemania (Baviera): el sistema educativo alemán está descentralizado, y cada Land tiene su propia Abitur. Aquí se puede acceder a los exámenes de matemáticas de Baviera, y con la ayuda de google aquí están las traducciones:
    • examen sin calculadora simbólica aquí.
    • examen con calculadora simbólica aquí.

Los exámenes constan de dos partes, la primera de 70 minutos y la segunda de 200 minutos. Es llamativo que las dos versiones (con y sin CAS) son muy similares, y difieren solo en algún apartado de dos o tres problemas. En la tabla vemos la distribución de puntuaciones, y resulta llamativa la ausencia del álgebra. 

Parte 1Parte 2
Análisis2040
Estocástica525
Geometría525
Total3090

Hay preguntas con modelos de situaciones realistas que me han parecido muy interesantes. Los modelos ya vienen dados, en la forma de «esta función modela esta situación». Lo que se pide en el examen es saber interpretar diferentes hechos matemáticos en el contexto de los modelos datos. Unas preguntas de probabilidad que me han gustado, y que no he visto en nuestro país, son del tipo de «busca un evento cuya probabilidad sea esta». Tampoco llegan a la inferencia estadística. Parece que opinan que mejor sentar bien las bases, y dejar la inferencia para más adelante.

  • Francia: Está en proceso de cambio. Hasta ahora tenían tres bachilleratos (Científico, Económico y social, Literario) y la información de Wikipedia sobre el Baccalauréat francés y su evolución histórica se puede encontrar aquí.
    En el nuevo sistema solo hay un bachillerato, con asignaturas comunes y asignaturas optativas. Wikipedia, de nuevo, tiene una completa descripción de esta organización aquí.
    Las matemáticas no están entre las asignaturas comunes. En el examen final hay pruebas de Francés (uno oral, otro escrito), Filosofía, y un examen oral, parece que general. Se examinan de dos asignaturas de las específicas, que tienen bastante peso. Cada una son 16 puntos. Por comparación, Francés son 10 puntos en total, Filosofía 8. Parece que en la actualidad hay un fuerte debate porque hay menos alumnos estudiando matemáticas, en particular menos alumnas. Aquí, un ejemplo con algunos datos.
    Este es el examen de Matemáticas del año 2021. Se permiten calculadoras, y habla de «en modo examen», lo que deja claro que se trata de calculadoras del siglo XXI. Tres grandes preguntas comunes (una de cálculo/análisis, una de geometría, una de probabilidad) y luego otra que hay que elegir entre dos (las dos de análisis).
    Para los interesados, pdf y LaTeX del examen aquí.

Para los lectores que no conozcan el sistema español, en este enlace de la Universidad de Alcalá se puede acceder a los exámenes de EvAU (así se llama ahora este examen en la Comunidad de Madrid) de los últimos años. Los exámenes de las diferentes comunidades autónomas españolas pueden ser bastante diferentes, y este tema daría por sí solo para varias entradas.

Para terminar, una pequeña tabla resumen con la duración de las pruebas en diferentes países, todos los que he mencionado y algunos más de los que solo tengo información parcial.

Anuncio publicitario

TIMSS 2015 – leve mejoría

El pasado día 29 se publicaron los primeros resultados del estudio TIMSS 2015. Aunque la puntuación obtenida por España apunta a una leve mejoría, las reacciones que he visto en la mayoría de los medios de comunicación me parecen excesivas. Sobre esa carrera que hemos observado entre nuestros políticos para atribuirse los méritos, no tengo nada mejor que decir que recomendar la lectura de esta serie de tuits de @lucas_gortazar (a cuento de los resultados de PISA que salen el 6 de diciembre, pero exactamente lo mismo se puede decir sobre TIMSS):

Algunas breves observaciones sobre los resultados de TIMSS 2015.

A diferencia de PISA, la escala de puntuación de TIMSS no se obtiene de una media, sino que es una escala absoluta. El nivel se mantiene (o se trata de mantener) constante mediante una serie de preguntas que se repiten en cada estudio. Desde ese punto de vista, los 505 puntos obtenidos por España en esta oleada son una mejora respecto de los 482 del estudio TIMSS 2011. Sin embargo, hay al menos dos razones para reprimir el entusiasmo:

  • Si calculamos la media de los resultados de los países occidentales que han participado en los dos estudios, nos encontramos con un resultado de 519 para TIMSS 2011 y  529 para TIMSS 2015. Eso puede querer decir que ha habido una pequeña mejora general, o que la prueba ha sido ligeramente más fácil. Creo que todos los docentes somos conscientes de lo difícil que es mantener el nivel de dificultad de un examen.
  • En la siguiente figura trato de contextualizar los resultados de España. Para ello, me he olvidado de los países asiáticos, que juegan en otra liga, y he representado los resultados de los países de Europa occidental (junto con EEUU y Rusia). Creo que salta a la vista que no hay demasiados motivos para el entusiasmo. (Un entusiasmo que sí me permitiría sentir si fuera noruego, o polaco).

timss-2011-2015

Un examen de 4º de ESO

Antes de enseñar el examen en cuestión, unas notas aclaratorias:

Esta entrada no es, en absoluto, un «desahogo de un padre enfadado». Mi hija ya pasó los cursos mas difíciles, y trabaja razonablemente. Además, claro, tiene en casa ayuda cuando la necesita. De manera que su único problema es que tiene un poco mas difícil – que no imposible – llegar al sobresaliente, que es su objetivo.

Tampoco se trata de lanzarse al deporte de «criticar al profesor». No conozco personalmente a su profesora, pero estoy convencido de que me encontaría con un perfil similar al que ya he comentado en alguna ocasión: una persona trabajadora, y convencida de que hace lo que puede, dada la formación que tienen sus alumnos, los requerimientos del programa, etc. Algún comentario me ha llegado en la dirección de que pone muchas cosas en el examen para que todo el mundo pueda hacer algo … El problema de fondo aquí, claro, es el aislamiento en que vive una buena parte del profesorado. Y en este punto me parece que las responsabilidades están bastante repartidas: la administración no cuida la formación continua lo que debería, es verdad, pero en estos tiempos cualquier interesado tiene a su alcance experiencias, materiales y puntos de vista distintos: no necesariamente mejores, pero adecuados para promover la reflexión.

Por último, es evidente que se trata solo de «evidencia anecdótica». No tengo ni idea de lo extendido que está este enfoque en nuestras aulas. El problema es que ¡nadie lo sabe! Estoy intentando arrancar un estudio (anónimo, y con selección aleatoria de aulas) pero de momento sin éxito. No me he dado por vencido …

Para terminar, un dato relevante es, claro, el tiempo dedicado al examen: 1 h 20 minutos. Supongo que un día venceré la pereza y lo haré completo; de momento la opinión que tengo es solo «de primera vista». Y prefiero reservarla, por ahora, para escuchar antes las vuestras.

ex-ESO-4

Un ejemplo de pruebas externas

Creo que el debate sobre las pruebas externas está demasiado condicionado por la triste experiencia de la única prueba externa – con efectos sobre el currículo – que tenemos en España. Me parece que todos estamos de acuerdo en que la prueba de matemáticas (y seguramente también de otras materias) de la selectividad – la PAU – está mal diseñada. No es un examen que evalúe bien los conocimientos matemáticos (una buena parte de las preguntas son siempre «las mismas» y marcadamente rutinarias). Lo que es peor, condiciona fuertemente el desarrollo de 2º de Bachillerato, y creo que empobrece el aprendizaje. El famoso efecto «teach to the test» tiene en este caso efectos negativos.

Lo que querría discutir es si esto no tiene mucho que ver con el diseño del examen de selectividad, y no tanto con el concepto «prueba externa». Aclaración preventiva: no estoy diciendo que esté a favor de las pruebas externas (ni lo contrario). Lo que estoy diciendo es que para tener un debate constructivo sobre las pruebas externas habría que tener una visión más general del tema.

Como ya saben los lectores de este blog, me gusta mucho el enfoque de la enseñanza de las matemáticas en Singapur. Investigando en la etapa de Bachillerato, he descubierto que esa etapa en buena parte del mundo anglosajón es, en buena medida, y de forma nada encubierta, una preparación de la prueba conocida como A-level.  Quede claro: esta prueba no está exenta de controversias, como puede comprobar cualquier lector que busque «A level examination». No puede ser de otra forma: las pruebas externas son un tema muy complejo, y ninguna solución se acerca a la perfección.

Lo que quiero enseñar hoy es una muestra de un libro pensado para preparar las matemáticas de los A-level de Singapur. En este enlace he puesto una copia del índice del libro y las páginas con preguntas de los diferentes exámenes. Las siglas entre corchetes después de cada problema corresponden a las diferentes agencias en cuyas pruebas apareción la pregunta. Nueva aclaración preventiva: personalmente, preferiría que esta tarea corriera a cargo de un organismo público correctamente diseñado.

Mi opinión: un bachillerato dirigido a preparar un examen como el que muestra el libro me parece un bachillerato muy bien dirigido. Dicho de otra forma: creo que un alumno que sabe contestar las cuestiones y problemas que se muestran está preparado para comenzar sus estudios universitarios con las debidas garantías.

PISA versus TIMSS

En la semana de la publicación de los resultados del informe PISA, un blog que trata sobre educación matemática podría ser sancionado por no tratar el tema 🙂 . Pero intentaré hacerlo desde una perspectiva un poco diferente de los comentarios con los que nos han bombardeado los últimos días. Es verdad que echar un vistazo a las preguntas del informe (una muestra más amplia, con preguntas de informes anteriores y con los resultados obtenidos por alumnos españoles en ellas, aquí), y compararlas con la mayoría de las tareas que vemos en nuestras aulas de secundaria deja bastante claro tanto parte de las razones de los pobres resultados de nuestro país como lo desfasado que se ha quedado nuestro enfoque. Pero creo que sería un error concluir que debemos enfocar la enseñanza de las matemáticas hacia «preguntas tipo PISA». No solo por los efectos perniciosos del famoso «teach to the test» sino sobre todo por la propia filosofía del informe PISA. Según se puede leer en su propia página web, «PISA is unique because it develops tests which are not directly linked to the school curriculum. The tests are designed to assess to what extent students at the end of compulsory education, can apply their knowledge to real-life situations and be equipped for full participation in society«. Por supuesto que la capacidad para aplicar el conocimiento en situaciones de la vida real, y para interpretar información y tomar decisiones, es uno de los objetivos de la formación matemática, y un objetivo que no se cuida lo suficiente en nuestro sistema. Pero si queremos guiarnos por test internacionales, creo que TIMSS sería una referencia más adecuada. Los estudios TIMSS (Trends in International Mathematics and Sciencie Study), que ya han aparecido en este blog, tienen como objetivo evaluar los conocimientos matemáticos de los alumnos de los grados 4 y 8. Son menos conocidos en nuestro país, supongo que en buena medida porque apenas hemos participado en ellos. Aparte de una aparición esporádica hace 20 años, España sólo ha tomado parte en el último, el TIMSS 2011, y solo en el correspondiente a 4º de Primaria.

Me parecen estudios muy bien diseñados, y creo que puede ser muy útil echar un vistazo a las preguntas que aparecen. Aún con las limitaciones que impone el formato de estudio de gran tamaño, y las preguntas tipo test, podríamos aprender mucho sobre el apropiado equilibrio entre las diferentes áreas (aritmética, álgebra, geometría, estadística y probabilidad), y en cómo se puede evaluar tanto el domino de las técnicas básicas como la comprensión de los conceptos fundamentales. Aquí dejo los enlaces a las preguntas liberadas de 4º y a las de 8º.

No voy a volver sobre lo desastrosos que fueron los resultados de España en el estudio, bastante peores que los de PISA. Pero escuchando los comentarios de estos días me ha venido a la cabeza una posible explicación de por qué la publicación de los resultados pasó bastante desapercibida: a ninguno de los dos bandos que llevan enredados en el debate sobre política educativa (que no debate sobre educación) más de 20 años les valían sus argumentos habituales. Por un lado, es complicado responsabilizar a la LOGSE de los resultados; pero parece igualmente inverosímil achacar el bajo nivel de los alumnos de 4º de Primaria al atraso histórico de la educación en nuestro país.

Sería interesante poder entrar a comparar los enfoques de los dos estudios, y el comportamiento de diferentes países. A primera vista, parece que hay una alta correlación, aunque con llamativas excepciones, como Rusia o Hungría (con resultados aceptables en TIMSS, y bastant peores en PISA), lo que concuerda bastante con una tradición de enseñanza de las matemáticas sesgada a los aspectos más teóricos.