PISA versus TIMSS

En la semana de la publicación de los resultados del informe PISA, un blog que trata sobre educación matemática podría ser sancionado por no tratar el tema 🙂 . Pero intentaré hacerlo desde una perspectiva un poco diferente de los comentarios con los que nos han bombardeado los últimos días. Es verdad que echar un vistazo a las preguntas del informe (una muestra más amplia, con preguntas de informes anteriores y con los resultados obtenidos por alumnos españoles en ellas, aquí), y compararlas con la mayoría de las tareas que vemos en nuestras aulas de secundaria deja bastante claro tanto parte de las razones de los pobres resultados de nuestro país como lo desfasado que se ha quedado nuestro enfoque. Pero creo que sería un error concluir que debemos enfocar la enseñanza de las matemáticas hacia “preguntas tipo PISA”. No solo por los efectos perniciosos del famoso “teach to the test” sino sobre todo por la propia filosofía del informe PISA. Según se puede leer en su propia página web, “PISA is unique because it develops tests which are not directly linked to the school curriculum. The tests are designed to assess to what extent students at the end of compulsory education, can apply their knowledge to real-life situations and be equipped for full participation in society“. Por supuesto que la capacidad para aplicar el conocimiento en situaciones de la vida real, y para interpretar información y tomar decisiones, es uno de los objetivos de la formación matemática, y un objetivo que no se cuida lo suficiente en nuestro sistema. Pero si queremos guiarnos por test internacionales, creo que TIMSS sería una referencia más adecuada. Los estudios TIMSS (Trends in International Mathematics and Sciencie Study), que ya han aparecido en este blog, tienen como objetivo evaluar los conocimientos matemáticos de los alumnos de los grados 4 y 8. Son menos conocidos en nuestro país, supongo que en buena medida porque apenas hemos participado en ellos. Aparte de una aparición esporádica hace 20 años, España sólo ha tomado parte en el último, el TIMSS 2011, y solo en el correspondiente a 4º de Primaria.

Me parecen estudios muy bien diseñados, y creo que puede ser muy útil echar un vistazo a las preguntas que aparecen. Aún con las limitaciones que impone el formato de estudio de gran tamaño, y las preguntas tipo test, podríamos aprender mucho sobre el apropiado equilibrio entre las diferentes áreas (aritmética, álgebra, geometría, estadística y probabilidad), y en cómo se puede evaluar tanto el domino de las técnicas básicas como la comprensión de los conceptos fundamentales. Aquí dejo los enlaces a las preguntas liberadas de 4º y a las de 8º.

No voy a volver sobre lo desastrosos que fueron los resultados de España en el estudio, bastante peores que los de PISA. Pero escuchando los comentarios de estos días me ha venido a la cabeza una posible explicación de por qué la publicación de los resultados pasó bastante desapercibida: a ninguno de los dos bandos que llevan enredados en el debate sobre política educativa (que no debate sobre educación) más de 20 años les valían sus argumentos habituales. Por un lado, es complicado responsabilizar a la LOGSE de los resultados; pero parece igualmente inverosímil achacar el bajo nivel de los alumnos de 4º de Primaria al atraso histórico de la educación en nuestro país.

Sería interesante poder entrar a comparar los enfoques de los dos estudios, y el comportamiento de diferentes países. A primera vista, parece que hay una alta correlación, aunque con llamativas excepciones, como Rusia o Hungría (con resultados aceptables en TIMSS, y bastant peores en PISA), lo que concuerda bastante con una tradición de enseñanza de las matemáticas sesgada a los aspectos más teóricos.

Anuncios

17 pensamientos en “PISA versus TIMSS

  1. Muy interesante, Pedro, pero entonces, ¿qué crees que es lo que falla? ¿Sólo la formación de tantos profesores y los libros de texto?

    Entiendo que hay una influencia directa de varios aspectos e indirecta de otros. Por ejemplo, nunca se me olvida cuando mi padre, maestro recién jubilado, me decía que en los años 60 casi la mitad de los habitantes del pueblo eran prácticamente analfabetos. Sé que eso pasó hace más de cincuenta años, pero es inevitable que influya de un modo directo en la cultura general, la curiosidad de los hijos y la capacidad de fomentar esa curiosidad.

      • Creo que está fuera de toda duda que hay una alta correlación entre desarrollo económico y nivel educativo. Ya sabemos que correlación no implica causalidad, pero yo creo que en este caso hay influencia en las dos direcciones. Los recursos económicos, a poco bien que se gasten, ayudan a mejorar la educación, y un buen nivel educativo favorece el desarrollo económico. Los casos de Corea del Sur o Singapur me parecen ejemplos perfectos de esta segunda parte.

    • El problema es que el sistema educativo es muy complejo, y en sus resultados influyen multitud de variables. No niego que el porcentaje de analfabetismo en España hace 50 años tenga su influencia en los resultados actuales, pero creo que esa influencia es menor de lo que sostienen las voces que más se oyen en estos tiempos, y que son mayoritariamente de la sociología de la educación.
      Después de alguna admonición (totalmente merecida) de mis compañeros de la Facultad de Educación, cada vez usaba la expresión “sistema educativo” me estoy acostumbrando a hablar de “sistema escolar” cuando considero la parte del sistema que tiene que ver con la actividad escolar, y sistema educativo para hablar del conjunto (dejando también ahí variables como la aportación de las familias, o la motivación inicial de los alumnos).
      Pues bien, creo que las componentes principales del sistema escolar son (el orden no significa nada): 1 – currículos, 2 – libros de texto, 3 – formación del profesorado, 4 – evaluación. Por supuesto, cada apartado se puede descomponer, por ejemplo en la evaluación incluyo tanto cómo evaluamos a nuestros alumnos como la evaluación del sistema (sea interna o externa).
      Mi punto de vista es que en estos cuatro temas tenemos mucho que mejorar dentro del sistema escolar:
      1 – currículos (también en primaria, pero especialmente en secundaria: muy repetitivos en la ESO, disparatados en extensión en Bachillerato).
      2 – libros de texto (muy especialmente en primaria). Mi impresión es que si el currículo de secundaria se recondujera, los textos le seguirían.
      3 – formación del profesorado, tanto la inicial como la permanente. Hay una opinión muy extendida de que quizá sea la variable que más pesa, y creo que la hemos descuidado durante años: poca valoración social de la profesión, problemas en la selección de personal, falta de incentivos al trabajo, descuido de la formación continua …
      4 – evaluación. Sobre el tema “si les pregunto problemas en el examen, tengo que suspenderlos a todos”, al que creo que todos nos enfrentamos, tengo pensado escribir en algún momento, pero además está el tema de la evaluación del sistema. La prueba externa más conocida, la selectividad, nos ha enseñado el lado más perverso de este enfoque, pero por otra parte visto cómo funciona la autoevaluación en la universidad, soy muy pesimista sobre el recorrido del “enfoque autoevaluador” en nuestro país.
      Espero haber avanzado algo en la discusión. El problema es que cada uno de estos apartados es todo un tema en sí mismo.

      • Me sumo al debate… Respecto a la formación del profesorado, que tanto se menciona en los medios de comunicación (y es obvio con qué intención), sé honesto: ¿crees que se utilizaría para dar más contenidos sobre teorías del aprendizaje, como es habitual, o para aprender más didáctica, metodología…? Porque viendo lo que se da por España adelante en el Máster de Secundaria heredero del CAP…
        Me reafirmo en mi elogio: tu blog es de los pocos lugares en español donde los profesores podemos leer reflexiones sobre nuestro oficio, lo que es bueno para tu blog pero malo para nuestro oficio, pues debería haber muchos más, en mi opinión bajo la coordinación de las administraciones educativas.
        Ah, no me olvido, he estado revolviendo en los items liberados y lo que he visto no me ha gustado nada.

      • Bienvenido al debate! Yo prefiero no hacer juicios de intenciones, creo que imposibilitan el debate, y me parece imprescindible que afrontemos el problema. Creo que alguien (y no se me ocurre otro candidato que las asociaciones de profesores) debería atreverse a hacer una propuesta (estoy de acuerdo en que el Máster es una mejora marginal respecto al CAP). No me considero en absoluto un experto en el tema, pero aquí va una propuesta con la intención de animar el debate: un examen inicial donde se evaluaran los conocimientos (entendidos como los conocimientos que debe tener el profesor). Digamos algo en la línea del MTEL del que ya he hablado, seguido de un periodo de auténticas prácticas de un año, y bajo la dirección de un tutor que debería ser un profesor especialmente seleccionado. Y, por supuesto, debería ser perfectamente posible que el candidato suspendiera ese periodo de prácticas, si se comprobara que no tiene las actitudes adecuadas.

        Muchas gracias por el elogio. Desde luego estoy de acuerdo en que falta debate y reflexión en la profesión. Pero debemos mirarnos el ombligo! ¿Cómo es posible que la clase sea un lugar tan privado como el cuarto de baño? Si hay alguna actividad que es común en la mayoría de los países a los que les van mejor las cosas es que de vez en cuando los profesores ven dar clase a sus compañeros, y hablan sobre formas de mejorar sus clases. ¿Quién nos impide hacer eso, salvo la inercia?
        Sobre los items liberados, desde luego es opinable. ¿Te refieres a TIMSS, a PISA o a ambos?

      • En respuesta a la respuesta que haces, Pedro, con la frase: “El problema es que cada uno de estos apartados es todo un tema en sí mismo” Claro, el fallo de la educación formal en la escuela o “sistema escolar”, hay otros aprendizajes que el actual sistema educativo no reconoce y que la sociedad ya tiene asumidos (la educación informal y no formal).

    • Hola Pedro, veo que sigues reflexionando, y es completamente necesario, pero también pienso que es muy importante dar modelos “particulares” es decir experiencias o actividades concretas, cada uno en su ámbito, que reflejen eso que parece que queremos que sea la ensañanza de la mates. ¿Qué hago yo en mi facultad (por ejemplo) formando maestros para darles herramientas para el cambio? seria un ejemplo.
      Por lo tanto creo que además de “poner trabajo a todo Dios: “facultades, ministerio, sociedades matemáticas etc, tendrias que “bajar” a tratar cosas punto por punto. Por ejemplo: libros de texto: no veo claro lo que dices para Primària. Voy a lo concreto.
      1. ¿Es necesario un libro de texto? (en general yo creo que si). Cuando se habla de Puig Adam o de la Castelnuovo, no olvidemos que muchas de las cosas que se saben de su manera de hacer es por sus libros de texto.
      2. Si avanzamos un poco en el tiempo muchos profesores ahora muy conocidos en el ámbito de las federaciones de profesores escribieron libros para LGE (años 80) y creo que son excelentes libros que ayudaron a cambiar la enseñanza de las matemáticas y hablo de personajes como por ejemplo Miguel de Guzman, Colera etc
      3. ¿Cómo deberia ser un “libro de texto” actual? para que ayudara a cambiar la enseñanza? ¿es posible? ¿Es necesario pero no suficiente? (que es lo que creo yo) El esquema “teoria-pràctica” sigue siendo vàlido? (yo creo que no, tanto en primaria como en secundaria obligatoria).
      4. Si apareciera una colección de libros de texto que respondiera a las espectativas los que leemos tu blog, se venderian? es decir tendrían éxito? … yo creo que, cómo mínimo en Primària, dificilmente.

    • Efectivamente: las preguntas de matemáticas de PISA son un tema en sí mismo, en el que me temo que no voy a entrar. No voy a tener tiempo de mirarlas con calma. En general, el tema de los “problemas realistas” es complicado. Es verdad que lo ideal es que un buen problema refleje una situación real, y que – al menos con cierta frecuencia- se deberían tratar situaciones reales con contenido matemático. Pero que un problema sea, de verdad, “realista” y que el contenido matemático sea interesante, es algo difícil de conseguir.

  2. otro tema interesante: ejercitar
    Uno de los cambios en los que estamos trabajando en nuestras clases, és en el de la pràctica o ejercitación de ejercicios, su corrección etc, que no ha cambiado casi en nada que yo recuerde. Un ejemplo a seguir es el blog de Dan Steward (median) al que muchas veces citamos en nuestro blog.

    • Recibido el mensaje de hacer algo además de poner tareas. Créeme, estoy en ello. Pero debo decir en mi defensa que aterrizé en este mundo en septiembre de 2010. Han sido años de aprendizaje, y de momento no ha cristalizado ninguno de los proyectos concretos que he intentado. Pero estoy lejos de darme por vencido, y sigue habiendo varias opciones abiertas. Coincido completamente en que el tema de los libros de texto es clave, una próxima entrada será sobre el tema, e incluirá algún anuncio concreto. Si tuviera una segunda vida, las cosas irían más deprisa, pero tengo que compaginar estas tareas con mi trabajo en la investigación, que no quiero dejar.

  3. creo que no me expliqué bien: tu pon tareas e investiga como actividad principal. Además tu blog tiene éxito y ésto es importante. Me referia a que, de vez en cuando, propongas un debate sobre aspectos más acotados con el objetivo de llegar a un cierto cosenso. Por ejemplo eso de los problemas realistas: No se si la traducción era fiable pero creo que “los freundenthals” hablaban de “realística” para distinguirla de la matemática de “la realidad” Mi interpretación, no se si correcta fué que su esquema es partir de un tema (no de la realidad) y generar un problema en un contexto real dominado por los alumnos a partir del cual poder llegar de manera mucho más intuitiva al contenido a trabajar. ¿tenemos ejemplos de este tipo de situaciones? ¿los ponemos en común? ¿vale la pena?

    • Aclarado queda. Sí, realmente no lo había entendido bien. Y recojo el guante. Pongo en la lista un tema del que ya hablé al principio, pero que merece la pena revisitar y debatir como propones. Mi opinión sobre dónde empiezan los problemas con la resolución de problemas puede no ser la estándar. Propondré un debate sobre el tema próximamente. Me parece que es un debate previo al de los problemas realistas – o realísticos – que propones.

  4. Primeramente señalar que en vez de política educativa (que sería que el Estado, partido en el poder, se preocupa por la educación), creo que es “simplemente” una lucha ideológica, como en otros tantos aspectos, para no llegar al fondo de la cuestión, porque no les interesa.

    Además quería dejar esta notica de diario 20 minutos que leí el otro día a propósito del informe PISA http://www.20minutos.es/noticia/1999203/0/shanghai-pisa/sombras/mejor-modelo-educativo/
    Me parece que lleva a un razonamiento profundo al final como todos los pensamientos pedagógicos actuales (Ken Robinson y la educación anacreóntica) donde la memorización debe perder paso sobre el razonamiento, y me surge el dilema de los libros de Shanghai que parecen tan buenos en el área de matemáticas.

    Quizás debamos pensar en la proposición que extendió Maquiavelo de que “el fin justifica los medios” y si con ese método se obtienen los mejores resultados… Pero creo que ya acertó Aristóteles, y con lo que me quedaría para un modelo educativo y evaluador en matemáticas y otras áreas, sería la virtud está en el término medio.

    • Estoy de acuerdo en el punto de la lucha ideológica, lo que no tengo tan claro es que no vayan al fondo del debate porque no les interesa. ¿Y si no tuvieran gran cosa que decir? Estoy convencido de que la torpeza y el desconocimiento son mucho más abundantes que la mala intención.
      Sobre los libros: ojo, no se trata de Shanghai, sino de Singapur. He leído los artículos de estos días y estoy de acuerdo en que los sitemas asiáticos tienen grandes zonas oscuras. En el caso de Singapur, lo único que conozco es el curriculum y los libros de texto (que en ese caso viene a ser la misma cosa, porque hasta hace unos pocos años los textos eran únicos, y elaborados por el instituto de educación que redactaba el currículum). La impresión al ver los libros no es exactamente que trabajen mucho más. De hecho, lo que he visto son al de algunos maestros americanos que los han utilizado, y lo que cuentan es justo lo contrario: van más holgados de tiempo, porque los temas no se repiten, y están muy bien seleccionados, de forma que se dispone del reposo necesario para tratar las cosas con calma. No conozco estudios sistemáticos, pero todas las opiniones van en la línea de este comentario.

  5. Perdón por mi mala expresión con respecto al tema de los libros. La idea no era sobre los libros en sí, sino que lo que pretendía decir era que un sistema principalmente memorístico y repetitivo, como es el caso de Shanghai, en el cuál el uso de los libros es casi nulo (por las referencias que tengo de ellos, y es en casi todas las áreas de conocimiento) puesto que no basan el aprendizaje con los libros, por lo menos en las edades más tempranas (primaria), puede destacar en un informe (quizás sesgado y no demasido realista para el caso de la matemáticas, como muy bien comentas en la entrada), compararlo con el sistema español en el cual todo el aprendizaje es con el libro. Es el gran dilema de utilizar el libro o no, que creo que todo docente se debe plantear (sobre todo en educación obligatoria ya que es donde está más extendido su uso) para una buena docencia. Por lo tanto el dilema que planteaba era el uso o no de los libros en el aula, por los resultados que podemos vislumbrar a partir de informes como pisa. Pido disculpas una vez aclarado y al releer mi comentario he visto el error.

    En cuanto a que la clase política no tenga nada que decir, debo señalar mi visión contrapuesta, por un lado creo que toda persona con un mínimo de concienciación de la importancia de la educación puede señalar una mejora; pero por otro lado mi visión negativista del hombre (cerca de Thomas Hobbes) me deja sin argumentos a tu pregunta.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s