Ei-iE

El número de países que participan en el Programa para la Evaluación Internacional de Alumnos (PISA) de la OCDE ya dobla el número de países miembros de la OCDE. Si hay algo que demuestra hasta dónde ha llegado PISA en comparación con otras evaluaciones internacionales de la educación, es el hecho de que los países no miembros de la OCDE perciban ahora PISA como la evaluación “más indicada” para examinar sus sistemas educativos. Por lo tanto, el libro de Sellar, Thompson y Rutkowski no es sólo una reflexión oportuna sobre las ventajas e inconvenientes de las evaluaciones internacionales de la educación, sino que resulta además útil para centrarse en el preeminente papel de PISA.

Este libro tiene una serie de virtudes potentes. Es conciso, equilibrado, sumamente entretenido y, a diferencia de otras críticas académicas de PISA, los autores saben de lo que están hablando. Tampoco recelan a la hora de plantear varias propuestas políticas claras.

La esencia de la crítica de los autores es que los países que ven un adelanto en PISA en tanto que objetivo sistémico en sí mismo participan en una competición tóxica. Irónicamente, estos países tampoco sacan el mayor partido a los datos y las conclusiones políticas de PISA.

Así que, según Sellar et al, ¿cuál debería ser el enfoque correcto para PISA? En primer lugar dejan claro que su libro no es anti-PISA. Pero, no obstante, creen que los ministros utilizan a menudo PISA como una libreta de calificaciones de gran importancia que da lugar a celebraciones o a reproches injustificados. Trata de apartar a los responsables políticos de este enfoque. Sin llegar a resumir el libro, hay algunas ideas que cabe destacar.

Por ejemplo, según los autores, PISA no puede ser una evaluación comparativa de las escuelas, puesto que el Programa evalúa a alumnos de 15 años y a estudiantes de países donde la educación dura más años que en otros. PISA es una evaluación relacionada con la edad.

En lo que es, en esencia, un mini manual básico sobre el funcionamiento de las pruebas de PISA, los autores del libro explican que PISA no sólo muestrea la población estudiantil de cada uno de los países participantes, sino que cada estudiante no completa más que una muestra de los elementos de la prueba. Consideran que este procedimiento está consolidado y es fiable pero, en un tema que se repite a lo largo del libro, instan a la OCDE a reconocer las limitaciones de PISA. Un buen ejemplo son los propios cuadros de rendimiento por país de PISA. Es el aspecto más importante del Programa y, sin lugar a dudas, el más controvertido. En lugar de abogar por la abolición de estos cuadros, Sellar et al vuelven a instar a los gobiernos a reconocer sus limitaciones más que dejarse llevar por la envidia que suscita PISA. Hay una parte fascinante sobre las inevitables medidas de incertidumbre o errores estadísticos de las calificaciones de PISA. Concluyen que “la mejor manera de entender las clasificaciones de PISA es considerarlas como gamas en lugar de puestos exactos”, y que “comunicar los errores estándar es algo más que simplemente una buena práctica estadística. (...) Recuerdan a todas las partes interesadas que las calificaciones de PISA no son exactas sino más bien estimaciones de lo que la OCDE cree que los estudiantes de 15 años saben y pueden hacer”. Y los autores plantean una propuesta especialmente interesante en cuanto a que sería más útil centrarse “en áreas en las que los estudiantes hayan tenido malos resultados, que en lamentarse por el rendimiento en general”, lo que podría dar lugar a unos cambios profundos y posiblemente contraproducentes para los estudiantes que obtienen buenos resultados.

La propia Internacional de la Educación ha intervenido en este ámbito. Siempre ha sostenido que las clasificaciones por país de PISA eclipsan conclusiones políticas mucho más importantes del Programa. En 2009, le encargó al profesor Peter Mortimore que propusiera modelos alternativos para analizar e informar sobre el rendimiento de los países en PISA (Mortimore, 2009). Lo que resulta fascinante es que sus propuestas son notablemente parecidas a las que se plantean en este libro, incluso a la hora de instar a la OCDE a involucrar a los docentes en el diseño y el desarrollo del Programa y ampliar las áreas que se evalúan.

Esto nos lleva a analizar las limitaciones del libro en sí. Curiosamente, si bien incluye muchos aspectos sobre el diseño de las pruebas, no dice nada respecto al principio de equidad sobre el que se fundamenta PISA, si bien es cierto que la equidad se menciona como un resultado de las políticas, ni a que las pruebas se centran en el uso y la aplicación de conocimientos, en lugar de en la repetición mecánica de los mismos por parte de los estudiantes – un cambio radical con respeto a la evaluación que se presentó al principio. El libro podría haberse centrado mucho más en la relación de los cuestionarios contextuales para las evaluaciones de PISA. La correlación entre los resultados de los cuestionarios y los de las evaluaciones es lo que confiere a PISA toda su importancia política. Sellar et al advierten acertadamente a los responsables políticos de que no asuman que PISA puede identificar las causas del éxito o el fracaso de las políticas, pero también podrían haber dejado más claro que es casi imposible que un estudio consiga identificar una relación de causalidad a nivel de las políticas y los sistemas. La correlación es la única vía que PISA podía adoptar.

Sellar et al critican a los gobiernos que ignoran las implicaciones del medio socioeconómico del estudiante como una influencia dominante en gran parte de los datos, dejándose al mismo tiempo llevar por el pánico o la celebración de PISA a raíz de unas fluctuaciones insignificantes en las clasificaciones del programa. Casos destacados son los Gobiernos de Australia y Nueva Zelanda. Los estudiantes de origen cultural chino procedentes de dichos países obtienen unos resultados parecidos a los de los estudiantes de Shanghái (China).

Argumentan por tanto que PISA debería utilizarse para mejorar los resultados de los estudiantes con bajo rendimiento – de nuevo, una línea que la Internacional de la Educación ha venido manteniendo de manera consistente. El libro afirma inequívocamente que si PISA se utilizara para abogar por cambios que puedan “hacer que los sistemas educativos sean más justos y mejores”, sería un instrumento poderoso para enriquecer y ampliar el debate educativo.

Sellar et al señalan que la manera en que se utilizan los datos de PISA está en manos de los países miembros de la OCDE, y de los políticos en particular, no de los funcionarios de la OCDE. El libro deduce, pero no aclara, que esto también se aplica a las limitaciones sobre las “alfabetizaciones” que se evalúan. Los países miembros de la OCDE son los que han impedido a la OCDE introducir una evaluación más amplia de los currículos, como sucede en el caso de “geografía o ciencias sociales” que plantea Mortimore.

Sin embargo, estas salvedades son relativamente menores. Sellar et al tienen sin duda razón al esgrimir que, aunque PISA es una de las mejores iniciativas para medir con exactitud los resultados de la educación, si se combinara con las pruebas estandarizadas articuladas a regímenes punitivos de responsabilidad educativa, se producirían unos efectos negativos y perversos. Los autores piensan que los docentes y directores tienen que estar en el centro de la evaluación de PISA en el momento de su publicación. También sostienen que esto debería ir acompañado de un debate abierto y continuo sobre los usos y abusos de las pruebas estandarizadas. Después de todo, los docentes son tan dueños de PISA como lo son los gobiernos.