Tag Archives: Programme for International Student Assessment

“El mejor español se habla en Valladolid” (PISA, 2015)

“En Andalucía lo que sabe un niño de diez años es lo que sabe uno de ocho en Castilla y León”.

Estas declaraciones, pronunciadas hace un mes por Isabel García Tejerina, vicesecretaria de Acción Social del PP y ex ministra de Agricultura, Pesca, Alimentación y Medioambiente de abril de 2014 a junio de 2018, suscitaron una gran polémica en España, y a mí me dieron la idea de hacer un ejercicio simpático a partir de los últimos resultados de PISA, en 2015.

Recordatorio: PISA es el acrónimo de Programme for International Student Assessment, unas pruebas estandarizadas realizadas por la OECD que se hacen a alumnos de secundaria (15 años) de más de 60 países en las materias de matemáticas, ciencia y compresión lectora. Los resultados de las pruebas de 2015 se pueden encontrar aquí. Los resultados por comunidades de España se pueden encontrar aquí. En la gráfica de debajo se puede ver la presentación de los resultados de compresión lectora que se ofrece en el informe.

Lectura

Viendo esa gráfica, mi intuición parecía confirmarse así que le dediqué un par de horas a desarrollarla. Partiendo de la siguiente “premisa”:

“El mejor castellano, el mejor español se habla en Valladolid”.

Esta afirmación se escucha a menudo en España. Así, que quise comprobar si los resultados de PISA de comprensión lectora iban en esa línea, y contrastarla con una derivada de esa afirmación, ver si cuanto más se aleja uno de Valladolid peor se habla español. Para ello, recogí los resultados por comunidad autónoma y los comparé con la distancia media (en kilómetros) de cada comunidad autónoma a la ciudad de Valladolid (1). Con ello obtuve la tabla de debajo.

Distancia_Valladolid_1

Y los datos de dicha tabla se pueden presentar de forma inmediata en la siguiente gráfica, a la que añadí una línea de tendencia a partir de los resultados de Castilla y León.

Distancia_Valladolid_4

En la gráfica se percibe cómo cuanto mayor es la distancia media de una comunidad autónoma a Valladolid, peor es el resultado de comprensión lectora de PISA 2015. La correlación entre las dos series de datos es de 0.47 (2), que sube a 0.53 para la España peninsular (la comprensión lectora en las islas Canarias aun siendo la tercera más baja de la lista no está en proporción con la gran distancia a Valladolid (3)).

De forma coloquial, entonces se podría decir que sí, que el mejor español se habla (de hecho sería se lee) en Valladolid, y que cuanto más se aleja uno de Valladolid peor se habla español (de hecho sería peor se comprende el español leído).

Un comentario final sobre comunidades autónomas como Baleares, Cataluña, Galicia, Navarra o País Vasco. En estas comunidades autónomas, las pruebas de PISA de compresión lectora se realizaron total o parcialmente en lenguas distintas del castellano (4). Siguiendo la teoría que en esta entrada se pretende demostrar de modo jocoso, “cuanto más se aleja uno de Valladolid peor se habla español”, si en esas comunidades las pruebas de PISA se hubieran hecho enteramente en español, los resultados de esas comunidades, dada su lejanía a Valladolid habrían sido peores, y más cercano al indicado por la línea de regresión (5).

(1) De Wikipedia se obtienen las coordenadas geográficas medias de cada comunidad autónoma. En la siguiente página hay un calculador de distancia entre cualesquiera dos puntos a partir de sus coordenadas.

(2) Una correlación a partir de 0.5 se suele considerar como fuerte.

(3) Siguiendo la regresión, para la distancia de Canarias a Valladolid (1,798 km) el resultado seria 387, mucho menor que los 483 obtenidos en la prueba.

(4) En particular:

  • País Vasco: un 25% de los alumnos hicieron la prueba en euskera (en su mayoría del modelo D, con puntuación media 483, por debajo del 491 general), el resto en castellano. El informe del gobierno autonómico ofrece mucho detalle sobre las puntuaciones sacadas por los alumnos de cada opción y el idioma que se habla en casa.
  • Navarra: el informe sobre los resultados que ofrece gobierno navarro no da muchos detalles, solamente indica que los alumnos de 9 de los 52 centros que hicieron las pruebas, las hicieron en euskera (los estudiantes de los modelos B/D; los de los modelos A/G la hicieron en castellano). Otros 8 centros hicieron pruebas en ambos idiomas. El informe del gobierno navarro no da más información, ni respecto al número de alumnos en cada idioma, ni en cuanto a los resultados en cada idioma.
  • Galicia: el gobierno gallego en su web no da mucha información, más allá de felicitarse por obtener unos resultados mejores que la media nacional.
  • Baleares: el gobierno balear publica un informe donde se indica que los alumnos que en casa hablan en catalán obtienen mejores resultados (503 vs 479; siendo un 36.4% catalanoparlantes), pero no ofrece información al respecto de cuántos estudiantes hicieron la prueba en un idioma u otro (o si se hicieron enteramente en catalán) y de los respectivos resultados.
  • Cataluña: todos los alumnos realizan las pruebas en catalán. El informe del gobierno regional solamente indica que los alumnos catalanes obtienen resultados de comprensión lectora un resultado mayor que la media nacional (500 vs 496), pero no habla de la brecha que hay entre los resultados obtenidos en Cataluña entre alumnos catalanoparlantes y castellanoparlantes (525 vs 487, en pruebas realizadas en catalán; ver informe).

(5) Un caso particular relacionado con esta afirmación se da con el País Vasco. En ese caso los resultados globales son peores de lo que indica su distancia a Valladolid (línea de regresión). Y se da el caso de que los resultados de los examinados en euskera son peores que los examinados en castellano.

Leave a comment

Filed under Miscellanea

Informe de PISA 2012

Esta semana la OCDE (Organización para la Cooperación y el Desarrollo Económicos, OECD en sus siglas en inglés), una organización compuesta por 34 estados mayormente desarrollados, ha publicado su ya famoso informe PISA (Programme for International Student Assessment) 2012. En el último estudio las pruebas se centraban en las matemáticas:

“Las pruebas de PISA son aplicadas cada tres años. Examinan el rendimiento de alumnos de 15 años en áreas temáticas clave y estudian igualmente una gama amplia de resultados educativos, entre los que se encuentran: la motivación de los alumnos por aprender, la concepción que éstos tienen sobre sí mismos y sus estrategias de aprendizaje. Cada una de las tres evaluaciones pasadas de PISA se centró en un área temática concreta: la lectura (en 2000), las matemáticas (en 2003) y las ciencias (en 2006); siendo la resolución de problemas un área temática especial en PISA 2003. El programa está llevando a cabo una segunda fase de evaluaciones en el 2009 (lectura), 2012 (matemáticas) y 2015 (ciencias).”

Como muchos de los informes de la OCDE, el volumen y la profundidad de los análisis es admirable. Se ofrecen todo tipo de tablas comparativas, las preguntas que los alumnos debían responder, gráficos interactivos, etc. El informe ofrece también una nota sobre los resultados en España [PDF, 395KB]; una lectura muy interesante que paso a comentar, después de dejar un par de imágenes que resumen la situación:

  • Resultados de España:
    • Matemáticas: ocupa según el ránking [PDF, 1MB] la posición 33ª de entre 70 países del informe, con un resultado medio de 484 frente a 494 de la media de la OCDE (en una horquilla de entre 368 y 613). Un 23,6% de los alumnos obtiene un bajo rendimiento y solo un 8% un rendimiento excelente.
    • Lectura y ciencias: los resultados (488 y 496) son también inferiores a la media de la OCDE (496 y 501).
  • En España no faltan recursos (casi 60.000€ / alumno), ni profesores, ni horas de clase.
  • La diferencia de resultados entre regiones es abismal [PDF, 3MB], de hasta 55 puntos entre Navarra (517 puntos, lo que le situaría en el puesto 15º del ránking de países) y Extremadura (461). Las condiciones socio-económicas explican en más de un 85% estas diferencias. En un alumno de 15 años, este retraso entre regiones supone el equivalente a 16 meses de escolarización.
  • Crece la desigualdad: los desfavorecidos económicamente, los inmigrantes, las chicas y los repetidores se encuentran peor que hace una década.
  • Solo un 8% de los alumnos obtiene un rendimiento excelente (frente al 13% en OCDE) y solo un 6% de los más desfavorecidos es capaz de obtener resultados mejores a los que cabría esperar de su situación.
  • Sobre los alumnos:
    • Están motivados pero les falta confianza al enfrentarse a las matemáticas.
    • Falta puntualidad (35% reconoce haber llegado tarde en los días anteriores al estudio) y hay un gran absentismo (un 32% se había saltado una clase y un 28% faltado un día en las semanas previas al estudio; frente a 18% y 15% OCDE), lo que de por sí explica prácticamente el retraso en matemáticas, dado que el absentismo se asocia con hasta 37 puntos en el resultado (equivalente a un año de escolarización).
  • Sobre los profesores:
    • Falta motivación (un 25% de los alumnos acude a centros donde los profesores están desmotivados, frente a 10% OCDE).
    • Faltan evaluaciones a los profesores y no tienen consecuencias (salario, desarrollo, promociones, reconocimiento público, asunción de nuevos roles…).
    • Se resisten al cambio (29% frente a 19% OCDE), lo que dificulta el aprendizaje.
    • Son poco colaboradores: solo un 10% de los estudiantes acude a centros donde profesores más experimentados observan las clases de otros profesores (frente a 69%), solo un 22% revisa y planifica los contenidos con otros profesores (frente a 60%) y no se usan las tutorías (26% frente a 72%).
    • Son poco abiertos a mejoras: solo un 27% de alumnos acude a centros que piden ayuda externa para mejorar (frente a 43%)
  • Falta transparencia: solo un 13% de los alumnos acude a centros que publican sus resultados (frente a 43%) o comparan sus resultados con otros centros (44% frente a 62%).

Entrando en profundidad, el informe PISA incluye hasta 4 volúmenes con cientos de páginas cada uno analizando los siguientes asuntos (en inglés y de lectura gratuita en línea):

Estos informes deberían ser el punto de partida de cualquier política de educación que busque mejorar la pobre situación actual en España.

Por último, tenía curiosidad por ver qué tipo de preguntas se les hacen a los alumnos. Éstas vienen clasificadas en 6 niveles de dificultad. Incluyo debajo un caso de mayor dificultad:

PISA 2012 question 6

PISA 2012 pregunta 6.

Siempre me ha llamado la atención la cantidad de periodistas, tertulianos y adultos en general que se apresuran a criticar el bajo nivel de la educación que reciben los alumnos hoy en día. Viendo los resultados del informe PISA, parecen tener razón. Quería incluir aquí esta pregunta, porque estoy razonablemente seguro de que no más de un 8% de esos periodistas, tertulianos y adultos en general serían capaces de responder a esta pregunta correctamente. Aún así, viven en la creencia de que ellos sí recibieron una educación de calidad (ni que hablar de que la superaron satisfactoriamente).

6 Comments

Filed under Education