Cerdopolis

PISA es una prueba dirigida a adolescentes de quince años -en el supuesto que están a punto de egresar de la secundaria- para conocer sus competencias en matemática, lectura y ciencias. Los resultados del 2012 son contundentes: Perú obtuvo las puntuaciones más pobres entre los 65 países industrializados y de renta media del mundo que rindieron la prueba. Las reacciones han sido diversas, pero muchas de ellas sobre la base de una errónea interpretación de los resultados que se pueden contrastar en las siguientes preguntas:

¿Estamos mejorando o estamos empeorando?

Sí. Aunque no lo crea, aunque me acuse de sesgado, estamos mejorando. El informe PISA revela que la comprensión lectora de los adolescentes del Perú  está mejorando año a año. Para explicarlo, primero debe mencionarse que la principal forma de analizar los resultados es la del Perú comparándose así mismo a través del tiempo. La comparación con otros países es un referente pero no la principal manera de compararse debido a las diferencias abismales que existe entre los paises participantes; por ejemplo, respecto al presupuesto asignado a educación. Dicho esto, vayan directo a la página 57, gráfico 3.1 del informe PISA: “Perú es el único país de la región que muestra una mejora a un ritmo sostenido en su desempeño medio, que lo ha llevado de tener un desempeño medio del nivel 1b, a empezar a aproximarse al límite con el nivel 2”.

                  Cuadro 1. Media de desempeño promedio en lectura en PISA

*Basado en cuadro 4.24, página 143. Perú no se presentó el 2003 y 2006

En el mismo informe se señala que desde el 2000, el Perú ha mejorado 57 puntos, y que representa una mejoría de 5 puntos cada año. De manera similar, en matemática se mejoró 76 puntos, de 292 a 368; mientras que en ciencias mejoró 40 puntos, de 333 a 373.

En su twiter Keiko Fujimori sostiene "Presidente Humala su gobierno familiar ha puesto la educación en el último lugar de las pruebas internacionales PISA. ¡Hemos retrocedido!”; en Perú 21 se titula “El nivel escolar en el Perú no avanza. Por el contrario, parece que ha retrocedido. Así lo confirma la evaluación PISA 2012 de la OCDE, que nos coloca en el último lugar en matemática, ciencias y comprensión lectora”, mientras Idel Vexler sostiene “el nivel educativo en nuestro país se ha estancado en los últimos años. Las aseveraciones son inexactas y parecen seguir más un interés de obtener capital político de manera irresponsable. 

¿Cuándo estaremos arriba?

Si la mejora es de 5 puntos anuales, un rápido cálculo nos dice que para alcanzar la media de los países desarrollados (OCDE) será para lectura el año 2035 y para alcanzar los puntajes de Shangai aproximadamente el 2050; eso si no hay ningún cambio en la tendencia que hasta el momento ha mostrado el país. Quizás haciendo similar cálculo, ante la pregunta de ¿Cuánto podríamos demorar, por ejemplo, para ubicarnos en la media de la prueba Pisa?, el Ministro Saavedra responde en La República “No sé, yo creo que pueden ser quince años, dos décadas. Pero se puede hacer. Hace treinta años, o cuarenta años, Corea del Sur era un país pobre. Hace treinta años, Finlandia no estaba en los mejores lugares de la prueba de aprendizaje, estaba en la cola. Se puede hacer, lo que no podemos decir es que todo va a cambiar en dos años”. Así de crudo y realista. Que Perú salga "en la cola" en las siguientes evaluaciones PISA será lo más probable; que Perú siga progresando en las siguientes evaluaciones PISA es lo que más interesa observar para el país.

¿Somos los últimos de Latinoamérica?

No. Así es, aunque tampoco crea esta segunda afirmación, no somos los últimos de Latinoamérica. Foros Perú rotula como titular explícito en su web la siguiente afirmación “Informe Pisa 2012: Perú peor que antes..., últimos en Educación en Latinoamérica”; la noticia sobre PISA que viene del Trome cierra diciendo sobre los resultados PISA “El último de la lista y del grupo de América Latina es Perú” que para un posible despistado puede ser lo mismo que ser los últimos de Latinoamérica. Los medios de comunicación se mueven a través de mensajes mediáticos y el efecto de estar “últimos” prima frente a cualquier otro posible análisis. De allí, el descuido o la poca seriedad en las afirmaciones, azuzado por algunos políticos en un intento de dramatizar los resultados se llega a terrible conclusión. Lo cierto es que decir que somos los “últimos” de los países latinoamericanos que participaron en la prueba PISA no es lo mismo que decir que somos los “últimos” de todos los países latinoamericanos.

          Cuadro 2. Media de desempeño promedio en matemática en PISA,

                                 países con puntajes más bajos

                       *Basado en cuadro 4.24, página 143. Perú no se presentó el 2003 y 2006

Siendo más rigurosos, las medias son estadísticos que aunque importantes difuminan la heterogeneidad, por lo que siempre es importante analizarlos con estadísticos de dispersión. Al observar el cuadro 2, uno podría decir que entre Chile y Perú hay diferencias claras entre los puntajes, pero ¿hay diferencia entre Indonesia y Perú? Dado que los resultados se basan en una muestra, los resultados tienen un error “controlado” que permite saber si los dos resultados son "realmente" diferentes o se debe a dicho error, algo que es conocido como “si la diferencia es estadísticamente significativa”. Efectivamente, cuando se deja el cuadro del ranking y se lee el informe, se encuentra que el informe PISA sostiene que los resultados de Colombia, Qatar, Indonesia y Perú son países con desempeños estadísticamente equivalentes en matemática (página 27 del estudio).

 ¿Hemos descendido en el ranking del puesto 65 al puesto 63?

La República sostiene en su web “El Perú baja dos puestos en educación: del 63 al 65”. ¿Qué tan correcta es dicha afirmación? Hagamos el siguiente ejercicio hipotético: Los resultados actuales de PISA 2012 sostienen que el Perú está en el puesto 65; imagine que el 2015 se presentan 50 países a la evaluación y Perú nuevamente sale en el último puesto. ¿Es posible sostener que Perú subió en el ranking del puesto 65 al puesto 50? Es obvio que no. La comparación de los rankings en el PISA no es posible porque el número de países y los propios países que se presentan en cada evaluación son diferentes. La afirmación que se sostiene por ejemplo en RPP “La prueba PISA que mide comprensión de lectura, matemática y ciencias entre estudiantes de 65 países nos ubica últimos. Hemos retrocedido del puesto 63 en comparación con el año pasado” o esta otra de Foros Perú “Perú cayó tres posiciones en el ranking global del informe PISA 2012 respecto al de 2009... según datos obtenidos por el portal Infobae” no son las mejores formas de análisis que se puede hacer de los resultados PISA. La República y Foros Perú incluso recrea cuadros e infografías con flechas que indican los “retrocesos” o “progresos” de los países como se detalla en el gráfico recortado.

Lo que es más grave, algunos expertos utilizan la misma errónea fundamentación: “Hemos perdido dos años y medio por querer hacer las cosas de nuevo, sin reconocer lo que se estaba haciendo bien. En las PISA 2006 y 2009 mejoramos en comprensión lectora y en matemáticas. Es más, pasamos del puesto 66 al 63, lo cual fue una mejoría leve. Sin embargo, en las posteriores evaluaciones nos estancamos” (Vexler, en Perú 21).

¿Cómo debemos leer los resultados?