Informe PISA, tenim un problema

D’ entrada, disculpin-me per retreure un tema del qual sembla només se n’hagi de parlar de manera efervescent cada tres anys: el dels resultats de Catalunya i d’Espanya en el Programa per a l’Avaluació Internacional dels Estudiants, que aquesta és la denominació que s’amaga darrere el ja famós acrònim PISA.

Ho faig no tant per contribuir a la interpretació o a l’anàlisi dels resultats de la darrera edició, del 2012, que no fóra ja d’actualitat, com per relacionar-lo amb el que em sembla que sí que és un problema de fons al nostre país: un nivell global insuficient de cultura científica que es manifesta en un excés de menysteniment del rigor i la precisió (termes que fins i tot es carreguen de connotacions negatives) i, consegüentment, en un predomini d’opinions no fonamentades, sobre les que s’arriben a prendre decisions en tots els àmbits de la cosa pública.

Els sonen titulars i manifestacions com: «Suspenso en Pisa», «Suspens en educació», «Matemàtiques Aprovat, Lectura Bé, Ciència Insuficient»,... Doncs aquestes afirmacions, com tantes altres de semblants que han encapçalat editorials, omplert pàgines de diaris i informatius i hores de tertúlia, NO són fonamentades en els resultats de l’estudi.

No pretenc en cap mesura ni interpretar, ni defensar els resultats o el mateix informe PISA. Només dic que em sembla un molt bon treball i molt útil si no se’l pretén emprar més enllà de les conclusions que se’n poden extreure (rep, per exemple, moltes crítiques per la limitació del nombre de competències que avalua, però crec que podem convenir que és bo i pot ser útil conèixer, i poder comparar internacionalment, el nivell dels nostres escolars en competències bàsiques en matemàtiques, comprensió lectora i ciències).

Com deia, pretenc extreure un problema general d’aquesta profusió de manifestacions no fonamentades. L’informe espanyol sobre PISA 2012, on es poden trobar tots els resultats que varen realment donar peu a totes les manifestacions esmentades, és molt clar i gens ambigu pel que fa a la interpretació dels resultats.

No m’hi estendré massa, però si vull fer referència a l’explicació que dóna, ben bé al començament de l’anàlisi, com pertoca, als intervals de confiança associats als diferents resultats, especificant literalment «...Por consiguiente, si los intervalos de confianza de dos paises tienen intersección común, la diferència entre sus resultados no es estadísticamente significativa».

La frase segur que no costa gens d’entendre, fins i tot arriba a constituir un lloc comú això de «diferència estadísticament significativa», però sí que costa acceptar-ne les conseqüències.

Un altre cop, l’informe és molt explícit en aquest punt i arriba a donar taules per a cada competència llistant per a cada comunitat o país el conjunt de comunitats i països amb els quals NO hi ha diferències significatives.

Per a Catalunya, per exemple en Matemàtiques, els resultats no són estadísticament diferents dels de l’OCDE, la UE, Espanya, Àustria, Irlanda, Dinamarca, Nova Zelanda, Txèquia, França, el Regne Unit, Islàndia, Luxemburg, Noruega, Galícia, Portugal, Itàlia, Eslovàquia, els Estats Units i Hongria (passa més o menys el mateix en Ciències i en Comprensió Lectora). Vist així ja no és tan interessant?

Doncs, és el que hi ha, i tot el que es pot dir: entre aquests països esmentats a l’exemple, el valor real d’allò que es mesura, en cas de poder-se conèixer, podria donar lloc entre ells a qualsevol ordre (Catalunya podria ser la primera d’aquest conjunt o l’última i, amb les dades que tenim, no podem saber quin lloc hi ocupa).

Ens podríem estendre en més detalls de com han estat (sobre)interpretats aquests resultats, com ara la idea de considerar «suspens» la possibilitat de situar-se per sota d’un valor mitjà, però crec que el punt pot haver quedat clar: Tenim un problema amb PISA? No sé si el tenim a l’aula, les dades no ho diuen taxativament. El que sí que veig és que el tenim a la societat, o a les aules de fa vint-trenta anys. Les reaccions a l’informe PISA en són un símptoma, però la malaltia és molt més estesa.

La generalització de la dificultat en la interpretació de dades estadístiques bàsiques està associada a un capteniment generalitzat refractari a la quantificació, a la precisió, també en el llenguatge. I sense una clara delimitació entre el que és informació i el que és opinió i creença difícilment es poden prendre decisions prou coherents i constructives en relació amb el projecte o la situació per la qual siguin necessàries. Sigui en l’esfera personal o en la cosa pública. I, en aquests durs i decisius moments, això és el que menys necessita el país.

Hi podem fer alguna cosa? Difícil de dir en uns moments tan vertiginosos. En qualsevol cas, segur que ens cal defensar sempre i en tot moment l’imperi de la raó. Denunciar la manca de rigor intel·lectual, a tots els nivells i sobretot a les aules, les de primària, secundària i les universitàries. Considerar totes les opinions? Naturalment que sí, però demanar sempre que siguin defensades amb raons. Important sempre, però en aquests moments crucials per al nostre país.