Roberto Colom
Catedrático de psicología diferencial en la UAM
Las pruebas acumuladas apoyan una respuesta positiva a esa pregunta.
Como se sabe, PISA en un test estandarizado de conocimientos y habilidades que compara a escolares de unos 15 años de edad de los países de la OCDE. Cuando se publican resultados, aproximadamente cada tres años, los medios se hacen eco de esa comparativa internacional. En algunos de esos países se aprovecha para sacar pecho, cuando se ven ubicados en las zonas altas de la clasificación, mientras que en otros se cae en un visible fatalismo al formar parte del furgón de cola.
Para un psicólogo diferencial es fácil deducir que el test PISA debe obligatoriamente emular a los clásicos test de inteligencia si se pretende que la comparativa de países con lenguajes y culturas diferentes tenga algún sentido. Aunque se supone que se valoran los conocimientos escolares en lenguaje, matemáticas y ciencias que se transmiten en las aulas, el test se diseña para averiguar cuál es el nivel con el que el examinado es capaz de manejar su lengua, así como los conceptos esenciales que rodean el lenguaje universal de las ciencias y las matemáticas. No importa que el examinado hable japonés o español, sino con qué eficacia y sofisticación usa su idioma. Al traducir esa lógica a cómo se han concebido desde la ciencia de la Psicología los test de inteligencia, debe concluirse que el test PISA ordena a los examinados según el nivel de complejidad que son capaces de superar. Algunos de los problemas del test PISA son simples, otros presentan una moderada complejidad y los hay muy complejos. Está en juego la sofisticación mental de los examinados.
PISA agrega los resultados alcanzados por los examinados en cada país para llegar a un ordenamiento, desde aquellos con las mejores puntaciones a los que presentan peores marcas (en promedio). Cuando abrimos un periódico en el que se informa de esos resultados, es usual encontrar una tabla en la que se puede consultar ese ordenamiento de países conforme a sus puntuaciones promedio en el test PISA. A pocos les resulta sorprendente que haya países mejor y peor parados en la comparativa. Sin embargo, cuando algunos psicólogos y economistas han hecho algo similar usando los datos registrados a través de test de inteligencia administrados en esos mismos países, han sido blanco de duras críticas por parte de determinados sectores, dentro y fuera de la ciencia.
Las críticas ayudan a mejorar, qué duda cabe, pero es relevante saber si tienen el peso suficiente para que les prestemos nuestra atención. Como han demostrado, entre otros, el economista Garett Jones, al comparar países se observa una asociación prácticamente perfecta entre los resultados alcanzados en test similares a PISA y los obtenidos en los test de inteligencia diseñados por los psicólogos. No solamente eso, sino que, además, se aprecia una correlación próxima a 1 entre el desempeño en las tres pruebas de PISA: quienes destacan en lengua, también lo hacen en matemáticas y en ciencias. Y al revés.
En suma, los test PISA son igual de susceptibles que los test de inteligencia a uno de los fenómenos más replicados y robustos observados en la ciencia de la Psicología desde comienzos del siglo pasado: el solapamiento positivo. Ante un test que incluya ejercicios que pongan a prueba nuestras capacidades mentales, sean cuales sean, quienes logran mejores puntuaciones en alguno de ellos son también los que alcanzan mayores cotas en todos los demás. Eso sucede a nivel de país, es decir, al agregar o sumar lo que hicieron los ciudadanos examinados con los test PISA o con test de inteligencia.
En una reciente investigación de un grupo de científicos polacos, australianos e ingleses, se concluye, explorando lo que ocurre a nivel individual, más allá de la evidencia agregada a nivel de país, que los test PISA realmente valoran la capacidad de aprender en general, por encima de los contenidos específicos de los ejercicios que componen ese test. Se reproduce, de ese modo, lo que sabemos que sucede con test de inteligencia de naturaleza diversa. Se pueden administrar test que recurran al lenguaje, a los números, a las relaciones espaciales o al razonamiento abstracto, pero ese hecho es algo secundario porque lo que realmente se está valorando es el nivel de complejidad que el examinado es capaz de superar. A esa misma conclusión se llega al bucear en los test PISA.
Aún así, de un modo bastante tozudo, los responsables de PISA insisten en que sus test de lenguaje, matemáticas y ciencias valoran distintas habilidades escolares con valor en sí mismas para radiografiar adecuadamente a los escolares. Los autores del artículo que comentaremos seguidamente demuestran que no es así, que esos responsables se equivocan: “la enorme correlación entre los test PISA que valoran los tres dominios rechaza el supuesto de que esos dominios representan contextos de aprendizaje esencialmente independientes.”
Ignorar la relevancia de la capacidad general de aprendizaje en la escuela supone, por un lado, una práctica irracional ajena a la evidencia disponible. Y, por otro lado, ofrece conclusiones engañosas de indudable calado para las intervenciones educativas en las que pueda pensarse para mejorar la educación. Los informes PISA se refieren a, por ejemplo, el impacto de las diferencias socioeconómicas que separan a las familias, los hábitos de lectura, el ambiente en las clases de matemáticas, el tiempo que se invierte en clases de ciencia, o el nivel de preparación del profesorado. Ese tipo de variables se relacionan con el desempeño en los tres dominios del test PISA, dando por hecho que exploran contextos independientes de aprendizaje cuando, en realidad, esas relaciones deberían valorarse “a la luz del hecho de que esos dominios en absoluto son medidas puras de lengua, matemáticas o ciencia, sino que valoran una capacidad general para aprender en la que se distinguen los estudiantes.”
En la investigación que se está comentando se analizan las respuestas a los 191 ejercicios del test PISA administrado en dos ocasiones separadas por un año. Los examinados (N = 3.472) resolvieron, además, uno de los test de inteligencia más renombrados internacionalmente: el test de Matrices Progresivas de Raven (SPM). También se registraron datos sobre el nivel educativo y ocupacional de los padres de los examinados, sobre los recursos materiales y culturales de sus hogares, sobre sus propias aspiraciones educativas, así como sobre sus actitudes hacia la lectura y hacia la escuela. Se codificaron sus calificaciones escolares en lengua, matemáticas y biología. Finalmente, se obtuvo un cuestionario cumplimentado por los directores de los centros educativos.
En la siguiente figura se muestran los modelos que se compararon al analizar los datos registrados con el test PISA y el SPM. El modelo 4 es el más adecuado para averiguar cuánta información absorbe la capacidad general (g) y los dominios específicos (matemáticas, ciencia, lectura y Raven).
El primer resultado destacable es que la correlación promedio entre los dominios de PISA fue de 0,86, independientemente de que se considere la evaluación en el momento 1 o en el momento 2 separados por un año: “aunque el desempeño promedio fue mejor en la segunda ocasión, la posición relativa de los examinados se mantuvo.”
En segundo lugar, la correlación de los dominios PISA con el Raven fue de 0,73: “un factor general está detrás de esas elevadas correlaciones entre dominios de conocimiento considerados usualmente de un modo independiente.”
En tercer lugar, se responde a la pregunta de si los dominios específicos, más allá de la capacidad general (g), representan algo sustantivo o son mero ruido. Respuesta: “el factor general absorbe el 70% de la información obtenida a través de los ejercicios de PISA, mientras que lo que específicamente capturan los dominios específicos oscila entre el 3% y el 12% (…) además, la fiabilidad de lo que esos dominios valoran específicamente es inaceptable.”
En cuanto a variables como la influencia de las diferencias socioeconómicas que separan a las familias de los escolares, se observa que su impacto sobre los dominios específicos valorados por PISA es nulo.
Así concluyen los autores del informe que se está comentando:
“Los analistas deben tomar conciencia de que los dominios que pretenden valorar están ‘contaminados’ por la capacidad general para aprender al considerar las relaciones de las puntuaciones en los test con variables socioeconómicas, demográficas, escolares y del profesorado.”
Confieso que los resultados de esta investigación no me han sorprendido en absoluto. Hace algún tiempo, la psicóloga brasileña Carmen Flores Mendoza dirigió a un equipo de científicos iberoamericanos para materializar una titánica empresa dirigida a evaluar, con los mismos test de conocimientos y habilidades escolares, así como con los mismos test de inteligencia, a miles de escolares de distintos países. No repetiré ahora lo que ya se discutió en otro foro, aquí y aquí.
En conclusión: PISA no valora lo que pretende, es decir, dominios independientes de conocimientos y habilidades escolares, sino una capacidad general para aprender que se encuentran fuertemente relacionada con la capacidad intelectual general (g) explorada por los psicólogos durante más de un siglo. Considero absurdo que los responsables de PISA ignoren activamente el crucial papel de ese factor psicológico para entender por qué algunos escolares sacan más provecho de su paso por la escuela que otros.
Son bastantes las cosas que los psicólogos podrían enseñarles a esos responsables para que la información obtenida de su enorme esfuerzo evaluador ofreciese evidencia realmente interesante para mejorar la educación. Ante todo, deberían obtener medidas del nivel intelectual de los escolares a los que se compara. Y, después, deberían aplicarse con entusiasmo diseños genéticamente informativos que ayudasen a despejar la visión. Por ejemplo, podrían compararse hermanos en lugar de asumir, sin más, que las familias son entidades compactas. Sabemos que no es así.
Soy consciente de que el mensaje que se transmite en este artículo será ignorado, una vez más, pero al menos debería ayudar a que se tomase conciencia de que, aunque los datos sean datos, pueden resultar de poco a nada iluminadores para ayudarnos a superar situaciones que realmente podrían mejorar si se hiciese el trabajo de un modo diferente.
Lamentablemente, quienes salen perjudicados son aquellos a los que se supone que se desea ayudar. No se trata de que unos tengan razón y otros se equivoquen, sino de que mientras seguimos enredados en estériles discusiones, generaciones de estudiantes siguen siendo víctimas de nuestras estúpidas rencillas disciplinares, signo evidente de una inadmisible irresponsabilidad profesional.
Si desea citar esta página
Colom, Roberto (2021). ¿Es PISA un test de inteligencia? En Niaia https://niaia.es/es-pisa-un-test-de-inteligencia/
Creemos en el libre flujo de información
Republique nuestros artículos libremente, en impreso o digital, bajo licencia Creative Commons, citando la fuente
La Web de NIAIÁ y sus publicaciones (salvo aquellas en las que se especifique de otra manera) están bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivadas 4.0 Internacional