Nadie sabe de Shanghái

Uno de los clásicos populares sobre universidades consiste en mentar el archiconocido ranking de Shanghái. En España lo utilizamos habitualmente para hacer lo que más nos gusta: criticarnos mientras le echamos la culpa a otro. Así podemos encontrarnos con titulares que sirven para reforzar nuestras convicciones y ejecutar la clásica autoflagelación hispana:

Ningún campus español alcanza los 200 primeros en el ‘ranking’ de Shanghái

Dependiendo de la mala ostia requerida, el titular puede ser más o menos ajustado o más o menos tremendista. Así con cada edición de los rankings universitarios hay muchos que tienen argumento para todo el año y hacen notar el desastre en las universidades españolas a todas horas y en toda ocasión. Como si hiciera falta un ranking para saber esto, por cierto. Shanghái a uno le da un argumento y un caché invencible. Lo mejor de todo es que la mayoría de quienes compran el argumento del ranking chino, no deben tener demasiada idea de en qué consiste realmente dicho ranking, porque si realmente lo conocieran no lo usarían como argumento. Pero si tú piensas que la universidad española es una mierda y te presentan estos rankings con esta interpretación, Dios te ha venido a ver cada vez que alguien replica o puntualiza tus afirmaciones. Tú no tienes ni puta idea de qué es eso del «ranking de Shanghái» pero refuerza tu tesis preconcebida. ¿Qué es el ranking de Shanghái?

The Academic Ranking of World Universities (ARWU) nació del interés del gobierno chino en colocar universidades entre las mejores del mundo. La Shanghai Jiao Tong University empezó a realizar un trabajo comparativo entre universidades chinas y de Estados Unidos. Y así la cosa «degeneró» en este ranking cuya primera edición apareció en 2003. Al ser uno de los primeros si no el primero, se ha hecho muy popular. Así hoy en día este ranking toma las teóricamente 1.000 mejores universidades del mundo, de las cuales hace un listado de 500, siempre teniendo en cuenta los baremos que utiliza esta clasificación. El primer detalle a tener en cuenta para relativizar los resultados de Shanghái es que en el mundo no hay 1.000 universidades. De hecho y según los criterios que se consideren, en el mundo hay entre 15.000 y 22.000 universidades y centros de investigación susceptibles de evaluarse en una clasificación así. En teoría los «chinorris» toman las 1.000 mejores.

O sea, que esas horrendas 10 universidades que no estaban entre las 200 mejores del mundo, también pertenecen al grupo entre el 2% y el 3% de las mejores universidades del planeta. Vamos, que el 97% de las universidades del mundo son peores que las 10 mejores nuestras. Si retuerces las cuentas al final aparecen datos curiosos. Por ejemplo USA es el país que más universidades coloca entre las 500 primeras (149), siendo considerado el modelo a imitar. Lo que no todo el mundo sabe es que en USA existen más de 2000 universidades y «colleges», con lo que tomando las precauciones propias de comparar sistemas universitarios distintos, en USA sólo el 7,5% de este tipo de centros están tan bien posicionados. España con sus 81 universidades tendría más de 12% de sus centros en tan selecto club. Menudo requiebro me he marcado, ¿verdad?

Otro tema para el debate consiste en dilucidar qué es exactamente «la mejor universidad». ¿Valoramos sólo la investigación? ¿Cómo lo hacemos? ¿Cómo se valora la docencia? ¿Cómo se ponderan ambas patas del sistema universitario? ¿Deben valorarse otros parámetros para valorar la calidad de un centro de educación superior? Ciñéndose a Shanghái, ¿es la suya la mejor forma de valorar la calidad de una universidad? Estos señores chinos lo hacen de esta manera:

Lo que comprobamos es que, como es normal por otra parte al ser lo más fácilmente evaluable, Shanghái es un ranking bibliométrico basado exclusivamente en la investigación. La calidad de la docencia se mide con el dudoso parámetro de premios Nobel o Field Medals (premio en Matemáticas) que se graduaron en la universidad concreta, lo cual no deja de ser un reconocimiento a la investigación. Aunque no se me escape que lo más probable sea que un buen investigador haya recibido una buena docencia, al final la calidad de la docencia está directamente ligada a la labor investigadora posterior del individuo. Algo parecido hace con la categoría de «premios» en los que valora sólo Nobel y Medallas Field y los valora según el año en el que se obtienen los premios.

Esta forma de evaluar tiene varios problemas. El primero está relacionado con las materias que te dan puntos: si no tienes físicos, químicos, médicos, economistas o matemáticos premiados con algo tan escaso como un Nobel o una Field, buena parte de tu puntuación en el ARWU se va a la mierda de inmediato. En esta clasificación global puedes tener a «los putos amos» en otras materias que no te van a ser evaluados para el ARWU. También esto de que tu puntuación dependa de cuándo cursaste tus estudios o cuándo ganaste el premio no deja de ser cosa curiosa. Darle más puntos al Nobel de Economía de 2011 que al medallista en Matemáticas de 2010 parece a priori injustificado. ¿Y si te graduaste en una Universidad, mientras que el Máster y el Doctorado lo hiciste en otra institución? Tu carrera contará menos que tu doctorado ya que lo cursaste con anterioridad «por criadillas», cosa coherente e incoherente al mismo tiempo. Algo parecido ocurre cuando una parte importante de la nota depende de los «papermakers» que publiquen en Nature o Science. Si bien estas revistas son las más prestigiosas del mundo, las revistas científicas no están exentas de polémica y pueden incluso estar «sectorializadas», de hecho Science lo está respecto a Nature, los editores pueden tener sus sesgos o puedes estar a merced de la revisión por pares… Con lo que confiar un peso del 20% a la publicación de 2 únicas revistas, por muy prestigiosas que sean, para clasificar cientos de universidades, es también algo discutible.

De la metodología de Shanghái se puede deducir además otro interesante aspecto, en realidad a pesar de lo que parece a primera vista, es un baremo que premia más la cantidad que la calidad. Exceptuando el rendimiento per cápita de la investigación, que se hace un poco a cascoporro y pesa un 10%, el resto de valores benefician a universidades grandes y en concreto a grandes universidades como muchos investigadores de reconocido prestigio. Así si tenemos la universidad A con 10 profesores, que son 10 premios Nobel y tenemos a la universidad B con 1000 profesores de los que 50 han sido igualmente galardonados, lo más probable si la ponderación no lo remedia es que B sea considerada por Shanghái mejor que A. Y esto según como se mire resulta discutible.

Como estos problemas son conocidos y discutidos entre la comunidad universitaria y científica, ARWU ha ido mejorando el método y creando otros rankings más dedicados y que aunque comparten muchos de los problemas referidos, mejoran algo el panorama. Véase el ARWU-FIELD o el ARWU-SUBJECT.

El hecho es que con el tiempo ha ido aumentando el número de rankings universitarios hasta el infinito (THES, QS, Leiden… hasta El Mundo tiene su ranking). Tanto que hace unos años se pensó en poner algo de orden en el guirigay de los rankings universitarios. Así nació el IREG Observatory on Academic Ranking and Excellence, un chiringuito que se dedica a estudiar y a conceder «medallas» a aquellos rankings que considera adecuados. Por cierto Shanghái creo que no tiene, aunque es cuestión de tiempo porque la exigencia es mínima y con que sean correctos, pues vale. Pero este hecho nos da una idea de hasta qué punto hay polémica con los rankings y podemos ver cómo emplear «Shanghái» como autoridad es algo cuasi-temerario.

La intención de esta entrada no es, a pesar de alguna afirmación hecha en ella, justificar o relativizar las malas clasificaciones que obtienen nuestras universidades en éste y otros rankings. Los problemas de nuestro sistema universitario son más o menos conocidos, otra cosa es que haya disparidad de opiniones en su posible solución. Lo que sí quería mostrar es que utilizar los rankings como argumento sacrosanto puede ser aventurado y que diseñar políticas públicas basadas en el «rankismo» puede ser una gran idiotez. Igualmente conviene tomar con cautela la visión de los «economistas papermakers». De hecho si tomamos Shanghái como modelo, vemos que si fusionamos unas cuantas universidades y nos gastamos un pastizal en fichar Nobels y «papermakers» para que se toquen «la huevada», daríamos un salto enorme en dicha clasificación. Pero el sistema sería fundamentalmente la misma mierda. Con lo que el ranking nos volvería a poner en su sitio con el tiempo, también es cierto. Los rankings pueden ser herramientas útiles que nos sirvan para evaluar, sabiendo lo que miden por supuesto. Aparecer en estos rankings no debe ser un fin como muchos pretenden, sino la consecuencia de una serie de medidas correctas. Cuidado con esto de las universidades como en USA, el mercado laboral como en Dinamarca y demás que luego en Frankenstein nos sale español.

Ya para el capítulo de la conspiranoia quedan los supuestos amaños que hacen los británicos y otras lisonjas, mostrando que esto de estar todo el día observando quién la tiene más grande puede llevar a situaciones de lo más denigrantes. O también podemos discutir si el hecho de que los investigadores en España estén huyendo está afectando a este tipo de clasificaciones. Los rankings universitarios, esos grandes desconocidos.