L’évaluation est un sujet inépuisable dans l’enseignement supérieur et la recherche. Elle n’est pourtant, comme le HCERES, que le sommet d’un iceberg dont la partie immergée est…de l’ordre de l’infini. C’est pourquoi mon billet sur le temps perdu dans l’ESR ne concernait pas que le HCERES, si ce n’est comme point de départ d’une réflexion sur le temps gaspillé. Quelques uns de mes lecteurs ont cependant réagi, dont le président du HCERES. J’ajoute à leurs contributions celle sur l’audit des bénéfices-coûts de l’évaluation réalisée au Royaume-Uni. Avec 280M€ contre 20M€ en France, cela ridiculise un peu l’approche de la Cour des comptes, incapable de faire une simulation en coûts complets. Un comble !

Je cite donc quelques aspects des contributions de lecteurs, en commençant par celle du président du HCERES, Thierry Coulhon : Il entend « faire ici une observation de bon sens. Il y a en France environ 300 établissements, 290 écoles doctorales, 3350 unités de recherche, 5600 formations L et M. On peut considérer que c’est une bonne chose d’avoir un paysage aussi riche, on peut dire au contraire qu’il y a trop d’objets et qu’il faudrait regrouper, cela a été fait pour certains établissements mais cela a des limites, et on entend dire aussi que certaines unités sont trop grosses. » On ne peut qu’acquiescer : la fragmentation et/ou la diversité des structures ne dépend pas du HCERES. Sans parler de la multiplication des appels à projets qui constituent de facto une évaluation.

D’autant « que la plupart de ces structures tiennent beaucoup à être évaluées. Nous avons même du mal à ne pas toujours nous laisser entraîner jusqu’au grain de l’équipe interne…bref ce nombre est un donné. » Ce sont ses attentes contradictoires que j’avais signalées, avec des conséquences ‘organisationnelles’ en effet énormes :  « Il faut le diviser par n vagues et évaluer sur n années. n=4 est probablement trop court, il faut laisser aux établissements et aux collègues le temps de travailler. n=6 est probablement trop long, les évolutions sont rapides aujourd’hui. On revient donc à n=5. »

Le président du HCERES est lucide que le fait « qu’il y a beaucoup de choses à faire pour alléger et rationaliser » et il esquisse certaines pistes de ‘réforme’ : « c’est le rapport d’établissement qui doit être l’objet englobant de tous les autres. Ensuite, un même comité peut évaluer plusieurs équipes de thématiques proches, surtout si elles sont de petite taille. En formation, le grain le plus approprié de l’évaluation est aussi un sujet où les bons équilibres sont très intéressants à trouver. Bref, nous avons beaucoup de pain sur la planche et ouvrirons bientôt des discussions à ce sujet avec les parties prenantes. »

Je ne participerai pas à ces discussions mais j’apporte mon ‘poil à gratter’. Mes lectures récentes de quelques rapports sur des labos (oui on peut faire des sondages !) m’interpellent toujours sur l’univers sémantique de l’évaluation ‘à la française’  : on préfère toujours les adjectifs plus qu’imprécis (remarquable, excellent, très bon) à une description à partir d’indicateurs. Seules données publiées que l’on ne risque pas de contester, la composition du labo… Et bien sûr, quasiment pas d’évaluateurs internationaux.

Quant aux rapports d’établissements on cherche vainement des données. Ce sont des rapports bavards sans indicateurs : quelle évolution de la place des femmes chez les chercheuses et enseignantes-chercheuses ? Quel pourcentage de boursiers en master ? Quelle insertion professionnelle par département ? Etc. Je dois dire que voir un comité évaluer la stratégie d’un établissement plutôt que ses résultats laisse rêveur ! C’est là la grande différence, entre autre, avec le système britannique, qui ne fait pas trop dans la littérature. Mais chez nous, on aime les mots 😃!

Le lien évaluation-autonomie-allocation des moyens

Jean-Pierre Korolitski retient du référé de la Cour des comptes sur l’HCERES qu’ »il touche très juste » parce qu’il rappelle que « l’évaluation ne saurait rester dépourvue de conséquences » et qu’il y a « nécessité de lier évaluation et allocation des moyens ».

Selon lui, « l’évaluation des résultats réellement obtenus est déjà le gage d’une sortie de la routine procédurière. Mais faire dépendre cette évaluation des objectifs que se fixe l’établissement oblige d’une part ce dernier à définir stratégie et objectifs et d’autre part le HCERES à exclure toute procédure uniforme. Enfin refuser le fléchage des moyens et ne tirer les conséquences de l’évaluation que pour moduler la dotation globale allouée par l’Etat en laissant les établissements libres de l’utiliser à leur guise est la garantie du respect d’une autonomie renforcée des universités. »

Il plaide en ce sens pour un nouvel Acte de l’autonomie, lui qui juge que le « quinquennat actuel a à son actif des avancées indéniables : meilleure maîtrise des flux étudiants avec la loi ORE, modes d’organisation et de gouvernance innovants avec l’ordonnance sur les établissements expérimentaux, nouveau rôle de l’évaluation, nouvelles mesures RH et moyens programmés avec la LPR… »

Si l’on faisait désormais « de l’autonomie, de la liberté et de leurs corollaires, l’évaluation et la responsabilité le droit fil de la politique nationale et des nouvelles relations entre les établissements et l’Etat, tout le reste suivra et on pourra enfin appliquer ce que demandait en 1972 le doyen Vedel pour la réglementation définissant les règles communes des universités nouvellement autonomes : ‘on ne doit pas perdre de vue, comme on le fait trop souvent, que le silence sur un point ne signifie pas lacune ou obscurité, mais liberté pour les universités’. »

L’organisation aberrante du système

De son côté Martin Andler pose une question que tout le monde se pose : « Est-ce que la multiplication des structures d’évaluation (HCERES, IGESR, Cour des comptes, et occasionnellement Inspection des finances), pour ne pas parler du contrôle plus ou moins exercé par les tutelles n’est pas en elle-même un problème ? » Et il souligne que si l’évaluation doit être suivie d’effet, ce n’est « pas la peine de dépenser des heures de travail d’un comité pour distribuer des primes ou valider des projets dont les budgets sont faibles ! »

Michel Bessière tire de son expérience du Synchrotron Soleil la nécessité d' »une autonomie complète de gestion avec des contrats d’objectifs clairs et surtout un budget cohérent attribué pluriannuellement et pas dépendant d’AAP (à utiliser pour des actions spécifiques). »

Enfin Vincent Brunie (qui m’égratigne un peu au passage sur le terme de « bureaucratie » 😃) confirme comme praticien les aberrations d’un système : je ne connaissais effectivement pas les tableaux Excel « à plus de 100 onglets » 👏… Il pointe ce que tout le monde sait mais que personne n’envisage de changer : « Qui a décidé qu’une UMR serait un objet quasiment ingérable, dont aucun établissement ne sait réellement ce qu’il s’y passe ? Qui a décidé qu’au nom de la liberté académique, la gouvernance des universités serait totalement baroque, traiterait à peu près tous les sujets, et que personne n’y aurait (presque) le moindre pouvoir ? Qui a décidé qu’un bon projet devait nécessairement avoir une description en x parties soigneusement prescrites une par une, un consortium comportant tel ou tel ratio ? Qui a décidé de l’évaluation de projets sur plus de 30 critères (heureusement simplifiée) ? »

Il fait le constat sévère « qu’aucun autre ministère, avec ses établissements, n’a généré un fonctionnement aussi illisible, et c’est donc que l’ensemble est mal dirigé, et cela depuis longtemps. »  Et s’il connaît « les difficultés de professionnalisation des cadres intermédiaires », il note qu’il y a « un problème de professionnalisation beaucoup plus haut. »

L’exemple britannique pour réfléchir sans tabous

Je livre à la réflexion la stratégie britannique d’évaluation, son coût mais aussi les critiques dont elle fait l’objet. Je l’avais déjà évoqué mais il n’est pas inutile d’y revenir… On n’est pas obligé de copier, mais on peut y trouver des idées. Au-delà du lien évaluation-allocation des moyens sur la recherche, et ses conséquences sur le fonctionnement des universités, cœur du système, elle a une particularité. C’est la concentration des procédures sur un peu plus d’un an : pas de vagues successives et une évaluation qui concentre le tir (si je puis dire) sur les universités, pas sur leurs parties.

Son coût. L’analyse du REF 2014 sollicitée par le gouvernement britannique a estimé le coût total pour la gestion  à 246 millions de livres sterling (280 M€) ! Mais nos voisins comptent eux en coûts complets 😉. Car la grande majorité des coûts (212 millions de £, 246M€) « a été supportée par la communauté de l’enseignement supérieur dans le processus de préparation de leurs soumissions ». 14 millions de £ (16 M€) de ces coûts étaient ceux des 4 organismes de financement de l’enseignement supérieur du Royaume-Uni, et 19 millions de £ (22M€) pour le temps des évaluateurs. A comparer avec l’estimation de la Cour des comptes sur les 20 millions d’€ du budget HCERES… et qui passe en réalité complètement à côté des véritables coûts, le temps étant de l’argent. Petite joueuse la France en réalité !

Ses effets pervers potentiels. Même s’il juge que les coûts sont probablement « surestimés », le comité indépendant estime que pour faire face à leur augmentation, « nous devons nous concentrer sur les facteurs qui ont conduit les institutions à adopter des pratiques telles que l’embauche de consultants et l’élaboration de simulations d’évaluation pour tenter de maximiser les rendements. »

Un article de Nature revenait d’ailleurs en février 2020 sur le lancement du REF 2021 « que la plupart des universitaires britanniques redoutaient », tandis que« beaucoup ne pleureraient pas » sa disparition. Ses résultats sont en effet essentiels « car les bailleurs de fonds utilisent les résultats pour allouer environ 2 milliards de £ (2,325 milliards d€) de fonds de recherche annuels aux départements universitaires. » Nature souligne que les responsables du REF « doivent sans cesse apporter des modifications pour éviter qu’il ne soit manipulé. »

La revue relevait enfin que « les universités qui obtiennent le plus de financement basé sur le REF sont concentrées à Londres et dans le sud-est de l’Angleterre, ce qui a alimenté les arguments selon lesquels la formule de financement de la métrique contribue à renforcer le déséquilibre régional du Royaume-Uni. Ce seul fait pourrait constituer un argument en faveur d’une réforme radicale de la part d’un gouvernement désireux de niveler le financement vers d’autres régions du Royaume-Uni. »

On remarquera que les universités britanniques, et la science outre-manche, sont largement devant la France (ERC, HCR etc.) : cette évaluation hyper compétitive en est-elle la raison ? Bonne question non ?