2 Comments

L’évaluation est un sujet inépuisable dans l’enseignement supérieur et la recherche. Elle n’est pourtant, comme le HCERES, que le sommet d’un iceberg dont la partie immergée est…de l’ordre de l’infini. C’est pourquoi mon billet sur le temps perdu dans l’ESR ne concernait pas que le HCERES, si ce n’est comme point de départ d’une réflexion sur le temps gaspillé. Quelques uns de mes lecteurs ont cependant réagi, dont le président du HCERES. J’ajoute à leurs contributions celle sur l’audit des bénéfices-coûts de l’évaluation réalisée au Royaume-Uni. Avec 280M€ contre 20M€ en France, cela ridiculise un peu l’approche de la Cour des comptes, incapable de faire une simulation en coûts complets. Un comble !

Je cite donc quelques aspects des contributions de lecteurs, en commençant par celle du président du HCERES, Thierry Coulhon : Il entend “faire ici une observation de bon sens. Il y a en France environ 300 établissements, 290 écoles doctorales, 3350 unités de recherche, 5600 formations L et M. On peut considérer que c’est une bonne chose d’avoir un paysage aussi riche, on peut dire au contraire qu’il y a trop d’objets et qu’il faudrait regrouper, cela a été fait pour certains établissements mais cela a des limites, et on entend dire aussi que certaines unités sont trop grosses.” On ne peut qu’acquiescer : la fragmentation et/ou la diversité des structures ne dépend pas du HCERES. Sans parler de la multiplication des appels à projets qui constituent de facto une évaluation.

D’autant “que la plupart de ces structures tiennent beaucoup à être évaluées. Nous avons même du mal à ne pas toujours nous laisser entraîner jusqu’au grain de l’équipe interne…bref ce nombre est un donné.” Ce sont ses attentes contradictoires que j’avais signalées, avec des conséquences ‘organisationnelles’ en effet énormes :  “Il faut le diviser par n vagues et évaluer sur n années. n=4 est probablement trop court, il faut laisser aux établissements et aux collègues le temps de travailler. n=6 est probablement trop long, les évolutions sont rapides aujourd’hui. On revient donc à n=5.”

Le président du HCERES est lucide que le fait “qu’il y a beaucoup de choses à faire pour alléger et rationaliser” et il esquisse certaines pistes de ‘réforme’ : “c’est le rapport d’établissement qui doit être l’objet englobant de tous les autres. Ensuite, un même comité peut évaluer plusieurs équipes de thématiques proches, surtout si elles sont de petite taille. En formation, le grain le plus approprié de l’évaluation est aussi un sujet où les bons équilibres sont très intéressants à trouver. Bref, nous avons beaucoup de pain sur la planche et ouvrirons bientôt des discussions à ce sujet avec les parties prenantes.”

Je ne participerai pas à ces discussions mais j’apporte mon ‘poil à gratter’. Mes lectures récentes de quelques rapports sur des labos (oui on peut faire des sondages !) m’interpellent toujours sur l’univers sémantique de l’évaluation ‘à la française’  : on préfère toujours les adjectifs plus qu’imprécis (remarquable, excellent, très bon) à une description à partir d’indicateurs. Seules données publiées que l’on ne risque pas de contester, la composition du labo… Et bien sûr, quasiment pas d’évaluateurs internationaux.

Quant aux rapports d’établissements on cherche vainement des données. Ce sont des rapports bavards sans indicateurs : quelle évolution de la place des femmes chez les chercheuses et enseignantes-chercheuses ? Quel pourcentage de boursiers en master ? Quelle insertion professionnelle par département ? Etc. Je dois dire que voir un comité évaluer la stratégie d’un établissement plutôt que ses résultats laisse rêveur ! C’est là la grande différence, entre autre, avec le système britannique, qui ne fait pas trop dans la littérature. Mais chez nous, on aime les mots 😃!

Le lien évaluation-autonomie-allocation des moyens

Jean-Pierre Korolitski retient du référé de la Cour des comptes sur l’HCERES qu’”il touche très juste” parce qu’il rappelle que “l’évaluation ne saurait rester dépourvue de conséquences” et qu’il y a “nécessité de lier évaluation et allocation des moyens”.

Selon lui, l’évaluation des résultats réellement obtenus est déjà le gage d’une sortie de la routine procédurière. Mais faire dépendre cette évaluation des objectifs que se fixe l’établissement oblige d’une part ce dernier à définir stratégie et objectifs et d’autre part le HCERES à exclure toute procédure uniforme. Enfin refuser le fléchage des moyens et ne tirer les conséquences de l’évaluation que pour moduler la dotation globale allouée par l’Etat en laissant les établissements libres de l’utiliser à leur guise est la garantie du respect d’une autonomie renforcée des universités.”

Il plaide en ce sens pour un nouvel Acte de l’autonomie, lui qui juge que le “quinquennat actuel a à son actif des avancées indéniables : meilleure maîtrise des flux étudiants avec la loi ORE, modes d’organisation et de gouvernance innovants avec l’ordonnance sur les établissements expérimentaux, nouveau rôle de l’évaluation, nouvelles mesures RH et moyens programmés avec la LPR…”

Si l’on faisait désormais “de l’autonomie, de la liberté et de leurs corollaires, l’évaluation et la responsabilité le droit fil de la politique nationale et des nouvelles relations entre les établissements et l’Etat, tout le reste suivra et on pourra enfin appliquer ce que demandait en 1972 le doyen Vedel pour la réglementation définissant les règles communes des universités nouvellement autonomes : ‘on ne doit pas perdre de vue, comme on le fait trop souvent, que le silence sur un point ne signifie pas lacune ou obscurité, mais liberté pour les universités’.”

L’organisation aberrante du système

De son côté Martin Andler pose une question que tout le monde se pose : “Est-ce que la multiplication des structures d’évaluation (HCERES, IGESR, Cour des comptes, et occasionnellement Inspection des finances), pour ne pas parler du contrôle plus ou moins exercé par les tutelles n’est pas en elle-même un problème ?” Et il souligne que si l’évaluation doit être suivie d’effet, ce n’est “pas la peine de dépenser des heures de travail d’un comité pour distribuer des primes ou valider des projets dont les budgets sont faibles !”

Michel Bessière tire de son expérience du Synchrotron Soleil la nécessité d'”une autonomie complète de gestion avec des contrats d’objectifs clairs et surtout un budget cohérent attribué pluriannuellement et pas dépendant d’AAP (à utiliser pour des actions spécifiques).”

Enfin Vincent Brunie (qui m’égratigne un peu au passage sur le terme de “bureaucratie” 😃) confirme comme praticien les aberrations d’un système : je ne connaissais effectivement pas les tableaux Excel “à plus de 100 onglets” 👏… Il pointe ce que tout le monde sait mais que personne n’envisage de changer : Qui a décidé qu’une UMR serait un objet quasiment ingérable, dont aucun établissement ne sait réellement ce qu’il s’y passe ? Qui a décidé qu’au nom de la liberté académique, la gouvernance des universités serait totalement baroque, traiterait à peu près tous les sujets, et que personne n’y aurait (presque) le moindre pouvoir ? Qui a décidé qu’un bon projet devait nécessairement avoir une description en x parties soigneusement prescrites une par une, un consortium comportant tel ou tel ratio ? Qui a décidé de l’évaluation de projets sur plus de 30 critères (heureusement simplifiée) ?”

Il fait le constat sévère “qu’aucun autre ministère, avec ses établissements, n’a généré un fonctionnement aussi illisible, et c’est donc que l’ensemble est mal dirigé, et cela depuis longtemps.”  Et s’il connaît “les difficultés de professionnalisation des cadres intermédiaires”, il note qu’il y a un problème de professionnalisation beaucoup plus haut.”

L’exemple britannique pour réfléchir sans tabous

Je livre à la réflexion la stratégie britannique d’évaluation, son coût mais aussi les critiques dont elle fait l’objet. Je l’avais déjà évoqué mais il n’est pas inutile d’y revenir… On n’est pas obligé de copier, mais on peut y trouver des idées. Au-delà du lien évaluation-allocation des moyens sur la recherche, et ses conséquences sur le fonctionnement des universités, cœur du système, elle a une particularité. C’est la concentration des procédures sur un peu plus d’un an : pas de vagues successives et une évaluation qui concentre le tir (si je puis dire) sur les universités, pas sur leurs parties.

Son coût. L’analyse du REF 2014 sollicitée par le gouvernement britannique a estimé le coût total pour la gestion  à 246 millions de livres sterling (280 M€) ! Mais nos voisins comptent eux en coûts complets 😉. Car la grande majorité des coûts (212 millions de £, 246M€) “a été supportée par la communauté de l’enseignement supérieur dans le processus de préparation de leurs soumissions”. 14 millions de £ (16 M€) de ces coûts étaient ceux des 4 organismes de financement de l’enseignement supérieur du Royaume-Uni, et 19 millions de £ (22M€) pour le temps des évaluateurs. A comparer avec l’estimation de la Cour des comptes sur les 20 millions d’€ du budget HCERES… et qui passe en réalité complètement à côté des véritables coûts, le temps étant de l’argent. Petite joueuse la France en réalité !

Ses effets pervers potentiels. Même s’il juge que les coûts sont probablement “surestimés”, le comité indépendant estime que pour faire face à leur augmentation, “nous devons nous concentrer sur les facteurs qui ont conduit les institutions à adopter des pratiques telles que l’embauche de consultants et l’élaboration de simulations d’évaluation pour tenter de maximiser les rendements.”

Un article de Nature revenait d’ailleurs en février 2020 sur le lancement du REF 2021 “que la plupart des universitaires britanniques redoutaient”, tandis que“beaucoup ne pleureraient pas” sa disparition. Ses résultats sont en effet essentiels “car les bailleurs de fonds utilisent les résultats pour allouer environ 2 milliards de £ (2,325 milliards d€) de fonds de recherche annuels aux départements universitaires.” Nature souligne que les responsables du REF “doivent sans cesse apporter des modifications pour éviter qu’il ne soit manipulé.”

La revue relevait enfin que “les universités qui obtiennent le plus de financement basé sur le REF sont concentrées à Londres et dans le sud-est de l’Angleterre, ce qui a alimenté les arguments selon lesquels la formule de financement de la métrique contribue à renforcer le déséquilibre régional du Royaume-Uni. Ce seul fait pourrait constituer un argument en faveur d’une réforme radicale de la part d’un gouvernement désireux de niveler le financement vers d’autres régions du Royaume-Uni.”

On remarquera que les universités britanniques, et la science outre-manche, sont largement devant la France (ERC, HCR etc.) : cette évaluation hyper compétitive en est-elle la raison ? Bonne question non ?

2 Responses to “Evaluation : ce n’est qu’un début, poursuivons le débat !”

  1. Oui, le débat risque d’être long avec peut être une re-synchronisation liée aux futurs enjeux électoraux.

    De l’émotion à la raison, le sujet de l’évaluation est sensible dans l’ESR, et les attentes des « parties prenantes » divergent rapidement surtout s’il s’agit d’associer directement une évaluation à une pondération de l’allocation de moyens. Il y a une vingtaine d’années au MESR, la MST, puis la MSTP faisait de « l’évaluation/décision » ou de la « mesure de performance » pour la DGES et la DGR. Cela jusqu’à la création … de l’Aéres.

    Aujourd’hui les établissements sont « autonomes » et l’évaluation se place aussi dans une dimension européenne d’agences d’évaluation et d’assurance qualité « indépendantes ». Certains établissements pourraient d’ailleurs porter leur évaluation externe ou la confier à une agence reconnue au niveau européen, mais ce sujet se heurte au modèle économique actuel. Cela amènerait de la stimulation…

    Il faut aussi intégrer dans le calcul du coût d’une évaluation les temps des personnels scientifiques, techniques et administratifs des établissements !

    Je relève une incompréhension sur les rapports d’évaluation des établissements :
    « quelle évolution de la place des femmes chez les chercheuses et enseignantes-chercheuses ? Quel pourcentage de boursiers en master ? Quelle insertion professionnelle par département ? Etc. Je dois dire que voir un comité évaluer la stratégie d’un établissement plutôt que ses résultats laisse rêveur ! »

    Ces affirmations m’amènent aux commentaires suivants :

    – les comités d’experts ne sont pas mandatés pour évaluer la stratégie d’un établissement mais pour analyser l’adéquation entre cette stratégie et la trajectoire (donc les résultats). C’est le principe de base de la démarche qualité et de la roue de Deming.

    – Les données et indicateurs de suivi : l’usage de données certifiées (par les établissements) et partagées et publiques permettrait de mieux suivre chaque année les établissements dans les dimensions formation (indicateurs de suivi de la loi ORE proposés par l’IGESR par exemple) et recherche (entre autre la bibliométrie … à adapter suivant les disciplines). C’est ce que fait déjà la Cti pour l’évaluation et le suivi régulier des diplômes d’ingénieurs. C’est ce que fait l’OST pour la recherche (organismes, disciplines, positionnement de la France…. C’est aussi la pratique dans les classements internationaux avec des dosages différents relatifs à la performance individuelle (distinctions) et collective. Le suivi de ces données peut donc s’effectuer chaque année indépendamment des cycles d’évaluation.

    – Les limites insaisissables actuelles : on évalue en France des grains très fins (diplôme, laboratoire/équipe) ou très gros (établissement) … mais pas le grain intermédiaire c’est à dire les composantes d’établissement (qui peuvent accueillir plus de 10 K étudiants pour certaines) et cela contrairement au modèle anglo-saxon ou chaque « department « à un « visiting committee ».

  2. Non, comme l’indique justement Michel Robert, les rapports Hcéres d’évaluation des établissements n’évaluent pas la stratégie qui relève de l’autonomie de l’établissement mais son opérationnalisation et les résultats qui en découlent.
    Oui, cela nécessite des indicateurs pour évaluer la performance propre des établissements mais il faudra bien que chacun comprenne qu’on ne peut pas exiger d’un processus d’évaluation ni d’un comité d’experts, même composé d’internationaux, qu’ils produisent ces indicateurs. Dans un système d’évaluation adapté à des établissements autonomes et non pas « administrés d’en haut » c’est à ces derniers de produire leurs propres indicateurs en lien avec leur stratégie et de faire une analyse critique des résultats. L’évaluation décline alors deux objectifs centraux : dire si la base d’indicateurs proposée par l’établissement est cohérente au regard de la stratégie et si l’analyse critique proposée par l’établissement est pertinente. Si l’on veut vraiment pratiquer une évaluation exigeante et adaptée à l’autonomie de nos établissements, et pas simplement faire des discours sur l’autonomie c’est dans ce type de direction qu’il faut aller sinon on retombe inévitablement dans la normalisation et une vision centralisée de l’ESR.
    Quant aux indicateurs nationaux permettant de comparer la performance des établissements et éventuellement de contribuer à la répartition des moyens, oui il en faut certainement quelques-uns à condition qu’ils soient robustes et fiables mais c’est au ministère de les produire à partir d’un système national d’information dont nous avons déjà quelques bases au niveau formation mais malheureusement pas grand-chose au niveau recherche malgré des annonces successives depuis quelques décennies… Il y a par ailleurs une série de classements internationaux qui, même avec des défauts indéniables, nous disent des choses sur la performance des établissements. Il n’est peut-être pas utile de réinventer la roue…
    Pour terminer sur le sujet des couts et de la charge de travail liés à l’évaluation, c’est évidemment un sujet important, mais il trouvera implicitement sa solution quand nous aurons changé la philosophie globale de l’évaluation. Dans ce domaine je suis d’accord avec Thierry Coulhon sur le problème du grain de l’évaluation et sur le fait qu’il y a beaucoup de travail devant nous pour faire bouger les lignes mais attention de ne pas se tromper de révolution en faisant table rase du passé….

Laisser un commentaire