Que nous disent du système français d’ESR les rapports d’évaluation du HCERES ? Formations, recherche ou sites, il suffit de les lire pour comprendre le non-dit français : la crainte de fâcher. Ils sont le pendant d’une politique contractuelle déficiente. Lire les nombreux rapports d’évaluation, c’est évidemment disposer d’une mine d’informations. Mais le raté de l’évaluation de la Comue Bourgogne Franche-Comté mérite justement d’être analysé. La question qui est essentielle est celle-ci : à quoi cela sert-il ? ? 

Il ne s’agit pas de faire du HCERES, comme ses prédécesseurs CNE et Aeres, le bouc-émissaire de ce mal français, l’absence de décision. Rappelons qu’avec l’épisode de la notation des labos, les « gilets jaunes » universitaires avaient mis des barricades ! Depuis, le détail des rapports HCERES sur les labos n’est même plus public…

Comme pour la politique contractuelle, on a des rapports la plupart du temps bavards et dans lesquels les recommandations paraissent souvent bien modestes, pour ne pas dire édulcorées. « Ce que l’on conçoit bien s’énonce clairement » disait Boileau : la plupart des rapports d’évaluation d’établissements sont indigestes alors même qu’ils recèlent plein d’information. Quand ils ne sont pas à côté de la plaque, comme celui sur la Comue Bourgogne France-Comté (voir infra). Comme toujours, tourné vers lui-même, le monde universitaire est incapable de communiquer clairement sur un fond de flou stratégique : à quoi servent vraiment les rapports et les contrats ?

Un sentiment d’évaluation permanente

L’agence d’évaluation concentre à elle seule les questionnements de l’évaluation à la française, ce qui est logique vu son périmètre d’actions. Mais interrogeons l’opinion publique universitaire sur les fonctions de la Cour des comptes, l’IGAENR, l’IGB et l’on verra que la clarté n’est pas au rendez-vous sur le contrôle, classique et normé, et l’évaluation. Sans parler de l’évaluation des personnels avec le CNU, le CoNRS.

De même, entre les évaluations-sélections internes aux établissements, régionales, de projets ANR, celles des multiples outils du PIA, et évidemment de l’Europe, on assiste à une inflation de comités. Si l’on y regarde donc de plus près, l’évaluation à la française a tous les défauts du système : redondante, éclatée et peu lisible.

Résultat, ce millefeuille de l’évaluation (ex ante, ex post) crée de la défiance sans jamais (hors sélection des appels à projets) trancher dans le vif. Quittons d’ailleurs le débat métaphysique entre qui évalue, qui décide : en réalité, personne ne décide !

Un diagnostic intéressant sur le HCERES

Il est clair que les établissements sont en général satisfaits des rapports HCERES (mais est-ce rassurant ??) et du processus d’autoévaluation auquel ils procèdent. Cela aide les dirigeants à faire évoluer des choses même s’ils butent sur la peur de franchir le pas : font-ils réellement l’objet d’un débat en CA ? de décisions et de choix, même difficiles ? Je n’en suis pas du tout sûr !

Le HCERES, accrédité par un organisme européen, l’ENQA, a lui aussi été évalué, ce qui a été fait en 2017. Les évaluateurs soulignent une « application logicielle bien développée » et plus globalement donnent un satisfecit au niveau organisationnel. Par les temps qui courent, le compliment est fort, si l’on pense aux difficultés récurrentes d’autres structures… Ils exonèrent également l’agence de difficultés exogènes qui pèsent sur son fonctionnement : allongement du cycle des travaux d’évaluation, cadre juridique et réglementaire qui freine la simplification des évaluations, etc.

Ce rapport pointe cependant des failles, sur lesquelles il est intéressant de s’arrêter : ce ne sont pas uniquement celles de l’agence française mais bien celles du système d’ESR français. Et même si des remarques de l’ENQA ont été prises en compte depuis, les difficultés soulignées n’ont pas disparu en un an.

• Des protocoles d’évaluation insuffisants en raison d’une quantité limitée d’informations, insuffisante pour garantir une application uniforme des critères de résultats par les différents comités et les équipes d’autoévaluation des établissements. »  L’ENQA cite une fermeture d’école doctorale par le ministère à la suite d’une évaluation et se dit incapable de comprendre comment  « une équipe d’experts pouvait parvenir à une conclusion conduisant le ministère à prendre des mesures. »

Du coup la comparabilité est rendue difficile et renvoie  également aux systèmes d’information dont disposent, ou plutôt ne disposent pas les établissements (comptabilité analytique, coût réel, SI commun avec les organismes etc.).

• L’absence de dispositif de suivi structuré des recommandations, qui est à relier à l’incapacité à prendre des décisions, sauf en urgence lorsque par exemple on missionne l’IGAENR sur des questions de gestion. C’est ainsi que s’est installée une discontinuité des politiques d’établissements, seulement portée par la continuité des personnes.
• L’endogamie, même si l’ENQA ne le formule pas comme ceci, elle met le doigt sur une question passée un peu inaperçue, à savoir les compositions des comités d’évaluation. L’agence française doit gérer près de 4 000 experts (un exploit) mais très peu sont des représentants étudiants et du monde économique. Si le défi est complexe à résoudre, il a des conséquences significatives, révélatrices de la culture française l’ESR : l’Université est-elle au service des enseignants-chercheurs ou bien de la société ?
  

Mes constats

Le sentiment qui prédomine, c’est celui d’un milieu qui se parle trop à lui-même, sans réellement dire les choses pour rester dans le dialogue convenu entre « chers collègues »…

Ma propre lecture de nombreux rapports HCERES (oui je fais preuve d’une grande abnégation pour écrire mes billets ?) me conduit ainsi à plusieurs constats :

1. Les rapports sont évidemment très inégaux, malgré des référentiels assez normés (pas suffisamment selon l’ENQA).
2. Leur rédaction est la plupart du temps un assommoir, alors que l’on y trouve des choses réellement intéressantes, noyées au milieu d’une masse de digressions tout à fait secondaire. On en revient à cette « endogamie » du monde universitaire, incapable de parler avec des mots normaux au monde dit « extérieur ».
3. Le vocabulaire utilisé en dit beaucoup plus sur l’évaluation que l’évaluation elle-même. On a souvent l’impression de lire une fiche descriptive ou une aimable conversation (voir infra).
4. Du coup, on va évidemment rapidement vers la conclusion, les points faibles et points forts, les recommandations qui sont la plupart du temps écrites pour ne pas fâcher et donc contradictoires. Les réponses des dirigeants d’établissement sont du même ordre, de l’eau tiède.
5. Concernant la recherche, l’évaluation des unités se conjugue (mal) à l’incessante évaluation de la recherche émergente avec les appels à projets internes, ANR, PIA, européens etc.. Comment concilier l’évaluation de cette recherche « au quotidien », indispensable, et les appels à projets ?
6. L’exemple de la Comue Bourgogne Franche-Comté est peut-être une caricature (voir infra) mais la lecture d’autres rapports interpelle si on la confronte à la réalité dont tout le microcosme est au courant.
   

Trop d’indicateurs tuent les indicateurs essentiels

Ce qui explique tout ceci à mon avis, mais je me trompe peut-être, est que personne n’envisage les évaluations comme un outil de progression qui peut remettre en cause des situations acquises : cela peut mettre sur le gril le MESRI et ses directions, des composantes, l’équipe de direction etc. Bref, une menace pour la recherche du consensus permanent qui consiste à mettre sous le tapis beaucoup de décisions face à des CA récalcitrants…car impliqués à titre catégoriels (enseignants, personnels, étudiants).

Conséquence : il y a une absence de focus sur des indicateurs quand même essentiels mais qui peuvent fâcher. Prenons un exemple d’actualité puisque le président de la Cour des comptes a donné quelques chiffres devant la Commission des finances de l’Assemblée nationale. Il estime que 10% des emplois pourraient être récupérés chez les Biatss en faisant appliquer les textes, ce qui pour lui signifie faire appliquer les 35 heures (1607h/an). Quelle évaluation aborde frontalement cette question ?

De même, les établissements connaissent leur valeur ajoutée en matière de réussite et peuvent même en déduire les coûts induits. Reliés aux moyens entre composantes, ces constats peuvent déboucher sur des demandes, pas simplement sur des constats. C’est toujours en lisant les rapports généraux, ou de crise, de l’IGAENR que l’on a une idée beaucoup plus précise. Or, ces questions ne relèvent pas de la « gestion administrative » et de la fonction de contrôle.

Dernier exemple, l’évaluation des enseignements : l’ENQA le relève (avec tact), elle reste très peu présente. Or c’est un des indicateurs majeurs de la prise de conscience autour de la réussite des étudiants, de l’innovation et de la transmission pédagogiques. Je ne parle même pas du taux d’occupation de locaux qui peut, pas toujours, être très révélateur de la façon dont sont gérés les plannings de cours…au détriment des étudiants !

La clé de l’évaluation externe

Ces rapports d’autoévaluation (qui précèdent le rapport HCERES proprement dit) constituent un important travail interne mais ressemblent souvent à des compilations, descriptives. Rarement mis en ligne, ils sont fort documentés (même si toujours rédigés en un style technocratique inimitable), et à l’image de la production administrative française : des tonnes de données, pas toujours les plus pertinentes, et des conclusions mi-chèvre mi-chou. Là encore, comme les rapports HCERES ou les contrats de site, ils sont « bavards » et perdent de ce fait leur côté axé sur l’essentiel.

Cela renvoie une fois de plus à la gouvernance du système : pourquoi évaluer s’il n’y a pas de conséquences ? Or les débats dignes de ce nom au sein des CA sont rares, les décisions prises rares si j’en crois les échanges que j’ai eus. Mettre l’accent sur ce qui peut faire mal reste dans la gouvernance actuelle dangereux !

Claude Allègre avait en son temps tenté d’instituer les « visiting committees ». Avant de mettre le MIT à toutes les sauces (ah les MIT à la française), je vous propose de consulter son approche des « visiting committees ». La place des alumnis y est considérable. Cela explique aussi certains résultats non ?

On peut effectivement, dans le cadre d’une accréditation HCERES, imaginer que tous les établissements fassent appel, à leur frais, à un comité d’évaluation externe (ce que font les Business schools pour leur label Equis par exemple). Cela aurait sans doute un impact énorme, positif, dans les CA et pourrait, y compris dans leur configuration actuelle, les recentrer sur de véritables débats stratégiques : valider le comité, définir sa mission, examiner ses recommandations.

Le président du jury Idex, Jean-Marc Rapp, (partie prenante du panel ENQA d’évaluation du HCERES)  regrettait lors des récentes rencontres AEF que le terme d’assurance qualité « soit identifié à des obligations lourdes et pesantes dans la gestion des établissements en France. » Il formulait un « rêve » pour une France selon lui « tout en contrôle ». Ce rêve, c’est celui de laisser 3 ans « pour que chaque établissement élabore sa propre stratégie et voir, grâce à un système de ‘peer review’, si cette stratégie fonctionne et rend les gens heureux. »

Derrière cette proposition, se profile clairement l’antagonisme entre 2 systèmes :

• l’un basé sur la défiance, dresse obstacle sur obstacle et déresponsabilise/ ne tranche pas et fait du MESRI la référence permanente ;
  
• l’autre basé sur la confiance qui suppose une évaluation commandée par les CA des établissements et qui les responsabilise.
  

---

Des rapports HCERES dans le texte

J’ai pris au hasard un labo évidemment multitutelle, quelques champs de formation, de façon anonyme (aucune raison de montrer du doigt tel ou tel labo ou formation). Et, là pas au hasard du tout, la Comue Bourgogne-Franche-Comté, en cours d’explosion, en tout cas en pleine crise. Je précise que j’ai lu de nombreux rapports même si je ne prétends pas à une étude « scientifique ».

Je cite cette évaluation car elle me semble emblématique de cette tendance à ménager la chèvre et le chou. Ce rapport a été publié en mars 2017. Patatras, 18 mois plus tard, à la rentrée 2018, le président de la Comue démissionne et révèle ce que tout le microcosme savait, à part sans doute le comité d’évaluation du Hceres.