No Comments

Que nous disent du système français d’ESR les rapports d’évaluation du HCERES ? Formations, recherche ou sites, il suffit de les lire pour comprendre le non-dit français : la crainte de fâcher. Ils sont le pendant d’une politique contractuelle déficiente. Lire les nombreux rapports d’évaluation, c’est évidemment disposer d’une mine d’informations. Mais le raté de l’évaluation de la Comue Bourgogne Franche-Comté mérite justement d’être analysé. La question qui est essentielle est celle-ci : à quoi cela sert-il 🙂 ? 

Il ne s’agit pas de faire du HCERES, comme ses prédécesseurs CNE et Aeres, le bouc-émissaire de ce mal français, l’absence de décision. Rappelons qu’avec l’épisode de la notation des labos, les “gilets jaunes” universitaires avaient mis des barricades ! Depuis, le détail des rapports HCERES sur les labos n’est même plus public…

Comme pour la politique contractuelle, on a des rapports la plupart du temps bavards et dans lesquels les recommandations paraissent souvent bien modestes, pour ne pas dire édulcorées. “Ce que l’on conçoit bien s’énonce clairement” disait Boileau : la plupart des rapports d’évaluation d’établissements sont indigestes alors même qu’ils recèlent plein d’information. Quand ils ne sont pas à côté de la plaque, comme celui sur la Comue Bourgogne France-Comté (voir infra). Comme toujours, tourné vers lui-même, le monde universitaire est incapable de communiquer clairement sur un fond de flou stratégique : à quoi servent vraiment les rapports et les contrats ?

Un sentiment d’évaluation permanente

L’agence d’évaluation concentre à elle seule les questionnements de l’évaluation à la française, ce qui est logique vu son périmètre d’actions. Mais interrogeons l’opinion publique universitaire sur les fonctions de la Cour des comptes, l’IGAENR, l’IGB et l’on verra que la clarté n’est pas au rendez-vous sur le contrôle, classique et normé, et l’évaluation. Sans parler de l’évaluation des personnels avec le CNU, le CoNRS.

De même, entre les évaluations-sélections internes aux établissements, régionales, de projets ANR, celles des multiples outils du PIA, et évidemment de l’Europe, on assiste à une inflation de comités. Si l’on y regarde donc de plus près, l’évaluation à la française a tous les défauts du système : redondante, éclatée et peu lisible.

Résultat, ce millefeuille de l’évaluation (ex ante, ex post) crée de la défiance sans jamais (hors sélection des appels à projets) trancher dans le vif. Quittons d’ailleurs le débat métaphysique entre qui évalue, qui décide : en réalité, personne ne décide !

Un diagnostic intéressant sur le HCERES

Il est clair que les établissements sont en général satisfaits des rapports HCERES (mais est-ce rassurant 😀?) et du processus d’autoévaluation auquel ils procèdent. Cela aide les dirigeants à faire évoluer des choses même s’ils butent sur la peur de franchir le pas : font-ils réellement l’objet d’un débat en CA ? de décisions et de choix, même difficiles ? Je n’en suis pas du tout sûr !

Le HCERES, accrédité par un organisme européen, l’ENQA, a lui aussi été évalué, ce qui a été fait en 2017. Les évaluateurs soulignent une “application logicielle bien développée” et plus globalement donnent un satisfecit au niveau organisationnel. Par les temps qui courent, le compliment est fort, si l’on pense aux difficultés récurrentes d’autres structures… Ils exonèrent également l’agence de difficultés exogènes qui pèsent sur son fonctionnement : allongement du cycle des travaux d’évaluation, cadre juridique et réglementaire qui freine la simplification des évaluations, etc.

Ce rapport pointe cependant des failles, sur lesquelles il est intéressant de s’arrêter : ce ne sont pas uniquement celles de l’agence française mais bien celles du système d’ESR français. Et même si des remarques de l’ENQA ont été prises en compte depuis, les difficultés soulignées n’ont pas disparu en un an.

  • Des protocoles d’évaluation insuffisants en raison d’une quantité limitée d’informations, insuffisante pour garantir une application uniforme des critères de résultats par les différents comités et les équipes d’autoévaluation des établissements.”  L’ENQA cite une fermeture d’école doctorale par le ministère à la suite d’une évaluation et se dit incapable de comprendre comment  “une équipe d’experts pouvait parvenir à une conclusion conduisant le ministère à prendre des mesures.”

Du coup la comparabilité est rendue difficile et renvoie  également aux systèmes d’information dont disposent, ou plutôt ne disposent pas les établissements (comptabilité analytique, coût réel, SI commun avec les organismes etc.).

  • L’absence de dispositif de suivi structuré des recommandations, qui est à relier à l’incapacité à prendre des décisions, sauf en urgence lorsque par exemple on missionne l’IGAENR sur des questions de gestion. C’est ainsi que s’est installée une discontinuité des politiques d’établissements, seulement portée par la continuité des personnes.
  • L’endogamie, même si l’ENQA ne le formule pas comme ceci, elle met le doigt sur une question passée un peu inaperçue, à savoir les compositions des comités d’évaluation. L’agence française doit gérer près de 4 000 experts (un exploit) mais très peu sont des représentants étudiants et du monde économique. Si le défi est complexe à résoudre, il a des conséquences significatives, révélatrices de la culture française l’ESR : l’Université est-elle au service des enseignants-chercheurs ou bien de la société ?

Mes constats

Le sentiment qui prédomine, c’est celui d’un milieu qui se parle trop à lui-même, sans réellement dire les choses pour rester dans le dialogue convenu entre “chers collègues”…

Ma propre lecture de nombreux rapports HCERES (oui je fais preuve d’une grande abnégation pour écrire mes billets 😀) me conduit ainsi à plusieurs constats :

  1. Les rapports sont évidemment très inégaux, malgré des référentiels assez normés (pas suffisamment selon l’ENQA).
  2. Leur rédaction est la plupart du temps un assommoir, alors que l’on y trouve des choses réellement intéressantes, noyées au milieu d’une masse de digressions tout à fait secondaire. On en revient à cette “endogamie” du monde universitaire, incapable de parler avec des mots normaux au monde dit “extérieur”.
  3. Le vocabulaire utilisé en dit beaucoup plus sur l’évaluation que l’évaluation elle-même. On a souvent l’impression de lire une fiche descriptive ou une aimable conversation (voir infra).
  4. Du coup, on va évidemment rapidement vers la conclusion, les points faibles et points forts, les recommandations qui sont la plupart du temps écrites pour ne pas fâcher et donc contradictoires. Les réponses des dirigeants d’établissement sont du même ordre, de l’eau tiède.
  5. Concernant la recherche, l’évaluation des unités se conjugue (mal) à l’incessante évaluation de la recherche émergente avec les appels à projets internes, ANR, PIA, européens etc.. Comment concilier l’évaluation de cette recherche “au quotidien”, indispensable, et les appels à projets ?
  6. L’exemple de la Comue Bourgogne Franche-Comté est peut-être une caricature (voir infra) mais la lecture d’autres rapports interpelle si on la confronte à la réalité dont tout le microcosme est au courant.

Trop d’indicateurs tuent les indicateurs essentiels

Ce qui explique tout ceci à mon avis, mais je me trompe peut-être, est que personne n’envisage les évaluations comme un outil de progression qui peut remettre en cause des situations acquises : cela peut mettre sur le gril le MESRI et ses directions, des composantes, l’équipe de direction etc. Bref, une menace pour la recherche du consensus permanent qui consiste à mettre sous le tapis beaucoup de décisions face à des CA récalcitrants…car impliqués à titre catégoriels (enseignants, personnels, étudiants).

Conséquence : il y a une absence de focus sur des indicateurs quand même essentiels mais qui peuvent fâcher. Prenons un exemple d’actualité puisque le président de la Cour des comptes a donné quelques chiffres devant la Commission des finances de l’Assemblée nationale. Il estime que 10% des emplois pourraient être récupérés chez les Biatss en faisant appliquer les textes, ce qui pour lui signifie faire appliquer les 35 heures (1607h/an). Quelle évaluation aborde frontalement cette question ?

De même, les établissements connaissent leur valeur ajoutée en matière de réussite et peuvent même en déduire les coûts induits. Reliés aux moyens entre composantes, ces constats peuvent déboucher sur des demandes, pas simplement sur des constats. C’est toujours en lisant les rapports généraux, ou de crise, de l’IGAENR que l’on a une idée beaucoup plus précise. Or, ces questions ne relèvent pas de la “gestion administrative” et de la fonction de contrôle.

Dernier exemple, l’évaluation des enseignements : l’ENQA le relève (avec tact), elle reste très peu présente. Or c’est un des indicateurs majeurs de la prise de conscience autour de la réussite des étudiants, de l’innovation et de la transmission pédagogiques. Je ne parle même pas du taux d’occupation de locaux qui peut, pas toujours, être très révélateur de la façon dont sont gérés les plannings de cours…au détriment des étudiants !

La clé de l’évaluation externe

Ces rapports d’autoévaluation (qui précèdent le rapport HCERES proprement dit) constituent un important travail interne mais ressemblent souvent à des compilations, descriptives. Rarement mis en ligne, ils sont fort documentés (même si toujours rédigés en un style technocratique inimitable), et à l’image de la production administrative française : des tonnes de données, pas toujours les plus pertinentes, et des conclusions mi-chèvre mi-chou. Là encore, comme les rapports HCERES ou les contrats de site, ils sont “bavards” et perdent de ce fait leur côté axé sur l’essentiel.

Cela renvoie une fois de plus à la gouvernance du système : pourquoi évaluer s’il n’y a pas de conséquences ? Or les débats dignes de ce nom au sein des CA sont rares, les décisions prises rares si j’en crois les échanges que j’ai eus. Mettre l’accent sur ce qui peut faire mal reste dans la gouvernance actuelle dangereux !

Claude Allègre avait en son temps tenté d’instituer les “visiting committees”. Avant de mettre le MIT à toutes les sauces (ah les MIT à la française), je vous propose de consulter son approche des “visiting committees”. La place des alumnis y est considérable. Cela explique aussi certains résultats non ?

On peut effectivement, dans le cadre d’une accréditation HCERES, imaginer que tous les établissements fassent appel, à leur frais, à un comité d’évaluation externe (ce que font les Business schools pour leur label Equis par exemple). Cela aurait sans doute un impact énorme, positif, dans les CA et pourrait, y compris dans leur configuration actuelle, les recentrer sur de véritables débats stratégiques : valider le comité, définir sa mission, examiner ses recommandations.

Le président du jury Idex, Jean-Marc Rapp, (partie prenante du panel ENQA d’évaluation du HCERES)  regrettait lors des récentes rencontres AEF que le terme d’assurance qualité “soit identifié à des obligations lourdes et pesantes dans la gestion des établissements en France.” Il formulait un “rêve” pour une France selon lui “tout en contrôle”. Ce rêve, c’est celui de laisser 3 ans “pour que chaque établissement élabore sa propre stratégie et voir, grâce à un système de ‘peer review’, si cette stratégie fonctionne et rend les gens heureux.”

Derrière cette proposition, se profile clairement l’antagonisme entre 2 systèmes :

  • l’un basé sur la défiance, dresse obstacle sur obstacle et déresponsabilise/ ne tranche pas et fait du MESRI la référence permanente ;
  • l’autre basé sur la confiance qui suppose une évaluation commandée par les CA des établissements et qui les responsabilise.

Des rapports HCERES dans le texte

J’ai pris au hasard un labo évidemment multitutelle, quelques champs de formation, de façon anonyme (aucune raison de montrer du doigt tel ou tel labo ou formation). Et, là pas au hasard du tout, la Comue Bourgogne-Franche-Comté, en cours d’explosion, en tout cas en pleine crise. Je précise que j’ai lu de nombreux rapports même si je ne prétends pas à une étude “scientifique”.

Pour les formations, on trouve régulièrement des formules bateau “Offre pluridisciplinaire proposant des formations adaptées aux spécificités régionales” ou encore qui ne mangent pas de pain comme “Implication des enseignants-chercheurs”. Ce qui est quand même le minimum ! Et la conclusion de ces points forts tombe en format langue de bois, voire béton : “Bilan satisfaisant – bien que perfectible – au regard des contraintes actuelles.”

Pourtant, ce bilan satisfaisant souffre d’un “manque de précisions dans tous les dossiers, en particulier sur certains points permettant d’évaluer le respect des priorités de l’Université ou l’homogénéité du champ”,  le “suivi insuffisant de l’acquisition des compétences et fonctionnement partiel des conseils de perfectionnement”,  un “suivi des diplômés inexistant ou peu exploitable” ou encore “peu d’innovations pédagogiques réelles et utilisation du numérique variable suivant les mentions.” Fermez le ban ! On peine donc à comprendre cette évaluation et ce qu’en feront les décisionnaires !

Ailleurs, les recommandations sont de l’ordre du vœu pieux : “Il conviendrait de suggérer aux composantes” ou encore il faudrait développer des “projets internationaux” et “l’enseignement de l’anglais”… Et surtout, l’existence de l”évaluation des enseignements par les étudiants est la plupart du temps absente ou bien n’est pas prise en compte.

Même quand une évaluation est plus incisive (“taux d’échec élevé en L1″, “présence insuffisante d’intervenants extérieurs professionnels dans l’équipe pédagogique et les instances délibératives” etc.), la conclusion reste du niveau de la conversation de bon aloi et absolument pas injonctive : “La formation gagnerait à être renforcée par l’implication d’un plus grand nombre d’intervenants extérieurs professionnels à la fois des secteurs privé et public dans l’équipe pédagogique, par la mise en place d’un conseil de perfectionnement et par un stage obligatoire en fin de cursus.”

Autre exemple, beaucoup plus ferme et directif, dans la même université mais avec d’autres évaluateurs qui utilisent les mots “regrettable”, dénoncent une filière à 2 vitesses où les étudiants sont traités différemment selon leur mention. Moins de langue de bois mais quelle décision ?

En recherche, on trouve des résumés qui peuvent être sévères mais très souvent avec des formules dignes du café du commerce comme “la recherche d’un bien commun partagé par ses membres” ou bien “un laboratoire prestigieux”. Exemples isolés ? Non, car si l’on feuillette ces rapports, dont seule la partie “stérilisée” est publique, on retrouve ce ton régulièrement.

Le cas de la Comue Université de Bourgogne Franche Comté et son Isite

Je cite cette évaluation car elle me semble emblématique de cette tendance à ménager la chèvre et le chou. Ce rapport a été publié en mars 2017. Patatras, 18 mois plus tard, à la rentrée 2018, le président de la Comue démissionne et révèle ce que tout le microcosme savait, à part sans doute le comité d’évaluation du Hceres.

“Nous avons dû faire face à une stratégie d’empêchement, voire de blocage de la part des chefs d’établissements”, indique Nicolas Chaillet, président de la Comue UBFC pour justifier sa démission annoncée en novembre 2018. Bref, une crise qui couvait depuis un moment et comme journaliste spécialisé, j’étais au courant des difficultés locales (je pourrais d’ailleurs citer de nombreux exemples de ce type !).

Que dit ce rapport idyllique ? On trouve cette perle au milieu du rapport : “Aucune réserve n’est perceptible par le comité sur le contenu des compétences transférées, coordonnées ou propres à UBFC.” Et dans les conclusions, les vannes s’ouvrent, malgré un éclair de lucidité à la fin dont on se demande pourquoi il n’a pas fait souche.

Du violon, “De solides atouts liés à l’histoire, à l’architecture du fédéralisme, au succès de l’I-Site et aux premières réalisations de la Comue”,

Un sens de la litote “Malgré une gouvernance qui n’a pas encore atteint son équilibre et une organisation administrative non aboutie, les premières réalisations sont là, obtenues dans l’urgence des priorités. C’est ainsi que le portage du contrat pluriannuel est assuré. Le lancement du projet I-Site se déroule selon le calendrier prévu. En particulier, dans l’organisation du bureau, le comité du développement académique et de l’innovation, essentiel pour l’I-Site, fonctionne.”

L’aveuglement, “Le dynamisme et la compétence de l’équipe dirigeante constituent un atout majeur pour le succès de la Comue. S’agissant d’une université fédérale, ce succès tient aussi à la détermination et à la cohésion de ses membres. La synergie se met, actuellement, incontestablement en place.”

Un peu de lucidité quand même, “Plus important est le flou persistant des circuits de décisions. En particulier, le rôle du conseil des membres, en principe consultatif, mais dans les faits filtrant, est à préciser. Le rôle du Cac, son organisation en commissions doivent être définis. Le rôle décisionnel du CA se doit d’être affirmé : le centre de gravité penche actuellement du côté du conseil des membres. La rédaction concertée du règlement intérieur est une opportunité pour aborder ces sujets.”

Ce rapport est, de par son côté caricatural, emblématique à mon sens des processus actuels : le fait que ces rapports ne donnent pas lieu à décision (que ce soit par le Hceres ou le MESRI peu importe) les transforme en aimable conversation au mieux, en erreur de compréhension au pire.

Laisser un commentaire