L’évolution du système d’évaluation à la française semble être une priorité gouvernementale. Curieusement, et sauf raté de ma part, on ne trouve aucune étude comparée, encore moins réalisée par les services des ambassades, sur ce qui se fait réellement dans les pays équivalents. Invité par l’Institut Montaigne à University College London (UCL) ¹ Je remercie vivement l’Institut Montaigne pour l’organisation et l’invitation à cette journée d’études au « centre for global higher education » de UCL., la présentation qu’une équipe de chercheurs britanniques a faite du Research Excellence Framework (REF) m’a incité à approfondir cette question.

Organisation, gouvernance, financements, statuts, tout le système français est passé au crible par les (trop peu nombreux) chercheurs qui en étudient les méandres. Mais la quasi absence du sujet de l’évaluation (et à la suite, les lacunes comparatives), montre si nécessaire combien cette question reste un sujet tabou, en tout cas non stratégique.

L’observation du système britannique, de sa philosophie de l’évaluation, est l’occasion de mesurer quelques différences qui méritent d’être interrogées. Évidemment, la présentation qui suit reste générale et n’esquive pas les critiques que tout système génère. Les lecteurs se reporteront avec bonheur sur le site du Research Excellence Framework 2021 qui fourmille de précisions. Notons d’ailleurs qu’il existe 2 évaluations, l’une sur la recherche, l’autre sur l’enseignement, le Teaching Excellence Framework (TEF) ² Cet article du THE est intéressant pour se faire rapidement une idée..

Des principes simples

Comme ailleurs, cette évaluation est évidemment contestée, tant dans sa mise en œuvre que dans ses principes (voir infra). Sans surprise, elle met au centre l’évaluation par les pairs. Pourtant, sans entrer trop dans les détails techniques (qui méritent cependant que l’on s’y arrête), les différences avec la France sautent aux yeux.

D’abord, les objectifs généraux sont peu nombreux et clairs, là où nous noircissons des centaines de pages et produisons des dizaines de rapports. Sans doute le pragmatisme anglo-saxon : assurer la reddition de comptes à l’égard de l’investissement public dans la recherche, fournir des informations de référence à l’usage du secteur de l’enseignement supérieur et pour l’information du public et…éclairer l’attribution sélective des fonds liés à la qualité pour la recherche ?.

Le REF britannique repose sur 5 principes simples :

1. Une responsabilisation fondamentale des établissements, chargés de préparer et sélectionner leurs datas, et surtout les personnels de recherche qui entrent dans le champ de l’évaluation.
2. Un objectif centré sur la qualité de la production scientifique, pas sur la quantité, chaque chercheur pouvant présenter au plus 5 articles publiés dans la période de référence, et chaque article étant évalué individuellement.
3. Une évaluation multiforme, appuyée sur la qualité d’un échantillon de publications, mais aussi par exemple sur l’apport sociétal ou encore sur la diversité.
4. Pas de prise en compte d’éléments difficiles à quantifier comme la qualité d’un projet scientifique ou la structuration de l’unité.
5. Un lien fort entre financement et évaluation pour les crédits récurrents (« block grants »), avec un système de notation.

Une évaluation multiforme

Le REF évalue 3 éléments distincts :

– la qualité des résultats de la recherche, pondérée à 60%, en fonction de leur « originalité, de leur importance et de leur rigueur », par rapport aux normes internationales de qualité de la recherche.

– l’impact de la recherche au-delà du milieu universitaire, pondéré à 25%,  avec la « portée et l’importance » des impacts sur l’économie, la société, la culture, la politique ou les services publics, la santé, l’environnement ou la qualité de vie.

– l’environnement de soutien à la recherche, pondéré à 15%,  sa « vitalité et de sa durabilité », mais aussi les questions de diversité, de genre.

Quelle méthode pour l’audit ?

Une période identifiable facilement. Le REF 2021 a été amorcé dès janvier 2019, après des évolutions suite au précédent « exercice » le RAE (l’introduction du mot ‘excellence’ n’est pas neutre !). Il ouvre une période intense d’examens et de sélections des données qui se terminera le 27 novembre 2020, tandis que les résultats seront publiés en décembre 2021.

Ce rythme d’évaluation (tous les 7 ans) suppose une période intense de préparation au niveau de l’établissement. Mais il semble autrement plus simple que notre système illisible de « vagues » (et je ne parle que pour les établissements d’enseignement supérieur). Notre conception est en fait directement issue des contraintes de la tutelle (MESRI et ses directions), du centralisme français et d’une procédure bureaucratique d’une complexité inouïe.

Le processus de vérification des données. Il utilise une « approche progressive », divisée en 4 phases d’activités de vérification (échantillonnage des données après la présentation, analyse des données avec écarts à justifier, vérification éventuelle au cours de l’évaluation).

Un des point sensibles est pour les établissements de fournir la preuve que « tous les membres du personnel admissibles qui ont une responsabilité importante en matière de recherche ont été soumis ». A titre d’exemple, l’Université de Nottingham (8ème au Royaume-Uni en termes de puissance de recherche) a décidé de réintégrer 100 % de son personnel admissible au REF2021 ³ Le personnel de catégorie A doit avoir un contrat de travail de 0,2 ETP ou plus. Sa fonction principale d’emploi est d’entreprendre soit de la « recherche uniquement », soit de « l’enseignement et de la recherche ».. Elle a soumis dans 29 unités sur 34.

D’autre peuvent « sortir » une partie de leur personnel de l’évaluation ‘recherche », avec les conséquences que l’on peut imaginer à long terme, même si les contrats sont très divers (enseignement, enseignement-recherche, recherche).

Loin des questionnaires qui assaillent quotidiennement les universités et écoles françaises, la démarche est une démarche de vérification par sondage aléatoire. Et lorsque la comparaison avec les données gouvernementales montre que l’établissement d’enseignement supérieur n’a pas soumis 100 % du personnel éligible de catégorie A, il devrait être en mesure de démontrer que le personnel non soumis au REF 2021 n’a pas de responsabilité significative dans la recherche.

Notation et allocation des moyens

Sur les 3 éléments du REF (résultats de la recherche, l’impact de la recherche et l’environnement de recherche), les sous-groupes de chaque unité d’évaluation notent chaque élément de la soumission de 4 étoiles (travail exceptionnel) à 1 étoile (une note non classifiée étant attribuée si le travail tombe sous la norme prévue ou s’il est jugé ne pas correspondre à la définition de la recherche).

Ces notations ont un impact sur le financement récurrent de la recherche autour d’un financement qui se veut qualitatif. Research UK indique ainsi que sa « méthode de calcul du financement de la recherche permet un degré de stabilité et d’indépendance de la recherche qui n’est pas assuré par d’autres sources de financement. »

Pourquoi ? Parce que selon elle « les résultats de l’évaluation de la recherche sont utilisés sur une période prolongée. » Cela donne aux institutions « l’indépendance parce qu’elles peuvent faire ce qu’elles veulent avec l’argent et qu’il n’est pas destiné à des programmes de recherche particuliers. »

3 principes d’allocation des fonds : stimuler l’innovation et répondre avec souplesse à l’évolution des besoins en tant qu’institutions autonomes, investir dans des domaines nouveaux et émergents et développer et soutenir les nouveaux talents et protéger les domaines de recherche importants.

Le succès ou l’échec lors du REF peut donc avoir un impact considérable : financier bien sûr avec des programmes de restructuration ou de licenciements de personnel, perte de réputation, fermeture d’un département, difficultés dans le recrutement des étudiants. C’est vrai dans les institutions qui ont l’ambition d’améliorer leur position dans les classements, mais aussi dans les 24 universités du Russell Group : il faut suivre le rythme des membres les plus performants…

Un des effets les plus décisifs me semble cependant sur le marche de l’emploi des chercheurs : la « récompense » du REF signifie plus de crédits (ou moins !) que l’on appelle chez nous récurrents. Mais cela veut dire, dans un « free market » des enseignants-chercheurs, que certains d’entre eux se retrouvent en position de force pour négocier avec leur établissement moyens…et rémunérations. Et réciproquement, les établissements peuvent faire des choix forts en privilégiant tel ou tel secteur. Car contrairement à la France, rappelons que la Grande-Bretagne a des universités autonomes et pas d’organismes de recherche.

Avantage aux universités de recherche intensive ? Pas si simple !

La France et le risque bureaucratique

Et notre pays face à tout cela ? Pour l’instant, les schémas bâtis ont plutôt ressemblé à des usines à gaz, permettant ainsi de passer à côté de l’essentiel. Pourtant, tout a été essayé en multipliant les comités, les auto-évaluations, les guides. Le problème est que l’évaluation est redondante à tous les niveaux : individuelle, unité de base, institution, mission. Les rapports de la Cour des comptes, ceux, public ou non publics de l’IGAENR jouent un rôle considérable sur les aspects financiers et le pilotage.

Les annonces récentes sur le dialogue stratégique de gestion, sur les contrats (et je ne fais de procès à personne), font craindre l’éternel retour d’une folle machine bureaucratique qui ne débouche sur rien. Pourtant, sur les aspects scientifiques, la réussite, ou non, aux appels à projet est déjà une ligne de partage. Mais elle reste biaisée, d’une part par l’organisation (temporalité des appels ANR par exemple) et par la faiblesse des financements.

On pourrait croire que depuis des années il y a eu une hésitation politique entre stratégie d’excellence et aménagement du territoire (les britanniques ont eux choisi clairement). Mais la question essentielle semble autre. A l’occasion de la nomination d’un ou d’une nouvelle présidente, y aura-t-il une nouvelle donne au HCERES ?

On sait bien que les résistances sont énormes de tous les côtés sur une évaluation qui puisse mettre à mal les réputations, et pire, leurs financements. Et qui comme chez les britanniques intègre également des indicateurs variés,  mais aussi la diversité sociale ou l’impact sociétal.

Et il y a bien sûr, la question essentielle de l’enseignement. Le Times Higher Education relevait à propos du Teaching Excellence Framework : c’est « une autre ressource pour aider les étudiants, tant nationaux qu’internationaux, à décider où aller à l’université en Angleterre » et « le TEF est une ressource estampillée par le gouvernement et que certains étudiants peuvent le considérer important lorsqu’ils choisissent une université. »

---

34 unités d’évaluation et des sous-groupes

A ces 34 unités, il faut ajouter des sous-groupes.Dans le REF 2021, ont été ajoutées par ailleurs des mesures supplémentaires pour soutenir « la mise en œuvre de l’égalité et de la diversité, ainsi que la soumission et l’examen de la recherche interdisciplinaire, pendant l’évaluation. »

2 exemples (en anglais pour éviter tout contresens académique). L’un en sciences « dures », l’autre en sciences sociales, mais le document complet est disponible.

Unit of Assessment 9: Physics: The UOA includes all areas of physics encompassing, but not limited to, theoretical, computational and experimental studies of: quantum physics; atomic, molecular and optical physics; plasma physics; fusion and energy; particle physics; nuclear physics; surface and interface physics; condensed matter, materials and soft matter physics ; biophysics; semiconductors, nanoscale physics, lasers, optoelectronics and photonics; magnetism, superconductivity and quantum fluids; fluid dynamics; statistical mechanics, chaotic and nonlinear systems; astronomy and astrophysics, planetary and atmospheric physics; space physics; cosmology and relativity; medical physics; applied physics; chemical physics; and instrumentation.

The sub-panel expects submissions in this UOA from all areas of physics, as defined above, and expects that the majority of the research activity submitted will have made a direct contribution to the UOA as characterised in the UOA descriptor. It recognises and welcomes, however, the increasingly interdisciplinary nature of research, and expects that submissions may contain work that contributes to this UOA and other cognate disciplines.

Unit of Assessment 21: Sociology

Descriptor: Sociology is a social science with a diversity of areas and approaches to the study of social life and society. It includes empirical, critical and theoretical study of social structures, power, cultures and everyday practices, including styles and material standards of living, opinions, values and institutions. It includes analysis of and attention to social inequalities, divisions, justice and solidarities at the micro, meso and macro levels. It covers all areas of social theory, historical and comparative studies, and social research methodology, philosophy of social science, and research on pedagogy in sociology. Sociology embraces a wide range of methodologies including quantitative, qualitative and visual; and of all forms of data. The sub-panel also expects to consider sociological research in such interdisciplinary fields as criminology and socio-legal studies, media and cultural studies, social policy, gender and women’s studies, demography, socio-linguistics, social psychology, psychosocial studies, social studies of science and technology, and lesbian, gay, bisexual, transgender, queer and intersex studies.

The sub-panel expects submissions in this UOA from all fields of sociological enquiry including, but not restricted to, research on cultures, economies and polities; class, race, ethnicity, gender, sexuality, disability, and age, and their intersections; religion, education, health and medicine, family, media, welfare institutions, and work and employment; environment, technology and the digital; and climate change; the body, interpersonal and inter-group relations, violence; urban and rural issues; language and social interaction; political sociology, public policy and social movements; political economy, globalisation, development, migration and diaspora; comparative studies of societies of all kinds, including work on transnational structures and agencies, Europe world systems.

As in previous research assessment exercises, work in interdisciplinary women’s and gender studies may be submitted in this UOA, or may be cross-referred by other sub-panels to Sub-panel 21 (Sociology).

Work submitted in this UOA may overlap significantly with the remit of UOA 20 (Social Work and Social Policy). It is anticipated that the use of calibration, joint assessors and cross-referral of parts of submissions may be required in order to ensure an appropriate assessment, in accordance with the arrangements in Part 5, paragraphs 399 to 404.

For the avoidance of doubt, it is recognised that much criminological research may fall within the boundaries of Sub-panels 18 (Law), 20 (Social Work and Social Policy) and 21 (Sociology). All three sub-panels welcome such work, which will be assessed in accordance with the arrangements noted above, making use of calibration, joint assessors and cross-referral as deemed appropriate by the sub-panels.

Boundaries: Sub-panel 21 (Sociology) acknowledge that the UOA does not specify boundaries as per many other sub-panels. This is balanced through the descriptor outlining processes for managing submissions, to a greater detail than other sub-panels. The sub-panel consider issues of boundaries to have been addressed.