Campus de Sorbonne Université, bâtiments situés boulevard Malesherbes à Paris. Michael von Aichberger/Shutterstock

Michel Robert, Université de Montpellier

Les classements internationaux des universités sont aujourd’hui une réalité de la mondialisation qui donne un autre éclairage que la réputation historique des établissements ou que les rapports d’évaluation réalisés à leur sujet. Ils sont basés sur des éléments de performances comparatifs purement quantitatifs qu’il faut savoir interpréter dans leurs périmètres : quelles sont les données utilisées ? Quels sont les indicateurs ? Quels sont les algorithmes de calculs ?

Par exemple le classement de Shanghai ne couvre que le domaine de la recherche et occultant d’autres missions fondamentales des universités : la transmission de connaissances, la délivrance des diplômes et l’insertion professionnelle.

Importants pour notre rayonnement international, ces palmarès sont souvent décalés des besoins d’information des citoyens, qui cherchent d’abord, avec des ressources budgétaires limitées, les meilleures solutions dans leurs territoires pour scolariser leurs enfants. Concrètement, ils sont plus intéressés par tel cursus de licence, d’IUT, d’ingénieur ou de master plutôt que la reconnaissance internationale de l’établissement universitaire.

On sait très bien par ailleurs que derrière le mot « université » ce sont en fait en France des écosystèmes qui sont classés, avec bien souvent un apport incontestable des organismes de recherche.

Environnement complexe

L’évocation de « l’évaluation » dans l’enseignement supérieur et la recherche conduit rapidement à des crispations liées à notre histoire et nos pratiques, sur des sujets comme l’orientation des étudiants, les filières sélectives, les droits d’inscription ou encore la liberté académique. On distinguera en particulier l’expertise institutionnelle, réalisée par un comité de pairs, du contrôle, de l’inspection, ou de l’audit.

Les débats actuels sur la loi de programmation pluriannuelle de la recherche illustrent bien la question de l’organisation et de l’utilité de l’évaluation institutionnelle qui nous intéresse dans cet article.

Les sujets de discussion sont nombreux : quelle est la place de l’évaluation, et son utilité ? Est-elle acceptée par les communautés évaluées ? Quel est son impact ? Quelles pratiques peut-on envisager pour mieux communiquer les résultats et faire en sorte que ceux-ci apparaissent parfaitement lisibles à l’ensemble des acteurs et notamment les futurs étudiants ?

L’évaluation par les pairs d’une entité de l’enseignement supérieur et de la recherche publique (université, école, laboratoire, organisme de recherche…) s’organise autour de trois acteurs :

• l’entité évaluée ;

• le comité d’experts (pairs) ;

• l’organisateur : le Hcéres (Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur) ou la Cti (Commission des titres d’ingénieur) ou d’autres agences d’évaluation étrangères.

Le contexte de l’organisation d’une évaluation est complexe et alterne plusieurs paramètres. La relation entre les évaluateurs et les évalués doit être basée sur la confiance et l’absence de liens d’intérêt. La distance entre l’évaluation et la prise de décision (attribution d’un label, allocation de moyens…) est essentielle. La crise sanitaire actuelle souligne en particulier l’importance des questions d’intégrité scientifique dans la recherche mais aussi dans la formation des doctorants et des étudiants.

L’évaluation ne peut avoir pour seul objectif de sanctionner et de réguler le système, au risque de conduire à des biais d’adaptation des acteurs. Elle doit être conçue dans une triple perspective d’aide au développement des entités évaluées, d’aide à la décision des tutelles, et d’information des publics et usagers de l’enseignement supérieur.

Enjeux actuels

Les dispositifs d’évaluation par les pairs mis en place par le Hcéres, en application de la loi actuelle sur l’enseignement supérieur et la recherche, conduisent ainsi à préciser les critères retenus et à observer la réalité (rapport d’autoévaluation, indicateurs, visite du comité), autant d’étapes essentielles à l’expression d’un jugement (rapport du comité d’experts). Ces modalités s’inscrivent par ailleurs dans le cadre d’une démarche qualité et d’amélioration continue, formalisée à l’échelle européenne, conséquence du processus de Bologne.

L’obligation actuelle d’évaluer toutes les formations et toutes les unités de recherche pose néanmoins la question de l’efficacité du système d’évaluation. Compte tenu de la charge induite par cette « industrialisation » d’un très grand nombre d’expertises (plusieurs centaines pour une université tous les cinq ans), celui-ci ne permet pas des investigations susceptibles de meilleures plus-values pour un établissement donné.

Par ailleurs, l’évaluation institutionnelle menée par le Hcéres est concentrée sur une cinquantaine d’établissements chaque année alors que d’autres établissements par exemple privés non contractualisés avec l’état, ou des établissements particuliers comme l’ENA n’ont jamais été, évalués par le Hcéres.

La définition du grain d’évaluation, c’est-à-dire des composantes à évaluer au sein d’une université (diplômes, facultés, écoles, instituts, UFR, départements d’enseignement, départements de recherche, laboratoires, équipes de recherche) ne devrait pas être figée, car l’autonomie des établissements a conduit à des modèles d’organisation différents.

Il convient ainsi de définir avec souplesse un canevas permettant à la diversité des établissements de pouvoir exprimer ainsi leurs spécificités et leurs stratégies, et éviter de les contraindre à rentrer dans un stéréotype. C’est en ce sens que le sujet de la réactualisation de la loi s’impose.

Évolutions possibles

La vie scientifique et pédagogique, la créativité et la réussite des étudiants ne peuvent toutefois se limiter à des indicateurs ou des classements standardisés et figés. La prise de risque, la détection des « signaux faibles » dans l’innovation sont par exemple des enjeux fondamentaux pour progresser.

Comment élaborer une mesure de la performance qui ne soit pas normative, qui puisse être adaptée à la diversité des personnes, des établissements évalués et des écosystèmes concernés, et qui stimule les dynamiques d’établissement ? Il s’agit en particulier d’apprécier les leviers utilisés par les établissements pour améliorer l’efficience de leur action et leur performance.

Une évolution globale des modes de fonctionnement ne pourrait se résumer à une action isolée d’une agence d’évaluation pour comparer des entités, cela d’autant plus que, dans le passé, la notation des laboratoires a permis de souligner les limitations d’une telle approche (et son rejet) ne serait-ce que par le périmètre territorial limité des comparaisons effectuées.

On pourrait ainsi envisager de débattre d’une approche plus globale impliquant non seulement des agences d’évaluation, mais aussi les établissements, les ministères de tutelle, en intégrant dans le processus l’acceptation par les communautés concernées dans les établissements. Évoquons quelques pistes :

• au niveau de la formation et de la réussite étudiante, en distinguant les niveaux Licence (et les enjeux liés à la loi relative à l’orientation et à la réussite des étudiants) et Master-Doctorat (et les enjeux liés à la recherche), et en recourant à un usage de données publiques certifiées par les établissements sur le suivi des étudiants, mises à jour annuellement au niveau national, comme le pratique la Cti actuellement pour les écoles d’ingénieurs ;

• au niveau de la recherche, en distinguant la contribution des laboratoires à une stratégie d’établissement, complétée par des analyses nationales par grands champs disciplinaires (implication de l’Observatoire des Sciences et Technique, évaluation coordonnée d’équipes de recherche d’un même périmètre, synthèses disciplinaires nationales) pour analyser la position de la France.

Pour préserver un climat de confiance, il est donc proposé des inflexions progressives des méthodes d’évaluation actuelles plutôt qu’une transformation brutale et radicale, porteuse de risques de rejet, en plaçant dorénavant – comme on peut le constater dans d’autres pays européens – au centre de la démarche d’évaluation l’établissement comme acteur principal de sa propre évaluation interne puis externe.

Ces réflexions structurelles et structurantes sont d’autant plus d’actualité aujourd’hui qu’elles s’inscrivent dans un contexte profondément impacté par la transition climatique la crise sanitaire laquelle, en imposant le basculement dans une société de la distanciation physique, va nous conduire nécessairement à changer de cap.

Michel Robert, professeur de microélectronique, Université de Montpellier

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.