A la suite des élections du Conseil National des Universités (CNU), qui fournissent deux tiers des membres de chaque section, le ministère de l’enseignement supérieur et de la recherche a procédé aux nominations du troisième tiers des membres, puis les sections se sont réunies et ont procédé à l’élection de leur bureau. En section 16 (psychologie et ergonomie), un petit débat a animé la communauté sur la question de la légitimité et de la représentativité des membres nommés, et sur les critères de choix de ces membres par le ministère. Dans cet article, je pose la question de savoir si la qualité de la recherche scientifique fait partie des critères utilisés par le ministère.

Extrait de l’article « Il faut élever le niveau d’exigence de la qualification des enseignants-chercheurs en psychologie ».

Le fait est que les critères de sélection des membres nommés sont relativement peu explicites. Le Décret n°92-70 du 16 janvier 1992 relatif au Conseil national des universités précise simplement que chaque section « a vocation à assurer la représentation équilibrée de la diversité du champ disciplinaire concerné, des établissements d’affectation des enseignants-chercheurs en relevant et de la répartition entre les femmes et les hommes qui la composent » (article 3), et que les nominations « concourent à l’objectif de représentation équilibrée » (article 4). On s’attend donc à ce que le ministère assure, via les nominations, un certain équilibre entre hommes et femmes, entre universités, et entre sous-disciplines de la psychologie. Cet ajustement par les nominations peut être important, car le système d’élections par listes ne garantit nullement qu’un tel équilibre soit atteint.

Par ailleurs, s’agissant d’une instance qui a pour rôle de se prononcer sur la qualification des enseignants-chercheurs, le suivi de leur carrière, l’attribution des primes d’encadrement doctoral et de recherche, et des congés pour recherches ou conversions thématiques, autrement dit de participer à l’évaluation des travaux des enseignants-chercheurs, il parait logique d’exiger un minimum de compétence. Là encore, les nominations peuvent jouer un rôle important. Les élections n’offrent aucune garantie concernant la compétence des personnes élues, les électeurs pouvant utiliser bien d’autres critères pour voter. Les CV des candidats annexés aux professions de foi des listes sont d’ailleurs très succincts, ne rendant pas la tâche aisée à l’électeur qui souhaiterait se faire une idée de leurs compétences professionnelles.

L’activité des enseignants-chercheurs est multidimensionnelle, comprenant des activités de recherche, d’enseignement, et des responsabilités administratives. Toutes ces activités sont prises en compte dans les évaluations faites par le CNU. Si on voulait garantir un minimum de compétence au sein même du CNU, il faudrait donc évaluer les candidats potentiels sur ces trois dimensions. Les responsabilités administratives sont en principe officielles et peuvent donc être prises en compte, il serait intéressant d’analyser si elles le sont. Les compétences d’enseignement, elles, sont la grande inconnue, elles ne sont à ma connaissance pas évaluées par les universités et sont donc impossibles à prendre compte par le ministère. Les compétences en matière de recherche, enfin, peuvent être évaluées sur la base des travaux publiés par les chercheurs. Je propose donc de tester l’hypothèse selon laquelle le ministère utilise également des critères de qualité scientifique pour sélectionner les membres nommés.

Bien évidemment, il est très difficile de classer rigoureusement la qualité des travaux des chercheurs, et on peut débattre longuement de la meilleure manière de le faire. Idéalement, l’évaluation des travaux d’un chercheur impliquerait la lecture critique complète de toutes ses publications (ou d’un « best of » choisi par l’auteur), par des experts au moins aussi compétents que lui sur le sujet. En pratique, ces conditions sont impossibles à réunir en dehors des jurys de thèse ou d’habilitation. La seule manière dont un petit nombre de chercheurs peut évaluer les travaux d’un plus grand nombre d’autres chercheurs dans un temps fini est de procéder à l’analyse de la liste de leurs publications : le plus souvent, leur nombre (productivité), et leur qualité inférée via les revues (plus ou moins exigeantes) dans lesquelles elles sont publiées, qualité parfois quantifiée par leur facteur d’impact (nombre moyen de citations reçus par les articles de la revue dans les deux années qui suivent la publication). Cela dit, la plupart des chercheurs s’accordent à dire que le facteur d’impact des revues est un indicateur trop grossier qui comporte de nombreux effets pervers. Quitte à utiliser le nombre de citations des publications pour inférer l’influence qu’elles ont sur les autres travaux scientifiques, autant analyser directement le nombre de citations reçues par les publications du chercheur évalué. C’est ce que fait le h-index, en combinant astucieusement le nombre d’articles publiés et le nombre de leurs citations : il est égal au nombre n de publications du chercheur qui ont recueilli chacune au moins n citations. C’est l’indicateur que je propose d’utiliser, tout en offrant la possibilité d’analyser d’autres indicateurs.

Méthode

Afin d’être le plus exhaustif possible, j’ai utilisé Google Scholar comme source d’information concernant les articles et leurs citations, ce qui permet d’inclure les articles dans les revues indexées ou non indexées, ainsi que les livres, les chapitres, les thèses, les brevets et même des rapports et mémoires non publiés, et ce quelle que soit la langue de publication. Afin d’automatiser le processus, j’ai utilisé le logiciel Publish or Perish, qui permet de collecter toutes les données de Google Scholar et calcule un grand nombre d’indices en plus du h-index.

J’ai ainsi collecté les publications et indices de tous les enseignants-chercheurs nouvellement élus ou nommés à la section 16 du CNU. Pour limiter le travail, je ne l’ai fait que pour les titulaires, pas pour les suppléants. Pour chacun, j’ai parcouru la liste des publications participant à son h-index (les n plus citées) pour vérifier s’il s’agissait bien de publications en psychologie ou dans un champ relié, et j’ai éliminé celles qui étaient de toute évidence dues à un homonyme travaillant dans un autre domaine. J’ai bien sûr pu en éliminer quelques-unes à tort ou en rater certaines. Les données brutes sont disponibles dans ce fichier. Je serai reconnaissant à toute personne me signalant des erreurs que je pourrais corriger.

Les données synthétiques qui ont servi à la production des figures sont dans ce fichier. Là encore, merci de me signaler d’éventuelles erreurs. Pour une explication détaillée de tous les indices rapportés et des multiples variantes du h-index, voir cet article. Il est bien sûr possible de faire d’autres analyse sur d’autres indices. Je serais intéressé de savoir si d’autres analyses donnent des résultats différents.

Résultats

Les graphiques ci-dessous montrent les histogrammes de h-index, pour les membres élus (en bleu) et les membres nommés (en orange), séparément pour les collèges A (professeurs) et B (maîtres de conférences) puisqu’il s’agit de stades différents de la carrière (12 élus et 6 nommés titulaires dans chaque collège).

Histogramme des h-index des membres nommés et élus du Collège A de la section 16.
Histogramme des h-index des membres nommés et élus du Collège B de la section 16.

Malgré les faibles effectifs, la tendance semble suffisamment claire pour ne nécessiter aucune statistique : les membres nommés ont en moyenne un h-index supérieur aux membres élus.

Discussion

Ces résultats suggèrent donc que le ministère a bien pris en compte, d’une manière ou d’une autre, un critère de qualité des travaux de recherche (tel qu’il peut être quantifié par le h-index), pour procéder aux nominations. Même si les nominations ne semblent pas refléter une recherche de performance extrême, on peut soupçonner qu’il y a eu un filtre minimal, consistant à ne pas inclure des enseignants-chercheurs ayant une production scientifique jugée trop faible.

Comme je l’ai expliqué plus haut, ce critère parait tout à fait légitime, puisque le CNU est amené notamment à évaluer les travaux de recherche d’autres enseignants-chercheurs. Il poserait problème que les évaluateurs ne soient pas au moins aussi compétents dans ce domaine que les évalués. Par ailleurs, les données révèlent que les élections de listes ne garantissent effectivement pas un niveau minimal de qualité scientifique : peuvent être élus des enseignants-chercheurs qui ont une activité de publication très faible, quel que soit le critère que l’on considère. Le ministère n’y peut rien, il ne peut que tenter de compenser cela partiellement par les nominations.

Plus généralement, on peut se poser la question de savoir si une instance d’évaluation comme le CNU (et aussi le CoNRS) doit être élue ou nommée, et dans ce dernier cas, sur quels critères. Les défenseurs des assemblées élues revendiquent la démocratie et la représentativité, ce qui est tout à fait souhaitable dans le domaine politique ou syndical, mais peut sembler plus discutable concernant une instance d’évaluation, pour laquelle la compétence semble une condition sine qua non, et devrait donc primer sur tout autre critère.

La représentativité est, certes, une qualité des assemblées élues, mais elle peut également être un problème. Dans le cas d’une communauté scientifique de bon niveau, une section du CNU élue sera à son image et aura toutes les chances de bien remplir sa mission. A contrario, une communauté scientifique faible, décalée par rapport à l’état de l’art international de sa discipline, élira aussi une section à son image, et aura peu de chances de progresser, car cela supposerait d’utiliser des critères d’évaluation qui mettraient en difficulté les membres de la section eux-mêmes. Dans un cas intermédiaire de communauté scientifique de niveau hétérogène, élisant une section du CNU reflétant cette hétérogénéité, les luttes de clans, les trafics d’influence et les compromis donnant-donnant risquent de se substituer à toute démarche d’évaluation rationnelle et objective.

C’est pour cela qu’il est généralement préférable que les instances d’évaluations soient constituées uniquement de membres sélectionnés pour leur compétence, comme c’est le cas pour les comités de sélection par exemple. On peut lire dans ce dossier de la revue En Temps Réel un argumentaire plus complet sur ce sujet et sur d’autres.

Est-ce que la procédure de nomination par le ministère répond à cette exigence ? Pas vraiment. D’une part, le décret qui précise les conditions de nomination est totalement flou sur leurs critères, si ce n’est qu’elles « concourent à l’objectif de représentation équilibrée ». La compétence n’est mentionnée nulle part. D’autre part, quelles que soient la compétence et la bonne volonté des personnels de la DGESIP et de la DGRI qui suggèrent les enseignants-chercheurs à nommer, ces personnels sont en nombre restreint, s’occupent de champs disciplinaires vastes qu’ils ne peuvent connaître en détail, et opèrent donc en partie à l’aveugle, et dans la plus totale opacité du point de vue de la communauté scientifique concernée. Par ailleurs, leurs suggestions sont soumises au cabinet du ministre, qui n’a pourtant aucun avis pertinent sur la qualité scientifique des personnes à nommer, et qui peut être soumis à diverses pressions électorales ou corporatistes.

Face à ces problèmes, certains recommandent la suppression pure et simple du CNU, institution jugée archaïque, corrompue, embolisée par le pouvoir syndical, coûteuse (en budget mais aussi en temps d’enseignant-chercheur gaspillé à des tâches inutiles), et incapable de véritablement assurer sa mission de garantir le niveau de recrutement des enseignants-chercheurs (voir par exemple le livre Le dernier verrou de François Garçon). Peut-être la plupart des disciplines universitaires pourraient-elles se passer du CNU sans grand dommage. Mais en médecine ou en psychologie où l’enjeu n’est rien moins que la qualité des soins offerts aux Français, cette perspective peut légitimement inquiéter. L’alternative serait d’avoir un CNU renforcé, composé de membres ayant toute la compétence et la légitimité nécessaire pour appliquer des critères d’évaluation rigoureux.

Si l’on voulait avoir un CNU entièrement composé d’enseignants-chercheurs sélectionnés pour leur compétence, le meilleur moyen serait d’organiser un appel ouvert à candidatures, dans lequel les candidats soumettraient à la fois une lettre de motivation, et un dossier donnant un maximum d’éléments permettant d’évaluer leurs compétences dans les domaines de la recherche, de l’enseignement, et des responsabilités administratives. Ces candidatures pourraient être examinées par des comités d’experts étrangers, reconnus internationalement pour leur compétence et minimisant les conflits d’intérêt avec la communauté française.