Les alternatives à l’éducation fondée sur des preuves sont-elles convaincantes?

Parmi les arguments pour et contre la démarche « d’éducation fondée sur des preuves », il est parfois avancé que ce courant dépendrait d’une épistémologie particulière (« positiviste », « poppérienne », ou encore « technico-rationaliste »), à laquelle on pourrait opposer une ou plusieurs épistémologies alternatives qui auraient tout autant de légitimité (Archibald, 2015; Biesta, 2010). Ici, je propose d’esquiver le débat à ce niveau purement théorique, pour le replacer à un niveau beaucoup plus concret et terre-à-terre : celui du chercheur qui se demande que croire. Quelles conclusions, de quelles études, peuvent-elles être acceptées avec quel niveau de confiance, et pourquoi, sur la base de quels critères ?

Recherches descriptives et explicatives

En préalable, je propose de distinguer deux types de recherche : les recherches descriptives, qui recueillent des données sur des faits observables, quelle qu’en soit la méthode. Et les recherches explicatives, qui visent à expliquer certains des faits observés, c’est-à-dire généralement établir des relations de cause à effet entre différents faits, et potentiellement construire des modèles capables de prédire les effets sachant les causes.

Dans le domaine de l’éducation, les recherches descriptives visent généralement à décrire les apprentissages des élèves, les pratiques des enseignants, les politiques éducatives, ou encore les représentations des différents acteurs. Elles peuvent également décrire des corrélations entre les différentes observations. Les recherches explicatives, elles, tentent d’établir des liens de causalité entre différents faits parmi les politiques, les représentations, les pratiques et les apprentissages.

Les recherches descriptives et explicatives sont parfaitement complémentaires : la description d’un certain nombre de faits est un préalable indispensable à la formulation d’hypothèses concernant l’explication de ces faits.

N’ayant pas vocation à expliquer, les recherches descriptives n’ont pas à convaincre d’une conclusion particulière. En revanche, le chercheur est en droit d’attendre que les phénomènes décrits le soient de manière précise, fiable (c’est-à-dire autant que possible reproductible et indépendante de l’observateur), et représentative. Et dans la mesure où ces critères ne sont pas absolus, il est en droit d’attendre une information transparente sur la précision, la fiabilité et la représentativité des données décrites.

Qu’est-ce qui rend une recherche explicative convaincante ?

Les recherches explicatives, elles, doivent convaincre les chercheurs que l’explication avancée est la bonne, ou en tous cas qu’elle est meilleure que d’autres explications alternatives, sachant qu’il existe toujours une multiplicité d’explications possibles pour un ensemble de faits donnés.

Il arrive que des recherches explicatives ne prennent en compte qu’une seule explication possible des observations, et soient entièrement orientées vers la confirmation de l’explication avancée. Au mieux, les résultats obtenus sont compatibles avec l’explication, mais une telle recherche ne dit rien sur d’éventuelles autres explications qui seraient tout aussi compatibles avec les observations. Cela rend son pouvoir de conviction limité.

Le caractère convaincant d’une conclusion dépend donc non seulement de la production de données soutenant une certaine explication, mais aussi et surtout de sa capacité à réfuter des explications alternatives des mêmes données. Le souci de réfuter des explications alternatives a conduit à enrichir et complexifier considérablement la méthodologie de la recherche en éducation.

Prenons un exemple. Beaucoup de recherches en éducation ont pour données primaires des observations de pratiques enseignantes, d’apprentissages des élèves, et de la corrélation entre les deux. A ce stade, il s’agit de recherche purement descriptive. A partir de l’observation de telles corrélations, il est tentant de postuler l’existence d’un lien de cause à effet entre les pratiques des enseignants observées et les apprentissages des élèves. Certaines études se hasardent même, sur la base de simples corrélations à tirer des conclusions causales, se promouvant par là-même de la catégorie descriptive à la catégorie explicative.

Il est important de garder à l’esprit qu’un lien de causalité postulé n’est jamais qu’une hypothèse, qui peut être vraie comme elle peut être fausse. Il existe de nombreuses raisons pour lesquelles l’hypothèse d’un lien de causalité entre pratiques enseignantes et apprentissages des élèves peut être fausse. Par exemple, les progrès observés des élèves peuvent être dus à leur maturation cognitive, à leurs apprentissages en dehors de la classe, à leur sentiment d’être exposé à une pratique pédagogique innovante dans le cadre d’une expérimentation, ou encore à certaines qualités non mesurées des enseignants, sans lien de causalité aucun avec les pratiques enseignantes spécifiques examinées.

Pour rejeter de telles hypothèses alternatives expliquant la corrélation pratiques-apprentissages, un certain nombre d’ingrédients méthodologiques ont été proposés. Par exemple, la comparaison avec les progrès des élèves participant à une condition contrôle, pendant la même durée, et étant de même présentée comme une pratique pédagogique innovante dans le cadre d’une expérimentation. Une analyse complète des interprétations alternatives des corrélations pratiques-apprentissages, ainsi que les ingrédients méthodologiques conçus pour les rejeter, peut être consultée dans un autre article.

L’essai contrôlé randomisé

De proche en proche, la nécessité de prendre en compte les différentes hypothèses alternatives par l’ajout d’ingrédients méthodologiques supplémentaires aboutit à la méthodologie de l’essai contrôlé randomisé (ECR). L’ECR n’est donc pas un standard arbitraire, mais la méthodologie la plus aboutie permettant de rejeter le maximum d’hypothèses alternatives pouvant expliquer une corrélation pratiques-apprentissages, et permettant donc d’accepter l’hypothèse d’un lien de causalité entre pratiques et apprentissages avec le meilleur niveau de confiance. Autrement dit, cette méthodologie permet de rendre les conclusions d’une recherche plus convaincantes.

Ces propriétés ne font pas des ECR des moyens infaillibles d’obtenir des conclusions toujours vraies et définitives. Un ECR n’est jamais qu’une étude, et toute étude a forcément des limites : les effectifs peuvent être limités, divers aspects de la méthodologie peuvent avoir été mis en œuvre de manière imparfaite, et les résultats obtenus ne se généralisent pas nécessairement à d’autres contextes que ceux de l’expérience. Simplement, les propriétés de l’ECR permettent d’aboutir à des conclusions avec un meilleur niveau de confiance que d’autres méthodologies. La nécessité de répliquer les résultats et de tester dans quelle mesure ils restent les mêmes dans des contextes différents est la même que pour tous les autres types d’études.

Il est important de remarquer que toutes les critiques qui peuvent être faites à un ECR peuvent également être faites à tous les autres types d’études, en plus des critiques portant sur les hypothèses alternatives non rejetées. De fait, les critiques les plus sévères des ECR n’ont jamais montré que d’autres méthodologies seraient plus convaincantes (par exemple Scriven, 2008).

Il faut également prendre conscience du fait que toutes les objections qui peuvent être faites aux résultats d’un ECR sont des hypothèses, qui peuvent être testées par d’autres études, et qui le seront souvent le mieux si ces études sont des ECR. Par exemple, si l’on soupçonne que les résultats d’un ECR sont propres à la culture scolaire des USA, ou ne sont valides que pour un certain type d’élèves, la meilleure réponse n’est pas de rejeter en bloc les résultats de l’étude, mais de tester ces hypothèses par de nouveaux ECR testant le même protocole dans un autre pays, ou sur une autre catégorie d’élèves. Si l’on soupçonne que les résultats d’un ECR obtenus dans un cadre expérimental seront difficiles à obtenir lors d’une généralisation à grande échelle, la meilleure réponse est de conduire des études d’implémentation et de passage à l’échelle (par exemple: Fixsen et al., 2018; Nilsen & Birken, 2020).

Une hiérarchie de méthodes

Enfin, le caractère particulièrement convaincant de la méthodologie des ECR n’implique pas que seuls des ECR doivent être conduits. Une bonne raison de ne pas conduire que des ECR et qu’ils sont complexes et coûteux à mettre en œuvre. C’est pour cela qu’il est généralement proposé de recourir à toute une gamme de méthodes de plus en plus sophistiquées, de la plus simple et la moins convaincante (un enseignant essaye quelque chose dans sa classe et observe de manière informelle les effets sur les élèves) à la plus complexe et la plus convaincante (l’ECR). A chaque étape, l’hypothèse est testée, et si elle réussit le test, alors seulement il est légitime de la tester avec une méthodologie plus exigeante, qui permettra de tester plus d’hypothèses alternatives, au prix d’efforts et de coûts plus importants (Conseil scientifique de l’éducation nationale, 2020; Ramus, 2020).

Ainsi, il y a donc dans la recherche en éducation de la place pour toutes les méthodologies. L’important est de bien comprendre ce que chaque méthodologie permet de montrer, et quelles en sont les limites (c’est-à-dire quelles hypothèses alternatives elle ne permet pas de rejeter). Il convient ensuite d’adapter la méthodologie choisie à la crédibilité de l’hypothèse à un moment donné.

Conclusion

La démarche « d’éducation fondée sur des preuves » est souvent critiquée, et pourtant il ne s’agit que de la démarche scientifique usuelle appliquée à l’éducation : celle qui consiste à demander des données convaincantes à l’appui des affirmations énoncées. Certains chercheurs rejettent l’éducation fondée sur des preuves en se réclamant d’une épistémologie alternative. Mais cela ne doit pas empêcher de se demander dans quelle mesure leurs affirmations sont convaincantes, et donc de questionner si des données factuelles viennent à l’appui de ces affirmations ou pas, et de se demander si des hypothèses alternatives ne seraient pas tout aussi compatibles avec les données connues. Autrement dit, l’appel à une épistémologie alternative n’est pas une échappatoire viable permettant de se soustraire à la nécessité d’apporter des preuves convaincantes de ce que l’on affirme.

De même l’idée de « recherche basée sur les pratiques » (Bryk, 2015) ne fournit pas d’alternative viable à l’éducation fondée sur des preuves. Si la proposition a le mérite de recentrer l’attention sur les pratiques des enseignants et les facteurs contextuels qui peuvent faire varier les effets des pratiques, elle laisse entière la question de leur évaluation (Bressoux, 2017), car on ne peut présumer que toutes les pratiques sont égales, ni que le partage des pratiques entre enseignants suffit à identifier celles qui sont les plus efficaces. La recherche sur les pratiques des enseignants, et sur les corrélations entre pratiques et apprentissages est fondamentale, mais c’est une recherche essentiellement descriptive. Elle peut et doit servir à faire émerger des hypothèses sur des liens de causalité entre pratiques et apprentissages. Mais elle ne peut se substituer à l’évaluation rigoureuse de ces liens de causalité. Elle est donc nécessairement partie prenante du cadre général de l’éducation fondée sur des preuves.

Références

Archibald, T. (2015). “They Just Know”: The epistemological politics of “evidence-based” non-formal education. Evaluation and Program Planning, 48, 137–148. https://doi.org/10.1016/j.evalprogplan.2014.08.001

Biesta, G. J. J. (2010). Why ‘What Works’ Still Won’t Work: From Evidence-Based Education to Value-Based Education. Studies in Philosophy and Education, 29(5), 491–503. https://doi.org/10.1007/s11217-010-9191-x

Bressoux, P. (2017). Practice-based research: Une aporie et des espoirs. Éducation et didactique, 11(3), Article 3.

Bryk, A. S. (2015). 2014 AERA Distinguished Lecture: Accelerating How We Learn to Improve. Educational Researcher, 44(9), 467–477. https://doi.org/10.3102/0013189X15621543

Conseil scientifique de l’éducation nationale. (2020). La recherche translationnelle en éducation (Synthèses et Recommandations). Ministère de l’Education Nationale, de la Jeunesse et des Sports.

Fixsen, D. L., Blase, K., Naoom, S., & Wallace, F. (2006). Measures of core implementation components. Retrieved from National Implementation Research Network, Florida Mental Health Institute, University of South Florida. (Traduction)

Nilsen, P., & Birken, S. A. (2020). Handbook on Implementation Science. In Handbook on Implementation Science (Cheltenham). Edward Elgar Publishing. https://www.elgaronline.com/display/edcoll/9781788975988/9781788975988.xml

Ramus, F. (2020). Comment savoir ce qui marche en éducation ? Ramus méninges.

Scriven, M. (2008). A Summative Evaluation of RCT Methodology: & An Alternative Approach to Causal Research. Journal of MultiDisciplinary Evaluation, 5(9), Article 9. https://doi.org/10.56645/jmde.v5i9.160