Pour illustrer la difficulté de parler de résultats scientifiques dans les médias, voici deux expériences récentes (non liées à la pandémie de COVID-19, pour changer).

Retard cognitif dans le Monde

En septembre 2021, un journaliste me demande si Yannick Jadot a raison de dire que le confinement a engendré 40% de retard cognitif chez les élèves de CP-CE1-CE2.(1) Comme ça me paraît énorme et pas du tout cohérent avec les données de l’Education Nationale, je demande quelle est la source.

Vérification faite, il arrive à cet article du Monde:

Je demande à voir l’étude citée dans l’article. Contacté par le journaliste, le CHU de Clermont-Ferrand répond qu’elle n’est pas finalisée et donc pas disponible. Mais alors pourquoi donc le Monde en a-t-il fait tout un article? Pourquoi vouloir diffuser au public des informations aussi incertaines? (2)

En effet, tant qu’une étude n’a pas été expertisée par les pairs (par la soumission à une revue scientifique internationale spécialisée dans le sujet) et validée (par l’acceptation puis la publication dans une telle revue), les résultats ne sont pas considérés comme valides, et on ne devrait pas en parler. Il pourrait très bien arriver que l’article soumis à la revue scientifique ne soit pas accepté à cause d’erreurs méthodologiques. Il pourrait aussi arriver que l’article soit accepté, mais seulement après une ré-analyse des données, qui donne des résultats différents. Il pourrait enfin arriver que l’article finisse par être accepté dans une revue scientifique, avec les résultats sur la condition physique des enfants, mais sans les résultats sur leurs capacités cognitives, si les tests utilisés sont jugés non valides par les experts (cf. note 2). Les chercheurs savent bien que cela arrive tous les jours. Et si cela arrivait, croyez-vous que le Monde ferait corriger ou retirer son article? Présenterait-il des excuses à ses lecteurs pour leur avoir diffusé une fausse information (et à Yannick Jadot pour l’avoir induit en erreur)? On peut toujours rêver. Dans la plupart des médias, l’usage semble être de ne pas resservir les plats froids, et de ne jamais reconnaître ses erreurs.
De fait, mes échanges sur Twitter avec Sandrine Cabut, journaliste scientifique dont les articles sont souvent intéressants par ailleurs, ne m’ont pas convaincu qu’elle avait pris la mesure du problème.
Ma conclusion sur ce fait divers médiatique, qui ressemble à tant d’autres: les chercheurs ne devraient jamais parler aux médias de leurs résultats avant publication, et les médias devraient s’abstenir de citer des études scientifiques non publiées (3).

Les terribles écrans dans l’Obs

Autre anecdote récente: on m’envoie cet article de l’Obs, qui titre en gras « La fréquentation intense des écrans nuit gravement à la réussite des élèves« .

Bien entendu, ce langage alarmiste et l’affirmation sans précaution d’un effet causal des écrans (« nuit gravement », « l’impact négatif des écrans sur la scolarité », « réduit fortement les chances de réussite »…) m’interpelle, dans la mesure où, si les corrélations entre l’exposition des enfants aux écrans et leur développement cognitif ne manquent pas, les études qui sont en mesure d’apporter une preuve d’un lien de causalité ne sont pas légion (sur ce sujet, on pourra lire cet article, cet autre article, et écouter cette conférence).

Je souhaite donc naturellement examiner l’étude qui est à la source de cette affirmation. Malheureusement, l’article interroge longuement l’auteur Pascal Plantard et cite « l’enquête Ineduc », mais ne donne pas la référence précise de l’étude (un travers très courant dans les médias français). Ne trouvant pas en ligne une étude rapportant de tels résultats parmi celles publiées par Pascal Plantard, je demande poliment au journaliste (qui me connait) de la partager avec moi. Il ne me répondra jamais. Du coup, je contacte également Pascal Plantard, qui finira par me l’envoyer (Grimault-Leprince et al., 2020), en précisant que les affirmations de l’article de l’Obs sont plus causales que ne l’autorisent les résultats de l’étude.

De fait, la lecture de l’étude confirme ce que je pensais: il s’agit de simples corrélations entre d’une part, les usages du numériques déclarés par des adolescents, et d’autre part leurs résultats scolaires et leur attitude vis-à-vis de l’école. Bien que l’étude fasse l’effort de contrôler « les caractéristiques socio-familiales de l’élève » dans une analyse multivariée, la méthodologie n’est pas de nature à fournir une preuve d’un lien de cause à effet (pour les raisons expliquées dans cet article). L’étude s’en défend d’ailleurs explicitement: « l’analyse indique des liens forts entre le rapport à l’école et les usages numériques, sans permettre pour autant de travailler l’hypothèse d’éventuels liens de causalité » (p. 77); « l’objectif n’est pas ici d’évaluer avec précision l’influence des usages du numérique sur le niveau scolaire » (p. 78). Par ailleurs les résultats de l’étude ne sont pas univoques, ils mettent aussi en évidence des corrélations positives entre certains usages du numérique et les résultats scolaires. Toutes les nuances apportées sur la notion de causalité sont allègrement passées sous silence dans l’article de l’Obs, qui multiple les affirmations causales et semble délibérément orienté dans le sens le plus anxiogène possible. Plutôt que de rapporter fidèlement les résultats d’une étude, l’article semble plutôt se servir d’une étude pour alimenter un discours préconçu.

La situation est donc un peu différente de celle de l’article du Monde: ici, le journaliste fait dire à une étude ce qu’elle ne dit pas, ou bien n’a pas compris la différence entre corrélation et causalité. Dans un cas comme dans l’autre, c’est un vrai problème, qui conduit aussi à une mauvaise information du public. En revanche, l’étude, contrairement à celle rapportée par le Monde, est bel et bien publiée. Encore que, là aussi il y a matière à discussion.

Quelles publications scientifiques devraient être rapportées dans les médias?

En effet, comme je l’explique en long et en large dans un autre article, la publication scientifique se caractérise par l’expertise par les pairs, et celle-ci s’effectue dans des revues spécialisées internationales, publiées en anglais. Pour des raisons expliquées dans cet article, la publication en français, et la publication dans des livres, a fortiori la publication dans des livres en français, a fortiori lorsque le livre en français a pour directeur de publication l’un des auteurs de l’étude, n’offre aucune garantie que celle-ci a fait l’objet d’une expertise par les pairs avec un minimum d’exigence. Par conséquent, de tels résultats ne devraient à mon sens pas être relayés au grand public par la presse, pas plus qu’une étude non publiée. Le risque est trop grand de diffuser des résultats non valides et de fausses informations.

En principe, les journalistes scientifiques (tout du moins ceux qui exercent ce métier depuis suffisamment longtemps) connaissent parfaitement les particularités de la publication scientifique, et savent en tenir compte pour identifier les experts à interroger (et éviter les faux experts). Ils connaissent aussi les nombreux problèmes concernant les études non publiées ou insuffisamment expertisées. Malheureusement, la tentation du scoop conduit parfois certains à négliger ces précautions. De plus, ils me semblent souvent appliquer un double standard (c’est en tous cas ma perception des choses): en physique ou en biologie, ils sélectionneront leurs experts avec soin et traiteront le sujet rigoureusement. Mais en psychologie, en éducation, ou en sciences sociales, tout d’un coup les critères de la publication scientifique ne s’appliquent plus, et n’importe quel universitaire (dans le meilleur des cas) qui a écrit un livre en français pour annoncer au monde sa vérité devient un expert légitime (4). Ces disciplines méritent pourtant un traitement tout aussi rigoureux. Les études scientifiques publiées dans des revues internationales expertisées par les pairs existent aussi dans ces disciplines, c’est celles-là dont il faudrait parler. Et les experts pour les commenter existent aussi, ils s’identifient de la même manière que les experts en physique ou en biologie.

Mais en sciences sociales, en psychologie, en éducation, le problème est en fait bien plus vaste que les errements occasionnels de certains journalistes scientifiques. Car ces sujets sont en France le plus souvent traités par des journalistes non scientifiques, qui pour la plupart n’ont qu’une très vague idée du mode de fonctionnement de la science, des caractéristiques de la publication scientifique, et des critères qui font qu’une étude scientifique puisse être considérée comme validée. Ce sont des sujets traités dans les pages Société, sur lesquels tout le monde a une opinion (y compris les journalistes), et sur lesquels le niveau de l’information diffusée décolle donc rarement du comptoir. Il existe des milliers de revues scientifiques internationales en sciences sociales, en psychologie, en éducation (5), qui publient des dizaines de milliers d’articles chaque année. Je souhaite à tous les citoyens Français d’en entendre un jour parler. (6)

Corrigendum du 17/09/2021

La version précédente de l’article indiquait « Toutes ces nuances sont allègrement passées sous silence dans l’article de l’Obs », ce qui sous-entendait à tort que les corrélations positives rapportées dans l’étude de Grimault-Leprince et al. étaient passées sous silence. C’était inexact, elles sont bien mentionnées dans l’article. Le passage est donc corrigé ainsi: « Toutes les nuances apportées sur la notion de causalité sont allègrement passées sous silence ».

Merci à Gurvan Le Guellec d’avoir relevé cette erreur. Le dialogue qui s’est engagé avec lui sur Twitter peut-être consulté ici.

Références

Grimault-Leprince, A., Plantard, P., & Rouillard, R. (2020). Les liens entre la scolarité des adolescents, leur contexte de vie et leurs usages du numérique. In I. Danic, M. Hardouin, P. Plantard, & O. David (Éds.), Adolescentes et adolescents des villes et des champs : La dimension spatiale des inégalités éducatives (p. 71‑89). Presses Universitaires de Rennes. https://www.marsouin.org/article1260.html

Notes

(1) La citation exacte qui m’a été donnée est: « des études ont été faites, sur les CP, ce1, ce2 : 40% de retard cognitif ». Personnellement je ne l’ai retrouvée nulle part. Mon propos ici n’est de toute façon pas de critiquer Yannick Jadot, qui, s’il a bien fait cette déclaration, a eu pour principal tort de croire ce qui est écrit dans Le Monde.
(2) Je ne m’étendrai pas ici sur les limites de l’étude qui sont apparentes dans l’article du Monde: l’utilisation d’un « test consistant à relier les lettres aux chiffres correspondant dans l’ordre alphabétique, dans un temps imparti » pour évaluer les capacités cognitives des enfants, ne devrait pas manquer d’étonner les psychologues et spécialistes en psychométrie. Et que peut-on conclure du fait que « un an plus tard, un grand nombre n’a pas terminé »? Ces remarques n’enlèvent bien sûr rien à l’intérêt potentiel des résultats sur la condition physique des enfants (que je n’ai pas pu examiner, pour les mêmes raisons, mais je n’étais pas interrogé sur ce sujet et je n’en suis pas expert).
(3) Sauf cas exceptionnels où cela peut être journalistiquement justifié (multiplicité de résultats pré-publiés semblant invalider une publication douteuse ou manifestement frauduleuse, évocation d’un signal cohérent avec des données établies par ailleurs, etc).
(4) Pour illustrer un peu ce point: pour que l’un de mes travaux de recherche soit éventuellement mentionné dans les médias, il faut généralement qu’il ait fait l’objet d’un communiqué de presse du CNRS, et pour cela il faut que le service de presse du CNRS l’ait sélectionné à cet effet (décision soumise à la direction de l’Institut national des sciences biologiques, dont je dépends). Ce qui implique, non seulement  que mon étude ait été publiée dans une revue scientifique internationale expertisée par les pairs (cela va sans dire, ils me riraient au nez si je leur envoyais un livre auto-édité en français), mais encore faut-il qu’elle soit publiée dans une revue particulièrement prestigieuse. Je ne m’en plains absolument pas, je considère aussi que la plupart de mes travaux n’ont pas besoin d’être diffusés auprès du grand public. Mais cela illustre l’écart béant avec le standard appliqué pour les études de sciences humaines et sociales qu’on trouve quotidiennement dans les médias.
(6) Bien sûr, certains journalistes scientifiques s’acquittent déjà très honorablement de cette tâche, y compris (trop rarement) en psychologie ou en éducation. Je ne vais pas en dresser une liste ici, mais je profite de l’occasion pour féliciter Nicolas Martin pour le prix AJSPI du journaliste 2021!