CRSNG 2030 : Découverte. Innovation. Inclusion.

---

Des documents pour lancer les discussions

Améliorer l’évaluation des pratiques de financement en sciences naturelles et en génie

Sur cette page

• Contexte
• Façon dont le CRSNG réalise les évaluations
• Éléments sur lesquels portent les évaluations réalisées par le CRSNG
• Possibilités
• Questions à aborder
• Références

---

Contexte

À l’appui de la prise de décisions, de la reddition de comptes et de la transparence, le rapport du Conseil des académies canadiennes (CAC) invite les organismes de financement de la recherche à faire progresser leurs pratiques d’évaluation des programmes en élargissant la portée de l’évaluation du financement en sciences naturelles et en génie (SNG). L’information tirée de ces travaux joue un rôle important dans l’avancement de la science de la science.

---

Façon dont le CRSNG réalise les évaluations

Le rapport du Conseil des académies canadiennes intitulé Dynamiser la découverte (CAC, 2021) souligne les limites conceptuelles et méthodologiques associées aux types d’évaluation classiques (p. ex. évaluations ex post, qui sont réalisées à postériori), en particulier lorsqu’il est question des retombées sociales et économiques globales de la recherche et de son financement. Au nombre de ces limites, mentionnons l’attribution des résultats à certaines pratiques de financement, les délais entre l’investissement et les retombées de la recherche, la difficulté de recenser les mesures hypothétiques (ce qui serait arrivé aux bénéficiaires en l’absence de l’intervention) avec lesquelles on pourrait comparer les résultats observés et le fait que les chercheurs reçoivent souvent un financement de plusieurs sources. La Division de l’évaluation du Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG) s’efforce d’atténuer ces limites en adoptant des pratiques exemplaires dans l’évaluation des programmes, notamment le recours à des indicateurs quantitatifs et qualitatifs, à des indicateurs bibliométriques et à des prix, la triangulation de données provenant de plusieurs sources, l’évaluation qualitative des résultats et des aspects du processus de recherche ainsi que l’analyse des mesures hypothétiques (autant que possible). À l’heure actuelle, la Division de l’évaluation renforce sa capacité d’utilisation d’indicateurs altmétriques (entre autres les solutions de remplacement des citations classiques, comme les mentions dans des sites Web et des blogues, la couverture dans les grands médias, les signets dans les gestionnaires de références et les mentions dans les médias sociaux), conformément à la Déclaration de San Francisco sur l’évaluation de la recherche (DORA).

Par suite de la mise en œuvre de la Politique sur les résultats en 2016, les fonctions d’évaluation fédérales sont mieux en mesure d’avoir recours à un plus large éventail d’approches d’évaluation^{Footnote 1}. Ainsi, les organismes peuvent utiliser des méthodes d’évaluation rapide et d’examen pour transmettre aux décideurs des conclusions fiables et exploitables à des moments déterminants (McNall et Foster-Fishman, 2007), par exemple lorsqu’ils déposent des présentations au Conseil du Trésor. Il est toutefois possible d’adopter des approches participatives adaptées à la culture pour évaluer le financement de la recherche autochtone.

---

Éléments sur lesquels portent les évaluations réalisées par le CRSNG

En plus de demander aux organismes de financement de la recherche de réexaminer la façon dont ils évaluent leurs pratiques de financement, le rapport intitulé Dynamiser la recherche explique l’importance d’élargir la portée des évaluations par l’élaboration de cadres d’évaluation inclusifs pour examiner un plus large éventail de retombées. Au sein du CRSNG, il pourrait notamment être question d’élargir la perspective. Ainsi, au lieu de se limiter à déterminer l’efficacité d’une possibilité de financement donnée, on pourrait vérifier si l’organisme offre le portefeuille de financement approprié (p. ex. dans un ensemble de possibilités de financement) ou dans quelle mesure la recherche financée par le CRSNG cadre avec ses objectifs thématiques généraux. Par ailleurs, des spécialistes de l’apprentissage organisationnel exhortent les évaluateurs à demander si l’organisation prend les bonnes mesures et s’il est logique qu’elle continue à faire ce qu’elle fait, qu’elle le fasse bien ou non (p. ex. Leeuw et Sonnichsen, 2019).

En élargissant la portée des questions d’évaluation, il faut revoir les concepts d’une notion linéaire de l’acquisition de connaissances (Leeuw et Sonnichsen, 2019) et se concentrer sur l’évaluation des différentes possibilités de financement en reconnaissant que les organismes de financement de la recherche en SNG évoluent dans un paysage dynamique en mutation. Il pourrait être plus simple d’évaluer les résultats obtenus du point de vue des possibilités de financement, mais le CRSNG génère des retombées qui vont bien au-delà de celles-ci. Par conséquent, il est parfois plus utile de poser des questions au sujet des relations complexes, adaptatives et interdépendantes entre les possibilités de financement – et d’y répondre –, en particulier lorsque les décideurs ont besoin d’information générale. Autrement dit, il faut adopter une perspective stratégique en effectuant des évaluations thématiques ou en évaluant les portefeuilles de financement. On ferait une évaluation thématique lorsque c’est possible et utile pour appuyer la prise de décisions stratégiques.

Un élément important pour le CRSNG tient au fait que la portée des évaluations est régie par la Loi sur la gestion des finances publiques (1985), en vertu de laquelle tous les programmes de paiements de transfert doivent être soumis à un examen tous les cinq ans. De plus, l’évaluation des programmes de subventions et de contributions doit toujours comprendre un examen de la pertinence, de l’efficacité et de l’efficience (Gouvernement du Canada, Secrétariat du Conseil du Trésor, 2016).

À l’intérieur de ces paramètres, la Division de l’évaluation du CRSNG expérimente des approches pour respecter les exigences législatives, tout en répondant aux questions d’importance stratégique pour l’organisme. Par exemple, une évaluation en cours porte sur la façon dont le CRSNG, le Conseil de recherches en sciences humaines du Canada (CRSH) et les Instituts de recherche en santé du Canada (IRSC) appuient la formation des étudiantes et des étudiants aux cycles supérieurs par l’entremise d’une quinzaine de possibilités de financement. Cette évaluation fournira une analyse factuelle des points forts et des limites du portefeuille de financement actuel à l’appui de la formation des étudiantes et des étudiants pour leur permettre d’entreprendre une carrière en recherche. Les résultats de l’évaluation devraient appuyer la prise de décisions stratégiques au sujet du financement lié aux compétences à l’avenir, tout en respectant l’exigence fédérale applicable à l’évaluation de volets des programmes du portefeuille. De même, une évaluation thématique portant sur l’équité, la diversité et l’inclusion (EDI) est prévue dans le Plan d’évaluation organisationnel du CRSNG.

---

Possibilités

L’objectif du CRSNG consiste à améliorer l’évaluation des pratiques de financement de la recherche en SNG et les données probantes connues pour orienter la prise de décisions. À terme, cet objectif fait progresser les connaissances au sujet de la science de la science. Dans le présent document, nous exprimons l’idée que l’élaboration d’un programme d’apprentissage organisationnel offre la meilleure possibilité d’améliorer la façon dont le CRSNG réalise les évaluations et les éléments sur lesquels elles portent. Ce type de programme favoriserait une approche systématique permettant de tirer parti des évaluations et des autres activités de recherche comme outil d’amélioration et d’innovation continues à l’échelle de l’organisme en améliorant le processus décisionnel, la reddition de comptes et la transparence.

On peut envisager un programme d’apprentissage organisationnel comme une série de questions de recherche priorisées et d’activités connexes qui permettent aux organisations de travailler de façon plus efficace et efficiente en ce qui concerne l’évaluation et la prise de décisions (Evidence-Based Policymaking Collaborative, 2018). Pour élaborer ce type de programme, il faut réunir les parties prenantes dans le cadre d’un processus de consultation afin de recenser les domaines d’intérêt pour la prise de décisions. Un examen des résultats de la recherche et des évaluations permet d’orienter la formulation des questions clés qui guideront les projets de recherche et d’évaluation à court ou à long terme d’une organisation. L’objectif est de façonner et d’enrichir la base de connaissances et de données probantes d’un organisme de manière à favoriser la prise de décisions plus éclairées (US Agency for International Development, s.d.).

Dans son rapport final, la Commission on Evidence-Based Policymaking des États-Unis (2017) a recommandé que les organisations fédérales mettent en œuvre des programmes d’apprentissage pour bénéficier d’une approche en vertu de laquelle ils cerneraient périodiquement des questions prioritaires à court ou à long terme concernant la recherche, les politiques et l’évaluation qui se rapportent à leur propre mission et aux responsabilités que leur confère la loi. L’équipe de direction d’une organisation pourrait accorder la priorité aux questions énoncées dans le programme d’apprentissage et s’y attaquer sur une période donnée. Les employées et employés de l’organisation chargés de recueillir les données probantes pourraient se servir de ces questions comme outil de coordination. Toutefois, la Commission a relevé deux difficultés : 1) la capacité des organisations fédérales à appuyer toute la gamme des fonctions de collecte de données probantes était inégale et, là où elle existait, cette capacité était souvent mal coordonnée; et 2) il manque souvent aux organisations fédérales une approche intégrée ou un plan à long terme pour la collecte des données probantes.

On trouve au sein du CRSNG les conditions et les processus aux fins de l’apprentissage organisationnel nécessaires à l’élaboration d’un programme d’apprentissage (Sonnichsen, 2019). Grâce à la participation de la direction, du personnel et des parties prenantes du CRSNG à la formulation d’une série de questions d’intérêt général à l’échelon de l’organisation, un programme d’apprentissage peut :

• faciliter la coordination, la collaboration et le partage de données probantes entre les divers bureaux participant aux activités d’évaluation et de mesure du rendement ainsi qu’à celles liées aux données, par exemple le bureau du dirigeant principal des données (Evidence-Based Policymaking Collaborative, 2018);
• contribuer à la planification des évaluations et à la détermination de leur portée dans une optique plus stratégique, notamment les questions d’évaluation générales, tout en assurant un équilibre entre, d’une part, les contraintes des exigences fédérales de reddition de comptes pour les évaluations et, d’autre part, les besoins de la haute direction en matière d’information;
• améliorer la qualité et l’utilité de l’information présentée à la haute direction à l’appui de la prise de décisions;
• faciliter une mobilisation stratégique dans l’ensemble des programmes et des échelons opérationnels.

Il est par ailleurs possible de tirer parti des actuelles initiatives de collecte de données probantes au sein de l’organisme, par exemple le Plan d’évaluation organisationnel et le Plan stratégique du CRSNG pour 2030, pour faciliter l’élaboration du programme d’apprentissage. Ainsi, on s’attend à ce qu’il y ait des synergies entre le Plan stratégique et un programme d’apprentissage organisationnel, car la détermination des besoins en matière d’information et la formulation des questions d’intérêt pour le Plan stratégique sont semblables aux activités menées pour les programmes d’apprentissage. Le Plan stratégique du CRSNG pour 2030 peut donc renfermer certaines questions à examiner dans le programme d’apprentissage. De cette façon, on pourrait ensuite déployer ce programme pour évaluer les progrès et les résultats du Plan stratégique.

---

Questions à aborder

• Quelles mesures récentes ou novatrices votre organisation a-t-elle prises pour améliorer l’évaluation de ses pratiques de financement ou élaborer des programmes de recherche organisationnels?
• Quelles mesures avez-vous mises en place pour accroitre la souplesse dans votre milieu et mieux tenir compte de ses besoins (p. ex. organismes subventionnaires qui améliorent l’appui aux chercheuses et aux chercheurs ou établissements de recherche qui élaborent et soutiennent une stratégie et des activités)?
• D’après vous, quel est l’intérêt d’élaborer un programme d’apprentissage pour votre organisation?
• Quels sont les types de questions posées par la haute direction auxquelles il est difficile de répondre?
• Quels besoins en matière d’information à l’appui de la prise de décisions au sein de votre organisation ne sont pas comblés à l’heure actuelle? Quelles mesures prenez-vous pour y répondre?

---

Références

Commission on Evidence-Based Policymaking (États-Unis). The Promise of Evidence-Based Policymaking, 2017. En ligne : https://bipartisanpolicy.org/download/?file=/wp-content/uploads/2019/03/Appendices-e-h-The-Promise-of-Evidence-Based-Policymaking-Report-of-the-Comission-on-Evidence-based-Policymaking.pdf.

Conseil des académies canadiennes. Dynamiser la découverte : Le comité d’experts sur les pratiques internationales pour financer la recherche en sciences naturelles et en génie. Ottawa (Ontario), Conseil des académies canadiennes, 2021. En ligne : https://www.rapports-cac.ca/wp-content/uploads/2021/05/Dynamiser-la-decouverte-Rapport_FR_DIGITAL_FINAL.pdf.

Evidence-Based Policymaking Collaborative. Evidence Toolkit: Learning Agendas, 2018. En ligne : https://www.urban.org/research/publication/evidence-toolkit-learning-agendas/view/full_report.

Gouvernement du Canada, ministère de la Justice. Loi sur la gestion des finances publiques, 1985. En ligne : https://laws-lois.justice.gc.ca/fra/lois/f-11/page-9.html#h-222988.

Gouvernement du Canada, Secrétariat du Conseil du Trésor. Directives sur les résultats, 2016. En ligne : https://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=31306.

Gouvernement du Canada, Secrétariat du Conseil du Trésor. Politique sur les résultats, 2016. En ligne : https://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=31300.

Leeuw, F.L. et R.C. Sonnichsen. « Introduction: Evaluation and Organizational Learning: International Perspectives », dans Leeuw, F.L., R.C. Rist et R.C. Sonnichsen (sous la dir. de), Can Governments Learn? Comparative Perspectives on Evaluation and Organizational Learning, Routledge (2019), p. 1–13.

McNall, M. et P.G. Foster-Fishman. « Methods of Rapid Evaluation, Assessment, and Appraisal », American Journal of Evaluation, vol. 28, no 2 (2007), p. 151–168.

Sonnichsen, R.C. « Effective Internal Evaluation: An Approach to Organizational Learning », dans Leeuw, F.L., R.C. Rist et R.C. Sonnichsen (sous la dir. de), Can Governments Learn? Comparative Perspectives on Evaluation and Organizational Learning, Routledge (2019), p. 125–141.

US Agency for International Development. Implementing a Learning Agenda Approach, (s.d.). En ligne : https://usaidlearninglab.org/sites/default/files/resource/files/defining_a_learning_agenda.pdf.

---