Consultations

Rapport du CAC

Évaluation du rendement scientifique et du financement de la recherche par le Conseil des académies canadiennes

Au nom du Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG), le ministre de l’Industrie a demandé au  Conseil des académies canadiennes (CAC) d’évaluer les indicateurs de rendement utilisés pour la recherche fondamentale. Le CAC a publié le rapport du groupe d’experts, intitulé  Éclairer les choix en matière de recherche : Indicateurs et décisions. Dans le cadre de cette évaluation, le CAC examine les méthodes utilisées pour évaluer le rendement en recherche et les indicateurs qui permettent de faire des comparaisons entre les domaines de recherche des sciences naturelles et du génie.

Cette démarche s’inscrit dans l’engagement qu’a pris le CRSNG de toujours évaluer et améliorer ses processus. Les résultats pourraient l’aider à trouver des moyens de comparer l’excellence entre les disciplines, en se basant sur les pratiques exemplaires internationales. Ces résultats et d’autres considérations possibles, comme les indicateurs des tendances en matière de recherche et les indicateurs de la capacité de recherche entre les disciplines, aideront à déterminer les affectations budgétaires appropriées pour les divers groupes d’évaluation des subventions à la découverte.

Foire aux questions

Que prévoit faire le CRSNG maintenant que le CAC a publié le rapport du groupe d’experts?

Le CRSNG cherchera à obtenir des commentaires du milieu de la recherche. Des renseignements au sujet de la consultation seront affichés dans le site Web du CRSNG. Les renseignements contenus dans le rapport du groupe d’experts et les commentaires du milieu de la recherche contribueront à atteindre l’objectif visant à établir une méthode d’affectation budgétaire fiable pour les divers groupes d’évaluation qui relèvent du Programme de subventions à la découverte. On ne prévoit pas que ces plans aient une incidence sur le concours de subventions à la découverte de 2013. Le CRSNG vise à mettre en œuvre tout changement à la méthode d’affectation budgétaire dans le cadre du concours de subventions à la découverte de 2014.

Sur quelle question particulière porte l’évaluation?

L’évaluation porte sur une grande question et trois sous-questions :
Que peut-on apprendre des données scientifiques et des approches employées par d’autres organismes de financement de par le monde, sur le plan des indicateurs de rendement et des pratiques exemplaires relatives à leur utilisation, dans le contexte de la recherche en sciences naturelles et en génie effectuée dans les universités, les collèges et les écoles polytechniques?

1. Quels indicateurs et outils de mesure qualitatifs et quantitatifs existants sont pertinents quant à l’affectation des budgets destinés à appuyer la recherche en sciences naturelles et en génie, et comment peut-on les classifier (p. ex., selon la durée de vie utile; la comparabilité d’une discipline et d’un pays à l’autre; la pertinence en ce qui concerne la recherche interdisciplinaire ou sectorielle; ou l’applicabilité aux domaines de recherche nouveaux ou établis)?
   
   Dans ce contexte, les indicateurs quantitatifs comprennent l’évolution démographique dans les domaines de recherche et les indices des coûts, tandis que les indicateurs qualitatifs comprennent la qualité ou l’excellence collective de la recherche et les indices des domaines dominants.
   
   
2. Quelles sont les pratiques exemplaires internationales en matière d’élaboration, d’examen méthodologique et d’utilisation des indicateurs quantitatifs et qualitatifs qui servent à évaluer la recherche et à affecter les budgets destinés à appuyer la recherche fondamentale en sciences naturelles et en génie?
   
   
3. Étant donné ce qui précède, et à la lumière de la stratégie en matière de sciences et de technologie du gouvernement du Canada et des objectifs du CRSNG en ce qui a trait à l’appui à la recherche, quels sont les principes et les éléments clés (p. ex., les risques, les avantages et les désavantages, les conséquences comportementales et institutionnelles) qui permettent de déterminer une utilisation justifiable d’indicateurs de rendement et d’outils de mesure, ainsi que leur équilibre et leur pondération, pour l’affectation de budgets?

Quelle est la raison de cette évaluation?

• Dans le cadre du Programme de subventions à la découverte, l’affectation des fonds aux diverses disciplines est basée sur des précédents historiques axés sur la demande. Ce processus devrait davantage tenir compte d’autres facteurs liés à l’évolution du milieu de la recherche, comme l’évolution des caractéristiques démographiques au sein des disciplines, les différences dans la structure de coût entre les disciplines et les domaines d’expertise prometteurs, à l’aide de facteurs d’excellence liés aux domaines de recherche.
• Pour le CRSNG et d’autres organismes de financement de la recherche, la difficulté est de trouver des indicateurs appropriés et solides et des données disponibles pour mesurer et comparer entre les disciplines la qualité de la recherche, les tendances en recherche et la capacité de recherche.
• Il y a une lacune dans les connaissances; la littérature savante et les pratiques utilisées ailleurs ne proposent aucune méthode unique qui convient au contexte canadien et au Programme de subventions à la découverte.

De quelle façon cette évaluation pourrait-elle affecter les montants des subventions individuelles ou d’équipe?

• Le processus d’évaluation par les pairs des demandes de subvention individuelle ou d’équipe ne fait pas partie de cette évaluation. Toutefois, le budget global accordé à un domaine donné aura une incidence sur la valeur moyenne des subventions et sur les taux de réussite.

Pourquoi fallait-il faire cette évaluation maintenant?

• Cette évaluation fait suite aux deux examens du Programme de subventions à la découverte et à l'abandon de l’exercice de réaffectation des fonds qui a eu lieu entre 1994 et 2007.
• Cette évaluation répond à un besoin concret et d’actualité. Le CRSNG a besoin de nouveaux mécanismes pour examiner systématiquement et mettre à jour le processus d’affectation des fonds entre les groupes de disciplines.

De quelle façon l’évaluation contribuera-t-elle à régler le problème?

• Sur le plan des retombées, l’évaluation des indicateurs de rendement utilisés pour la recherche fondamentale par le CAC permettra d’analyser les méthodes et les indicateurs possibles et d’évaluer leur pertinence pour faire des comparaisons entre les disciplines et les domaines de recherche.
• Une fois validés, ces méthodes et ces indicateurs possibles aideront le CRSNG à mieux attribuer les fonds annuels de 350 millions de dollars prévus pour la recherche et à mieux adapter le programme à l’évolution du milieu (un engagement de la stratégie fédérale en matière de sciences et de technologie).
• Le CRSNG se servira de l’évaluation pour documenter les décisions qui concernent la méthode d’attribution des fonds entre les domaines de recherche en sciences et en génie.
• L’évaluation vise à favoriser l’élaboration d’une politique plutôt que l’imposition d’une politique. En d’autres mots, le comité d’experts fournit des listes d’indicateurs, des lignes directrices méthodologiques et des principes généraux possibles, et non une méthode établie en ce qui concerne le processus d’affectation budgétaire.

Pourquoi a‑t‑on demandé au CAC de réaliser cette évaluation?

• Il faut faire une évaluation canadienne pour documenter la politique canadienne.
• Le CRSNG ne pouvait réaliser cette analyse en raison d’un manque de capacité.
• On a demandé au CAC de faire l’évaluation, parce qu’il est crucial que la méthode du CRSNG soit documentée à l’aide d’un processus transparent (p. ex., un rapport d’évaluation qui sera diffusé au grand public) et basée sur des principes qui auront été validés par des méthodes scientifiques.
• En raison du risque de déformer involontairement le processus d’affectation, il faut avoir confiance dans la solidité et la validité des indicateurs.
• L’évaluation du CAC permettra au CRSNG de s’appuyer sur des preuves scientifiques disponibles.

En quoi cette évaluation est-elle basée sur la science?

• L’évaluation est documentée par la littérature scientifique, particulièrement par la littérature axée sur l’utilisation d’indicateurs scientifiques et de méthodes d’évaluation servant à éclairer les décisions relatives aux affectations budgétaires en matière de financement de la recherche en sciences naturelles et en génie.
• Elle comble les lacunes qui existent actuellement dans les connaissances liées aux aspects suivants :
  • l’application des connaissances actuelles au contexte canadien;
  • la validité et les utilisations appropriées du grand nombre de mesures actuelles liées aux sciences et à la technologie.

Quels étaient les résultats attendus de cette évaluation?

• Un catalogue ou une bibliothèque d’indicateurs pour mesurer et comparer les besoins et le rendement entre les domaines de recherche et une évaluation de leur pertinence, de leur utilité et de leur durée aux fins de leur utilisation dans le processus d’affectation budgétaire.
• Un document contextuel sur les pratiques exemplaires en évaluation de la recherche et en affectation du budget, qui comprend des principes directeurs et des critères généraux pour la sélection des indicateurs, ainsi qu’une évaluation d’un ensemble de pratiques et d’indicateurs.
• À la lumière des connaissances et des compétences actuelles et des objectifs du CRSNG liés au financement de la recherche fondamentale, une discussion des principales considérations (risques, avantages, désavantages, retombées sur les comportements et les établissements) et des principes qui sous-tendent une utilisation et la pondération défendables des indicateurs ou des mesures de rendement dans le contexte du processus d’affectation budgétaire.

Dans l’évaluation, pourquoi est-il question des collèges et des écoles polytechniques alors que le Programme de subventions à la découverte est destiné principalement aux chercheurs universitaires?

• Le fait de poser une question plus vaste permet d’examiner un plus grand nombre de méthodes et d’envisager l’application des résultats à d’autres programmes du CRSNG, notamment l’appui aux collèges et aux écoles polytechniques.