Cette démarche s’inscrit dans l’engagement qu’a pris le CRSNG de toujours évaluer et améliorer ses processus. Les résultats l’aideront à trouver de meilleurs moyens de comparer l’excellence entre les disciplines, en se basant sur les pratiques exemplaires internationales. Ces résultats et d’autres considérations, comme l’évolution démographique et les différences dans la structure de coût entre les disciplines, aideront à déterminer les affectations budgétaires appropriées pour les divers groupes d’évaluation des subventions à la découverte. Grâce aux nouvelles méthodes qui seront utilisées pour attribuer les fonds entre les disciplines, le processus sera plus objectif et pourra être adapté à l’évolution constante du milieu de la recherche.

Le CAC prévoit désigner les membres du comité d’experts dans le courant du premier trimestre de 2011. Le CRSNG invite les membres de la communauté de la recherche à participer à l’évaluation lorsque le CAC les sollicitera. Le rapport devrait être prêt en 2012. À ce moment-là, le CRSNG élaborera la méthode en collaboration avec les principaux intervenants. C’est donc dire que le processus d’affectation budgétaire ne sera pas modifié avant le concours des subventions à la découverte de 2013.

Le CAC affichera régulièrement de l’information au sujet de  la situation et du déroulement de l'évaluation.

Foire aux questions

Sur quelle question particulière portera l’évaluation?

L’évaluation portera sur une grande question, qui est divisée en trois sous-questions :
Que peut-on apprendre des données scientifiques et des approches employées par d’autres organismes de financement de par le monde, sur le plan des indicateurs de rendement et des pratiques exemplaires relatives à leur utilisation, dans le contexte de la recherche en sciences naturelles et en génie effectuée dans les universités, les collèges et les écoles polytechniques?

1. Quels indicateurs et outils de mesure qualitatifs et quantitatifs existants sont pertinents quant à l’affectation des budgets destinés à appuyer la recherche en sciences naturelles et en génie, et comment peut-on les classifier (p. ex., selon la durée de vie utile; la comparabilité d’une discipline et d’un pays à l’autre; la pertinence en ce qui concerne la recherche interdisciplinaire ou sectorielle; ou l’applicabilité aux domaines de recherche nouveaux ou établis)?
   
   Dans ce contexte, les indicateurs quantitatifs comprennent l'évolution démographique dans les domaines de recherche et les indices des coûts, tandis que les indicateurs qualitatifs comprennent la qualité ou l’excellence collective de la recherche et les indices des domaines dominants.
   
   
2. Quelles sont les pratiques exemplaires internationales en matière d’élaboration, d’examen méthodologique et d’utilisation des indicateurs quantitatifs et qualitatifs qui servent à évaluer la recherche et à affecter les budgets destinés à appuyer la recherche en sciences naturelles et en génie?
   
   
3. Étant donné ce qui précède, et à la lumière de la stratégie en matière de sciences et de technologie du gouvernement du Canada et des objectifs du CRSNG en ce qui a trait à l’appui à la recherche, quels sont les principes et les éléments clés (p. ex., les risques, les avantages et les désavantages, les conséquences comportementales et institutionnelles) qui permettent de déterminer une utilisation justifiable d’indicateurs de rendement et d’outils de mesure, ainsi que leur équilibre et leur pondération, pour l’affectation de budgets?

Quelle est la raison de cette évaluation?

• Dans le cadre du Programme de subventions à la découverte, l’affectation des fonds aux diverses disciplines est basée sur des précédents historiques axés sur la demande. Ce processus devrait davantage tenir compte d’autres facteurs liés à l’évolution du milieu de la recherche, comme l’évolution des caractéristiques démographiques au sein des disciplines, les différences dans la structure de coût entre les disciplines et les domaines d’expertise prometteurs, à l’aide de facteurs d’excellence liés aux domaines de recherche.
• Pour le CRSNG et d’autres organismes de financement de la recherche, la difficulté est de trouver des indicateurs appropriés et solides et des données disponibles pour mesurer et comparer entre les disciplines la dynamique des populations, le coût de la recherche et le rendement en recherche.
• Il y a une lacune dans les connaissances – la littérature savante et les pratiques utilisées ailleurs ne proposent aucune méthode unique qui convient au contexte canadien et au Programme de subventions à la découverte.

De quelle façon cette évaluation pourrait-elle affecter les montants des subventions attribuées à des particuliers ou à des équipes?

• Le processus d’examen des demandes de subvention par les pairs ne fait pas partie de cette évaluation.

Pourquoi faut-il faire cette évaluation maintenant?

• Cette évaluation fait suite aux deux examens du Programme de subventions à la découverte et à la suppression du mécanisme de réaffectation budgétaire qui était utilisé précédemment.
• Cette évaluation répond à un besoin concret et d’actualité. Le CRSNG a besoin de nouveaux mécanismes pour examiner systématiquement et mettre à jour le processus d’affectation des fonds entre les 12 groupes de disciplines.

De quelle façon l’évaluation contribuera-t-elle à régler le problème?

• Sur le plan des retombées, l’évaluation des indicateurs de rendement utilisés pour la recherche fondamentale par le CAC permettra de déterminer des mesures et d’évaluer leur pertinence pour faire des comparaisons entre les disciplines et les domaines de recherche.
• Une fois validées, ces mesures aideront le CRSNG à mieux attribuer les fonds annuels de 350 millions de dollars prévus pour la recherche et à mieux adapter le programme à l’évolution du milieu (un engagement de la stratégie fédérale en matière de sciences et de technologie).
• Le CRSNG se servira de l’évaluation pour documenter les décisions qui concernent la méthode d’attribution des fonds entre les domaines de recherche en sciences et en génie.
• L’évaluation vise à favoriser l’élaboration d’une politique plutôt que l’imposition d’une politique. En d’autres mots, le comité d’experts fournira des listes d’indicateurs et de mesures possibles, mais ne proposera aucune façon de les utiliser dans le cadre du processus d’affectation budgétaire. Ce sera le CRSNG qui élaborera cette méthode en collaboration avec les principaux intervenants.

Pourquoi a-t-on demandé au CAC de réaliser cette évaluation?

• Il faut faire une évaluation canadienne pour documenter la politique canadienne.
• Le CRSNG ne pouvait réaliser cette analyse en raison d’un manque de capacité.
• On demande au CAC de faire l’évaluation, parce qu’il est crucial que la méthode du CRSNG soit documentée à l’aide d’un processus transparent (p. ex., un rapport d’évaluation qui sera diffusé au grand public) et basée sur des principes et des données qui auront été validés par des méthodes scientifiques et la consultation indépendante de la communauté de la recherche.
• En raison du risque de déformer involontairement le processus d’affectation, il faut avoir confiance dans la solidité et la validité des indicateurs.
• L’évaluation du CAC permettra au CRSNG de s’appuyer sur des preuves scientifiques disponibles qui auront été validées à l’aide d’une méthode scientifique et à l'aide de perspectives issues de toutes les disciplines des sciences naturelles et du génie.

Pourquoi cette évaluation est-elle basée sur la science?

• L’évaluation sera documentée par la littérature scientifique, particulièrement par la littérature axée sur l’évaluation de la recherche savante.
• Elle fera appel à des experts de la communauté scientifique qui connaissent les pratiques de la réalisation et de l’évaluation de la recherche dans toutes les disciplines des sciences et du génie.
• Elle comblera les lacunes qui existent actuellement dans les connaissances liées aux aspects suivants :
  • l’application des connaissances actuelles au contexte canadien;
  • la validité et les utilisations appropriées d’un certain nombre de mesures actuelles liées aux sciences et à la technologie.

Quels sont les résultats attendus de cette évaluation?

• Un catalogue ou une bibliothèque d’indicateurs quantitatifs et qualitatifs pour mesurer et comparer les besoins et le rendement entre les domaines de recherche et une évaluation de leur pertinence, de leur utilité et de leur durée aux fins de leur utilisation dans le processus d’affectation budgétaire.
• Un document contextuel sur les pratiques exemplaires en évaluation de la recherche et en affectation du budget, qui comprend des principes directeurs et des critères généraux pour la sélection des indicateurs, ainsi qu’une évaluation d’un ensemble de pratiques et d’indicateurs.
• À la lumière des connaissances et des compétences actuelles et des objectifs du CRSNG liés au financement de la recherche fondamentale, une discussion des principales considérations (risques, avantages, désavantages, retombées sur les comportements et les établissements) et des principes qui sous-tendent une utilisation et la pondération défendables des indicateurs ou des mesures de rendement dans le contexte du processus d’affectation budgétaire.

De quelle façon la communauté de la recherche participera-t-elle à cette évaluation?

• Le CAC déterminera quand et comment la communauté de la recherche sera consultée aux fins de cette évaluation. Les renseignements au sujet de la situation et du déroulement de l’évaluation seront affichés régulièrement dans le site Web du CAC.

Pourquoi est-il question des collèges et des écoles polytechniques alors que le Programme de subventions à la découverte est destiné uniquement aux chercheurs universitaires?

• Le fait de poser une question plus vaste permet d'examiner un plus grand nombre de méthodes et d’envisager l’application des résultats à d’autres programmes du CRSNG, notamment l'appui aux collèges et aux écoles polytechniques.

Liens

• Mise à jour sur la nouvelle structure des comités de sélection des subventions à la découverte du CRSNG (février 2009)
• Le CRSNG publie les résultats de l'examen de la structure des comités de sélection des subventions (juin 2008)
• Recommandations au CRSNG - Comité consultatif sur l'examen de la structure des comités de sélection des subventions
• Prochaines étapes – Examen de la structure des comités de sélection des subventions (mai 2008)
• État d'avancement (février 2008)
• Objectifs
• Mandat du Comité consultatif
• Membres du Comité consultatif sur l’examen de la structure des CSS
• Exposés aux sociétés

Personne-ressource

Isabelle Blain
Vice-présidente
Direction des subventions de recherche et bourses, CRSNG
Courriel : isabelle.blain@nserc-crsng.gc.ca
Tél. : 613-995-5833

---

Message de la présidente (mai 2008)


Annexes

• Portrait de la recherche et développement menée au Canada
• Un examen des publications canadiennes et de leur incidence en sciences naturelles et en génie, de 1996 à 2005
• Notes d’information
• Descriptions du CRSNG et de ses programmes. Les gens, la découverte et l’innovation
• Entrevues approfondies : Examen international du Programme de subventions à la découverte
• Examen international du sondage sur le Programme de subventions à la découverte mené auprès des chercheurs
• Programme de subventions à la découverte du CRSNG
• Sommaire de la rétroaction fournie par des organisations et des particuliers ne faisant pas partie du système universitaire
• Résumé des entrevues menées auprès des membres des Comités de sélection des subventions à la découverte
• Réponse de la direction à l’examen international du Programme de subventions à la découverte

Personne-ressource

Isabelle Blain
Vice-présidente
Direction des subventions de recherche et bourses, CRSNG
Courriel : isabelle.blain@nserc-crsng.gc.ca
Tél. : 613-995-5833