Projet conjoint d’audit et d’évaluation de la Transition au Cadre ministériel des résultats

Présenté au Comité ministériel d’audit, 9 mai 2022
Présenté au Comité de mesure du rendement, d’évaluation et d’expérimentation
(CMREE) le 28 avril

Table Des Matières

• Sommaire exécutif
• Liste des acronymes
• Introduction
• Le contexte du projet conjoint d’évaluation et d’audit
  • La portée de la Transition au CMR à RNCan
  • Les composantes du CMR
  • La gouvernance du CMR
• Objectif et portée du project conjoint d’évaluation et d’audit
• Méthodes de collecte des informations
• Limites et stratégies d’atténuation
• Les constatations et les recommandations
  • La prise en compte des besoins et priorités existants lors de la planification
  • L’efficacité de la gouvernance
  • L’efficacité de la stratégie d’engagement des parties prenantes
  • Utilisation des mesures du rendement et la compréhension des résultats
  • Conformité des outils du CMR, la reddition de compte et l’efficience
• Conclusion
• Annexe 1 : Équipe Conjointe
• Annexe 2: Cadre Ministériel des résultats de ressources naturelles Canada pour l’année 2019-20
• Annexe 3: Dépenses et ETP de ressources naturelles Canada pour l’année 2019-20 par inventaire de programme
• Annexe 4: Sous-objectifs et critères du projet

Sommaire exécutif

L’objectif de ce projet conjoint d’évaluation et d’audit est d’examiner la conformité de la transition de Ressources naturelles Canada (RNCan) au Cadre ministériel des résultats (CMR) à la Politique sur les résultats du Conseil de Trésor (CT) et d’évaluer l’efficacité de cette transition, ainsi que les impacts de la planification et de la mise en œuvre du CMR sur la gestion des programmes et la reddition de compte. La transition au CMR est motivée par la volonté gouvernementale de changer le cadre de référence pour la reddition de comptes qui était établi par la Politique sur la structure de la gestion des ressources et des résultats (2010) et la Politique sur l’évaluation (2009). Les nouvelles exigences de la Politique sur les résultats (2016) requièrent que tous les ministères et organismes fédéraux passent à une approche de mesure du rendement améliorée et centrée sur le CMR. Le projet conjoint couvre la période du 1er avril 2016 au 31 mars 2020. 

L’évaluation a été réalisée sous la forme de projet conjoint d’audit et d’évaluation. Elle a été guidée par les sous-objectifs suivants :

• Sous-objectif 1 : Évaluer l’adéquation des mécanismes d’évaluation des besoins/priorités ministériels et du risque lors du développement du CMR.
• Sous-objectif 2 : Évaluer l’efficacité de la gouvernance du CMR.
• Sous-objectif 3 : Évaluer l’efficacité de la stratégie d’engagement des parties prenantes.
• Sous-objectif 4 : Évaluer la compréhension des résultats et l’utilisation des informations sur la mesure du rendement.
• Sous-objectif 5 : Évaluer la conformité des outils du CMR et leurs effets sur l’amélioration de la reddition de comptes.
• Sous-objectif 6 : Évaluer les mesures mises en place pour la gestion des ressources et l’efficience et leur impact sur l’atteinte des résultats souhaités de la transition au CMR.

L’évaluation s’est fondée sur l'examen de documents, des entretiens avec des informateurs clés, et un sondage auprès des responsables de programmes (RP) et des membres du réseau corporatif des planificateurs (RCP).

Constatations

Pertinence. L’évaluation a fait ressortir que la transition au CMR est alignée sur la lettre de mandat du ministre de RNCan et sur la Politique sur les résultats du CT. Le processus de planification de la transition au CMR a relativement tenu compte des besoins et les priorités ministériels en matière de reddition de comptes existants avant l’arrivée de la Politique sur les résultats (Juillet 2016).

Conformité des outils du CMR. Toutes les lignes d’évidence confirment que les outils du CMR élaborés par RNCan sont conformes aux exigences de la Politique sur les résultats. Ils ont été mis en place, en œuvre et à jour dans les délais fixés par le Secrétariat du conseil du trésor (SCT). Les efforts du secteur des Politiques stratégiques et innovation (PSI) ont systématiquement guidé la transition du CMR vers la conformité, comme le démontre l'évaluation du Cadre de responsabilisation de gestion de RNCan par le SCT pour ce domaine de gestion des résultats. 

Processus de planification. Même s’il n’a pas été possible pour l’équipe conjointe d’estimer le niveau de ressources financières et humaines qui ont été allouées à la transition au CMR, les responsables de programmes indiquent une satisfaction relative en regard de l’adéquation des ressources allouées au processus. Des leçons apprises ont été formulées que dans ce genre de projet, la discussion autour de l’utilisation des ressources soit partie intégrante de la phase de planification.

Le processus de planification a été basé sur quelques connaissances et meilleures pratiques internes et externes. Bien que des éléments d’une stratégie de planification ont été observés lors de présentations en 2018 à des Comités des hauts fonctionnaires de RNCan, cette stratégie aurait pu être mieux documentée et plus complète, couvrant les quatre premières années de la transition au CMR soit de 2016-17 à 2019-20, et approuvée au début du projet.

Gouvernance. En général, les rôles et les responsabilités pour la transition au CMR ont été exercés conformément aux exigences de la Politique sur les résultats et approuvés par le Comité exécutif, et par l'intermédiaire du Comité de la mesure du rendement, de l’évaluation et de l’expérimentation (CMREE). Les rôles de différentes fonctions désignées, surtout pour les trois dirigeants principaux de l’information, des finances et des ressources humaines, semblent peu connus en général et les dirigeants des programmes ne semblent pas suffisamment être informés des différents rôles fonctionnels.

Stratégie d’engagement. Les lignes d’évidence analysées confirment l’existence d’un engagement des parties impliquées dans la transition au CMR. Des efforts importants ont été déployés pour mobiliser tous les secteurs de RNCan et des intervenants externes, dont le SCT. L'engagement des secteurs et des intervenants visait principalement à assurer la conformité de RNCan aux exigences de la Politique sur les résultats pour la conception, la mise en œuvre et la mise à jour du CMR et à améliorer la qualité, l’utilisation et l’utilité de la mesure de rendement à NRCan. Cependant, l’équipe conjointe confirme que le stratégie d’engagement aurait aussi pu être mieux documentée et plus complète, et introduit un peu plus tôt dans le déroulement du projet.

L’équipe conjointe a également noté que l’efficacité de la stratégie d’engagement a été appréciée différemment par le secteur de la Politique Stratégique et Innovation (PSI) et les secteurs. La majorité des RPs et membres du RCP qui appuient la gouvernance du CMR sont satisfaits du rôle qu’ils ont joué par rapport à la transition au CMR. Cependent, plusieurs ont exprimé la volonté de mieux savoir la considération donnée par les responsables de la transition au CMR à leurs perspective et contributions colligées.

Mesures de rendement. Tout en considérant qu’il est tôt pour mesurer les résultats intermédiaires et ultime pour la transition au CMR, il était attendu que la mise en œuvre du CMR améliorent la disponibilité, la qualité, l’utilité de l’information relative au rendement. C’est dans ce contexte qu’un des critères s’intéressait à la mesure dans laquelle la transition au CMR et sa mise à jour permettent de meilleures mesures du rendement de programmes incluant des indicateurs pour l'ACS+ et les considérations pour des langues officielles, le cas échéant.

L’analyse des lignes d’évidence permettent de conclure que dans une certaine mesure la transition au CMR a permis une meilleure définition et compréhension des résultats ministériels. En termes d’opportunités pour l’amélioration, plusieurs parties prenantes ont déclaré qu'il était nécessaire de mieux intégrer au CMR les indicateurs de rendement (incluant ceux à long terme) requis par les gestionnaires de programmes. Le besoin d’alignement avec les d’indicateurs financiers (d’efficience) a également été souligné comme élément important des mesures du rendement des programmes.

Recommandations	Réponse de la direction et plan d’action
Recommandation 1 : Il est recommandé que le Sous-ministre adjoint (SMA) du secteur de la Politique stratégique et innovation (PSI) communique au CMREE ce que les secteurs proposent concernant les améliorations au CMR basé sur les consultations auprès des Responsable de programmes, des membres du Réseau corporatif des planificateurs et du Comité de planification et de rapports, et après partage la réaction du CMREE avec ces groupes.	Réponse de la direction :  La direction approuve la recommandation no 1. La communication qui s’effectue actuellement entre le Comité de la mesure du rendement, de l’évaluation et de l’expérimentation (CMREE) et d’autres niveaux de gouvernance dans le contexte du processus de modification du Cadre ministériel des résultats (CMR) sera consolidée. À l’avenir, le Secteur de la politique stratégique et innovation – Direction de la planification, de la livraison et des résultats (PSI-PLR) présentera la rétroaction reçue des responsables de programme, du Réseau corporatif des planificateurs (RCP) et du Comité de planification et rapports (CPR) dans les présentations des modifications apportées au CMR. Responsable : Chef de la mesure du rendement et directeur général (DG), PSI-PLR Date d’échéance : Novembre 2022
Recommandation 2 : Il est recommandé que le SMA de PSI communique au Responsable de programmes, le Comité de planification et de rapports et le Réseau corporatif des planificateurs, les rôles de différentes fonctions désignées (dans le cadre du CMR), surtout pour les trois dirigeants principaux de l’information, des finances et des ressources humaines, mais aussi le Chef de la mesure du rendement et le Chef de l’évaluation.	Réponse de la direction : La direction approuve la recommandation no 2. PSI-PLR mettra à jour ses lignes directrices et s’assurera que les rôles associés aux fonctions désignées tels qu’ils figurent dans la Politique sur les résultats soient clarifiés. Les lignes directrices mises à jour seront distribuées et on y fera référence dans les présentations faites aux responsables de programme, aux secteurs, au RCP et au CPR pour améliorer la compréhension des rôles et des responsabilités clés associés à la Politique et les Directives sur les résultats. Responsable : Chef de la mesure du rendement et DG, PSI-PLR Date d’échéance : Novembre 2022
Recommandation 3 : Il est recommandé que le SMA de PSI officialise et continu d’améliorer son processus d’engagement pour la mise-en-œuvre du CMR pour le baser sur une collaboration efficace et un consensus avec les parties impliquées. Ce processus d’engagement devrait être annuellement réévaluer pour s’assurer qu’il tienne toujours bien compte des attentes des secteurs, et qu’elle s’adapte aux changements dans les attentes.	Réponse de la direction : La direction approuve la recommandation no 3. Par l’entremise du processus annuel de modification du CMR, PSI-PLR dirigera un examen exhaustif afin de s’assurer : de la pertinence et de l’utilité du CMR pour la prise de décisions concernant la planification et l’affectation des ressources; et que le cadre de travail s’harmonise aux récentes orientations politiques et priorités du gouvernement. L’examen annuel comprendra : des réunions de consultation avec les planificateurs des secteurs  et les Responsables de programme pour déterminer, examiner et confirmer les modifications proposées; et des validations et des approbations lors des séances de breffage au CPR et au CMREE. PSI-PLR élaborera un plan d’engagement qui sera intégré dans le processus de modification du CMR. Il fournira aussi des mises à jour des progrès au CMREE et appliquera les ajustements nécessaires en conséquence. Responsable : Chef de la mesure du rendement et directeur général (DG), PSI-PLR Date d’échéance : Novembre 2022
Recommandation 4 : Il est recommandé que le SMA de PSI travaille avec les secteurs et les Responsables des programmes pour continuer d’améliorer les différents éléments du CMR, particulièrement pour augmenter leur utilité pour la gestion directe des programmes incluant l’aspect financier de leur rendement. Pour le réaliser, le secteur de la PSI doit, de concert avec les secteurs et leurs planificateurs, développer et mettre en œuvre une stratégie effective pour l’amélioration des indicateurs de rendement des programmes et leur intégration au CMR. La stratégie devrait tenir compte des indicateurs relatifs aux considérations politiques à l’échelle gouvernementale telles que l’analyse comparative des sexes plus et les langues officielles, le cas échéant.	Réponse de la direction :  La direction approuve la recommandation no 4. PSI-PLR, en collaboration avec les responsables de programme et les planificateurs des secteurs, officialisera un processus d’examen annuel qui exigera des secteurs qu’ils examinent et valident la disponibilité, la qualité et l’utilité des indicateurs de rendement et qu’ils s’assurent que les priorités clés (p. ex. équité, diversité et inclusion, ACS+, langues officielles) soient reflétées dans leurs profils d’information sur le rendement (PIR) et dans le CMR. Ce processus sera mené dans le cadre de la mise en œuvre du nouveau formulaire Web sur les PIR. Les Responsables de programme seront également invités à présenter périodiquement leurs PIR au CMREE. PSI-PLR travaillera avec la Direction de l’audit et de l’évaluation pour s’assurer que les recommandations ayant trait à l’évaluation des améliorations visant la mesure du rendement du programme soient prises en compte par les Responsables de programme dans les PIR. Responsable : Chef de la mesure du rendement et directeur général (DG), PSI-PLR Date d’échéance : Officialiser le processus d’examen annuel qui sera présenté au CMREE en avril 2023 et mis en œuvre annuellement par la suite.

Liste des acronymes

AAP

Architecture d’alignement des programmes

ACS+

Analyse comparative entre les sexes plus

CMR

Cadre ministériel des résultats

CMREE

Comité de la mesure du rendement, de l’évaluation et de l’expérimentation

CPR

Comité de planification et de rapports

CT

Conseil du Trésor

DG

Directeur générale

DPLR

Direction de la planification, de la livraison et des résultats

IIA

Institut des vérificateurs internes

PIR

Profil d’information sur le rendement

PSI

Secteur de la Politique stratégique et innovation

RCP

Réseau corporatif des planificateurs

RNCan

Ressources naturelles Canada

RP

Responsable de programme

SCT

Secrétariat du Conseil du Trésor du Canada

SM

Sous-ministre

SMA

Sous-ministre adjoint

Introduction

Le projet conjoint d’évaluation et d’audit de la transition vers le Cadre ministériel des résultats (CMR) a été identifié dans le Plan intégré de vérification et d'évaluation 2019-2024 de Ressources naturelles Canada (RNCan). Ce projet a été également suggéré par le Chef de la mesure du rendement afin d’obtenir du feedback sur la transition au CMR. Ce projet conjoint vise l’examen de l'efficacité de la mise en œuvre du CMR de RNCan. Le projet conjoint couvre la période du 1^er avril 2016 au 31 mars 2020.  

Dans le cadre de ce projet conjoint, la transition au CMR est un continuum formé de trois phases, à savoir la mise en place des composantes du CMR, sa mise en œuvre, et sa mise à jour.

Plus précisément, le projet conjoint veut évaluer la conformité de RNCan à la Politique sur les résultats du Conseil du Trésor (CT) et examiner les processus en place pour s'assurer que les programmes de RNCan sont alignés sur les responsabilités essentielles de RNCan. De plus, le projet cherche à « évaluer l’utilisation des mesures du rendement, et la compréhension des résultats » (sous-objectif 4 – voir l’annexe 4 : Sous-objectifs et critère du projet), et particulièrement la mesure dans laquelle « la transition au CMR et sa mise à jour permettent une meilleure compréhension des résultats ministériels à atteindre » (critère 4.3) ou en d’autres mots l’atteinte des résultats de la Transition au CMR tel qu’établi dans le modèle logique (voir Tableau 1).

Le contexte du projet conjoint d’évaluation et d’audit

La transition au Cadre ministériel des résultats (CMR) est motivée par la volonté gouvernementale de changer le cadre de référence pour la reddition de comptes qui était établi par la Politique sur la structure de la gestion des ressources et des résultats (2010) et la Politique sur l’évaluation (2009). Les nouvelles exigences de la Politique sur les résultats (2016) requièrent que tous les ministères et organismes fédéraux passent à une approche de mesure du rendement améliorée et centrée sur le Cadre ministériel des résultats (CMR).

Le Cadre ministériel des résultats (CMR) est un instrument stratégique au centre de la Politique sur les résultats. Le CMR est défini comme l’ensemble des responsabilités essentielles d’un ministère, des résultats ministériels, et des indicateurs de résultat ministériel. Selon la Politique sur les résultats, les composantes du CMR sont définies comme suit :

• « Responsabilité essentielle: Fonction ou rôle permanent exercé par un ministère. Les intentions du ministère concernant une responsabilité essentielle se traduisent par un ou plusieurs résultats ministériels auxquels le ministère cherche à contribuer ou sur lesquels il veut avoir une influence.
• Résultat ministériel: Changements sur lesquels les ministères veulent exercer une influence. Ils devraient subir l’influence des résultats des programmes, mais ils échappent généralement au contrôle direct des ministères.
• Indicateur de résultat ministériel : Facteur ou variable fournissant un moyen valable et fiable de mesurer ou de décrire les progrès réalisés par rapport à un résultat ministériel. »

Selon le contenu de la Politique sur les résultats, le CMR permet aux ministères de s’inscrire dans la livraison des objectifs généraux de la Politique. En effet, basé sur la mise en place d’une gouvernance adéquate pour la reddition de comptes, le Cadre ministériel des résultats cherche à atteindre un certain nombre de résultats attendus spécifiques, dont ceux-ci:

• « Les ministères établissent clairement les objectifs à atteindre et les critères d’évaluation de leur succès.
• Les ministères mesurent et évaluent leur rendement et utilisent les informations qui en découlent afin de gérer et d’améliorer les programmes, les politiques et les services.
• Les ressources sont attribuées afin d’obtenir un rendement permettant d’optimiser les résultats, l’attribution se faisant notamment au moyen des présentations au Conseil du Trésor, des examens relatifs à l’alignement des ressources, et de façon interne par les ministères eux-mêmes.
• Les parlementaires et le public reçoivent des informations transparentes, claires et utiles sur les résultats atteints par les ministères et sur les ressources utilisées à cette fin. »

La portée de la Transition au CMR à RNCan

Le Sous-ministre adjoint (SMA) du secteur de la Politique stratégique et innovation (PSI) est responsable de la livraison opérationnelle de la transition au CMR, à travers le respect des exigences de la Politique des résultats. Le Sous-ministre a délégué la responsabilité opérationnelle de créer une fonction de mesure du rendement au SMA PSI.  Suite à cela, le SMA PSI a créé l’unité qui est dirigée par le Chef de la mesure du rendement.  Au cours de la phase de planification de ce projet, l’équipe conjointe (d’évaluation et d’audit) a développé de concert avec le Secteur de la PSI, un modèle logique de la Transition au CMR pour illustrer l’enchaînement des activités, des extrants et des résultats attendus. Selon ce modèle logique (Tableau 1),  il était attendu que le secteur de la PSI soit responsable (a) d’appuyer la mise en place des composantes du CMR et des responsables des différentes fonctions et de la mise à jour de façon continue du CMR; (b) de s’assurer de l’approbation du CMR et de l’engagement continu des différentes parties impliquées; (c) d’appuyer la mise en œuvre du CMR basée sur l’engagement continu des différentes parties prenantes;  (d) d’appuyer la reddition de comptes au ministère à travers l’engagement continu des différentes parties prenantes. Le résultat ultime attendu de ces activités voulait que la gestion des programmes et des politiques soit améliorée, à travers l’atteinte des résultats immédiats et intermédiaires.

Pour atteindre ces résultats, il était attendu que le secteur de la PSI s’appuie sur la Direction de la planification, de la livraison et des résultats (DPLR) et travaille en consultation avec les autres secteurs et avec le Secrétariat du CT pour mettre en place le CMR, à travers la définition des responsabilités essentielles, des résultats, des indicateurs et du répertoire de programmes.

Tableau 1: Modèle logique de la Transition au CMR

Résultat ultime
La gestion des programmes et des politiques est améliorée grâce à la transition au CMR et à sa mise en œuvre
Résultats intermédiaires
Approche améliorée de la mesure et de l’évaluation de rendement des programmes grâce à la transition au CMR et sa mise en œuvre		Meilleure utilisation des informations relatives au rendement des programmes grâce à la transition au CMR et sa mise en œuvre		La transition au CMR et sa mise à jour permettent une meilleure compréhension des résultats ministériels à atteindre et atteints ainsi que des ressources utilisées pour y parvenir
Résultats immédiats
Le processus de mise en œuvre du CMR est conforme aux exigences de la Politique sur les résultats		La mise en œuvre du CMR et l’engagement des parties prenantes améliorent la disponibilité, la qualité, l’utilité de l’information relative au rendement		La transition au CMR basée sur l’engagement des parties prenantes permet la reddition de compte au niveau des programmes et au niveau ministériel
Extrants
Composantes du CMR qui sont approuvés (Responsabilités essentielles du ministère, Les résultats ministériels, les indicateurs de résultats ministériels; Répertoire des programmes)	Gouvernance du CMR c.-à-d. différents responsables des fonctions qui sont désignées (Comité de la mesure du rendement et de l’évaluation, chef de la mesure du rendement, chef de l’évaluation, responsable chargé du Répertoire des programmes)		Outils approuvés pour la mesure et l’évaluation de rendement des programmes (Profils de l’information; Rapport annuel sur l'état de la mesure du rendement)		Plan de mise en œuvre du CMR qui est approuvé et les différents rapports produits (Plan ministériel, Rapport sur les résultats ministériels)
Activités
Appuyer la mise en place des composantes du CMR et des responsables des différentes fonctions et les mettre à jour de façon continue	S’assurer de l’approbation du CMR et de l’engagement continu des différentes parties prenantes		Appuyer la mise en œuvre du CMR basée sur l’engagement continu des différentes parties prenantes		Appuyer la reddition de compte ministérielle à travers l’engagement continu des différentes parties prenantes

Les composantes du CMR

Étant donné la volonté de renouveler l’approche de reddition de comptes, le CMR de RNCan est composé des responsabilités essentielles qui ont été systématiquement définies comme suit:

• Science des ressources naturelles et atténuation des risques : Diriger des travaux de science fondamentale et partager le savoir-faire en matière de gestion des ressources naturelles du Canada, en réduisant les répercussions des changements climatiques et atténuant les risques posés par les désastres naturels et les explosifs.
• Valorisation novatrice et durable des ressources naturelles : Diriger la transformation vers une économie à faible carbone en améliorant le rendement environnemental des secteurs canadiens des ressources naturelles avec l’innovation ainsi qu’une valorisation et une utilisation durables.
• Secteurs des ressources naturelles concurrentiels à l’échelle mondiale : Renforcer et promouvoir l’accès aux marchés, l’intégration et la compétitivité des secteurs canadiens des ressources naturelles à l’appui de la création d’emplois et de la croissance économique. Cela inclut également les paiements législatifs pour le pétrole extracôtier.^{Note de bas de page 1}

Le CMR est composé aussi de 9 résultats ministériels qui permettent d’illustrer ce que le ministère cherche à accomplir à travers chaque responsabilité essentielle:

• Science des ressources naturelles et atténuation des risques :
  1. Les Canadiens ont accès à une recherche de pointe pour prendre des décisions sur la gestion des ressources naturelles.
  2. Les collectivités et les agents ont les outils pour protéger les Canadiens contre les dangers naturels et les explosifs.
  3. Les collectivités et les industries s’adaptent aux changements climatiques.

• Valorisation novatrice et durable des ressources naturelles :
  4. Les secteurs des ressources naturelles sont novateurs.
  5. Les technologies propres et l’efficacité énergétique améliorent le rendement économique.
  6. Les ressources naturelles du Canada sont durables.

• Secteurs des ressources naturelles concurrentiels à l’échelle mondiale :
  7. L’accès à des marchés nouveaux et prioritaires pour les ressources naturelles du Canada est amélioré.
  8. Les Canadiens participent à l’économie nouvelle et inclusive des ressources de l’avenir.
  9. La compétitivité des secteurs des ressources naturelles du Canada est accrue.

Il est important de noter que le projet conjoint couvre la période se terminant le 31 mars 2020.  Ainsi, l’analyse dans ce rapport se base sur le premier CMR de 2018-19, et les modifications faites pour arriver au second CMR de 2019-20.  L’analyse inclut donc les efforts de PSI pour améliorer la qualité, l’utilité et l’utilisation du CMR, reflétées entre autres dans les rapports de 2018-19 et 2019-20 sur l’État de la mesure du rendement à RNCan. L’analyse exclut les améliorations apportées aux CMRs via les modifications annuelles apportées après le 31 mars 2020. Le processus de modification du CMR 2022-23 est actuellement la quatrième itération complétée faite pour continuer les améliorations du CMR.

Comme le montre l’annexe 2, 32 indicateurs de résultats ministériels sont définis dans le CMR pour l’année 2019-20. Une autre composante du CMR est le répertoire des 33 programmes qui sont sous chaque responsabilité essentielle comme suit :

Science des ressources naturelles et atténuation des risques : 13 programmes              

Valorisation novatrice et durable des ressources naturelles : 12 programmes                  

Secteurs des ressources naturelles concurrentiels à l’échelle mondiale : 8 programmes

L’annexe 3 montre la portée des 33 programmes du répertoire qui constituent une part importante des dépenses du ministère. Les chiffres de 2019-20 montrent que 94% des dépenses du ministère sont allouées aux 33 programmes du CMR (2 302 millions de dollars). Le 6% (soit 153 millions de dollars) est dédié aux 10 services internes tel que ressources humaines, gestion financière, gestion et surveillance.

La gouvernance du CMR

Pour se conformer à la Politique sur les résultats, RNCan a mis en place la gouvernance du cadre ministériel des résultats (CMR) et a défini les rôles et responsabilités. Figure 1 contient un schéma de ces rôles et responsabilités.

Figure 1: Schéma sur les rôles et responsabilités dans la Transition au CMR

Version Texte

Figure 1 : Diagramme des rôles et des responsabilités concernant la Transition vers le CMR

La figure 1 est un schéma affichant les rôles et les responsabilités rattachés à la transition du Ministère vers le Cadre ministériel des résultats (CMR). Au sein de RNCan, le sous-ministre (SM) de RNCan est responsable de la mise en œuvre du CMR. Le SM sert d’intermédiaire entre le Conseil du Trésor (et le Secrétariat du Conseil du Trésor) et le ministre des Ressources naturelles. Le SM nomme le chef de l’évaluation, le chef de la mesure du rendement et les responsables de programme qui coordonnent le déploiement du CMR. Le dirigeant principal de l’information, le dirigeant principal des finances et le dirigeant principal des ressources humaines exercent également un rôle de coordination dans cette transition, en assurant la liaison avec le chef de la mesure du rendement. Le chef de l’évaluation, le chef de la mesure du rendement et les responsables de programme présentent un rapport sur leur rendement au Comité de la mesure du rendement, de l’évaluation et de l’expérimentation (CMREE), qui est présidé par le sous-ministre.

Le Sous-ministre (SM) de RNCan est ultimement responsable de la mise en œuvre du CMR puisqu’il désigne les responsables fonctionnels et fait le lien avec le Secrétariat du Conseil du trésor et le Ministre.  Le sous-ministre préside également le Comité de la mesure du rendement, de l’évaluation et de l’expérimentation (CMREE), formé par les cadres supérieurs et des membres externes. RNCan a misé sur l’expérimentation pour enrichir la fonction de surveillance de l’exécution des programmes, de leur mesure du rendement et de l’évaluation.

Le chef de la mesure du rendement et le chef de l’évaluation désignés doivent travailler de concert selon leurs responsabilités fonctionnelles établies par la Politique sur les résultats, pour la mise en œuvre du CMR. Comme présentées dans les sections 4.2 et 4.4 de la Directive sur les résultats (2016):

• Le rôle du chef de la mesure du rendement consiste à appuyer le sous-ministre lors de la mise en place, en œuvre et à jour du Répertoire des programmes, à veiller à la création des profils d’information sur le rendement (PIR) pour chaque programme et à leur mise en application par les responsables de programme, et à assurer la liaison entre le ministère et le Secrétariat du Conseil du Trésor. Le chef de la mesure de rendement est aussi responsable d’informer le CMREE de la disponibilité, de la qualité, de l’utilité et de l’utilisation des indicateurs prévus dans le Cadre ministériel des résultats.
• Le rôle de chef de l’évaluation consiste à diriger la fonction d’évaluation du ministère. Il est aussi responsable de conseiller le CMREE sur la validité et la fiabilité des indicateurs de résultat ministériel figurant dans le CMR et conseiller les responsables de programme sur la disponibilité, la qualité, la validité et la fiabilité des indicateurs et de l’information dans le Profil de l’information sur le rendement, notamment leur utilité pour appuyer les évaluations.

Les responsables de programme qui font la gestion des 33 programmes du répertoire qui composent le CMR sont attendus de colliger et de rendre disponible l’information sur le rendement de leurs programmes; ils sont supposés gérer le développement et la mise à jour des profils d’informations sur le rendement (PIR).

Il était attendu que les trois dirigeants principaux (finances, ressources humaines et informations) permettent selon leurs rôles respectifs au Ministère d’assurer l’exactitude des dépenses financières et des niveaux appropriés des ressources humaines, ainsi que la disponibilité des outils normalisés liés aux technologies de l’information.

Objectif et portée du projet conjoint d’évaluation et d’audit

L’objectif de ce projet conjoint d’évaluation et d’audit est d’examiner la conformité de la transition au CMR à la Politique sur les résultats du CT et d’évaluer l’efficacité de cette transition, ainsi que les impacts de la planification et de la mise en œuvre du CMR sur la gestion des programmes et la reddition de compte.  À travers les 6 sous-objectifs décrits ci-dessous, l’équipe conjointe s’est intéressée aux activités, aux extrants et aux résultats présentés dans le modèle logique et couvrant la période de 2016-17 à 2019-20.  Les éléments relatifs à la pertinence sont évalués au moyen des trois critères reliés au sous-objectif 1 (voir annexe 4). Les constatations sur la performance (efficacité et efficience) de la transition au CMR sont évaluées par le biais des autres sous-objectifs et de leurs critères.

• Sous-objectif 1 : Évaluer l’adéquation des mécanismes d’évaluation des besoins/priorités ministériels et du risque lors du développement du CMR: La mesure dans laquelle la transition au CMR était basée sur une analyse appropriée des besoins et priorités ministériels; sur une planification adéquate et basée sur le risque, dans le but de répondre aux exigences de la Politique sur les résultats et de ses instruments.
• Sous-objectif 2 : Évaluer l’efficacité de la gouvernance du CMR: L’efficacité de la définition des rôles et responsabilités des fonctions au sein de RNCan et l’utilisation de chaque fonction de la gouvernance lors la transition au CMR.
• Sous-objectif 3 : Évaluer l’efficacité de la stratégie d’engagement des parties prenantes:  La mesure dans laquelle la définition et la mise en œuvre de la stratégie d’engagement des parties prenantes ont contribué à la transition au CMR.
• Sous-objectif 4 : Évaluer la compréhension des résultats et l’utilisation des informations sur la mesure du rendement:  La mesure dans laquelle la définition des résultats, des indicateurs, des programmes et des informations sur les mesures du rendement a contribué à l’amélioration de la gestion ministérielle et des données sur le rendement^{Note de bas de page 2}.
• Sous-objectif 5 : Évaluer la conformité des outils du CMR et leurs effets sur l’amélioration de la reddition de comptes : La mesure dans laquelle les outils^{Note de bas de page 3} du CMR étaient conformes aux exigences de la Politique et ont contribué à l’amélioration de la reddition de comptes.
• Sous-objectif 6 : Évaluer les mesures mises en place pour la gestion des ressources et l’efficience et leur impact sur l’atteinte des résultats souhaités de la transition au CMR : La mesure dans laquelle les processus ministériels de gestion des ressources et de l’efficience étaient mise en place pour la transition au CMR et si ces mesures ont eu un impact sur l’atteinte des résultats visé par le CMR, tel que définis par le modèle logique (voir Tableau 1).

Ce projet conjoint a tenu compte des constatations de l’Audit du processus de planification stratégique et opérationnelle de RNCan qui a été complété en avril 2019. L’équipe conjointe s’est intéressée à la façon dont le ministère s’est organisé pour la mise en œuvre de la Politique sur les résultats. Il s’agit d’examiner la mesure dans laquelle l’approche choisie pour la transition au CMR (planification, engagement des parties prenantes, la communication, etc.) est appropriée.  Les consultations tenues et les commentaires reçus ont aussi portés sur la mesure dans laquelle la Transition au CMR et sa mise à jour ont permis d’obtenir:

• De meilleures mesures du rendement des programmes.
• Une meilleure utilisation des informations relatives au rendement des programmes.
• Une meilleure compréhension des résultats ministériels à atteindre.

Les six sous-objectifs ci-haut et les critères présentés à l’annexe 4 ont été définies dans les termes de référence du projet approuvés par le SMA en juin 2020. Ils ont été élaborés en tenant compte des exigences de la Politique sur les résultats et ses instruments. Ils sont basés sur des contrôles clés énoncés dans les Contrôles de gestion fondamentaux du CT.  De plus, ils sont basés sur les Normes pour l’évaluation. Ces sous-objectifs et critères ont guidé le travail sur le terrain et ont constitué la base des constatations, des conclusions et des recommandations du projet conjoint.

L’équipe conjointe a aussi évalué l’efficacité de la structure de gouvernance et de la mesure des progrès réalisés vers l’atteinte des résultats visé par le CMR, suite à la conception et à la mise en œuvre des activités liées à la transition. Tout en considérant qu’il est tôt pour mesurer les résultats intermédiaires et ultime qui ont été identifiés dans le modèle logique pour la transition au CMR, le focus a été d’évaluer le processus en place pour réaliser l’atteinte de ces résultats (Tableau 1).

Le projet conjoint a tenu en compte l’analyse comparative entre les sexes plus (ACS+) et les langues officielles. En effet, la Politique sur les résultats et ses instruments^{Note de bas de page 4} stipule que lors de la mise en place, en œuvre et à jour des profils de l’information sur le rendement des programmes, les responsables de programme doivent inclure les considérations politiques à l’échelle gouvernementale, telles que l’analyse comparative entre les sexes et les langues officielles, le cas échéant.  Il s’agit d’examiner ces considérations lors du développement des indicateurs durant le travail d'élaboration des nouveaux profils d'information sur le rendement et dans la planification et l’exécution des évaluations. Cela a lieu seulement si c’est pertinent au programme de mesurer ou d’évaluer ces aspects.

Il était attendu que les considérations de l'ACS+ et des langues officielles dans la transition au CMR permettent de s’assurer de la disponibilité des mesures du rendement des programmes afin d’évaluer les répercussions de ces programmes sur les diverses populations ciblées par ceux-ci, le cas échéant.

Méthodes de collecte des informations

L'approche et la méthodologie qui ont été utilisées dans le cadre de ce projet conjoint suivent les pratiques énoncées par la Politique sur les résultats et ses instruments (Directive et Norme), et les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institut des vérificateurs internes (IIA). Ces pratiques exigent que le projet soit planifié et exécuté de manière à obtenir une assurance raisonnable que les objectifs sont clairs et qu’ils peuvent être atteints. Les méthodes de collecte de l’information pour le projet conjoint ont été établies de telle sorte que tous les éléments requis pour évaluer chacun des critères soient recueillis.

L’examen des documents, y compris l'analyse des fichiers a été faite de la façon suivante :

• L'équipe conjointe d’évaluation et d’audit a examiné les documents et dossiers appropriés obtenus pendant la phase de la planification. Il s’agit des documents stratégiques, des procès-verbaux des réunions, des documents d'information, des fichiers et des informations financières, opérationnelles et de mesure du rendement, des présentations, dossiers de décisions, des ordres de jour de réunions, notes stratégiques, échanges de courriels entre la haute direction et avec le Secrétariat du Conseil du Trésor du Canada (SCT), et d’autres documents. En particulier, environ 1 000 documents et fichiers ont été examinés.
• Les informations issues de cet examen ont permis de comprendre le processus suivi lors de la transition vers le CMR, y compris la conception, la planification, gouvernance, les ressources, le niveau de collaboration et les défis opérationnels rencontrés tout au long de la mise en œuvre du CMR.

L’équipe conjointe a aussi cherché à obtenir la perspective des intervenants tels que les responsables de programme (RPs) et les membres du réseau corporatif des planificateurs (RCP) concernant l’utilité et la pertinence des outils élaborés dans le cadre de la transition pour une meilleure gestion des programmes, par exemple les profils de l’information sur le rendement.

Comme indiqué dans les sections précédentes, les responsables de programmes constituent un groupe important dans la transition au CMR, en ce qui concerne surtout la collecte des données pour les 33 programmes du répertoire, afin de les rendre disponibles et faciliter la reddition de comptes. Ils sont majoritairement des Directeurs généraux responsables d’une équipe en charge de la gestion des profils d’information sur le rendement. Dans la livraison des tâches relatives à leurs rôles et responsabilités, ils sont en interaction avec le secteur de Politique stratégique et d’innovation (PSI), dont ils reçoivent les conseils et les outils, et aussi avec les planificateurs qui travaillent avec ce groupe pour appuyer la mise en œuvre du CMR.

Le réseau des planificateurs a été mis en place en 2009 par le secteur de PSI, comme un groupe informel de professionnels intéressés dans la planification, la mesure du rendement, la gestion des risques ministériels et la reddition de comptes. Bien que ce réseau n’ait pas eu de termes de références qui orientent ses activités, l’équipe conjointe responsable de ce projet d’évaluation et d’audit a réalisé l’importance du rôle que le réseau a joué dans la transition au CMR, grâce au lien qu’il a réussi à établir entre le secteur de PSI et les unités de planification dans les différents secteurs de RNCan, ainsi que ses appuis Comité de planification et de rapports (CPR).

Un sondage auprès des responsables de programmes et des membres du réseau des planificateurs a été effectué de juin à août 2020. Ces deux groupes ayant un certain niveau de responsabilité dans la transition au CMR. Ils sont aussi des parties prenantes avec des besoins et contributions qui peuvent différer, tout en étant complémentaires en ce qui touche le partage d’objectifs de planification et de reddition de comptes pour la mesure du rendement.

Le sondage a été une source de données quantitatives et qualitatives pour mesurer l’efficacité de l’évaluation des besoins, de la planification, de la gouvernance et l’engagement des différentes parties prenantes lors de la mise en œuvre du CMR. Il a aussi fourni des éléments sur l’efficacité des outils de transition au CMR et leur répercussion sur l’amélioration de la reddition de comptes. Le sondage a également abordé les questions relatives à l’efficience, à l’adéquation des ressources et aux facteurs qui ont eu des effets sur la transition au CMR. Au niveau des renseignements qualitatifs, le sondage fut une consultation durant laquelle plus de 500 commentaires ont été communiqués à l’équipe conjointe. Le taux de réponse des Responsables de programme a été de 69%, soit 18 des 26. Il est de 32% pour les membres du Réseaux corporatif des planificateurs, soit 28 des 87. Le taux de réponse au CPN est significatif car c’est un comité informel ou habituellement 30 à 40 personnes participent aux réunions. Par contre, de nombreux répondants n'occupaient pas leur poste actuel au moment de la transition et n'ont pas pu répondre à toutes les questions (voir la section sur les limites et stratégies d’atténuation).

Les entrevues avec des informateurs clés ont été menés auprès de 19 intervenants impliqués dans la transition au CMR. Il s’agit des hauts fonctionnaires (Sous-ministre adjoints), des membres du CMREE, des chefs de la mesure du rendement et de l’évaluation, des dirigeants principaux de l’information, des finances et des ressources humaines. Les entrevues ont été aussi menées avec les employés du SCT et d’autres responsables des fonctions dans le ministère (Responsable de l’expérimentation et du ACS+, et d’autres Directeurs généraux) qui ont été interpelés par les activités relatives à la transition au CMR de RNCan. Tous ces informateurs clés ont été choisis parce qu’ils étaient censés posséder des informations clés.

Les entrevues ont permis d’obtenir des renseignements sur la conception, l’efficacité, et l’efficience de la transition au CMR, ainsi que les facteurs internes et externes qui ont influencé sa mise en œuvre.  Cela est grâce à des questions portant sur l’évaluation des besoins, la planification, la gouvernance et l’engagement des différentes parties prenantes lors de la mise en œuvre du CMR. Les entrevues ont aussi fourni des éléments sur l’utilité et l’utilisation des outils de transition au CMR et leurs répercussions sur l’amélioration de la reddition de comptes.

Limites et stratégies d’atténuation

Il n’a pas été possible pour l’équipe conjointe d’estimer le niveau de ressources financières et humaines qui ont été allouées à la transition au CMR. Spécifiquement, les ressources au niveau des secteurs (autres que le secteur de la PSI) ont été difficile à estimer, l’information n’étant pas disponible dans le système financier du ministère. Comme mesure relative d’atténuation, l’équipe conjointe a plutôt basé la discussion des ressources sur les informations obtenues durant les entrevues et les commentaires reçus en réponse aux questions qualitatives sur ce sujet dans les deux sondages.

La participation aux entrevues et aux sondages incluant les nombreux commentaires a permis de recueillir un grand nombre de renseignements sur la planification et la mise en œuvre du CMR.  Les informations obtenues ont été affectées par le fait que certains participants n’étaient pas en mesure de parler des trois phases de la transition, à savoir la conception, la mise en œuvre et la mise à jour, étant donné que certains sont arrivés dans leurs postes, une fois que la transition avait débuté. Afin que cela n’affecte pas la comparabilité de l’information recueillie, l’équipe conjointe a tenu comptes du moment où les répondants sont arrivés aux ministères ainsi que le moment où ils sont entrés en fonction, par exemple comme RP ou membre du CPN. Cela a été possible car le design du sondage avait inclus cette demande d’information concernant ces deux dates importantes. La validité interne du sondage a pu être confirmée en comparant ces deux dates avec les réponses reçues. De plus, il faut noter qu’il y a un taux élevé (près de la moitié) des répondants qui ont répondu « ne sais pas » à plusieurs questions ou ils ont simplement pas répondu. Souvent dans les commentaires écrits, les participants au sondage ont expliqué que ces questions portent sur des sujets ou le répondant n’était pas en poste pour cette tranche du CMR. L'analyse de le sondage par l’équipe conjoint a été ajustée au besoin en tenant compte de ces constatations. De plus, la triangulation des données de différentes sources a été forte utile comme méthode d’atténuation.

La portée du projet conjoint inclus l’examen des fonctions assumées par le Chef de l’évaluation durant la transition. Le Chef de l’évaluation était aussi responsable du rapport de ce projet conjoint. Toutefois, il faut noter que le rôle du Chef de l’évaluation dans la transition au CMR est secondaire comparativement au rôle principal du chef de la mesure du rendement. Afin d’atténuer une perception potentielle de biais, l’équipe en charge du projet était composée d’évaluateurs et de vérificateurs qui sont régis par les normes professionnelles d’évaluation et de vérification. Le Chef de l'évaluation actuel n'était pas directement impliqué dans les activités liées à la transition.

Il est tôt pour mesurer les progrès faits vers l’atteinte du résultat ultime de la gestion du CMR tel qu’énoncé dans le modèle logique (voir Tableau 1), à savoir l’amélioration de la gestion des programmes et des politiques de RNCan. L’équipe conjointe a tenté plutôt de déterminer si les outils en place pour la transition au CMR et la mise en œuvre de ces outils permettent de meilleures mesures du rendement des programmes et une meilleure compréhension des résultats à atteindre tel que décrit au sous-objectif 4 et aux critères 4.1, 4.2 et 4.3 (voir annexe 4). Elle a aussi tenté d’examiner les progrès réalisés vers les résultats intermédiaires et ultime du modèle logique.

Les constatations et les recommandations

La prise en compte des besoins et priorités existants lors de la planification

La revue des documents montre clairement que la transition au Cadre de mesure du rendement (CMR) est alignée avec la lettre de mandat du ministre des Ressources naturelles (décembre 2019) en ce qui concerne « effectuer un suivi des progrès réalisés par rapport à nos engagements et produire des rapports publics connexes, évaluer l’efficacité de notre travail, aligner nos ressources sur nos priorités ». C’est aussi l’objectif de la Politique sur les résultats du CT qui sous-tend cette transition, et dont la finalité est de contribuer à une meilleure réalisation des résultats et permettre une meilleure compréhension de ces résultats à atteindre et atteints, ainsi que des ressources utilisées pour y parvenir.

Toutes les lignes d’évidence ont permis à l’équipe conjointe de constater que les besoins existants en matière de reddition de comptes ont été relativement tenus en compte lors de la conception et la planification de la transition au CMR. En effet, les entrevues et l’examen des documents confirment que la Politique sur les résultats de 2016 est arrivée au moment où l’Architecture d’alignement des programmes (AAP) était en processus d’examen par les responsables de la planification et de la reddition des comptes de RNCan pour l’adapter aux besoins du moment. Pour les ministères fédéraux incluant RNCan, l’analyse des éléments de l’AAP a été la case de départ pour la mise sur pied des éléments du CMR, c’est-à-dire les responsabilités essentielles, les résultats, les indicateurs et les 33 programmes du répertoire.

L’importance de l’intégration des mécanismes de planification a été aussi soulignée par l’Audit du processus de planification stratégique et opérationnelle de RNCan dont le rapport a été publié en avril 2019. Cet audit confirme le besoin de définir un ensemble d’exigences, des processus et un cycle pour l’élaboration et l’intégration des plans opérationnels ministériels à l’appui du plan stratégique ministériel. De plus, il recommande que le Cadre ministériel des résultats et les profils de l’information sur le rendement soient intégrés aux processus de planification stratégique et opérationnelle.

L’équipe conjoint s'attendait à trouver d’une stratégie de planification bien documentée et complète couvrant les quatre années de la transition au CMR soit de 2016-17 à 2019-20.  Selon les meilleures pratiques, une telle stratégie de planification aurait inclus les éléments traitant des considérations ministérielles et sectorielles, tels que: les objectifs clairs, les activités à entreprendre et leur séquence, les extrants et qualité attendue des résultats souhaités, l’approche en matière d’allocation de ressources, le calendrier de mise en œuvre pour chaque phase de toute la transition (mise en place, mise en œuvre et mise à jour), le plan de communication pour les consultations avec les principales parties, l’évaluation des risques et mesures d'atténuation, les processus de suivi des progrès. Une stratégie de planification adéquate aurait été établie et approuvée au début de la transition au CMR et bien intégrée toutes les étapes importantes requises pour les quatre premières années (2016-17 à 2019-20).

Si l’examen de documents montre un certain nombre d’éléments qui peuvent tenir pour une stratégie de planification, l’équipe conjointe a constaté que cette stratégie aurait pu être mieux documentée et plus complète. L’équipe conjointe reconnait qu’en 2018, un plan de mise en œuvre d’une page a été ébauché et utilisé pour la planification des étapes restantes dans la mise en place la transition au CMR.  Ce document comprenait des objectifs clairs, les activités et leurs séquences, ainsi que les résultats attendus et un calendrier de mise en œuvre qui a dû être révisé suite aux commentaires du CMREE.  Selon les informations obtenues ce plan aurait été finalisé au mois de mai 2019 en tant que recommandations et annexe du rapport sur l’état de la mesure du rendement de 2018-19.  L’équipe en charge de la transition au CMR a évalué ce plan et reconnu que certains aspects, tel que risques, stratégies d’atténuation des risques et communication manquaient, et a exprimé le besoin d’améliorer le plan dans ce sens.

Il existe quelques documents qui peuvent tenir lieu d’une planification partielle et une possible évaluation du risque pendant la transition au CMR. Ils sont décrits ci-dessous:

• Au début, lors de la réunion du Comité exécutif du mois de juin 2016, les membres ont discuté des options pour les responsabilités essentielles du CMR et des choix pour faire partie de la première ou la deuxième vague dans la transition au CMR, tel que c’était proposée par le SCT. La première et la deuxième vagues font référence à la date cible de mise en œuvre du CMR, soit le 1er avril 2017 ou le 1er avril 2018. L’équipe conjoint a considéré que les avantages et inconvénients des options présentées peuvent être vus comme une forme d'évaluation indirecte des risques.  Suite à cette présentation, RNCan a opté pour faire partie de la deuxième vague.
• Une matrice indiquant les rôles à jouer par les principales parties ciblées, y compris les chefs des fonctions désignées concernés, a été présentée en mars 2017 au Comité exécutif par le Secteur des politiques stratégiques et innovation. La matrice couvrait la période de février 2017 à mars 2018. Il s'agit des 12 mois précédant la date de mise en place du CMR pour la deuxième vague.
• Un tableau d'une page décrit l'état de la mise en œuvre et les échéanciers. Il semble montrer un suivi pour le stade précoce de la transition vers le CMR. Ce document a été présenté au Comité exécutif en février 2018, indiquant les opportunités et les défis en termes de respect de la date de mise en œuvre du CMR fixée par le SCT.
• Un plan de mise en œuvre du CMR d'une page a été partagé en 2018 avec trois comités : CPR, RPC et CMREE.  Dans certains cas, le plan était accompagné d’une présentation PowerPoint d’une douzaine de page afin de faciliter la discussion de son contenu avec les membres des comités.
• Les recommandations des rapports sur l'état de la mesure du rendement de 2018-19 (publié en mai 2019) et de 2019-20 (publié en aout 2020) s’appuient sur les étapes du plan de mise en œuvre du CMR.

Selon les résultats du sondage une majorité des membres du réseau corporatif des planificateurs ont indiqué que l’équipe responsable de la transition au CMR avait mis une stratégie de planification en place, tandis que la majorité des responsables de programmes n’étaient pas au courant de celle-ci (atténué par la constatation que plusieurs n'étaient pas des responsables du programme au moment où la stratégie aurait été élaborée). En excluant ceux qui ont indiqué « ne sait pas », tous les responsables de programmes et 74% des membres du réseau corporatif des planificateurs ont indiqué être au moins légèrement satisfait de l’efficacité de l’élaboration et de la mise en œuvre de la stratégie de planification par l’équipe en charge de la transition au CMR. Dans leurs commentaires plus détaillés, plusieurs répondants ont reconnu l'ampleur du défi et la nécessité de modifier la stratégie de RNCan en réponse à l'orientation qui continuait d'émerger du SCT. La majorité de ceux qui étaient insatisfaits ont indiqué qu'ils souhaitaient un meilleur engagement à mesure que la stratégie était élaborée et déployée.

Comme l'ont suggéré quelques répondants du sondage, l’équipe conjointe a noté que la perception obtenu durant les entrevues était qu’il n'y avait pas de processus de planification complet et documenté dans lequel les secteurs auraient été invités à apporter leur contribution, à l’exception des réunions organisées par les responsables de la conception du CMR.  Ils ont également mentionné qu’il n’y a pas eu de processus documenté d’identification des éléments de la stratégie du risque et d'atténuation. Ils ont indiqué qu’une approche ministérielle de la transition au CMR plus intégrée aurait tenu compte davantage des autres processus de planification existants. Par contre, étant donné l’intégration limitée des processus de planification à l’échelle ministérielle noté par l’Audit du processus de planification stratégique et opérationnelle de RNCan (2019), il était difficile pour les leaders de la transition au CMR de réaliser une planification intégrée.

Même si les informateurs clés ont reconnu le travail investi par l’équipe en charge de cette planification, ils ont cependant soulevé certains points qui montraient qu’il y avait place à l’amélioration de la part des responsables de la transition au CMR.

Les membres du RCP ont exprimé une opinion positive par rapport à l’utilisation des connaissances, des meilleurs pratiques internes et externes au cours de la planification de la transition au CMR, les RPs n’ayant pas d’opinion à cet effet. Si l’examen des documents n’a pas permis de conclure sur cette question, les résultats des entrevues sont presque unanimes pour dire que la planification de la transition au CMR a pris avantage des expériences et des outils d’autres ministères, surtout le réseau des ministères scientifiques. Cependant certaines personnes consultées ont indiqué que les expériences et les outils de planification de leur secteur qualifiés d’avant-gardistes n’ont pas été bien considérés par l’équipe en charge de la planification de la transition au CMR.

L’efficacité de la gouvernance

L’examen des documents indique que RNCan respecte les exigences de la Politique sur les résultats, en ce qui concerne la mise en place des différentes fonctions de la gouvernance du CMR : Comité de la mesure du rendement et de l’évaluation et d’expérimentation (CMREE), le Chef de la mesure du rendement (CMR) et le Chef de l’évaluation. C’est à travers les discussions tenues par le Comité exécutif que toutes ces fonctions de la gouvernance ont été initialement définies.

Il faut constater que RNCan est allé plus loin que les exigences de la Politique sur les résultats pour ajouter l’aspect « expérimentation » dans la gouvernance du CMR. Les entrevues révèlent que cette considération de l’expérimentation dans la gouvernance encourage l’apprentissage et le partage des leçons apprises.

Il a été aussi constaté que les ordres du jour et les notes de réunions du CMREE depuis sa création démontrent que le CMR a fait partie des discussions par les membres du CMREE.

Les dossiers montrent que la première réunion du CMREE a eu lieu le 21 juin 2017. Au cours de cette réunion, il a été décidé que les secteurs continuent le travail de définition des indicateurs pour l’approbation des Sous-ministres adjoints avant la rencontre de la Sous-ministre avec le Ministre. Le CMR a aussi été discuté dans 4 des 8 autres réunions durant la période examinée (soit avril 2016 à Mars 2020), abordant différents points dont la contribution du Comité de la planification et des rapports (CPR), les délais, les retards, les défis, et le plan de mise en œuvre du CMR. Un autre point important discuté à la réunion du 5 juillet 2018 était l’importance des indicateurs (tant au niveau des PIR qu’au niveau global) qui permettront au ministère de raconter l’histoire sur le rendement et les résultats ministériels. Dans la réunion du 7 octobre 2019 (faite en deux parties), les membres du CMREE sont revenus encore sur les indicateurs et la reddition de comptes en mettant l’emphase sur la collaboration entre les différents secteurs dans le processus de collecte et la disponibilité de données fiables.

L’examen des ordres du jour et des réunions du CMREE ont démontré que le CMR n'est qu'un des nombreux sujets sous sa responsabilité, il est important que les responsables de la transition au CMR s’assurent que le temps alloué aux éléments du CMR soit suffisamment calibré en fonction de la charge de chaque réunion. Ceci répondra à la perception des informateurs clés dont les points de vue laissent penser qu’une attention et un temps de réunion limités sont consacrés à la compréhension de toute la complexité de la transition au CMR, surtout à sa mise en œuvre et à sa mise à jour.

Les informations recueillies de l’examen de documents révèlent une contribution importante du CPR, lequel fait partie de la structure de gouvernance existante à RNCan, au travail du Comité exécutif et du CMREE. Ces mêmes informations montrent aussi la contribution du RCP, l’organe informel qui fait partie de la gouvernance de planification et de reddition de comptes de RNCan.

Le nombre élevé de documents et de dossiers provenant de 45 réunions de ces 4 organes (Comité exécutif, CMREE, CPR, RCP) ont permis à l’équipe conjointe de constater que des discussions liées au CMR ont été tenues au cours de la période d’avril 2016 au mars 2020. Ainsi, les échanges de courriels électroniques et les informations connexes révèlent un partage important d’informations par l’équipe de transition au CMR avec le CPR et le RCP à différents moments.

Les deux sondages montrent qu’une majorité des membres des deux groupes (RP et RCP) sont satisfaits du rôle qu’ils ont joué par rapport à la transition au CMR. Par ailleurs, même si le partage d’information a été observé et confirmé par les constatations de toutes les lignes d’évidences, les entrevues et les commentaires communiqués lors du sondage indiquent que certains d'entre eux ont l'impression qu'il s'agissait d’un partage d’information principalement à sens unique, les responsables de la transition au CMR n’ayant pas suffisamment donné de la rétroaction sur l’utilisation des commentaires reçus des membres du CPR et du RCP, ni expliqué l’impact de leurs contributions. En effet, les membres du CPR et CPN ont exprimé la volonté de savoir la considération donnée par les responsables de la transition au CMR à leurs perspective et contributions colligées. Cette situation indique l'importance de partager la rétroaction reçue sur le CMR afin d'accroitre l'efficacité de l'alignement entre la nouvelle gouvernance du CMR et la gouvernance structurelle formelle et informelle.

Les constatations d’entrevues et commentaires communiqués par les RPs lors du sondage montrent aussi qu’une amélioration est nécessaire pour souligner les contributions des différentes entités impliquées dans la transition au CMR, que ce soit le CMREE, le CPR, le RCP et les RPs. Une reconnaissance plus systématique permettrait de faire part de la contribution de ces entités et d’assurer la satisfaction des membres qui les composent.

Les commentaires formulés durant la consultation auprès des membres du RCP montrent l’impression par plusieurs parmi ce groupe important que leurs opinions et contributions n’ont pas servi à apporter des changements à la transition au CMR. Sans avoir effectué un examen détaillé des preuves documentée de la rétroaction, il n'est pas possible pour l'équipe conjointe de conclure sur la mesure dans laquelle ces perspectives sont bien fondées. Chaque aspect du CMR est soumis avant modification au CPR ainsi que les résultats de sa mise-en-œuvre. Pourtant, les entrevues ont révélé aussi des perceptions selon lesquelles certaines parties prenantes considèrent le CPR comme un comité chargé de discuter des sujets importants après coup laissant penser que ce comité n'apporterait pas de valeur ajoutée pour la prise de décision dans la transition au CMR, alors que sa raison d’être est de contribuer à l'amélioration de la gestion de rendement de RNCan.

Selon les informateurs clés et les réponses écrites à plusieurs questions du sondage auprès des RPs et des membres du RCP, il a existé une opportunité pour que les responsables du CMR engagent plus les directeurs et les DG responsables de la planification et membres du CPR et du RCP, afin que le CMR soit un outil intégré de mesure du rendement aux niveaux des programmes, des secteurs et du ministère.  Cette opportunité pouvait être faite en documentant leurs suggestions et en donnant de la rétroaction expliquant l’utilisation faite de leurs commentaires.

En ce qui concerne le rôle joué par les membres des entités de la gouvernance de la transition au CMR, en général, les participants aux entrevues ont indiqué que les dirigeants principaux de l’information, des finances et des ressources humaines ont été impliqués dans des discussions concernant le CMR et ont donc joué au moins dans une certaine mesure leurs rôles. Cependant, les résultats du sondage et les intervenant clés indiquent qu’il y a des opportunités pour améliorer la communication des rôles et responsabilités de chaque entité fonctionnelle sous la gouvernance du CMR. Les rôles de ces dirigeants semblent peu connus en général et les dirigeants des programmes ne semblent pas suffisamment être informés des différents rôles fonctionnels.

L’efficacité de la stratégie d’engagement des parties prenantes

Trois des quatre activités du modèle logique (Tableau 1) met l’accent sur l’engagement continu des différentes parties prenantes d’où l’importance d’un engagement adéquat des parties impliquées dans le succès de la transition au CMR. À cet effet, les résultats de l’examen de documents, des entrevues et les commentaires obtenus du sondage font remarquer que les responsables de la transition au CMR ont fourni un effort important pour impliquer les différentes parties prenantes. Ils ont communiqué avec tous les secteurs, les différentes entités de la gouvernance du CMR (CMREE, Chefs de mesures du rendement et d’évaluation, Dirigeants principaux de l’information, des finances et des RH) et les entités de la gouvernance structurelle formelle et informelle de RNCan (Comité exécutif, CPR, RCP).

En avril 2017, une rencontre de tous les gestionnaires du ministère a été organisée pour discuter des implications de la Politique sur les résultats et de la transition de l’Architecture d’alignement des programmes (AAP) au Cadre ministériel des résultats (CMR). Aussi, les implications financières de la mise en œuvre du CMR ont été discutées au Comité de planification et de rapports (CPR) en novembre et décembre 2017, en particulier en ce qui a trait aux exigences de codage relatif aux domaines fonctionnels dans le système de gestion financier SAP. Selon le document présenté, trois principaux domaines d'impact du point de vue financier ont été expliqués:

• Communication publique d'informations financières.
• Mise à jour du codage existant dans SAP de AAP vers CMR (par exemple, table de codage par défaut pour les transactions salariales).
• Établissement des exigences de codage dans SAP.

Des ateliers et une série de webinaires ont pris place dès 2017 avec des représentants des secteurs pour mobiliser les membres du RCP de tous les secteurs de RNCan. L'objectif était de communiquer comment la méthodologie de CMR donnée par le SCT devrait être utilisée pour élaborer et améliorer les Profils d'information sur le rendement (PIR). Des ateliers supplémentaires ont été organisés pour le processus d'amendement du CMR et les examens du PIR suite aux commentaires du SCT.

Malgré ces efforts d’engagement des secteurs, il n’y avait pas une stratégie d’engagement documentée qui élabore en détails comment PSI allait engager les secteurs de manière continue tout le long du processus de la transition au CMR. Le plan de mise en œuvre présenté en 2018 à trois comités (CPR, RPC et CMREE) était un document d’une page qui contenait quelques phrases sur la stratégie d’engagement. Selon les meilleures pratiques, un plan de mise en œuvre et une stratégie d’engagement sont censés être plus étayés. Une stratégie d'engagement efficace et appropriée aurait été intégrée dans un plan de mise en œuvre initié au début de la Transition au CMR. Ce plan aurait pu être présenté au Comité Exécutif en 2016 ou au CMREE en 2017. Une stratégie d’engagement appropriée aurait été construite en établissant et en tenant compte des attentes et besoins des principales catégories de parties prenantes et intervenants (par exemple les secteurs).  Similairement, l’approche de communication aurait dû être établie dès le départ du projet et ajustée au fur et à mesure de son avancement, grâce à des consultations, afin de s’assurer que les opinions des parties prenantes soient réellement prises en compte, spécialement en ce qui a trait aux indicateurs de rendement reliés aux programmes et leurs utilités en tant qu’outil de gestion du programme.

Selon l’examen des documents, les entrevues et les commentaires détaillés obtenus des RPs et membres du RCP lors du sondage, il existait des possibilités d’amélioration concernant le processus d’engagement utilisé afin de définir efficacement des outils de la transition et mettre en œuvre le CMR. Plusieurs RPs et membres du RCP ne se sont pas sentis bien engagés tout au long de la Transition au CMR. En effet, de nombreux représentants de secteurs consultés n’ont pas trouvé qu'ils étaient convenablement engagés et entendus dans le processus d’établissement des indicateurs de résultat ministériel. De plus, la majorité des personnes interviewées ont mentionné que de nombreuses bonnes pratiques spécifiques aux secteurs auraient ajouté une importante valeur, si proprement considérées et adoptées. Par exemple, certains programmes requièrent plusieurs années pour que leurs résultats puissent être bien évalués. Plusieurs intervenants ont indiqué qu’ils auraient voulu remplacer ou ajouter aux indicateurs annuels du CMR des indicateurs à long terme. Selon PSI, cette rétroaction a été considérée par les responsables de la Transition du CMR tout au long du développement et des itérations faites pour améliorer le CMR, visant à garder un équilibre entre le nombre d’indicateurs annuels et des indicateurs à long terme inclus dans le Cadre afin de faire un rapport complet sur les résultats du Ministère à chaque année dans le Rapport ministériel sur les résultats.

Finalement, une stratégie d’engagement efficace aurait pu avoir un impact significatif sur le CMR en permettant de développer et mettre en place des indicateurs de rendement plus utiles pour les gestionnaires de programmes (voir section Utilisation des mesures du rendement et la compréhension des résultats).

Utilisation des mesures du rendement et la compréhension des résultats

Le modèle logique (Tableau 1) énonce clairement les résultats ultime et intermédiaires de la transition au CMR.  Ces résultats peuvent être résumé comme suit : améliorations de la gestion des programmes par le biais de meilleurs indicateurs du rendement.  Tous s’entendent qu’une bonne gestion des programmes requiert des informations sur la performance financière et d’autres indicateurs pertinents telles que ceux sur les ressources humaines.  Donc, il est important que la transition au CMR travaille à l’avancement de cet objectif.

À cet effet, il était attendu que la mise en œuvre du CMR améliorent la disponibilité, la qualité, l’utilité de l’information relative au rendement. C’est dans ce contexte qu’un des critères s’intéressait à la mesure dans laquelle la transition au CMR et sa mise à jour permettent de meilleures mesures du rendement de programmes incluant des indicateurs pour l'ACS+ et les considérations pour des langues officielles, le cas échéant.

Selon la Politique sur les résultats, le Sous-ministre est responsable de mettre en place, en œuvre et à jour un Cadre ministériel des résultats qui établit les responsabilités essentielles du ministère, les résultats ministériels et les indicateurs de résultat ministériel. Cette responsabilité a été déléguée à PSI. Cependant, bien que PSI a également joué un rôle dans le soutien au niveau du programme, selon la Politique les responsables de programme sont responsables de mettre en place, en œuvre et à jour les profils de l’information sur le rendement applicables à leurs programmes désignés (en consultant le chef de la mesure du rendement et le chef de l’évaluation).

Toutes les lignes d’évidence montrent clairement que beaucoup d'efforts ont été entrepris pour améliorer les indicateurs du CMR à partir des indicateurs existants rattachés à l’AAP. Il a été aussi constaté que ces nouveaux indicateurs ont été communiqués publiquement aux Canadiens. Pour y parvenir, des modèles et des critères fournis par le SCT à tous les ministères ont été utilisés par les responsables de la transition au CMR. L'examen des documents, le sondage et les entrevues ont révélé que des présentations ont été faites au CPR, RCP et au Comité exécutif sur les indicateurs du rendement. Le constat note également que ces indicateurs ont été revus et, au besoin, modifiés annuellement.

Toutes les lignes d’évidence concordent pour affirmer que RNCan a d’abord élaboré, selon les critères du Guide des résultats du SCT, les 32 indicateur de résultat ministériel et leur description, tels qu’ils apparaissent sous les 9 résultats ministériels comme outils du CMR (Annexe 2). Par la suite, les profils de l’information sur le rendement (PIR) ont été développés pour les 33 programmes du répertoire. Les indicateurs du rendement du PIR ont été élaborés, ils sont quantitatifs et qualitatifs au niveau des extrants et des résultats du programme (indicateurs d'efficience et d'efficacité). L’examen de document montre aussi que le SCT prescrivait les indicateurs standards (normalisés), par exemple, les indicateurs des services internes, mais cela a par la suite été intégré au processus du Cadre de responsabilisations de gestion.

Les entrevues et le sondage avec les parties impliquées montrent qu’elles ont été consultées pour l’élaboration des outils du CMR concernant la définition des responsabilités essentielles, les résultats ministériel, les indicateurs de résultat ministériel du CMR et les indicateurs de rendement au niveau des PIR. Même si une majorité des membres du RCP et les RPs ont trouvé efficace le processus d’élaboration des PIRs, les données de ces lignes d’évidence indiquent que certaines parmi les personnes interrogées pensent que cette consultation n’était pas complétement satisfaisante. Un des points à améliorer soulevé par plusieurs intervenants est de s’assurer que les indicateurs soient adaptés aux besoins de la gestion des programmes, tout en s’assurant que ces indicateurs soient élaborés selon la méthodologie proposée par le SCT.

Il y a aussi un absence de consensus selon les résultats des entrevues et les sondages quant à l’impact de la transition sur la définition des mesures du rendement. Une majorité des membres du RCP et les RPs ont indiqué que les PIRs ont facilité dans une certaine mesure l’amélioration des indicateurs de rendement. Par contre, les constatations des entrevues et du sondage soulignent que les intervenants sont moins satisfaites de la mesure dans laquelle les indicateurs financiers ont été inclus dans les PIRs ou ont permis d’améliorer les éléments relatifs aux mesures de rendements. Comme l’a souligné l’un des informateurs clés, la planification financière et des ressources humaines sont des éléments essentiels à intégrer au CMR afin qu’ils soient plus utiles pour les programmes et les opérations, et facilitent la compréhension de leurs résultats. Tandis que les PIRs contiennent des informations de haut niveau sur les ressources financières et humaines, le développement d'indicateurs plus détaillées pour mesurer l’efficience des programmes est à la discrétion des RPs. Les avoir inclus, le cas échéant, dans les outils du CMR aurait permis une prise en compte du contrôle des opérations financières plus horizontal.

Alors que certains ont été mis en place, les indicateurs relatifs à l’analyse comparative entre les sexes plus (ACS+) et aux langues officielles n’ont pas été systématiquement identifiés dans les PIRs. Les résultats du sondage de l’équipe conjointe auprès des RPs et des membres du RCP concernant ACS+ confirment qu’il y a place à l’amélioration. PSI reconnait que leur application doit être améliorée à RNCan, y compris pour les PIRs. A cet effet, PSI a créé un centre d’expertise pour l’ACS+ en juin 2021 pour aider à cette amélioration et travaille continuellement avec les secteurs pour inclure les considérations de chaque programme pour l’ACS+ et amorcer la collecte de micro-données connexes.

Le sondage et les entrevues ont révélé que la transition au CMR a contribué dans une certaine mesure à améliorer les informations sur le rendement des programmes gérés par les secteurs et aux attentes de reddition de comptes. Cependant, au moment de l’examen, cette contribution du CMR est un peu moins perçu par les deux groupes RCP et RP en matière d’utilisation, d’accessibilité et de stockage d’information sur le rendement.

Selon les résultats du sondage auprès des RPs, la transition au CMR a mieux répondu à leurs attentes de gestion de programme et de reddition de comptes. Les réponses des membres du RCP sur ces attentes étaient moins positives. Une opportunité pour amélioration est revenue souvent durant les consultations avec les RPs et les membres du RCP, ainsi que les entrevues.  Un informateur clé l’a résumé comme suit : « les indicateurs de haut niveau ne parlent pas aux gestionnaires, car ils sont de trop haut niveau ». Plusieurs perçoivent que les indicateurs du CMR sont trop orientés à des fins de rapports ministériels et souhaitent qu’il y ait plus d’emphase sur les indicateurs pertinents à la gestion des programmes.  Ces indicateurs de plus bas niveaux ont été appelés indicateurs granulaires par certains.  L’équipe conjointe prend note que ce défi a déjà été identifié par PSI dans les rapports sur l’état de la mesure du rendement de 2018-19 et 2019-20.

A ce sujet, l’examen des documents a pris en considération ces deux rapports annuels sur l'état de la mesure du rendement.  Ces rapports font référence à la transition au CMR et les défis qui y sont associés. Ils contiennent cinq recommandations importantes et pertinentes :

• Améliorer les indicateurs au niveau du programme.
• Renforcer les PIRs en tant qu'outils de prise de décision.
• Optimiser l'utilisation des informations de mesure du rendement.
• Développer la capacité ministérielle en matière de mesure du rendement.
• Mettre en place une plateforme de données commune pour les indicateurs DRF et PIP.

Le sommaire de toutes les constatations a déterminé dans une certaine mesure que la transition au CMT a contribué à une meilleure définition des résultats à atteindre. Selon le sondage, une majorité des RPs apprécient cette amélioration entièrement ou légèrement; alors que pour les membres du RCP, ce nombre est un peu moins que la majorité. Cependant, ces proportions diminuent quand il s’agit d’apprécier si les résultats sont mieux atteints grâce à la transition au CMR.

En général, les informateurs clés, les RPs et les RCP sont relativement satisfaits des changements apportés par la transition au CMR.  Selon les résultats des deux sondages (RP et RCP), la majorité des répondants perçoivent (entièrement ou légèrement) que ces changements ont mieux outillé les différents niveaux de prise de décisions, grâce à leur appui à la haute gestion, aux différents comités ministériels (CMREE, CPR), et aux mémoires au cabinet et aux présentations aux CT.

Conformité des outils du CMR, la reddition de compte et l’efficience

Dès la transition au CMR, il était attendu que les outils développés par
RNCan^{Note de bas de page 5}, leur mise en œuvre et leur mise à jour soient conformes aux exigences de la Politique sur les résultats.

L’équipe conjointe s’est fié à la documentation disponible (surtout les procès-verbaux des réunions) pour constater que la participation précoce du Comité exécutif à la planification de la transition au CMR était un des éléments importants pour arriver à la conformité. C’est grâce à cette implication soutenue que le CMREE a été créée pour assumer le rôle clé de suivi et de surveillance de la mise en œuvre du CMR.  Les autres éléments importants furent le travail des secteurs et de PSI.

Le Cadre de l'évaluation du cadre de responsabilisation et de gestion (CRG) par le SCT pour l'exercice 2019-2020 comprend des informations qui ont permis à l’équipe conjointe de discuter de la conformité des outils relatifs au CMR. Les principales conclusions du domaine de gestion des résultats lié au CMR confirment que RNCan se conforme aux exigences du SCT.

L’examen des documents nous a dirigé vers une communication du Dirigeant principal des finances au Sous-ministre (SM) au sujet de cette dernière évaluation du Cadre de responsabilisation de gestion, qui indique que RNCan a bien performé dans la gestion des résultats. Cette analyse s’est basée sur le fait que le Ministère recueille des renseignements sur les résultats qui peuvent être utilisés pour éclairer la gestion des programmes et des services. Cependant, le CRG mentionne que RNCan continuera de renforcer la qualité de ses profils d’information sur le rendement, notamment en rationalisant les indicateurs et en renforçant les méthodologies solides.

Le CRG spécifie que la qualité de l'information de mesure du profil d'information sur le rendement (PIP) de RNCan est jugée « moyenne », ce qui est à égalité avec la plupart des ministères. Les informations du Cadre indiquent un bon positionnement de RNCan, car le pourcentage d'indicateurs de rendement qui manquent la fréquence de collecte des données et / ou la source de données, n’est que de 5% pour RNCan, comparé à la moyenne pour tous les ministères qui est de 25% pour les informations manquantes. De plus, le pourcentage d'indicateurs de rendement (inclus dans les annexes des résultats des présentations au CT approuvées), dont les résultats réels sont disponibles dans les délais, est de 81% pour RNCan, comparé à 71% en moyenne pour tous les ministères.

Les entrevues sur la conformité des outils du CMR ont discuté de l'importance d'aller au-delà de la conformité à la politique et les conclusions soulignent qu’on devrait mieux intégrer le CMR à la gestion des finances et des RH à RNCan. Cet aspect est revenu à différentes reprises comme une amélioration à considérer, surtout que tous les hauts gestionnaires interrogés y voyaient un atout.

En termes d’intégration des ressources financières et humaines, les entrevues ont montré que certains secteurs étaient plus prêts que d’autres. Ce sont ces mêmes secteurs qui se disent avoir développé de meilleures pratiques en planification et rapport sur les résultats de leurs programmes et opérations.

Selon les informateurs clés, ce sont les ressources existantes qui ont été utilisées dans la transition au CMR. Ces informateurs ont indiqué que dans certains secteurs, il existait déjà des défis en ressources quant à la livraison des activités de planification ministérielle. L’examen de document n’a pas trouvé d’outils qui auraient été utilisés pour discuter des ressources ou pour recueillir les rétroactions sur leur adéquation et sur les stratégies intégrées. Bien que l’équipe conjointe ait tenté de colliger les informations sur le niveau de ressources financière et humaine consacré à la transition au CMR par tous les secteurs, seulement quelques données anecdotiques ont été partagées par certains secteurs. Une telle situation permet de tirer la leçon que pour un projet semblable, dont la mise en œuvre est basée sur les ressources existantes, des discussions de ces ressources devraient faire partie de la phase de planification du projet.

Le manque de définition et de discussion au sujet des ressources pour la transition au CMR a été reconnu par le rapport sur l’État des mesures de rendement de 2018-19 présenté par le Chef de mesure de rendement au Comité de mesure de rendement, d’évaluation et de l’expérimentation (CMREE). Le contenu du rapport faisait référence à la réponse de gestion à une recommandation de l’Audit du processus de planification stratégique et opérationnelle de RNCan de 2019. Il proposait de développer une approche sur la manière dont le CMR et le PIR soutiendraient et éclaireraient la planification stratégique et opérationnelle, ainsi que l'allocation des ressources. Ce rapport stipule aussi que ces considérations sont déjà entreprises à travers l’examen des meilleures pratiques des secteurs et des autres ministères, à savoir comment faire le lien entre les données des PIR avec les ressources financières pour soutenir la planification et l'allocation des ressources.

Conclusion

La transition de RNCan au Cadre ministériel des résultats (CMR) à conformer à la Politique sur les résultats du Conseil de Trésor. En général, les rôles et les responsabilités pour la transition au CMR ont été exercés conformément aux exigences de la Politique sur les résultats. Les outils requis ont été mis en place, en œuvre et à jour dans les délais fixés par le Secrétariat du conseil du trésor.

Les efforts du secteur des Politiques stratégiques et innovation (PSI) ont systématiquement guidé la transition du CMR vers la conformité. Des efforts importants ont été déployés pour mobiliser tous les secteurs de RNCan et des intervenants externes, dont le SCT. Cependant, la stratégie de planification et la stratégie d’engagement auraient pu être mieux documentées et plus complètes. Il y a des opportunités pour l’amélioration concernant la communication des rôles de différentes fonctions désignées et le processus d’engagement.

Tout en considérant qu’il est tôt pour mesurer les résultats intermédiaires et ultime pour la transition au CMR, l’analyse des lignes d’évidence permettent de conclure que dans une certaine mesure la transition au CMR et sa mise à jour permettent une meilleure définition et compréhension des résultats ministériels. Il y a toujours des opportunités pour l’amélioration concernant les différents éléments du CMR, particulièrement pour augmenter l’utilité des indicateurs de rendement du CMR et de les PIRs pour la gestion directe des programmes incluant l’aspect financier de leur rendement.

Annexe 1 : Équipe Conjointe

Michel Gould, Dirigeant principal de l’Audit and Évaluation (DPAE)

Linda Jones, Directrice principale, Opération de l’audit

Stephanie Kalt, Directrice, Évaluation stratégique

Khalid Zeroual, Directeur, Gouvernance

David Ash, Conseiller principal au DPAE

Olive Kamanyana, Gestionnaire d’évaluation

Christian Kratchanov, Gestionnaire d’évaluation

Sebastien Defoy, Analyste principal

Perla Habchi, Auditrice interne

Harpreet Sahota, Évaluatrice junior

Annexe 2: Cadre Ministériel des résultats de ressources naturelles Canada pour l’année 2019-20

Version Texte

Cadre Ministériel des Résultats de Ressources Naturelles Canada pour l’année 2019-20

Cette image montre les différentes composantes du Cadre ministériel des résultats et du Répertoire de programmes de Ressources Naturelles Canada (RNCan) pour 2019-2020.

Le long de la partie supérieure de l’image se trouvent une rangée de trois cases identifiant les responsabilités essentielles de RNCan et une autre case représentant les services internes. Les trois responsabilités essentielles sont les suivantes (de gauche à droite) : Science des ressources naturelles et atténuation des risques, Valorisation novatrice et durable des ressources naturelles, et Secteurs des ressources naturelles concurrentiels à l’échelle mondiale.

On peut lire dans la colonne sous « Science des ressources naturelles et atténuation des risques » la description de cette responsabilité essentielle : « Diriger des travaux de science fondamentale et partager le savoir-faire en matière de gestion des ressources naturelles du Canada, réduisant les répercussions des changements climatiques et atténuant les risques posés par les désastres naturels et les explosifs. » On trouve également dans cette colonne les trois résultats ministériels associés à cette responsabilité essentielle et plusieurs indicateurs ministériels associés à chaque résultat ministériel.

Le premier résultat ministériel sous « Science des ressources naturelles et atténuation des risques » est le suivant : « Les Canadiens ont accès à une recherche de pointe pour prendre des décisions sur la gestion des ressources naturelles ». Les cinq indicateurs ministériels associés à ce résultat ministériel sont :

• Le nombre de fois que des Canadiens accèdent à des produits scientifiques liés aux ressources naturelles;
• Le pourcentage des processus d’évaluation environnementale auxquels RNCan a procuré un savoir-faire scientifique et technique;
• Le nombre de fois que des intervenants reconnaissent avoir utilisé des produits scientifiques et techniques de RNCan pour prendre des décisions;
• Le nombre d’initiatives de formation et de perfectionnement permettant à RNCan d’intégrer des connaissances autochtones traditionnelles à sa science;
• Les indices de qualité des données géographiques et locationnelles sur les ressources terrestres, l’eau et l’infrastructure du Canada.

Le deuxième résultat ministériel sous « Science des ressources naturelles et atténuation des risques » est le suivant : « Les collectivités et les agents ont les outils pour protéger les Canadiens contre les dangers naturels et les explosifs. » Les trois indicateurs ministériels associés à ce résultat ministériel sont :

• Le pourcentage de phénomènes naturels dangereux au Canada pour lesquels un avis a été émis en temps opportun;
• Le nombre d’outils de surveillance améliorés des feux de végétation utilisant de l’information télédétectée;
• Le pourcentage d’inspections d’explosifs qualifiés de sécuritaires.

Le troisième résultat ministériel sous « Science des ressources naturelles et atténuation des risques » est le suivant : « Les collectivités et les industries s’adaptent aux changements climatiques. » Les deux indicateurs ministériels associés à ce résultat ministériel sont :

• Le pourcentage de collectivités et d’industries canadiennes ayant pris des mesures d’adaptation aux changements climatiques;
• Le nombre de fois que des collectivités et l’industrie ont accès à des produits et au savoir-faire sur l’adaptation de RNCan.

Au bas de la colonne « Science des ressources naturelles et atténuation des risques » se trouve une liste des programmes de RNCan associés à cette responsabilité essentielle, qui comprend les programmes suivants :

• Levés géodésiques du Canada : Le Canada à référence spatiale
• Connaissances géologiques des terres côtières et extracôtières du Canada
• Données géospatiales essentielles
• Traité de la frontière internationale entre le Canada et les États-Unis
• Système d’arpentage des terres du Canada
• Géoscience pour la valorisation durable des ressources naturelles
• Gestion des risques liés aux ravageurs
• Changements climatiques liés aux forêts
• Adaptation aux changements climatiques
• Sécurité et sûreté des explosifs
• Géoscience pour assurer la sécurité des Canadiens
• Gestion du risque de feux de végétation
• Programme du plateau continental polaire

On peut lire dans la colonne sous « Valorisation novatrice et durable des ressources naturelles » la description de cette responsabilité essentielle : « Diriger la transformation vers une économie à faible carbone en améliorant le rendement environnemental des secteurs canadiens des ressources naturelles avec l’innovation ainsi qu’une valorisation et une utilisation durables. » On trouve également dans cette colonne les trois résultats ministériels associés à cette responsabilité essentielle et plusieurs indicateurs ministériels associés à chaque résultat ministériel.

Le premier résultat ministériel sous « Valorisation novatrice et durable des ressources naturelles » est le suivant : « Les secteurs des ressources naturelles sont novateurs. » Les quatre indicateurs ministériels associés à ce résultat ministériel sont :

• Le pourcentage de projets d’innovation financés par RNCan menant à de nouvelles propriétés intellectuelles, normes ou de nouveaux règlements;
• Le pourcentage de projets d’innovation axés sur l’énergie propre financés par RNCan progressant selon l’échelle de l’innovation;
• Le nombre de technologies d’exploitation minière verte financées par RNCan, y compris la gestion des déchets et de l’eau, éprouvées avec des démonstrations;
• Le nombre de nouveaux produits forestiers élaborés à l’aide des outils et des connaissances de RNCan.

Le deuxième résultat ministériel sous « Valorisation novatrice et durable des ressources naturelles » est le suivant : « Les technologies propres et l’efficacité énergétique améliorent le rendement économique. » Les trois indicateurs ministériels associés à ce résultat ministériel sont :

• La réussite en termes de rendement économique des démonstrations de technologies propres financées par RNCan;
• Les taux d’investissements à effet de levier dans les projets d’innovation énergétique financés par Ressources naturelles Canada;
• Les économies d’énergie annuelles totales découlant de l’adoption de codes, de normes et de pratiques d’efficacité énergétique.

Le troisième résultat ministériel sous « Valorisation novatrice et durable des ressources naturelles » est le suivant : « Les ressources naturelles du Canada sont durables. » Les six indicateurs ministériels associés à ce résultat ministériel sont :

• Le pourcentage d’électricité canadienne provenant de sources ne produisant pas de GES;
• Le nombre de projets d’énergie renouvelable en collectivités éloignées et d’activités industrielles hors réseau;
• La quantité de bois exploité comparativement à l’approvisionnement durable;
• Le changement dans les émissions de GES attribuables aux démonstrations de technologies propres financées par RNCan;
• Le nombre de postes de charge ou de ravitaillement faibles en carbone mis en place ou terminés;
• Le nombre de politiques et d’initiatives élaborées en collaboration avec des groupes et des collectivités autochtones.

Au bas de la colonne « Valorisation novatrice et durable des ressources naturelles » se trouve une liste des programmes de RNCan associés à cette responsabilité essentielle, qui comprend les programmes suivants :

• Politique, recherche et mobilisation en matière de technologies énergétiques propres
• Croissance propre dans les secteurs des ressources naturelles
• Programme d’innovation énergétique
• Innovation Mines vertes
• Solutions axées sur les fibres
• Aménagement forestier durable
• Effets cumulatifs
• Transport faible en carbone
• Ressources en électricité
• Efficacité énergétique
• Politique en matière d’énergie et de changements climatiques
• Solutions géospatiales novatrices

On peut lire dans la colonne sous « Secteurs des ressources naturelles concurrentiels à l’échelle mondiale » la description de cette responsabilité essentielle : « Renforcer et promouvoir l’accès aux marchés, l’intégration et la compétitivité des secteurs canadiens des ressources naturelles à l’appui de la création d’emplois et de la croissance économique.* » L'astérisque indique que cela inclut également les paiements législatifs pour les hydrocarbures extracôtiers. On trouve également dans cette colonne les trois résultats ministériels associés à cette responsabilité essentielle et plusieurs indicateurs ministériels associés à chaque résultat ministériel.

Le premier résultat ministériel sous « Secteurs des ressources naturelles concurrentiels à l’échelle mondiale » est le suivant : « L’accès à des marchés nouveaux et prioritaires pour les ressources naturelles du Canada est amélioré. » Les quatre indicateurs ministériels associés à ce résultat ministériel sont :

• La part canadienne des importations américaines et étrangères de ressources naturelles;
• Le nombre d’entreprises de ressources appartenant à des intérêts canadiens exploitant à l’étranger;
• Le nombre de missions commerciales et promotionnelles dirigées par RNCan appuyant le développement de marchés des ressources naturelles ou un accès accru aux marchés en place;
• Le nombre moyen d’entreprises, de provinces/territoires et de représentants de groupes autochtones participant aux missions commerciales et promotionnelles.

Le deuxième résultat ministériel sous « Secteurs des ressources naturelles concurrentiels à l’échelle mondiale » est le suivant : « Les Canadiens participent à l’économie nouvelle et inclusive des ressources de l’avenir. » Les trois indicateurs ministériels associés à ce résultat ministériel sont :

• Le pourcentage de changements dans les politiques, les règlements et les lois avec des mécanismes officiels favorisant une vaste mobilisation du public;
• Le nombre de produits d’analyse communs avec les provinces et les territoires;
• Le nombre de groupes et de collectivités autochtones participant aux projets de développement économique.

Le troisième résultat ministériel sous « Secteurs des ressources naturelles concurrentiels à l’échelle mondiale » est le suivant : « La compétitivité des secteurs des ressources naturelles du Canada est accrue. » Les deux indicateurs ministériels associés à ce résultat ministériel sont :

• Le pourcentage de décisions de projets de valorisation des ressources respectant les délais;
• Le nombre de fois que les données de RNCan sur l’économie et les investissements sont consultées.

Au bas de la colonne « Secteurs des ressources naturelles concurrentiels à l’échelle mondiale » se trouve une liste des programmes de RNCan associés à cette responsabilité essentielle, qui comprend les programmes suivants :

• Compétitivité du secteur forestier
• Prestation d’un leadership fédéral dans le secteur des minéraux et des métaux
• Sûreté et sécurité énergétique, et ressources pétrolières
• Mobilisation au titre de l’énergie à l’échelle internationale
• Paiements législatifs pour les hydrocarbures extracôtiers
• Bureau des partenariats avec les Autochtones – Ouest de Ressources naturelles Canada
• Initiative du Bureau de gestion des grands projets
• Programme de stages en sciences et technologie

Annexe 3: Dépenses et ETP de ressources naturelles Canada pour l’année 2019-20 par inventaire de programme

Cadre ministériel des résultats	Réels ETPs	Dépenses réelles	% Total Dépenses réelles
CR#1: Science des ressources naturelles et atténuation des risques
Levés géodésiques du Canada : Le Canada à référence spatiale (NAA1)	38	5 660 256	0,23 %
Connaissances géologiques des terres côtières et extracôtières du Canada (NAB1)	166	28 452 744	1,16 %
Données géospatiales essentielles (NAC1)	128	20 224 378	0,82 %
Traité de la frontière internationale entre le Canada et les États-Unis (NAD1)	11	1 903 933	0,08 %
Système d’arpentage des terres du Canada (NAE1)	104	14 160 011	0,58 %
Géoscience pour la valorisation durable des ressources naturelles (NAF1)	227	35 848 878	1,46 %
Gestion des risques liés aux ravageurs (NAG1)	194	27 332 708	1,11 %
Changements climatiques liés aux forêts (NAH1)	85	10 785 477	0,44 %
Adaptation aux changements climatiques (NAJ1)	25	10 729 399	0,44 %
Sécurité et sûreté des explosifs (NAK1)	66	7 678 854	0,31 %
Géoscience pour assurer la sécurité des Canadiens (NAM1)	126	18 352 891	0,75 %
Gestion du risque de feux de végétation (NAN1)	66	10 350 500	0,42 %
Programme du plateau continental polaire (NAP1)	38	16 208 058	0,66 %
TOTAL: CR#1: Science des ressources naturelles et atténuation des risques	1 274	207 688 086	8 %
CR#2: Valorisation novatrice et durable des ressources naturelles
Politique, recherche et mobilisation en matière de technologies énergétiques propres (NBA1)	581	81 646 157	3,33 %
Croissance propre dans les secteurs des ressources naturelles (NBB1)	36	59 913 759	2,44 %
Programme d’innovation énergétique (NBC1)	104	75 841 182	3,09 %
Innovation Mines vertes (NBD1)	132	19 531 624	0,80 %
Solutions axées sur les fibres (NBE1)	87	13 529 887	0,55 %
Aménagement forestier durable (NBF1)	133	18 945 340	0,77 %
Effets cumulatifs (NBG1)	60	8 629 066	0,35 %
Transport faible en carbone (NBH1)	46	34 558 070	1,41 %
Ressources en électricité (NBJ1)	68	153 193 343	6,24 %
Efficacité énergétique (NBK1)	218	1 003 547 273	40,88 %
Politique en matière d’énergie et de changements climatiques (NBM1)	68	11 867 967	0,48 %
Solutions géospatiales novatrices (NBN1)	113	17 673 492	0,72 %
TOTAL: CR#2: Valorisation novatrice et durable des ressources naturelles	1 645	1 498 877 158	61 %
CR#3: Secteurs des ressources naturelles concurrentiels à l’échelle mondiale
Compétitivité du secteur forestier (NDA1)	132	110 708 833	4,51 %
Prestation d’un leadership fédéral dans le secteur des minéraux et des métaux (NDB1)	108	15 340 827	0,62 %
Sûreté et sécurité énergétique, et ressources pétrolières (NDC1)	77	11 464 602	0,47 %
Mobilisation au titre de l’énergie à l’échelle internationale (NDD1)	37	6 792 282	0,28 %
Paiements législatifs pour les hydrocarbures extracôtiers (NDE1)	-	398 994 779	16,25 %
Bureau des partenariats avec les Autochtones – Ouest de Ressources naturelles Canada (NDF1)	35	19 306 168	0,79 %
Initiative du Bureau de gestion des grands projets (NDG1)	78	24 563 716	1,00 %
Programme de stages en sciences et technologie (NDH1)	3	8 463 574	0,34 %
TOTAL: CR#3: Secteurs des ressources naturelles concurrentiels à l’échelle mondiale	470	595 634 782	24 %
TOTAL: Tous les 33 programmes	3 389	2 302 200 026	94 %

Cadre ministériel des résultats	Réels ETPs	Dépenses réelles	% Total Dépenses réelles
Services internes
Conformité et de la gestion (NC11)	279	39 822 144	1,62 %
Communications (NC12)	118	13 062 262	0,53 %
Serices Juridiques (NC13)	4	7 466 496	0,30 %
Ressources humaines (NC21)	175	20 138 906	0,82 %
Gestion financière (NC22)	112	15 618 763	0,64 %
Gestion de l’information (NC23)	47	8 671 528	0,35 %
Technologie de l’information (NC24)	127	23 701 629	0,97 %
Biens immobiliers (NC31)	72	18 941 458	0,77 %
Gestion du matérial (NC32)	16	1 252 492	0,05 %
Gestion des acquisitions (NC33)	43	3 915 221	0,16 %
Total: Services internes	993	152 590 901	6 %
TOTAL: Ministériel	4 381	2 454 790 927	100 %

La source: SGSI

Annexe 4: Sous-objectifs et critères du projet

L’objectif du projet est d’examiner la conformité de la transition au CMR à la Politique sur les résultats du CT et d’évaluer l’efficacité, ainsi que les impacts de la planification et de la mise en œuvre du CMR (incluant sa mise en place et sa mise à jour) sur la gestion des programmes/services ministériels et la reddition de compte.  Cette annexe présente les sous-objectifs du projet et les critères utilisés pour les évaluer.

Sous-objectifs	Critères
Sous-objectif #1: Évaluer l’adéquation des mécanismes d’évaluation des besoins/priorités ministériels et du risque lors du développement du CMR	1.1 Les besoins et les priorités ministériels en matière de reddition de compte ont été discutés et ont été pris en compte lors de la conception, planification et mise en œuvre pour répondre aux exigences de la Politique sur les résultats mais aussi aux besoins et priorités de RNCan
	1.2 La stratégie de planification de mise en œuvre du CMR a permis d'évaluer les principaux risques, d’ajuster périodiquement l’approche en fonction de ces risques et d'identifier les contrôles atténuants pour atteindre les objectifs prévus de la mise en œuvre
	1.3 La stratégie de planification de mise en œuvre du CMR était basée sur les connaissances et les meilleures pratiques internes et externes au ministère
Sous-objectif #2: Évaluer l’efficacité de la gouvernance	2.1 Les rôles et les responsabilités des différentes fonctions ont été définis conformément aux exigences de la Politique sur les résultats.
	2.2 Les différentes fonctions ont été adéquatement exercées pendant la transition au CMR (Conception, planification et mise en œuvre du CMR et de ses outils)
Sous-objectif #3: Évaluer l’efficacité de la stratégie d’engagement des parties prenantes	3.1 Une stratégie adéquate qui vise l’engagement des parties prenantes est élaborée et utilisée pour la transition au et mise en œuvre du CMR
	3.2 La stratégie d’engagement des parties prenantes est communiquée et mise à jour au fur de la transition au et mise en œuvre du CMR  pour assurer son efficacité
	3.3 La stratégie d’engagement des parties prenantes contribue à une définition efficace des outils de la transition au et mise en œuvre du CMR
Sous-objectif #4: Évaluer l’utilisation des mesures de rendement, et la compréhension des résultats	4.1 La transition au CMR et sa mise à jour permettent de meilleures mesures de rendement des programmes incluant des indicateurs pour l'ACS+ et des langues officielles
	4.2 La transition au CMR et sa mise à jour permettent une meilleure utilisation des informations relatives au rendement des programmes
	4.3 La transition au CMR et sa mise à jour permettent une meilleure compréhension des résultats ministériels à atteindre
Sous-objectif #5:  Évaluer la conformité des outils du CMR et leur effets sur l’amélioration de la reddition de compte	5.1 La transition au CMR permet l’élaboration et la mise en œuvre des différents outils identifiés dans la Politique sur les résultats
	5.2 Les outils élaborés pendant la transition au et la mise en œuvre du CMR sont conformes aux exigences et aux délais identifiés par la Politique sur les résultats
	5.3 Les outils élaborés pendant la transition et la mise en œuvre du CMR permettent une reddition de compte adéquate, en tenant compte de la responsabilité générale des résultats financiers, des indicateurs de rendement pour les programmes et services, des rapports au SM, ministre, SCT.
Sous-objectif #6: Évaluer les mesures de gestion des ressources et de l’efficience et leur impact sur l’atteinte des résultats souhaités de la transition au CMR	6.1 Les ressources sont définies en amont par les secteurs pour la transition au CMR
	6.2 Les ressources sont bien distribuées à travers les secteurs pour la transition au CMR
	6.3 Les processus sont mis en place pour la rétroaction et le rapport sur les ressources pour la transition au CMR