Évaluation du programme de politique en matière d’énergie et de changements climatiques (PECC)

Direction de l’audit et de l’évaluation
Ressources naturelles Canada
18 décembre 2020

Table des matières

• Liste des sigles
• Sommaire
• Introduction
• Objectifs et méthodes de l’évaluation
• Limites de l’évaluation et stratégies d’atténuation
• Constatations : conception du programme
• Constatations : pertinence
• Constatations : exécution du programme
• Conclusions
• Annexe 1 théorie du changement pour le programme PECC (la politique n’est pas linéaire)
• Annexe 2 méthodes et limites des sondages
• Annexe 3 liste des principaux documents de référence
• Annexe 4 l’équipe d’évaluation

Liste des sigles

BPSIH

Bureau de la politique stratégique et de l’investissement en matière d’hydrocarbures

CCIE

Centre canadien d’information sur l’énergie

CCNUCC

Convention-cadre des Nations Unies sur les changements climatiques

CMEM

Conférence des ministres de l’Énergie et des Mines

CPC/dt>

Cadre pancanadien (sur la croissance propre et les changements climatiques)

CT

Conseil du Trésor (du Canada)

DAE

Direction de l’audit et de l’évaluation

DPE

Direction de la politique énergétique

ECCC

Environnement et Changement climatique Canada

GES

Gaz à effet de serre

PECC

Politique en matière d’énergie et de changements climatiques

RNCan

Ressources naturelles Canada

SE

Secteur de l’énergie

SEFEC

Secteur de l’énergie à faibles émissions de carbone

SMA

Sous-ministre adjoint

Sommaire

Au sujet de l’évaluation

Ce rapport présente les résultats, les conclusions et les recommandations de l’évaluation du Programme de politique en matière d’énergie et de changements climatiques (le « Programme PECC » ou simplement le « Programme »). Le Programme formule des conseils stratégiques au ministre des Ressources naturelles, aux hauts fonctionnaires et à d’autres parties prenantes afin d’éclairer la prise de décisions sur des questions liées à l’énergie et au climat, y compris sur la voie à suivre pour le secteur énergétique du Canada. L’évaluation couvre la période de 2014-2015 à 2018-2019. Sur cette période, le Programme a dépensé environ 42 M$.

Bien que la Direction de la politique énergétique (DPE) assure cette fonction depuis un certain nombre d’années, la politique en matière d’énergie et de changements climatiques n’a pas été désignée comme un programme officiel avant l’élaboration du nouveau cadre de résultats ministériels de Ressources naturelles Canada (RNCan). Depuis, le Programme PECC a continué à évoluer. Dans ce contexte, au lieu de mesurer les résultats, cette évaluation formative avait comme objectif d’examiner la conception et l’exécution du programme PECC.

L’évaluation des fonctions de l’élaboration des politiques est relativement rare et méconnue. Le processus d’élaboration des politiques est intrinsèquement complexe et non linéaire, ce qui le rend difficile à mesurer et à évaluer. En 2018, la Direction de l’audit et de l’évaluation de RNCan a travaillé en étroite collaboration avec la Direction de la politique énergétique (DPE) pour élaborer une approche novatrice et prospective de l’évaluation.

L’évaluation a été réalisée en deux étapes :

1. Confirmer ou réviser la théorie du changement du Programme PECC, c’est-à-dire sa logique de résultats, son champ d’application et les relations causales entre ses activités, ses réalisations et ses résultats.
2. Examiner la conception et l’exécution récentes du Programme PECC pour évaluer dans quelle mesure cela lui permet de répondre aux besoins définis et d’atteindre les résultats escomptés, ou du moins avancer dans la bonne direction. Cela inclut la prise en compte des facteurs internes et externes qui pourraient entraver ou faciliter le programme et (dans la mesure du possible) identifier la nature et l’ampleur de leur impact.

Le cadre de départ de cette évaluation était la description du programme et la logique des résultats incluse dans le profil d’information sur le rendement (2017) (PIR) du programme PECC. Facilité par une ressource externe et des idées introduites par cette évaluation, ce cadre a été mis à jour par les représentants du Programme PECC pendant que l’évaluation était en cours.

Les résultats de cette évaluation permettront d’éclairer la conception du Programme PECC au fur et à mesure que ce cadre sera de nouveau mis à jour par le secteur de l’énergie à faibles émissions de carbone (SEFEC). L’évaluation fournit également des renseignements qui peuvent être appliqués pour améliorer la conception et l’exécution d’autres fonctions stratégiques à RNCan.

Constatations de l’évaluation

Conception du programme

L’évaluation a permis de constater que la compréhension et l’articulation de la conception du programme PECC par la Direction de la politique énergétique (DPE) continuent d’évoluer et de s’améliorer. La mesure du rendement des fonctions de l’élaboration des politiques est une activité complexe. Pendant la majeure partie de la période d’évaluation, le Programme PECC disposait d’un cadre de mesure du rendement faible, ce qui a entraîné d’importantes lacunes dans la disponibilité et l’utilité de ses renseignements sur le rendement. Cependant, depuis 2018, le Programme a entrepris des efforts substantiels pour améliorer son PIR, notamment la description du programme, la logique des résultats et les mesures de rendement.

L’analyse effectuée à l’appui de la présente évaluation confirme la logique de résultats révisée pour le Programme, c’est-à-dire que les activités, les extrants et les résultats du programme ont été clairement définis et qu’il est raisonnable de s’attendre à ce que les activités du programme mènent aux résultats prévus. L’analyse s’appuie également sur les progrès réalisés à ce jour pour poursuivre l’élaboration de la théorie du changement pour le Programme et identifier d’autres options que le Programme pourrait explorer lors de l’élaboration de ses mesures de rendement. Les mesures qui seront mises en œuvre doivent renforcer la valeur du Programme selon, par exemple, la nature des relations avec les parties prenantes ou sa capacité à recadrer la compréhension d’une question de politique.

Pertinence

Le Programme PECC est pertinent par rapport aux priorités du gouvernement fédéral et de RNCan en matière d’énergie et de changements climatiques. Les révisions apportées au modèle logique à la suite de la réorganisation du secteur de l’énergie permettent maintenant d’axer plus clairement les résultats sur l’avancement des priorités du Canada en matière d’énergie à faibles émissions de carbone et de changements climatiques. Il est encore nécessaire de clarifier certains points, comme la mesure dans laquelle les priorités du Programme doivent inclure l’adaptation au changement climatique.

L’évaluation a également révélé que les activités du Programme PECC répondent aux besoins des principales parties prenantes. Compte tenu notamment de la compétence partagée en matière d’énergie et de changement climatique, l’engagement des parties prenantes est fondamental pour l’efficacité du Programme PECC. Dans l’ensemble, les publics cibles appropriés ont été engagés ou atteints. Néanmoins, en l’absence d’un plan d’engagement clair, il n’est pas possible d’évaluer pleinement le caractère adéquat de ces collaborations. Quoi qu’il en soit, les données suggèrent la nécessité d’accroître l’engagement dans certains domaines, en particulier auprès des groupes qui sont généralement sous-représentés dans l’élaboration et la mise en œuvre des politiques (les femmes, les jeunes et les peuples autochtones). La campagne « Parité d’ici 30 » du programme PECC est considérée comme un exemple positif à cet égard.

Exécution du programme

Cette évaluation a examiné dans quelle mesure les conditions et les facteurs externes identifiés dans la théorie du changement sont respectés par le programme PECC ou ont un impact sur la réalisation de ses activités. Dans l’ensemble, la mise en œuvre du programme est efficace, mais elle peut être améliorée. Les constatations suivantes ressortent d’une analyse des cinq catégories incluses dans la théorie du changement : 

• Gestion de projet : Il est démontré qu’une gestion efficace des processus en réponse à des ressources limitées a lieu, les ressources humaines et financières étant allouées en fonction des besoins pour répondre aux priorités. Cependant, ces ressources ne concordent pas toujours avec les demandes de travail actuelles ou futures, étant donné le nombre croissant et le champ d’application des initiatives fédérales en matière d’énergie et de changements climatiques. Les données suggèrent que la Direction de la politique énergétique (DPE) pourrait être plus efficace pour obtenir un financement durable afin de soutenir ces initiatives. La compétence du personnel en place est considérée comme un point fort du programme, mais des problèmes de recrutement et de rétention du personnel ont été constatés, notamment pour les postes de cadres supérieurs. Les raisons de cette situation ne sont pas entièrement claires.
• Qualité des politiques : Il est démontré que le programme PECC produit des politiques de qualité, neutres et fondées sur des preuves. Le changement climatique est un vaste sujet qui touche à tous les aspects du mandat de RNCan, y compris un très large éventail de parties prenantes, tant à l’intérieur qu’à l’extérieur du gouvernement, qui ont des points de vue particuliers sur le sujet. Bien que le Programme aurait la possibilité de mieux refléter les points de vue des autres secteurs de RNCan dans ses produits internes, le sujet est complexe et exige un équilibre des intérêts pour que les produits stratégiques reflètent ces points de vue parfois divergents. Le programme PECC travaille également activement au lancement du Centre canadien d’information sur l’énergie, qui devrait combler le manque actuel d’un accès à des renseignements fiables, transparents et fondés sur des données scientifiques, qui serviront à éclairer les décisions. Un tel accès devrait permettre aux Canadiens et au Programme PECC d’effectuer des analyses plus poussées des données économiques et énergétiques et est essentiel à un dialogue significatif sur l’énergie et le changement climatique.
• Engagement des parties prenantes : La transition énergétique à faibles émissions de carbone du Canada ne peut être réalisée sans collaboration. Il semble que les politiques du programme PECC atteignent les publics cibles, mais des facteurs externes (p. ex., les relations avec d’autres intervenants politiques) jouent sur la mesure dans laquelle ces produits influencent les points de vue des parties prenantes ou se traduisent par des actions concrètes. Le programme PECC s’efforce également de faire participer les parties prenantes et d’inclure leurs points de vue dans les exercices de l’élaboration des politiques clés, mais certaines parties prenantes (en particulier les groupes sous-représentés) peuvent ne pas avoir la capacité ou les occasions pour participer. Il y a donc un risque que les points de vue de certaines parties prenantes ne soient pas recueillis et transmis ou de manquer des occasions de recueillir de nouvelles perspectives ou de nouvelles solutions. Comme l’illustre l’exemple de Génération Énergie, l’évaluation a aussi permis de constater que l’engagement n’est pas une fin en soi. Les voies indiquées par Génération Énergie sont devenues le fondement des conseils de RNCan au gouvernement sur la façon de faire progresser la transition vers une énergie à faibles émissions de carbone au Canada, mais les changements apportés au contexte politique général ont eu une incidence sur la capacité de RNCan à commencer à mettre en œuvre ses recommandations. Les parties prenantes ont besoin de voir des actions concrètes, sinon elles risquent d’arrêter de s’investir.
• Cadre stratégique: La mesure dans laquelle le cadre stratégique soutient le Programme PECC et ses résultats est un facteur externe clé qui a un impact sur l’exécution du programme. Comme pour tous les programmes similaires, l’élaboration des politiques au sein du Programme PECC est largement influencée par les priorités du gouvernement, qui peuvent changer ou évoluer rapidement en fonction du contexte.
• Avantage relatif : Conformément à la théorie du changement du Programme PECC, la capacité du Programme à contribuer à l’avancement des priorités du Canada en matière d’énergie à faibles émissions en carbone et de changement climatique exige que les parties prenantes internes et externes utilisent ses conseils et ses analyses dans la prise de décision. Leur motivation ou leur désir de le faire suppose également qu’il y a un avantage réel ou perçu à tirer de l’adoption de la politique, décision ou pratique qui en résulte. Le programme PECC joue actuellement un rôle important dans la compréhension et l’intégration des points de vue parfois polarisés des parties prenantes afin de formuler des options ou des solutions politiques adaptées. À l’avenir, ses conseils en matière de politique doivent continuer à reconnaître la tension inhérente entre les priorités en matière d’énergie et d’environnement et identifier activement les possibilités de rapprocher les deux.

Recommandations et réponses de la direction

Recommandation	Réponse de la direction
Le SMA du SEFEC doit terminer la mise à jour du PIR du Programme, y compris la révision de la théorie du programme et de la logique des résultats. Celui-ci doit aussi aider le programme PECC à élaborer et à tester des indicateurs afin de faciliter leur utilisation en tant que mesures significatives de la performance du programme.	Recommandation acceptée. Le PIR du PECC sera mis à jour. Cette mise à jour comprendra un modèle logique révisé, une théorie du changement et au moins un indicateur qui est plus pertinent pour mesurer la performance significative du programme. L’indicateur étant plus expérimental que celui utilisé les années précédentes, les résultats seront testés et éventuellement ajustés au fil du temps en fonction du retour d’information. Date d’échéance : 31 décembre 2020.
En travaillant au besoin avec d’autres secteurs, le SMA du SEFEC doit s’appuyer sur les enseignements tirés de cette évaluation pour élaborer et maintenir un plan d’engagement des parties prenantes pour le programme PECC. Ce plan doit prendre en compte les éléments suivants : Qui doit être consulté/mobilisé, et pour quelles raisons; La nature ou le niveau de collaboration souhaité dans les engagements; Des mécanismes permettant de faire participer les groupes sous-représentés; Des mécanismes pour maintenir des réseaux de contacts clés; et Des boucles de rétroaction nécessaires pour informer les parties prenantes des résultats des collaborations.	Recommandation acceptée. En 2020-2021, le SEFEC a élaboré des plans d’engagement des parties prenantes pour des priorités politiques, notamment : l’élaboration d’une stratégie pour l’hydrogène et d’un plan d’action pour les petits réacteurs modulaires, et des consultations sur la gestion des déchets radioactifs. À partir de 2021-2022, ce secteur inclura, dans le cadre de son plan d’activité annuel, un plan d’engagement des parties prenantes qui reflétera les éléments décrits dans la recommandation. Ce plan fournira une approche intégrée pour gérer ces activités dans le contexte des priorités plus larges du secteur. Date d’échéance : 31 août 2021.
Le SMA du SEFEC doit effectuer un examen interne des processus opérationnels du programme PECC afin de déterminer les ressources et les outils disponibles pour l’exécution du Programme, et élaborer un plan pour s’assurer que sa capacité d’exécution continue d’être alignée sur les activités.	Recommandation acceptée. À la suite de la réorganisation ministérielle qui a créé le SEFEC en 2019, le nouveau secteur a entrepris un examen de ses activités qui a conduit à une réorganisation de la Direction générale, annoncée en juin 2020. La réorganisation comprenait l’intégration de la direction générale de la politique énergétique aux fonctions internationales de la direction générale de l’énergie internationale, en reconnaissance de l’espace politique en évolution et en transformation dans lequel le Programme travaille. Un examen des opérations de la nouvelle Direction générale de la politique énergétique et des affaires internationales est en cours afin de s’assurer que les ressources et les outils sont bien harmonisés entre ses différents domaines de travail. Cet examen débouchera sur un plan visant à garantir que les capacités de la direction sont alignées sur ses activités, notamment à la lumière de son rôle de coordination de la mise en œuvre des mesures de RNCan à l’appui du plan climatique renforcé du gouvernement. Date d’échéance : 30 juin 2021.
Le SMA du SEFEC doit « boucler la boucle » de Génération Énergie en fournissant aux parties prenantes qui ont participé aux dialogues des mises à jour périodiques sur les mesures prises à ce jour ou sur les engagements futurs du gouvernement.	Recommandation acceptée. Le Programme joue un rôle clé dans l’avancement des priorités du gouvernement liées à la transition vers une économie à faible émission de carbone et à la lutte contre les changements climatiques. Ces priorités ont été éclairées par le processus et les recommandations de Génération Énergie. Le Programme élaborera des approches pour communiquer aux parties prenantes et au public la façon dont Génération Énergie a informé les divers éléments du plan climatique renforcé du gouvernement. Date d’échéance : 30 juin 2021.

Introduction

Ce rapport présente les résultats, les conclusions et les recommandations de l’évaluation formative du Programme de politique en matière d’énergie et de changements climatiques (le « Programme PECC » ou simplement le « Programme »). L’évaluation examine l’exécution du programme sur la période allant de 2014-2015 à 2018-2019. La Direction de l’audit et de l’évaluation (DAE) de Ressources naturelles Canada (RNCan) a entrepris l’évaluation entre décembre 2018 et février 2020. Elle a été menée conformément à la politique sur les résultats du Conseil du Trésor (CT) du Canada (2016).

Information sur le programme

Bien que la Direction de la politique énergétique (DPE) assure cette fonction depuis un certain nombre d’années, la PECC n’a pas été désignée comme un programme officiel avant l’élaboration du nouveau cadre de résultats ministériels de RNCan. Le Programme PECC est maintenant le programme 2.11 dans l’inventaire des programmes de RNCan. Le Programme formule des conseils stratégiques au ministre des Ressources naturelles, aux hauts fonctionnaires et à d’autres parties prenantes afin d’éclairer la prise de décisions sur des questions liées à l’énergie et au climat, y compris sur la voie à suivre pour le secteur énergétique du Canada. Il sert de pivot central de la politique énergétique du gouvernement fédéral dans la transition vers une économie de ressources à faible émission de carbone, durable, inclusive et concurrentielle.

Dans le cadre de ses quatre fonctions principales, le Programme PECC :

1. Effectue des recherches et des analyses économiques pour appuyer l’élaboration de politiques et fournir au public des données, des prévisions et d’autres renseignements sur le secteur énergétique du Canada. Cette activité produit des outils et des produits d’information pour les décideurs et le public, comme le Cahier d’information sur l’énergie de RNCan et le Centre canadien d’information sur l’énergie (CCIE) récemment annoncé.
2. Effectue et consolide des recherches et des analyses politiques dans tous les sous-secteurs de l’énergie (le pétrole et le gaz, l’efficacité énergétique, les énergies renouvelables, le nucléaire, la technologie et l’innovation, etc.) sur les questions liées à l’énergie et au changement climatique. Les principaux résultats de cette activité comprennent des produits d’orientation, de conseil et d’information (p. ex., des études, des notes d’information et des documents de politique) destinés aux décideurs internes et les produits de l’élaboration des politiques (p. ex., les mémoires au Cabinet et les présentations au CT).
3. Coordonner avec les fonctionnaires de RNCan et des autres ministères la participation de RNCan aux initiatives pangouvernementales en matière d’énergie et de changement climatique, comme la Stratégie canadienne de l’énergie et le Cadre pancanadien sur la croissance propre et les changements climatiques.
4. Collaborer avec les parties prenantes du secteur de l’énergie. Au cœur du Programme PECC, cela comprend l’engagement avec les parties prenantes concernées pour informer les priorités gouvernementales, élaborer et influencer les programmes gouvernementaux, promouvoir l’échange de connaissances par le biais de réseaux et de partenariats visant à réduire les émissions de gaz à effet de serre, et élaborer, influencer et promouvoir les options politiques qui conduisent le secteur vers un avenir énergétique compétitif et à faible émission de carbone. Grâce à ces engagements, le programme s’efforce de recueillir et de transmettre les points de vue des parties prenantes aux décideurs. Ces collaborations peuvent être permanentes (p. ex., la conférence annuelle des ministres de l’Énergie et des Mines [CMEM]) ou ad hoc (p. ex. les discussions avec Génération Énergie).

Le travail de révision de la présentation de la logique du Programme, y compris l’articulation de ses résultats attendus, est toujours en cours (voir la section sur la conception du programme).

Gouvernance du programme

Ce programme est sous la responsabilité du directeur général de la Direction de la politique énergétique (DPE). Cette Direction a trois axes : (1) politique stratégique de l’énergie; (2) politique de l’énergie et de l’environnement; et (3) analyse énergétique et économique. Chaque axe fournit des services et une expertise politiques spécialisés qui soutiennent le programme de transformation énergétique (figure 1).

Figure 1 : Rôle des axes de la DPE

Pendant la majeure partie de la période d’évaluation, la DPE relevait du sous-ministre adjoint (SMA) du Secteur de l’énergie de RNCan. En octobre 2019, une réorganisation du ministère a réparti la responsabilité de s’attaquer aux priorités liées à l’énergie sur trois équipes :

• Le secteur de l’énergie à faibles émissions de carbone (SEFEC) s’occupe des politiques stratégiques de l’énergie, de l’énergie propre, de l’énergie renouvelable et de l’efficacité énergétique.
• Le bureau de la politique stratégique et de l’investissement en matière d’hydrocarbures (BPSIH) a pour mandat de faire avancer les priorités stratégiques du secteur pétrolier et gazier du Canada sur les marchés internationaux et nationaux. Le BPSIH comprend également le Centre de recherche CanmetÉNERGIE (Devon, Alberta), qui s’efforce de renforcer les partenariats énergétiques avec l’industrie, les provinces et le milieu universitaire afin de mieux intégrer la recherche appuyant la science et l’innovation dans le secteur pétrolier et gazier, et un nouveau rôle consultatif spécial pour gérer les questions énergétiques émergentes. De plus, le SMA du BPSIH continue d’assurer le leadership dans les dossiers liés aux grands projets d’électrification, tels que les initiatives d’électrification du Bas Churchill et de la Colombie-Britannique.
• Le secteur des technologies de l’énergie (STE) dirige la recherche et le développement pour fournir des solutions d’énergie propre liées à la politique énergétique et à l’innovation.

Cette réorganisation reconnaît que l’accès à une énergie fiable, abordable et durable figure parmi les principales priorités des Canadiens et des investisseurs. Le travail de ces trois équipes sera coordonné par un nouveau comité sur l’avenir énergétique présidé par le sous-ministre afin de produire des résultats pour les Canadiens.

La DPE est désormais sous la responsabilité du SMA du SEFEC. Au moins pendant cette période de transition, elle continue également à fournir des services de politique générale, selon les besoins, pour soutenir le SMA du BPSIH. Bien que la DPE travaille en étroite collaboration avec le STE, elle ne fournit pas de soutien politique direct à ce secteur.

Par ailleurs, la DPE travaille de concert avec le soutien stratégique offert ailleurs, tant au sein du SEFEC, comme la direction de l’énergie internationale et la division de l’analyse et de la politique de la demande de l’Office de l’efficacité énergétique, qu’à l’échelle de RNCan (p. ex. l’Office de recherche et de développement énergétiques du STE, la direction des impacts et de l’adaptation liés aux changements climatiques du secteur des terres et des minéraux, et la direction de l’intégration des politiques scientifiques du Service canadien des forêts).

Objectifs et méthodes de l’évaluation

Cette évaluation examine l’exécution du programme sur la période allant de 2014-2015 à 2018-2019 (en tenant compte des événements récents). Depuis son officialisation en 2017, le Programme PECC n’a cessé d’évoluer. Dans ce contexte, plutôt que de se concentrer sur l’atteinte des résultats, l’objectif de cette évaluation formative était d’examiner la conception et l’exécution du programme, et les implications connexes pour sa capacité à répondre aux besoins définis et à atteindre les résultats escomptés.

L’évaluation était articulée sur les questions suivantes :

Conception du programme

1. Quelle est la logique de résultats du programme PECC?
2. Quelles sont les relations de cause à effet entre les activités et les réalisations du Programme et les résultats escomptés?
3. Quels sont les facteurs influençant la capacité du Programme à répondre aux besoins prévus et à atteindre les résultats escomptés?
4. Dans quelle mesure le Programme recueille-t-il (ou est-il en mesure de recueillir) des renseignements sur le rendement qui sont (ou peuvent être) utilisés pour évaluer son efficacité et son efficience?

Pertinence

5. Dans quelle mesure la conception et l’exécution du programme PECC répondent-elles aux priorités du gouvernement fédéral et des ministères, ou s’alignent-elles sur celles-ci?
6. Dans quelle mesure la conception et l’exécution du programme PECC répondent-elles aux besoins des principales parties prenantes?

Exécution du programme

7. Dans quelle mesure le programme PECC est-il exécuté de manière à faciliter l’atteinte des résultats?
8. Dans quelle mesure les ressources humaines et financières du Programme sont-elles harmonisées pour appuyer la réalisation des priorités pertinentes du gouvernement fédéral et de RNCan?

En 2018, la DAE a travaillé en étroite collaboration avec la DPE pour élaborer une approche d’évaluation innovante qui serait de nature formative (c’est-à-dire tournée vers l’avenir).

L’évaluation a été réalisée en deux étapes :

1. Définir ou confirmer les principales parties prenantes du Programme et leurs besoins pour le programme (y compris les priorités gouvernementales et ministérielles pertinentes), et confirmer ou réviser la théorie du changement du Programme, c’est-à-dire sa logique de résultats et les relations causales entre ses activités, ses produits et ses résultats.
2. Examiner la conception et l’exécution du Programme PECC depuis 2014-2015 pour évaluer dans quelle mesure cela lui permet de répondre aux besoins définis et d’atteindre les résultats escomptés, ou du moins avancer dans la bonne direction. Cela comprend l’examen des relations de cause à effet et des différentes parties prenantes impliquées ou touchées à chaque échelon du modèle logique, ainsi que des facteurs internes et externes qui pourraient entraver ou faciliter le programme et (dans la mesure du possible) la nature et l’ampleur de leur impact.

L’évaluation des fonctions d’élaboration des politiques est relativement rare et méconnue. La conception de cette évaluation s’inspire des pratiques méthodologiques décrites dans le projet de guide du Secrétariat du CT sur l’évaluation des fonctions de politiques : Exploration des concepts et des outils. La validité de l’approche d’évaluation a également été confirmée par un conseiller externe engagé pour son expertise en matière d’évaluation de programmes d’élaboration des politiques. L’évaluation a également tiré parti des connaissances et de l’expérience de cette ressource externe pour faciliter l’intégration des pratiques exemplaires connexes.

La DPE a activement participé à cette évaluation et a travaillé en étroite collaboration avec la ressource externe susmentionnée pour élaborer une nouvelle théorie du changement pour sa fonction d’élaboration des politiques, y compris l’introduction de nouvelles approches pour mesurer l’efficacité de ce travail. Les résultats de cette évaluation contribueront à la conception du programme PECC tel qu’il est mis à jour par le SEFEC.

L’évaluation formative se prête à des méthodes de sondage qualitatives. Cette évaluation s’est appuyée sur quatre sources de données clés, principalement des données qualitatives (tableau 1).

Tableau 1 : Méthodes d’évaluation

Limites de l’évaluation et stratégies d’atténuation

• Le cadre de départ de cette évaluation était la description du programme et la logique des résultats incluse dans le profil d’information sur le rendement (PIR) du Programme PECC. Reconnu comme déficient, ce cadre a été mis à jour par les représentants du Programme pendant que l’évaluation était en cours. Ces mises à jour ont été facilitées par une ressource externe et les apprentissages faits pendant cette évaluation. Les révisions connexes et les changements additionnels apportés à la conception du programme au cours de l’évaluation (p. ex., le transfert des activités et des résultats internationaux du Programme au programme international d’engagement énergétique, des changements à la haute direction de RNCan ayant une incidence sur la structure de gouvernance du Programme) sont pris en compte dans l’analyse de l’évaluation.
• Une théorie détaillée du changement pour le Programme a été élaborée dans le cadre de cette évaluation formative. Par conséquent, les renseignements relatifs à la mesure dans laquelle le Programme s’aligne sur certaines conditions et certains facteurs externes étaient limités, car ils n’avaient pas encore été cernés au début de l’évaluation.
• Des entretiens approfondis ont été réalisés, mais reste que le Programme a un très large éventail de parties prenantes ciblées. En particulier, les points de vue des représentants sectoriels ou des organismes environnementaux non gouvernementaux peuvent être sous-représentés dans l’analyse des entretiens. Lorsque cela était possible, cette limite a été atténuée en tenant compte des preuves secondaires des besoins et des perspectives des parties prenantes trouvées dans les documents du Programme.
• Beaucoup connaissaient généralement la DPE, mais le Programme lui-même n’est pas bien connu ou compris par les parties prenantes internes ou externes. Cela a limité la capacité de ces parties prenantes à fournir des perspectives éclairées sur la conception du programme. Pour atténuer cette limitation, les évaluateurs ont fourni à toutes les personnes interrogées un feuillet résumant ces éléments clés de la conception et la logique des résultats sur la base des renseignements contenus dans le PIR le plus récent. Dans la mesure du possible, les perspectives des parties prenantes sur l’exécution du programme ont également été validées par rapport aux preuves présentées dans l’examen des documents.
• Des contraintes particulières ont été rencontrées lors de la réalisation des sondages. L’annexe 2 contient un descriptif de ces contraintes et des limitations qu’elles ajoutent.

Constatations : conception du programme

Comme l’indique le document provisoire du Secrétariat du Conseil du Trésor du Canada intitulé Évaluation des fonctions de politique : explorer les concepts et les outils, la compréhension des processus d’élaboration des politiques est une première étape importante dans la planification des évaluations d’une fonction de politique telle que le programme PECC (voir encadré 1).

Encadré 1 : Définir la « fonction politique »

Le cadre de départ de cette évaluation était la description du programme et la logique des résultats incluse dans le PIR du Programme PECC. (2017) Facilité par une ressource externe et des idées introduites par cette évaluation, ce cadre a été mis à jour par les représentants du Programme PECC pendant que l’évaluation était en cours. La figure 2 est une présentation visuelle de la logique actuelle des résultats du programme.

L’analyse effectuée à l’appui de la présente évaluation confirme la logique de résultats révisée pour le Programme, c’est-à-dire que les activités, les extrants et les résultats du programme ont été clairement définis et qu’il est raisonnable de s’attendre à ce que les activités du programme mènent aux résultats prévus. Cependant, la logique des résultats pour les fonctions politiques est complexe. Bien que présentées comme un modèle linéaire, les activités du programme sont en fait itératives et interdépendantes, et non discrètes ou linéaires. Par exemple, les points de vue des parties prenantes sont utilisés pour améliorer les produits d’information, qui seront à leur tour utilisés pour définir les politiques et affiner la compréhension du problème abordé. Par conséquent, de multiples chaînes de résultats avec des interactions dynamiques sont susceptibles d’être réalisées. Ces chaînes interagissent également avec des facteurs externes qui peuvent influencer les résultats attendus. Cela est conforme à la théorie de la littérature sur l’élaboration des politiques.

Figure 2 : Modèle logique du programme de politique en matière d’énergie et de changements climatiques

Version texte

Figure 2. Modèle logique du Programme de politique en matière d’énergie et de changements climatiques. Le modèle logique est présenté sous la forme d’une série de cases en cinq colonnes, de gauche à droite. La première colonne, les activités. Case 1, effectuer une analyse économique et des données. Case 2, mener des recherches et des analyses sur les politiques. Case 3, coordonner avec les responsables du ministère. Case 4, collaborer avec les parties prenantes du secteur de l’énergie. Passons à la deuxième colonne, les extrants. Un, outils et produits d’information pour les décideurs et le public. Deux, les perspectives des parties prenantes. Passons à la troisième colonne, les résultats immédiats. Un, les décideurs du gouvernement fédéral et les parties prenantes ont accès à des outils et à des renseignements pour soutenir les décisions et les négociations sur les questions énergétiques clés. Deux, mobilisation et sensibilisation des parties prenantes appropriées et nécessaires du gouvernement fédéral. Trois, mobilisation et sensibilisation des parties prenantes nationales appropriées. Passons à la quatrième colonne, les résultats intermédiaires. Un, utilisation des conseils et des analyses du Programme de politique en matière d’énergie et de changements climatiques par les décideurs et responsables politiques du gouvernement fédéral du Canada dans leurs décisions. Deux, utilisation des renseignements par les groupes nationaux d’intervenants dans leurs décisions, politiques et pratiques. Passons à la cinquième et dernière colonne avec une seule case, les résultats finaux, les priorités du Canada en matière d’énergie à faibles émissions de carbone et de changement climatique sont avancées. Un élément rectangulaire intitulé « hypothèses et facteurs » sous-tend toutes les phases du modèle logique, avec des connexions bidirectionnelles entre les hypothèses et les facteurs et le reste du modèle logique.

Comme le montre la figure 2, les récentes mises à jour du PIR du Programme effectuées par la DPE reconnaissent également que cette fonction de politiques ne se limite pas à produire des renseignements pour les décideurs. La théorie du changement pour le Programme PECC est maintenant décrite comme trois flux d’activités (ou fonctions distinctes), chacun fournissant sa propre proposition de valeur. Voici ces composantes :

• Élaboration de politiques en tant que service professionnel : Ce domaine concerne les activités et les résultats qui constituent le travail de base de tout groupe d’élaboration de politiques. Il s’agit notamment d’organiser des données, de mener des recherches et des analyses, et de préparer des présentations écrites et orales pour s’assurer que les parties prenantes internes et externes disposent des renseignements dont elles ont besoin pour prendre des décisions. Pour le Programme PECC, il s’agit également de fournir un soutien politique à la haute direction et aux organismes centraux afin de faire progresser les principales priorités en matière d’énergie, de coordonner les contributions de RNCan aux initiatives gouvernementales en matière d’énergie et de changement climatique et d’en rendre compte, et d’effectuer des analyses économiques et statistiques des questions énergétiques pour les fonctionnaires du ministère, les parties prenantes et les partenaires internationaux. Cette catégorie de travail soutient les résultats de plus haut niveau liés l’élaboration des politiques en tant que fonction de rassemblement et à l’influence et la surveillance de la politique.
• Élaboration des politiques comme fonction rassembleuse : Il s’agit des activités, produits et résultats immédiats du Programme. Il s’agit notamment de s’assurer que les ressources sont appliquées de manière appropriée aux fonctions de conseil, de coordination et autres fonctions clés pour permettre la création d’un forum ou d’un groupe de collaboration qui représente une communauté cible sur une question particulière liée à l’énergie ou au changement climatique. Cette approche permet des échanges constructifs des participants afin qu’ils prennent conscience du processus d’élaboration de la politique et qu’ils apportent leur contribution aux propositions connexes. Il est désormais reconnu que la convocation est essentielle aux résultats du Programme PECC. Il s’agit d’un changement fondamental dans la conception; les modèles logiques préexistants ne comportaient aucune trace d’engagement effectif dans le cadre de la théorie du Programme.
• Influence et contrôle des politiques : Il s’agit des activités, des produits et des résultats immédiats et intermédiaires du Programme. Cela comprend diverses activités qui mènent à des résultats politiques clés (des orientations ou des options) et qui touchent une communauté ou un utilisateur cible clé. Ces groupes sont mobilisés dans un dialogue constructif, ce qui permet de mieux comprendre l’impact de la politique et son approche. Grâce à l’échange d’information, aux preuves et au dialogue constructif, les personnes influencées par l’approche décident d’accepter et de mettre en œuvre la politique, ce qui entraîne des changements systémiques plus larges dans le système énergétique.

L’évaluation a utilisé les preuves recueillies par chacune de ses méthodes pour poursuivre le développement de la théorie du changement pour le Programme PECC (annexe 1). Dans ce modèle, on tient compte des points suivants :

• La logique des résultats du Programme (modèle logique);
• Les relations causales qui expliquent la logique des résultats;
• Les conditions et les facteurs externes qui influencent les résultats escomptés; et
• Les sphères d’influence du Programme.

Encadré 2 : qu’est-ce qu’une théorie du changement?

Il existe de nombreuses conditions et facteurs externes qui influencent les résultats escomptés du Programme PECC. Le modèle de l’annexe 1 les regroupe en cinq grandes catégories :

Les sphères d’influence sont également une considération importante dans cette analyse (figure 3). Toutes les conditions et tous les facteurs contextuels – y compris ceux qui ne peuvent être contrôlés ou influencés – auront un impact sur l’efficacité du Programme. Bien que de nombreux éléments de la théorie du changement du Programme PECC soient sous son contrôle ou son influence directe, comme pour tous les programmes, à mesure que l’on remonte la chaîne des résultats, ce contrôle s’affaiblit et il devient plus difficile d’attribuer les résultats directement aux interventions du Programme. Par exemple, le programme PECC peut contrôler qui est invité à participer à une activité de mobilisation, mais ne peut pas contrôler les parties prenantes qui décident de participer. De même, le Programme peut influencer l’utilisation des conseils et des analyses en faisant connaître ses produits ou ses outils, mais il ne peut pas contrôler la mesure dans laquelle les parties prenantes les utilisent pour prendre des décisions. Les mesures supplémentaires que le Programme PECC peut prendre pour accroître sa pertinence ou améliorer sa conception et son exécution doivent tenir compte de cette influence, mais ne doivent pas nécessairement se limiter à la sphère du « contrôle direct. »

Figure 3 : Sphères d’influence du Programme

L’équipe de l’évaluation encourage le Programme PECC à tenir compte des conditions et des facteurs externes de la théorie du changement présentée dans ce rapport d’évaluation lorsqu’il s’apprête à revoir et à réviser la conception de son programme et ses mesures de rendement.

Il existe un certain nombre d’approches théoriques de l’évaluation, avec une caractéristique commune : toutes développent une théorie du changement pour l’intervention et vérifient ensuite dans quelle mesure la théorie correspond à ce qui est observé. De même, l’étape suivante de notre analyse consistait à examiner le rendement, c’est-à-dire la mesure dans laquelle les conditions définies dans la théorie du changement sont remplies par le Programme PECC ou ont une incidence sur son exécution.

La littérature soutient à la fois la valeur et le défi de mesurer la performance des fonctions de politiques. Comme le décrit le Bureau du vérificateur général (BVG) du Manitoba dans son Guide d’élaboration des politiques (2003), en l’absence d’information sur la façon dont les politiques précédentes ou le processus d’élaboration des politiques ont fonctionné, l’élaboration des politiques peut être un exercice fait « à l’aveugle » et risque de perpétuer des approches politiques qui ne fonctionnent peut-être pas. S’appuyer sur des plaintes ou des commentaires de la part des clients et des parties prenantes peut créer un faux sentiment de sécurité.

Pourtant, comme nous l’avons vu, le processus d’élaboration des politiques est complexe. Les approches de la mesure du rendement qui fonctionnent bien pour le reste des programmes de RNCan peuvent ne pas fonctionner aussi bien lorsqu’elles sont appliquées à un programme de politiques. L’attribution des résultats aux activités ou aux produits spécifiques d’une fonction de politiques pose un problème inhérent et aigu. Les mesures ont tendance à être quantitatives et à porter sur la production de produits plutôt que sur la réalisation de résultats, ou à se concentrer uniquement sur les décisions et les actions (la proportion de recommandations adoptées), qui peuvent être fortement influencées par des facteurs externes.

Pendant la majeure partie de la période d’évaluation, le cadre de mesure du rendement du Programme était faible. Bien qu’il ait été en mesure de produire les mesures requises pour les rapports d’entreprise (p. ex. les contributions de RNCan à la Stratégie fédérale de développement durable ou au Cadre pancanadien), ces mesures communiquées au public ont tendance à être axées sur la mise en œuvre des politiques (résultats des programmes) et non sur l’élaboration des politiques. Les éléments d’évaluation suggèrent également que le Programme n’a pas disposé d’outils, de processus et de mécanismes adéquats pour assurer un suivi et un compte rendu efficaces du rendement. Il existe donc d’importantes lacunes dans la disponibilité et l’utilité des informations existantes sur son rendement.

Toutefois, depuis 2018, le Programme PECC a entrepris des initiatives visant à améliorer ses paramètres de rendement. Par exemple, son récent sondage sur la connaissance et l’utilisation de son cahier d’information sur l’énergie (voir annexe 2) a permis de tester l’utilité de cet outil en tant qu’indicateur de la mesure dans laquelle les destinataires (les décideurs ou les personnes influentes) utilisent, directement ou indirectement, les produits, initiatives ou activités politiques pour informer ou faire progresser un résultat politique souhaité. Compte tenu des difficultés que pose l’évaluation du rendement d’une fonction de politiques, le Programme PECC doit être soutenu et disposer de l’espace nécessaire pour innover et expérimenter de nouveaux paramètres. Éclairées par la présente évaluation, les mesures qui seront mises en œuvre doivent renforcer la valeur du Programme selon, par exemple, la nature des relations avec les parties prenantes ou sa capacité à recadrer la compréhension d’une question de politiques, et non pas porter sur le nombre de produits (voir les exemples génériques au tableau 2).

Le Programme PECC a également ajouté récemment des mesures liées au Centre canadien d’information sur l’énergie (CCIE) à son PIR. Bien que la faisabilité de la collecte de données basée sur ces paramètres doive encore être testée, celles-ci présentent un potentiel en tant que paramètres de performance utiles liés à la fois à la qualité et à l’utilisation des informations sur l’énergie.

Tableau 2 : Un « menu » de base de paramètres pour mesurer les résultats des programmes politiques

Résultats	Influence du programme de politiques sur le résultat	« Menu » des mesures des résultats des politiques
Engagement	Créer des réseaux et des partenariats qui soutiennent la mise en œuvre du changement. Promouvoir le dialogue, l’échange et l’apprentissage entre les membres (du réseau). Convoquer des organismes ou des personnes (qui ne communiqueraient pas autrement entre elles de cette manière).	Type d’engagement (réseau, coopération, coordination, collaboration). Étendue de l’engagement (degré de participation, couverture des groupes). Qualité de l’engagement (le caractère direct, la clarté ou la rapidité de la communication). Degré d’établissement de relations (ouverture, échange d’information et transparence entre les acteurs).
Réactions	Changer les perceptions – accroître la sensibilisation et façonner l’opinion des parties prenantes. Cela inclut notamment la satisfaction des utilisateurs.	Type (positif ou négatif) et degré des pensées, sentiments et réactions de l’expérience.
Apprentissage	Établissement d’un programme – changements dans les priorités des décideurs politiques, avec une attention portée à des questions auparavant sous-estimées. Développer les capacités – améliorer la compréhension approfondie d’une question, et améliorer la façon dont les décideurs politiques y répondent. Des changements dans le cadrage des politiques – des changements dans la façon dont les décideurs politiques comprennent un problème ou les réponses possibles à celui-ci.	Degré de changement dans la prise de conscience, les connaissances, la compréhension, les attitudes, les compétences, les aspirations, les engagements ou les priorités.
Décisions et mesures à prendre	Changer les institutions – influencer la politique, la stratégie et l’allocation des ressources, y compris l’élaboration de cadres juridiques, réglementaires et sociaux. Changements dans la manière dont la politique est mise en œuvre – changement substantiel dans la manière dont la politique est mise en œuvre ou dans la manière dont la politique est mise à disposition des destinataires. Modifications du contenu de la politique – modifications substantielles du contenu de la politique ou des ressources allouées.	Degré ou étendue de l’adoption d’un contenu politique nouveau ou spécifique ou de modifications des politiques (contenu), des pratiques, des protocoles, des processus ou de l’exécution.

Source : Adapté de S. Montague (2014)

L’analyse documentaire de l’évaluation a également été utile pour trouver d’autres options que le Programme PECC pourrait explorer lors de l’élaboration de ses paramètres de rendement. Outre les mesures directes des produits et des résultats du programme, cette liste suggère des mesures des conditions influençant la réalisation des résultats définis dans la théorie du changement (annexe 1). Cela comprend ce qui suit :

• Qualité des produits. Lié aux « réactions » et à l’« apprentissage » du tableau 2, ce processus pourrait inclure des évaluations qualitatives des attributs des produits de la politique par rapport à des critères définis de qualité des produits sur un échantillon de produits « phares », soit par autoévaluation, soit avec les observations des parties prenantes.
• Collaboration. Lié à l’« engagement » dans le tableau 2, cela pourrait inclure un sondage sur les degrés de collaboration ou la satisfaction des parties prenantes en matière d’engagement. Pour être vraiment significatifs, les résultats de cette évaluation devraient idéalement être comparés aux cibles ou objectifs d’un plan d’engagement des parties prenantes.
• Sensibilisation et utilisation. Lié à l’« apprentissage » et aux « décisions et mesures à prendre » du tableau 2, il pourrait inclure des mesures de la connaissance, de l’utilisation et de l’assimilation de produits « phare». Au risque de le répéter, le Programme PECC envisage déjà un indicateur connexe et évalue les diverses méthodes par lesquelles cette information peut être recueillie, par exemple, des sondages auprès des intervenants, l’analyse des citations et l’analyse du Web.
• Dialogue constructif. Liés au résultat final du Programme PECC (et à l’importance d’une collaboration continue avec les parties prenantes pour atteindre ce but), les indicateurs de cette catégorie refléteraient la capacité du programme à utiliser efficacement sa base de données probantes et sa fonction de rassemblement pour encadrer les politiques et encourager des changements systémiques positifs. La faisabilité de la mesure du degré de polarisation dans le discours sur la politique de l’énergie et du changement climatique a été récemment démontrée dans un sondage réalisé par Énergie positive, financé par le Programme.^{Note de bas de page 1} Les données recueillies à l’appui de ces mesures pourraient également être utilisées pour définir les principales contraintes et possibilités en matière de renforcement de la confiance du public dans les décisions gouvernementales sur l’avenir énergétique du Canada.

Les paramètres relatifs aux produits ou aux résultats immédiats pourraient être relativement faciles à mettre en œuvre. Toutefois, compte tenu de l’importance des parties prenantes externes dans la réalisation des résultats du programme, ces mesures deviennent de plus en plus complexes à mesure que l’on progresse dans la chaîne des résultats (mais elles seraient également mesurées moins fréquemment). Même si bon nombre de ces mesures entraînaient un coût supplémentaire pour le programme, elles permettraient de passer de l’efficacité de la mise en œuvre des politiques (les résultats du programme tel que les réductions d’émissions) à l’élaboration des politiques et pourraient fournir des informations très précieuses pour la gestion du programme.

Constatations : pertinence

Le gouvernement fédéral et RNCan ont des priorités claires en matière d’énergie et de changement climatique. Le gouvernement du Canada reconnaît qu’il est essentiel et urgent de prendre des mesures rigoureuses pour lutter contre le changement climatique. En tant que partie à la convention-cadre des Nations unies sur les changements climatiques (CCNUCC), le Canada a ratifié l’Accord de Paris en 2016, avec pour objectif de réduire ses émissions de gaz à effet de serre (GES) de 30 % par rapport aux niveaux de 2005 d’ici 2030. En 2019, le gouvernement fédéral s’est aussi engagé à atteindre des émissions de GES « nette zéro » d’ici 2050.

Le gouvernement du Canada reconnaît également que l’énergie jouera un rôle essentiel dans le respect de ces engagements, étant donné que la production et la consommation d’énergie représentent plus de 80 % de ses émissions de GES (figure 4). La transition énergétique du Canada nécessitera l’utilisation d’une énergie à faibles émissions de carbone pour alimenter nos foyers, nos lieux de travail, nos véhicules et nos industries, ainsi qu’une utilisation plus efficace de l’énergie.

Encadré 3 : Énergie à faibles émissions de carbone

Le développement durable et la gestion intégrée des ressources naturelles, y compris l’énergie, sont au cœur du mandat de RNCan. Comme le souligne le Plan ministériel 2019-2020, RNCan a la responsabilité fondamentale de diriger la transformation vers une économie à faible émission de carbone en améliorant la performance environnementale des secteurs des ressources naturelles du Canada par l’innovation ainsi que le développement et l’utilisation durables des ressources.

Le Programme PECC était pertinent tout au long de la période d’évaluation, mais les documents indiquent un changement de priorités au fil du temps. Depuis l’automne 2015, le gouvernement fédéral a maintenu l’emphase sur l’augmentation de l’accès au marché pour les ressources naturelles et la création d’emplois pour la classe moyenne, sans perdre de vue qu’une économie forte est liée à un environnement sain. Les lettres de mandat du ministre des Ressources naturelles indiquent également la responsabilité de s’engager auprès des Canadiens et de collaborer avec les parties prenantes (particulièrement les provinces et les territoires), en tenant compte de l’inclusion des groupes sous-représentés. Le gouvernement fédéral a aussi mis l’accent sur la transparence, l’ouverture et la prise de décision fondée sur des preuves dans tous les domaines de politiques, y compris pour l’énergie et le changement climatique.

Figure 4 : Sources des émissions de gaz à effet de serre du Canada

L’équipe de l’évaluation a constaté que le Programme PECC a réagi efficacement à l’évolution de ces priorités et que son rôle dans la résolution des problèmes connexes a augmenté sa pertinence. Par exemple, le Programme PECC a joué un rôle clé en dirigeant les contributions de RNCan aux mesures fédérales dans le Cadre pancanadien sur la croissance propre et les changements climatiques (2016).

Cela constitue une preuve solide de l’alignement sur les priorités du gouvernement fédéral et de RNCan, mais les données indiquent qu’au cours de la période d’évaluation, les priorités sur lesquelles le Programme travaillait n’étaient pas toujours claires. La difficulté de faire ressortir des résultats clairs pour un programme est fréquemment observée dans la conception des programmes de politique, avec des énoncés de résultats quelque peu vagues en théorie, permettant la flexibilité nécessaire pour répondre à des priorités nouvelles ou changeantes à mesure qu’elles apparaissent. Bien que les énoncés des résultats du Programme PECC soient maintenant plus clairement axés sur l’avancement des priorités du Canada en matière d’énergie à faibles émissions de carbone et de changements climatiques, les données indiquent que les travaux du programme dans certains domaines (p. ex. les analyses de la compétitivité et de l’approvisionnement en énergie, le soutien stratégique continu au BPSIH) peuvent aller au-delà de ce résultat attendu. Dans une certaine mesure, il s’agit d’un problème hérité de l’époque où RNCan avait encore un seul secteur de l’énergie. En même temps, l’évaluation reconnaît qu’il s’agit d’un espace politique difficile où il est nécessaire d’équilibrer le message. Les représentants du programme notent également que le développement durable et la compétitivité des ressources énergétiques et l’avancement des objectifs en matière de changement climatique ne s’excluent pas mutuellement, et le programme PECC vise à réunir les deux.

En tant que principal programme de RNCan consacré à la politique en matière de changement climatique, la plupart des intervenants estiment que le Programme doit tenir compte de l’ensemble des politiques du ministère liées à l’intersection de l’énergie et du changement climatique. Plus précisément, beaucoup ont noté que les énoncés des résultats du programme ne sont pas spécifiques à l’atténuation du changement climatique. Les tendances à long terme dans le domaine de l’énergie sont principalement influencées par des facteurs tels que l’évolution de la population, l’activité économique, les prix de l’énergie, la technologie des énergies propres et l’efficacité énergétique. Cependant, les recherches indiquent que de nombreux aspects de la demande, de l’offre et du transport d’énergie sont sensibles à la variabilité du climat et seront affectés par diverses dimensions du changement climatique, notamment des températures plus élevées, une modification de la fréquence et de l’intensité des événements extrêmes et des changements dans la disponibilité de l’eau (figure 5). Le résultat annuel net des changements induits par le changement climatique sera propre à chaque pays et à chaque région, et sera influencé par les mesures prises pour s’adapter aux effets prévus.

Figure 5 : Exemples d’impacts prévus du changement climatique sur le secteur énergétique du Canada

Il y a des discussions sur l’adaptation au changement climatique dans beaucoup de politiques du Programme PECC, mais on constate des possibilités de présentation plus approfondie de ces liens dans les résultats et l’exécution du Programme. Le Programme d’adaptation aux changements climatiques de RNCan (programme 1.9) offre également un soutien stratégique dans ce domaine. Néanmoins, étant donné les différences entre les moteurs et les acteurs clés de l’atténuation et de l’adaptation au changement climatique, les parties prenantes internes engagées dans l’adaptation ont suggéré que leur contribution soit sollicitée plus tôt dans l’élaboration de la politique correspondante et qu’elle ait plus de poids dans l’approbation du contenu correspondant pour les hauts fonctionnaires.

Toutes les activités du Programme se sont avérées être des catalyseurs importants pour celui-ci et elles répondent aux besoins des principales parties prenantes. Les perceptions de l’importance relative de chaque activité varient selon les groupes d’intervenants, souvent en raison de la partialité du mandat d’un intervenant particulier. Par exemple, ceux qui travaillent dans le domaine des renseignements et des statistiques sur l’énergie étaient plus susceptibles de considérer la recherche et l’analyse économiques comme une activité essentielle.

Les recherches et analyses économiques du programme PECC répondent au besoin des décideurs d’accéder à des renseignements de haute qualité pour prendre, valider et communiquer des décisions liées aux politiques. Le Programme joue un rôle important en tant que « courtier honnête » de renseignements sur l’énergie non biaisée et fondée sur des preuves.

Cela dit, la recherche montre aussi que la plupart des Canadiens ont une mauvaise compréhension de la politique énergétique et des questions connexes. Assurer l’accès à des renseignements neutres, fondés sur des données probantes, concernant les systèmes énergétiques et les impacts potentiels (positifs et négatifs) des diverses approches visant à réaliser l’avenir énergétique du Canada est donc essentiel à un dialogue constructif. Il s’agit d’un besoin auquel le Programme PECC pourrait répondre, à condition qu’il puisse trouver des leviers permettant de communiquer plus efficacement aux Canadiens le rôle et l’importance de l’énergie. À l’heure actuelle, les données indiquent que les renseignements sur l’énergie fournie par le Programme PECC et d’autres fournisseurs de données ne répondent pas adéquatement aux besoins des principales parties prenantes. Cette dernière lacune devrait être comblée par le CCIE (voir encadré 4).

De même, il existe une forte demande interne d’analyses et de conseils politiques intégrés. La nécessité de coordonner les politiques intra et interministérielles s’est accrue au cours de la période d’évaluation, car le gouvernement fédéral a introduit de nouveaux engagements et initiatives liés à l’énergie et au changement climatique.

Encadré 4 : Centre canadien d’information sur l’énergie (CCIE)

L’évaluation a révélé que ces services professionnels sont surtout réactifs (en réponse à des questions, événements ou demandes d’information). La DPE a également fait savoir qu’elle avait besoin de plus d’espace de manœuvre et de temps pour mener des recherches sur les politiques. Bien que la littérature suggère que cela soit relativement typique d’une fonction d’élaboration des politiques, la Direction a récemment entrepris plus de travaux de recherche et d’analyse anticipatifs pour soutenir le renouvellement des programmes et répondre aux besoins des parties prenantes internes. Les cadres supérieurs ont également commencé à examiner comment le programme PECC peut être soutenu pour développer davantage sa capacité à s’engager dans des exercices proactifs de prospective et de recherche et d’analyse de politiques préventives.

En revanche, les activités du Programme PECC liées à la collaboration avec les parties prenantes sont relativement proactives et axées sur les politiques. Le débat sur l’énergie et le changement climatique est fortement polarisé. Le Programme PECC joue un rôle important dans la compréhension et l’intégration des points de vue parfois polarisés des parties prenantes afin de formuler des options ou des solutions politiques adaptées. Le nombre et l’ampleur des parties prenantes qui ont participé aux dialogues de Génération Énergie convoqués par le Programme PECC en 2017 (environ 380 000 Canadiens) indiquent clairement les besoins des parties prenantes dans ce domaine. Cependant, les personnes interrogées dans le cadre de l’évaluation ont indiqué que cette activité pourrait être mieux liée aux résultats, c’est-à-dire que l’engagement n’est pas une fin en soi. Les parties prenantes ont besoin de voir des actions concrètes à la suite de leurs engagements, à la fois pour s’assurer que leurs priorités sont prises en compte et comme récompense pour l’investissement de leur temps. Cette question est abordée plus en détail dans la section « Exécution du programme. »

Les théories fondées sur la littérature concernant la conception des programmes de politiques soutiennent fortement la nécessité de faire participer de manière cohérente et active une large communauté de parties prenantes à l’élaboration des politiques.^{Note de bas de page 2} Les questions politiques ont généralement des implications horizontales, impliquant plusieurs ministères, paliers gouvernementaux ou d’autres parties prenantes externes. Il existe également un besoin présumé ou, dans certains cas, légiféré, de consulter les Canadiens pour éclairer les décisions du gouvernement. La qualité des conseils et des décisions politiques dépend de l’intégration de ces parties prenantes et de leurs points de vue dans le processus politique.

L’engagement (la mobilisation) des parties prenantes est important pour la plupart des programmes, et en effet l’évaluation a permis de constater que l’engagement des parties prenantes est une considération fondamentale pour la politique de l’énergie et du changement climatique. Le Programme du PECC n’est pas le seul programme de RNCan ou du gouvernement du Canada à s’intéresser à l’une ou l’autre de ces questions. De même, la compétence en matière de politique énergétique est partagée entre les gouvernements fédéral et provinciaux. Le changement climatique peut également avoir un impact sur tout le monde. L’énergie et le changement climatique sont donc un espace politique encombré, avec une faible barrière à l’entrée (par exemple, où une seule adolescente peut lancer un mouvement entier), au sein duquel les groupes de parties prenantes évoluent rapidement.

Il faut du temps et des efforts pour établir et entretenir des relations avec les parties prenantes. Le grand nombre d’organismes de gouvernance pour l’énergie et le changement climatique au sein même du gouvernement fédéral, sans parler des réseaux externes, rend cet environnement d’engagement très complexe et énergivore et, même lorsqu’il y a un effort concerté pour le faire (p. ex. la campagne Parité d’ici 30), le Programme PECC a du mal à maintenir son réseau de contacts avec les intervenants externes. De nombreuses parties prenantes externes, y compris les gouvernements provinciaux et territoriaux, ont également indiqué qu’ils ne disposaient pas d’une « fenêtre d’accès » (contact) claire lorsqu’ils voulaient amorcer des engagements avec RNCan en matière d’énergie et de changement climatique.

Dans l’ensemble, les publics cibles appropriés ont été engagés ou atteints par le Programme. La figure 6 présente un résumé des catégories de parties prenantes clés et de leur degré actuel de collaboration avec le Programme PECC observé par l’évaluation. Si on se déplace dans le sens horaire autour du cercle de cette carte de collaboration, on constate un engagement régulier ou fréquent et formalisé avec certains groupes d’intervenants clés (le reste de RNCan, d’autres ministères, les gouvernements provinciaux et territoriaux) et un engagement moins fréquent ou formel avec d’autres. Notez toutefois qu’il s’agit d’une présentation simplifiée. La plupart des catégories peuvent être subdivisées en sous-groupes (par exemple, la division de l’« industrie » en énergies propres traditionnelles et émergentes, producteurs d’énergie et consommateurs d’énergie), chacun ayant des priorités politiques et des réseaux de parties prenantes différents. La figure ne montre pas les intersections entre les différentes catégories de parties prenantes (p. ex., les jeunes autochtones).

L’évaluation n’a pas pu conclure si le degré de collaboration observé avec chaque catégorie de parties prenantes est approprié. Bien que les publics cibles soient définis pour certaines initiatives, le Programme PECC dans son ensemble n’a pas encore défini le degré de collaboration souhaité avec chacune des catégories d’intervenants clés. Par exemple, la relation avec les organisations autochtones était une relation de coopération (les groupes peuvent s’échanger des renseignements, mais ne s’engagent pas dans des communications fréquentes et officielles et ne partagent pas la prise de décision), mais il n’y a aucune preuve qui permettrait de déterminer s’il s’agit du degré d’engagement souhaité par le Programme.

Néanmoins, l’évaluation a permis de cerner des lacunes potentielles. Par exemple, les conseils en matière de politique sont de plus en plus proposés aux décideurs par des sources telles que les groupes de réflexion, l’industrie et les universités, et des efforts supplémentaires sont nécessaires pour impliquer les parties prenantes dans ce domaine. Le Programme PECC est encouragé à poursuivre les récents progrès réalisés pour accroître sa collaboration avec ces groupes. Le personnel du Programme et les parties prenantes externes ont souligné la nécessité d’accroître l’engagement dans certains domaines, en particulier auprès des groupes qui sont généralement sous-représentés dans l’élaboration et la mise en œuvre des politiques (les femmes, les jeunes et les peuples autochtones). La campagne Parité d’ici 30 du Programme PECC (encadré 5) témoigne d’une volonté et d’un engagement à progresser dans ce domaine, du moins en ce qui concerne l’équité entre les sexes.

Encadré 5 : Campagne Parité d’ici 30

Ces progrès sont positifs. Cependant, étant donné que l’engagement est une considération fondamentale pour la politique de l’énergie et du changement climatique, le Programme PECC bénéficierait d’un plan de gestion des parties prenantes pour identifier clairement avec qui il veut s’engager, dans quel but ou à quel degré de collaboration, et les mécanismes par lesquels il entend s’engager. Outre le fait qu’il facilite les relations avec les partenaires et les parties prenantes clés, un tel plan constituerait également un point de référence utile pour mesurer les progrès réalisés par rapport aux résultats du programme en matière d’engagement.

Figure 6 : Carte de collaboration du Programme PECC (indique le degré actuel d’engagement avec ses principales parties prenantes).

Constatations : Exécution du Programme

Une gestion efficace des processus est en place

Comme indiqué dans la section sur la conception du Programme, la gestion des processus implique de disposer et d’utiliser efficacement les ressources humaines, les ressources financières et les outils disponibles (les technologies de l’information et l’accès aux données), ainsi que d’avoir accès àune direction et un soutien adéquats de la part des dirigeants. Selon la théorie, la fonction de politiques dotée de moyens insuffisants est plus susceptible de se concentrer à court terme sur le « travail à faire pour tout régler » que sur l’élaboration de prévisions politiques. Les risques d’une gestion inadéquate des processus comprennent des produits de politique inopportuns ou de mauvaise qualité. Cela peut également créer des problèmes de rétention du personnel, si des analystes de bonne qualité sont aliénés par un leadership inadéquat.

Les conditions et les facteurs contextuels liés à la gestion du processus sont pour la plupart sous le contrôle ou l’influence directe du Programme PECC. Bien qu’il ne puisse pas contrôler les ressources humaines et financières (déterminées dans le cadre des processus budgétaires ministériels) ou les outils disponibles, il peut influencer ces facteurs en définissant les lacunes et en communiquant aux paliers supérieurs les stratégies visant à répondre à ses besoins. Il a également un contrôle direct sur la manière dont les activités qu’il entreprend sont classées par ordre de priorité et dont les ressources disponibles sont allouées pour obtenir des résultats.

Il existe des preuves d’une gestion efficace des processus en réponse à des ressources limitées

L’évaluation ne dispose pas d’une base solide pour comparer le caractère adéquat des ressources dans les programmes de politiques, mais il a pu décrire des tendances observables sur la période d’évaluation. Certains éléments indiquent que le Programme PECC pourrait manquer de ressources pour faire face à l’augmentation observée des exigences de travail, notamment le besoin accru de collaboration, de planification et d’établissement de rapports pour faire avancer les grandes priorités politiques.

De 2014-2015 à 2018-2019, les dépenses totales prévues pour le Programme PECC ont légèrement augmenté. Le Programme PECC a dépassé ses ressources d’environ 11 % (figure 7). Cela pourrait indiquer un problème de ressources adéquates ou de capacité à planifier efficacement les dépenses, ou encore être un symptôme du processus réactif de la politique. Par exemple, le dépassement de budget le plus important (en 2016-2017) était probablement attribuable aux coûts imprévus liés au dialogue national sur la production d’énergie, puisque la portée de cette initiative n’était pas encore définie au moment où les dépenses prévues pour 2016-2017 ont été établies.

Figure 7 : Dépenses du programme PECC, 2014-2015 à 2018-2019

Une gestion efficace des processus ne nécessite pas nécessairement d’allouer plus de ressources, mais plutôt d’utiliser efficacement les ressources existantes. Dans le cadre du Programme PECC, il existe des preuves de l’affectation ou de la réaffectation des ressources pour répondre aux priorités politiques. Les gestionnaires sont également conscients des compétences du personnel et réaffectent le personnel de manière appropriée ou redéfinissent les priorités du travail pour obtenir les meilleurs résultats dans les délais impartis. Par exemple, la DPE a réaffecté des ressources existantes pour créer une équipe spéciale chargée de coordonner la politique, la conception et la logistique de la conférence ministérielle sur l’énergie propre de 2019.

Toutefois, un grand nombre de nouvelles initiatives en matière d’énergie et de changement climatique se profilent à l’horizon. Compte tenu des ressources actuelles, il se peut que les gestionnaires de politiques doivent communiquer plus clairement les priorités et les compromis aux analystes. L’impact connexe sur les ressources humaines et financières du Programme doit également être pris en compte et intégré, le cas échéant, dans les demandes de financement. L’évaluation a noté que les demandes de financement qui font avancer les priorités en matière d’énergie et de changement climatique incluent rarement des demandes de ressources supplémentaires pour la DPE afin de soutenir les activités du Programme.

La gestion efficace des ressources humaines est essentielle à l’exécution du Programme

Comme le montre la figure 8, nous avons également observé que la majorité des dépenses (74 %) au cours de la période d’évaluation ont été consacrées aux salaires et aux régimes d’avantages sociaux des employés (RASE). La gestion efficace des ressources humaines est donc essentielle à l’exécution efficace du Programme. Le caractère adéquat des ressources humaines dans un programme de politique est lié à la fois au nombre et à la compétence des personnes engagées, et à l’efficacité avec laquelle les compétences de ces personnes sont utilisées.

Les parties prenantes ont estimé que la qualité des compétences du personnel était un point fort du Programme. L’évaluation a permis de constater que les compétences qui faciliteraient la capacité d’exécution du Programme (par exemple, les compétences en analyse, en communication et en gestion de projet) sont évidentes chez le personnel actuel. Les analystes de politiques ont également été décrits comme étant réactifs ou adaptables aux changements de priorités et d’orientation politique.

Dans le même temps, il apparaît qu’ils ont souvent du mal à obtenir des directives claires de la part de la direction, ce qui rend difficile de répondre efficacement aux demandes urgentes. Associé à une charge de travail élevée et à des délais courts, cela peut avoir un impact négatif sur la capacité du Programme PECC à maintenir une capacité analytique solide.

Figure 8 : Dépenses du programme PECC par catégorie de 2014-2015 à 2018-2019^{Note de bas de page 3}

Pour aider les analystes de politiques à mieux comprendre les besoins de leur public, ils pourraient bénéficier d’un plus grand nombre d’occasions d’assister à des séances d’information avec des cadres supérieurs (même en tant qu’observateurs). Cela peut être particulièrement vrai pour les analystes juniors qui ne participeraient pas habituellement à ces réunions.

L’évaluation a également qualifié le recrutement et la rétention du personnel comme des questions relevant de la gestion des ressources humaines. Bien que le nombre et la répartition des ETP semblent être relativement cohérents au cours de la période d’évaluation, il y a eu des niveaux élevés de rotation du personnel au sein de ces postes. Les raisons de cette situation ne sont pas entièrement claires. La mobilité des analystes de politiques du groupe des services économiques et des sciences sociales, qui peuvent facilement changer de poste, peut y contribuer. Cependant, le roulement comprend également les postes de cadres supérieurs, avec les impacts connexes sur la continuité de la gestion et les impacts potentiels sur la clarté de la direction.

Quelle qu’en soit la cause, la littérature indique que les fréquentes transitions de personnel nécessitent une forte culture de gestion du changement pour maintenir les réseaux, conserver les connaissances de l’entreprise et faciliter le transfert du travail inachevé. Elle suggère également que les problèmes liés à la rétention du personnel pourraient être atténués dans une certaine mesure par une meilleure gestion des talents, c’est-à-dire des investissements dans le développement professionnel pour soutenir l’amélioration des compétences et la reconnaissance des performances efficaces. L’évaluation n’a pas permis de déterminer dans quelle mesure ces conditions existent actuellement au sein du Programme PECC.

Des travaux sont en cours pour combler les lacunes dans les données

Pour être efficaces, les analystes de politiques doivent également avoir accès à des outils tels que les technologies de l’information (y compris les logiciels facilitant l’analyse des données et les communications) et l’accès aux données et à la recherche pour soutenir l’analyse. L’évaluation a permis de constater qu’il existe actuellement des lacunes dans les données disponibles pour permettre au Programme PECC de réaliser des analyses économiques et énergétiques solides. Au cours des dernières années, RNCan et ses partenaires fédéraux (p. ex., ECCC) ont été incapables de répondre à d’importantes questions liées à l’énergie en raison de la disponibilité ou de l’accessibilité insuffisante de données et d’analyses de qualité (y compris des statistiques brutes et interprétées) concernant la compétitivité du secteur de l’énergie, la transition vers une économie à faible émission de carbone, les changements technologiques touchant la main-d’œuvre, ainsi que l’atteinte des objectifs environnementaux et leurs répercussions. Les renseignements existants sur l’énergie provenant de différentes sources peuvent être incohérents, incomplets, inopportuns et inaccessibles, ce qui compromet la qualité de l’analyse des politiques et la transparence de la prise de décision.

Cette lacune devrait être comblée par le CCIE qui, entre autres objectifs, comblera les lacunes en matière de données afin d’améliorer la qualité globale des informations disponibles sur l’énergie (encadré 4).

Bien qu’on n’en connaisse pas le total, il semble que les activités du Programme PECC donnent lieu à un grand nombre de « produits de politiques » (ou simplement « politiques »), c’est-à-dire les résultats écrits et oraux du processus d’élaboration des politiques. La qualité des résultats est plus importante que leur nombre. La littérature fournit des critères permettant de faire ressortir les attributs des politiques efficaces (encadré 6).

Encadré 6 : Attributs des politiques de qualité

Source : Adapté du BVG du Manitoba, 2003.

Le risque apparent le plus immédiat des problèmes de qualité est le retour des produits de la politique pour un travail supplémentaire, ce qui entraîne des retards, des augmentations de coûts et une utilisation inefficace du temps des décideurs. Des politiques de mauvaise qualité pourraient également présenter des risques pour les résultats du programme, si elles entraînent une prise de décision qui n’est pas fondée sur des preuves ou qui manque de coordination politique. Des renseignements inadéquats sur les préférences, les réactions ou les réponses probables des parties prenantes à une politique peuvent affaiblir l’adhésion de ces dernières et créer un retour négatif. Les décideurs ont besoin de produits de qualité pour réduire l’incertitude liée au choix de l’option de politique la plus efficace (en matière de coûts) et pour éviter de répéter sans le savoir des politiques qui n’ont pas donné de bons résultats dans des contextes similaires.

La plupart des conditions liées à la qualité des produits de la politique sont sous le contrôle ou l’influence directe du Programme PECC. Plus important encore, la qualité des produits peut être facilitée par une gestion solide des processus et un environnement opérationnel qui fixe des attentes claires et fournit les ressources, les outils et l’orientation nécessaires à la production de produits de qualité.

L’évaluation n’a pas effectué une analyse détaillée de la qualité des politiques du Programme. De plus, le Programme reçoit peu de rétroaction sur la qualité des produits. En effet, seuls les rares cas où il y a des lacunes importantes semblent signalés. Cependant, le peu de preuves disponibles indique que :

• Les produits publiés sont communiqués efficacement. Cette conclusion est basée sur un petit échantillon de produits publiés (le Cahier d’information sur l’énergie, le rapport du Conseil de Génération Énergie et les produits de la CMEM 2019).
• Les produits non publiés ne présentent pas de problèmes importants de qualité. Peu de parties prenantes internes interrogées ont fait état de problèmes quant à la qualité de ces produits. Tous les répondants de Génération Énergie qui ont participé au processus de convocation ont indiqué qu’ils disposaient des renseignements nécessaires pour participer efficacement. De même, toutes les personnes ayant répondu au sondage d’évaluation de la CMEM 2019 ont eu une opinion plutôt positive du processus de convocation. Alors que la majorité (90 %) a indiqué qu’il leur manquait au moins une partie des renseignements nécessaires pour participer efficacement, des commentaires supplémentaires indiquent un problème dans la disponibilité en temps voulu des documents de réunion, en particulier pour ceux qui doivent voyager pour assister à la conférence. Le processus de publication de ces documents est géré par un autre secteur (secteur de la politique stratégique et de l’innovation), et ne résulte pas directement des activités menées dans le cadre de la PECC.

En ce qui concerne cet espace de politiques, il est particulièrement important que les produits de politiques soient neutres, fondés sur des preuves et qu’ils intègrent des perspectives diverses. Génération Énergie a été noté comme un exemple positif à cet égard. Parmi les répondants au sondage qui ont participé au dialogue de Génération Énergie, 90 % ont indiqué que leurs points de vue étaient reflétés de manière adéquate ou plutôt adéquate dans le produit final. De même, les intervenants internes s’attendent à ce que le Programme PECC prenne en compte de manière adéquate tous les points de vue de RNCan et les reflète dans ses grands messages. Cependant, les données indiquent que les perspectives du secteur de l’énergie ont eu tendance à dominer les messages dans certains produits internes du Programme PECC. Les représentants des autres secteurs de RNCan ont exprimé des inquiétudes, en particulier lorsque les délais étaient serrés pour les produits livrables, en raison des limites perçues dans leur capacité d’ajouter leurs points de vue ou d’apporter des changements aux produits pertinents qui avaient déjà été approuvés par l’ancien SMA du Secteur de l’énergie (maintenant SMA du SEFEC et SMA du BPSIH).

Les conclusions relatives à la pertinence du programme soulignent l’importance d’un engagement cohérent et actif des parties prenantes dans le processus d’élaboration des politiques. L’engagement des parties prenantes a un impact sur la qualité et l’efficacité des politiques. Par exemple, comme indiqué plus haut, il existe un risque qu’un engagement inadéquat entraîne un manque de mobilisation des parties prenantes ou un retour négatif en réponse à une politique, ou encore un manque de coordination des politiques. Beaucoup de conditions ou de facteurs dans ce domaine sont sous le contrôle ou l’influence directe du Programme PECC, tandis que d’autres (comme la qualité des relations de travail) peuvent être influencés indirectement par les activités de convocation et de collaboration du Programme.

Dans l’ensemble, les publics cibles appropriés ont été engagés ou atteints par le Programme. Il existe des preuves évidentes d’efforts visant à recueillir les points de vue des parties prenantes dans certains exercices politiques clés. Par exemple, les dialogues de Génération Énergie ont été salués par les intervenants comme « la plus grande consultation sur l’énergie de l’histoire du Canada » (figure 9).

Figure 9 : Récapitulation des dialogues de Génération Énergie, 2017

Quoi qu’il en soit, si les principaux intervenants, tels que les gouvernements provinciaux et territoriaux, sont constamment engagés, d’autres (en particulier les groupes sous-représentés) n’ont pas toujours une place adéquate à la table. Par exemple, si les parties prenantes représentant des groupes de jeunes ont fait l’éloge du forum inaugural des jeunes lors de la conférence ministérielle sur l’énergie propre de 2019 organisée par le Canada, elles ont fait remarquer qu’il s’agissait d’une rare occasion pour les jeunes de s’engager directement. Il y a donc un risque que le Programme PECC ne recueille pas ou ne transmette pas toutes les perspectives des parties prenantes, ou de rater des occasions pour recueillir de nouvelles perspectives ou de nouvelles solutions.

Toutes les parties prenantes n’ont pas la même capacité d’engagement. L’évaluation a relevé des lacunes en matière de capacités au sein des gouvernements territoriaux, des groupes autochtones et des jeunes. Ces lacunes pourraient être liées aux ressources humaines et financières de ces organisations, à leurs connaissances en matière d’énergie et de changement climatique, au manque de connaissance de l’environnement politique ou aux relations de travail solides dans le domaine concerné. Bien que le Programme n’ait pas de résultats liés au renforcement des capacités, il y a des cas où il a directement influencé la capacité des parties prenantes à participer. La campagne Parité d’ici 30 du Programme PECC (encadré 6) témoigne également du renforcement continu des capacités en matière de genre.

Les « bonnes » parties prenantes sont ciblées dans la diffusion d’information

Un engagement efficace des parties prenantes exige également que les « bonnes » parties prenantes soient ciblées pour recevoir des informations, et suppose qu’elles soient réceptives aux informations transmises. Les analyses du Web confirment qu’il existe une forte demande pour le rapport du Conseil de Génération Énergie et le Cahier d’information sur l’énergie (figure 10).

Figure 10 : Portée de certains produits du Programme, janvier 2018 – décembre 2019.

Les sondages menés dans le cadre de l’évaluation montrent que les principaux produits de politiques atteignent les publics cibles (Figure 11). Pour tous les produits étudiés, une majorité de parties prenantes ont indiqué qu’elles avaient « appris quelque chose de nouveau. » Cela suggère qu’elles étaient réceptives aux renseignements fournis. Cependant, il y a moins de preuves de l’utilisation et de l’assimilation des messages clés contenus dans ces produits. Beaucoup moins de répondants ont déclaré avoir changé de points de vue à la suite de ces renseignements. Bien que cela ne soit pas nécessairement surprenant pour des produits comme le Cahier d’information sur l’énergie, le sondage suggère également que peu d’entre eux ont pris des mesures concrètes pour élaborer ou mettre en œuvre des stratégies d’utilisation de l’information. Cela suggère qu’il y a du travail à faire sur le lien de causalité entre les résultats immédiats et intermédiaires du Programme, car bien que l’accès à des produits politiques fondés sur des preuves et informés par les acteurs permette des décisions et des discussions éclairées, il ne garantit pas nécessairement l’adhésion des parties prenantes. Les conditions possibles et les facteurs externes ayant un impact sur ce résultat sont examinés plus en détail ci-dessous.

Figure 11 : Connaissance, utilisation et assimilation des politiques du Programme^{Note de bas de page 4}

La capacité à étendre la portée des messages des politiques à partir des parties prenantes ciblées pourrait également être considérée comme une mesure du succès. Les résultats du sondage indiquent que le Cahier d’information sur l’énergie et le rapport du conseil de Génération Énergie sont largement discutés et référencés (Figure 11). Des recherches supplémentaires seraient nécessaires pour déterminer dans quelle mesure cela est vrai pour d’autres produits du Programme. Si le sondage est moins positif pour les produits de la CMEM 2019, la raison de ce résultat peut être attribuée davantage à la nature du sondage qu’à la qualité des produits. Les répondants ont participé à la conférence correspondante; il ne s’agit pas nécessairement du public cible pour l’utilisation des renseignements contenus dans les rapports.

La transition énergétique à faibles émissions de carbone du Canada ne peut être réalisée sans collaboration

Le Programme soutient l’élaboration de politiques, mais il dépend des parties prenantes externes pour mettre en œuvre les décisions, les politiques et les pratiques qui feront progresser ses résultats finaux. La transformation des systèmes énergétiques du Canada nécessaire à la transition vers une énergie à faibles émissions de carbone ne peut être réalisée sans collaboration. Il n’est donc pas surprenant que les intervenants aient indiqué s’ils percevaient ou non les possibilités de collaboration comme un facteur essentiel à l’utilisation des messages clés dans les politiques du Programme. Cela suggère que le Programme peut donc influencer l’adoption des messages clés en mettant en évidence les possibilités de collaboration.

La mise en œuvre efficace du grand nombre d’initiatives fédérales en cours et à l’horizon exigera des structures de gouvernance claires et une coordination interne au sein de RNCan et du gouvernement fédéral dans son ensemble. Le Programme pourrait également jouer un rôle de soutien important dans ce domaine.

À l’interne, les incertitudes autour de la gouvernance du programme créées par la récente réorganisation de RNCan (octobre 2019) ont probablement été atténuées. Bien qu’il soit trop tôt pour se prononcer sur son efficacité, un comité au palier du SMA se réunit régulièrement depuis mai 2020 pour promouvoir la coordination interne entre les trois secteurs désormais chargés de s’attaquer aux priorités énergétiques de RNCan (SEFEC, BPSIH et STE).

Le cadre stratégique comprend tous les éléments – politiques, juridiques, socio-économiques, technologiques et écologiques – qui affectent les décisions, les actions et l’efficacité des personnes impliquées dans le processus d’élaboration des politiques. Il y a actuellement des signes d’un cadre stratégique favorable. Le Programme est aligné sur les priorités nationales et internationales en matière d’énergie et de changement climatique. Cette pertinence incite les décideurs à adopter des politiques dans ce domaine et à fournir des ressources ou une assistance à ceux qui travaillent à des solutions politiques connexes. Il existe également des cadres nationaux et internationaux (p. ex. la CCNUCC et le Cadre pancanadien) grâce auxquels les groupes peuvent collaborer pour élaborer et mettre en œuvre ces solutions, ce qui facilite l’atteinte des résultats. En même temps, si certains connaissent la DPE, le Programme PECC lui-même n’a pas une grande visibilité – il n’est pas connu ou compris par la plupart des intervenants internes ou externes, ce qui rend plus difficile pour ces groupes de soutenir directement son travail.

Bien que la mesure dans laquelle le cadre stratégique soutient le Programme et ses résultats échappe au contrôle ou à l’influence directe du Programme, il s’agit néanmoins d’un facteur clé ayant un impact sur son exécution. La théorie suggère qu’il y a trois courants qui conduisent le processus d’élaboration des politiques : (1) un courant de problèmes (la question à laquelle on est confronté) ; (2) un courant d’activités de politiques (les approches possibles pour résoudre le problème) ; et (3) un courant politique (la compréhension de ce qui obtiendrait un soutien dans un contexte donné). Comme le montre la figure 12, lorsque ces courants convergent, des fenêtres politiques s’ouvrent, offrant la possibilité d’intervenir avec des solutions politiques.

Figure 12 : Courants du processus politique

L’importance de cette fenêtre de politique est illustrée par l’exemple de Génération Énergie fourni à la figure 13. On constate qu’il existait un cadre stratégique favorable à la réalisation de l’exercice de Génération Énergie. Des ressources ont été allouées aux activités visant à garantir l’efficacité du processus qui a débuté en avril 2017. Les dialogues sur Génération Énergie ont été planifiés de manière à ce que les parties prenantes aient les possibilités, les capacités et les contributions nécessaires pour s’engager. Le résultat a été une grande mobilisation de tous les groupes cibles, permettant de recueillir et de transmettre les points de vue des parties prenantes. Grâce à ce processus, les résultats immédiats du Programme ont été atteints, c’est-à-dire que le rapport du Conseil de Génération Énergie (juin 2018) donne au gouvernement fédéral et aux parties prenantes plus de renseignements pour éclairer les décisions. L’engagement a également permis de sensibiliser et de modifier les perceptions ou les engagements des parties prenantes à l’égard de la transition énergétique du Canada.

Figure 13 : Exemple d’exécution de programme pour Génération Énergie

Cependant, la fenêtre politique s’est ensuite refermée. Le paysage politique a évolué à la suite des élections qui ont eu lieu dans plusieurs provinces, ainsi que des préparatifs des élections fédérales qui ont eu lieu à l’automne 2019. Les voies indiquées par Génération Énergie sont devenues le fondement des conseils de RNCan au gouvernement sur la façon de faire progresser la transition vers une énergie à faibles émissions de carbone au Canada, mais ces changements apportés au contexte politique général ont eu une incidence sur la capacité et l’espace de RNCan à commencer à mettre en œuvre ses recommandations.

Certains signes montrent que cela commence à changer – en décembre 2019, la lettre de mandat du ministre des Ressources naturelles comprenait une priorité consistant à « collaborer avec les partenaires pour mettre en œuvre, de manière appropriée, les recommandations du rapport du Conseil Génération Énergie. » Cependant, en mars 2020, les mécanismes par lesquels Génération d’énergie produira des résultats intermédiaires ou finaux (l’utilisation dans la prise de décision, résultant en l’avancement des priorités en matière d’énergie et de changement climatique) n’étaient toujours pas clairs. Cela crée un risque pour la réalisation des résultats futurs, car la sensibilisation des parties prenantes crée des attentes envers l’utilisation des renseignements. Si cette utilisation n’est pas réalisée, les parties prenantes peuvent se désengager.

Dans ce contexte, que peut faire le Programme pour maintenir un cadre stratégique favorable? Il existe des risques que l’orientation politique dans ce domaine change. Même à l’heure actuelle, le soutien n’est pas universel. Par exemple, les politiques provinciales et territoriales en matière d’énergie et de changement climatique ne sont pas toutes alignées sur celles du gouvernement fédéral, et l’incertitude règne quant à l’orientation de certains des principaux partenaires commerciaux du Canada. Même lorsque certaines propositions politiques bénéficient d’un soutien clair, la décision de mettre en œuvre une politique est en définitive entre les mains du gouvernement. Il y a donc un besoin évident de dialogue pour réduire les tensions sur l’avenir énergétique du Canada, éclairé par une connaissance accrue des options potentielles pour la transition énergétique, y compris les compromis et les impacts associés à chaque option. Les données suggèrent que l’influence du Programme dans ce domaine peut être maximisée par la production continue de produits de politiques qui sont opportuns et pertinents pour les besoins des parties prenantes en matière de prise de décision. Des preuves convaincantes de l’efficacité des décisions, des politiques ou des pratiques peuvent également constituer un facteur essentiel de l’adhésion.

La présentation d’options de politiques judicieuses nécessite également une contribution honnête. Le fait d’être trop fortement influencé par les messages souhaités par la sphère politique peut nuire à la qualité des produits de politiques et entraîner un manque de réflexion nouvelle. Conformément à des programmes politiques comparables, le Programme PECC a été noté comme étant très réactif aux changements de direction politique. Cependant, tout en répondant à son public cible, l’évaluation n’a trouvé aucune indication que le programme ait compromis son intégrité ou son objectivité. Il est essentiel de garantir cette neutralité permanente des produits pour maintenir la confiance des parties prenantes et l’efficacité du dialogue sur l’énergie et le changement climatique.

La capacité du Programme PECC à contribuer aux résultats suppose que les parties prenantes privilégient les renseignements contenus dans ses produits de politiques par rapport aux sources concurrentes. Pour que les résultats du Programme soient atteints, les parties prenantes doivent également voir un avantage réel ou perçu à tirer de l’adoption d’une nouvelle politique, décision ou pratique sur la base des informations qu’elle véhicule (figure 14). Bien que ces conditions échappent pour la plupart à l’influence du Programme, les décisions peuvent être influencées par la qualité des preuves et la force de persuasion des arguments avancés dans les politiques du Programme. Nous ne disposons pas de données suffisantes pour conclure sur la mesure dans laquelle les produits du Programme PECC remplissent ces conditions et sont effectivement favorisés dans la prise de décision.

Figure 14 : Facteurs de la non-utilisation délibérée des produits de la politique

Source : K. Skinner (2007)

Le résultat final du Programme PECC exige également qu’il fasse progresser simultanément les priorités du Canada en matière d’énergie et de changement climatique. Toutefois, il existe une tension inhérente entre ces deux priorités, étant donné que la plupart des émissions de GES du Canada résultent de la production et de l’utilisation de l’énergie. Les décisions prises pour réduire les émissions doivent reconnaître l’importance sociale et économique du développement des ressources, et vice-versa. Le résultat final du Programme PECC exige donc de trouver des possibilités de compromis équilibrés ou de solutions gagnant-gagnant, c’est-à-dire que les mesures prises pour faire avancer les priorités d’un résultat n’entravent pas de manière significative les progrès de l’autre. Les représentants du programme notent également que le développement durable et la compétitivité des ressources énergétiques et l’avancement des objectifs en matière de changement climatique ne s’excluent pas mutuellement, et le programme PECC vise à réunir les deux.

Bien que la réalisation des résultats (impact) n’ait pas été l’objet de l’évaluation, nous avons observé que le Programme PECC ne dispose pas de mesures solides de sa performance dans ce domaine. Les rapports horizontaux du gouvernement fédéral sur les priorités connexes (p. ex., en vertu du Cadre pancanadien, de la Stratégie fédérale de développement durable et des Objectifs de développement durable des Nations Unies) fournissent une certaine indication de la mesure dans laquelle les résultats sont atteints, mais ne constituent pas une carte de pointage pour le Programme.

Outre l’examen du rendement réel, l’évaluation a également trouvé d’autres approches qui pourraient être considérées comme des options pour l’exécution du programme. Ces approches sont utilisées dans d’autres fonctions de développement de politiques, tant dans le domaine de l’énergie et du changement climatique qu’en dehors. Les voici :

• Recours à des entrepreneurs de politiques, intégrés au Programme, pour diriger les activités de prospective. Les entrepreneurs de politiques sont les plus actifs dans le volet politique (voir figure 12), profitant des occasions d’influencer les résultats de politiques pour créer des solutions à des problèmes potentiels et les intégrer dans le processus de définition de la marche à suivre. Cela pourrait inclure le recours à une équipe d’analyse des problèmes afin de détecter de manière proactive les problèmes émergents et les signaux faibles.
• Avoir recours à des associés. Il existe de nombreux types d’associés de politiques. Par exemple, l’Energy Futures Lab, basé en Alberta, engage des associés de politiques en tant qu’« innovateurs et influenceurs». Ces personnes ne font pas partie de l’organisme, mais contribuent régulièrement à ses événements et consultations, et acceptent de partager les messages clés du Labo au sein de leurs propres réseaux. Dans d’autres cas, les associés peuvent impliquer un placement à court terme à l’extérieur d’une organisation dans le but de renforcer les capacités ou de favoriser les relations entre les chercheurs et les décideurs politiques. Ces occasions peuvent offrir aux spécialistes et aux professionnels en début de carrière intéressée par la politique l’occasion de contribuer au dialogue public et d’explorer de futurs intérêts théoriques et professionnels.
• Avoir recours à des ressources externes pour mener des analyses et des activités de mobilisation (à partir de contrats ou d’accords de contribution) peut apporter une valeur ajoutée en matière d’expertise technique et de perception de neutralité.
• Des groupes de réflexion peuvent effectuer le travail du Programme PECC par des analyses indépendantes et fondées sur l’expertise. Par exemple, avec le soutien financier de l’ECCC, l’Institut canadien pour les choix climatiques, récemment créé, offre une collaboration indépendante et pancanadienne visant à combler les lacunes existantes en matière d’information et à établir une base solide, neutre et fondée sur des preuves pour la prise de décision sur la croissance propre et le changement climatique. Son travail comprend la recherche, l’analyse et un engagement étendu avec un réseau national de spécialistes de diverses disciplines pour produire et partager des conseils et des recommandations sur le développement de solutions politiques intégrées.
• Un processus ou un calendrier normalisé pour les engagements multipartites. L’évaluation a permis de constater que les engagements formels actuellement coordonnés par le Programme PECC (p. ex., la CMEM) n’incluent pas nécessairement un siège à la table pour tous les groupes d’intervenants cibles. Bien qu’un exercice régulier à l’échelle de Génération Énergie ne soit probablement ni souhaitable ni réalisable, un processus ou un calendrier normalisé pour les engagements multipartites pourrait donner l’assurance aux principales parties prenantes que leurs points de vue seront périodiquement recueillis et transmis. Par exemple, en vertu de la Loi sur l’Agence Parcs Canada, le ministre responsable de Parcs Canada est tenu de convoquer une table ronde tous les deux ans pour demander l’avis des Canadiens sur les questions dont l’Agence est responsable. Bien que leur format varie, ces tables rondes réunissent régulièrement un éventail d’organisations des secteurs publics, privés et à but non lucratif, en veillant souvent à inclure les groupes sous-représentés, afin de fournir des informations stratégiques et des recommandations concrètes sur des questions politiques clés.

Il manque de preuves suffisantes provenant d’autres programmes de politiques pour conclure sur l’efficacité de ces autres angles. Toutefois, on a constaté que certaines de ces autres approches (p. ex. l’utilisation de ressources externes pour diriger l’analyse et les engagements) ont déjà été utilisées pour des initiatives particulières du Programme, tandis que d’autres (p. ex. l’engagement spécialisé des entrepreneurs en politiques) sont déjà en place ailleurs au sein de RNCan et ont connu du succès.

Conclusions

L’objectif de cette évaluation formative était d’examiner la conception et l’exécution du programme PECC. La compréhension de la conception du programme PECC par la Direction de la politique énergétique (DPE) continue d’évoluer et de s’améliorer. La finalisation de la présentation de la logique du programme, y compris l’articulation des résultats anticipés, est en cours. Depuis 2018, le Programme a entrepris des efforts substantiels pour améliorer son PIR, notamment la description du programme, la logique des résultats et les mesures de rendement. L’analyse présentée ici s’appuie sur les progrès réalisés à ce jour pour poursuivre le développement de la théorie du changement pour le Programme. Les résultats de cette évaluation contribueront à la conception du programme PECC lorsqu’il sera mis à jour par le SEFEC. L’évaluation fournit également des renseignements qui peuvent être appliqués pour améliorer la conception et l’exécution d’autres fonctions stratégiques à RNCan.

L’énergie et le changement climatique sont clairement pertinents pour les priorités du gouvernement fédéral et de RNCan. Les récentes mises à jour du PIR du programme effectuées par la DPE reconnaissent mieux la valeur de cette fonction d’élaboration des politiques dans la résolution de ces problèmes. Par exemple, il est désormais reconnu que la convocation est essentielle aux résultats du Programme PECC. Il s’agit d’un changement fondamental dans la conception du Programme. Compte tenu notamment de la compétence partagée en matière d’énergie et de changement climatique, la transition énergétique à faible émission de carbone du Canada ne peut se faire sans collaboration et l’engagement des intervenants est essentiel à l’efficacité du Programme.

Cette évaluation a examiné dans quelle mesure les conditions et les facteurs externes définis dans la théorie du changement sont respectés par le Programme PECC ou ont un impact sur la réalisation de ses activités. Dans l’ensemble, la mise en œuvre du programme est efficace, mais elle peut être améliorée. Après un examen des cinq catégories incluses dans la théorie du changement, les constatations suivantes ressortent :

• Gestion de projet : Il est démontré qu’une gestion efficace des processus en réponse à des ressources limitées a lieu, les ressources humaines et financières étant allouées en fonction des besoins pour répondre aux priorités. Cependant, ces ressources ne concordent pas toujours avec les demandes de travail actuelles ou futures, étant donné le nombre croissant et le champ d’application des initiatives fédérales en matière d’énergie et de changements climatiques. Les données suggèrent que la Direction de la politique énergétique (DPE) pourrait être plus efficace pour obtenir un financement durable afin de soutenir ces initiatives. La compétence du personnel en place est considérée comme un point fort du programme, mais des problèmes de recrutement et de rétention du personnel ont été constatés, notamment pour les postes de cadres supérieurs. Les raisons de cette situation ne sont pas entièrement claires.
• Qualité des politiques : Il est démontré que le programme PECC produit des politiques de qualité, neutres et fondées sur des preuves. Il s’agit d’un élément essentiel pour un dialogue constructif sur l’énergie et le changement climatique. Le Programme pourrait mieux refléter les perspectives des autres secteurs de RNCan dans ses produits internes. Toutefois, le sujet est complexe et nécessite un équilibre des intérêts afin de garantir que les produits politiques reflètent ces perspectives parfois divergentes. Il est également prouvé que le Programme produit des politiques de qualité et que celles-ci atteignent les publics cibles. Les facteurs externes (les relations avec les autres intervenants politiques, la capacité des parties prenantes, etc.) influencent la mesure dans laquelle ces produits influencent les perspectives des parties prenantes ou aboutissent à des actions concrètes. Le programme PECC travaille activement au lancement du Centre canadien d’information sur l’énergie, qui devrait combler le manque actuel d’un accès à des renseignements fiables, transparents et fondés sur des données scientifiques, qui serviront à éclairer les décisions. Cela devrait permettre aux Canadiens et au Programme PECC de réaliser des analyses économiques et énergétiques plus solides.
• Engagement des parties prenantes : Dans l’ensemble, nous avons constaté que la DPE s’efforce de faire participer ou d’atteindre les publics cibles appropriés, et d’inclure les points de vue des parties prenantes dans les exercices politiques clés. Il n’était pas possible d’évaluer complètement le caractère adéquat de ces collaborations, mais il a été possible de constater la nécessité d’accroître l’engagement dans certains domaines, en particulier auprès des groupes qui sont généralement sous-représentés dans l’élaboration et la mise en œuvre des politiques (les femmes, les jeunes et les peuples autochtones). La campagne « Parité d’ici 30 » du programme PECC est considérée comme un exemple positif à cet égard. Comme l’illustre Génération Énergie, l’évaluation a aussi permis de constater que l’engagement n’est pas une fin en soi. Les voies indiquées par Génération Énergie sont devenues le fondement des conseils de RNCan au gouvernement sur la façon de faire progresser la transition vers une énergie à faibles émissions de carbone au Canada, mais les changements apportés au contexte politique général ont eu une incidence sur la capacité de RNCan à commencer à mettre en œuvre ses recommandations. Les parties prenantes ont besoin de voir des actions concrètes, sinon elles risquent d’arrêter de s’investir.
• Cadre stratégique : La mesure dans laquelle le cadre stratégique  soutient le programme PECC et ses résultats est un facteur externe clé qui a un impact sur l’exécution du programme. Comme pour tous les programmes similaires, l’élaboration des politiques au sein du Programme PECC est largement influencée par les priorités du gouvernement, qui peuvent changer ou évoluer rapidement en fonction du contexte.
• Avantage relatif : Le Programme PECC ne peut contribuer à son résultat, qui est de faire progresser les priorités du Canada en matière d’énergie à faibles émissions de carbone et de changement climatique, que si les intervenants utilisent ses conseils et ses analyses dans le processus décisionnel. Cela suppose également qu’il y a un avantage réel ou perçu à tirer de l’adoption de la politique, décision ou pratique qui en résulte. Le programme PECC joue actuellement un rôle important dans la compréhension et l’intégration des points de vue parfois polarisés des parties prenantes afin de formuler des options ou des solutions politiques adaptées. À l’avenir, ses conseils en matière de politique doivent continuer à reconnaître la tension inhérente entre les priorités en matière d’énergie et d’environnement et de déterminer activement les possibilités de rapprocher les deux.

Comme l’exige la norme du CT sur l’évaluation, ce rapport comprend des recommandations claires et réalisables visant à répondre aux principaux problèmes ou préoccupations identifiés par l’évaluation. Cependant, l’évaluation reconnaît aussi que toutes les conditions et tous les facteurs contextuels – y compris ceux qui ne peuvent être contrôlés ou influencés – auront un impact sur l’efficacité du Programme. L’équipe de l’évaluation encourage le Programme PECC à tenir compte de toutes les conditions et des facteurs externes de la théorie du changement présentée dans ce rapport d’évaluation lorsqu’il s’apprête à revoir et à réviser la conception de son Programme.

Annexe 1 Théorie du changement pour le Programme PECC (La politique n’est pas linéaire)

Version texte

Annexe 1 théorie du changement pour le programme PECC (la politique n’est pas linéaire). Cette figure présente une théorie du changement pour le programme de politique en matière d’énergie et de changements climatiques avec des flèches qui montrent la direction des liens entre les éléments du modèle logique qui a été présenté dans la figure 2. Les entrées (dollars, employés temps plein et outils) alimentent toutes les activités, les sorties et les résultats du modèle. Un encadré entoure les activités et les résultats, en tant qu’éléments du modèle logique qui alimentent la fonction de service professionnel du programme (qui crée une base de preuves). Les activités alimentent non seulement les résultats, mais aussi d’autres activités. Une case plus grande représentant la fonction de rassemblement du programme (qui facilite la formulation d’observations, l’adhésion et la collaboration) regroupe les activités et les résultats avec les résultats immédiats. Une dernière grande case représentant la fonction d’influence et de surveillance du programme (qui encadre les politiques et influence les changements systémiques par le biais de données probantes et d’un dialogue constructif) regroupe toutes les activités, les extrants et les résultats immédiats, intermédiaires et finaux du programme. Une ligne pointillée sous le diagramme, intitulée révision du problème, de la question ou de la possibilité présente une boucle de rétroaction qui relie les résultats intermédiaires de l’utilisation des informations aux activités. Un élément rectangulaire intitulé « facteurs externes » (par exemple, un environnement politique interne, national et international favorable) sous-tend toutes les phases du modèle logique.

Le tableau suivant explique les liens de causalité au sein de cette théorie du changement, et souligne les conditions et les facteurs qui influencent la réalisation effective et efficace des résultats connexes (où [C] = contrôle, [ID] – influence directe, et [I] = indirecte ou hors influence).

Transition dans la chaîne de résultats	Conditions et facteurs qui influencent l’obtention de résultats
	Gestion de processus	Qualité des politiques	Engagement des parties prenantes	Avantage relatif
D’entrants aux activités	L’orientation et le soutien des dirigeants sont adéquats. [ID] Il existe des intrants adéquats (c’est-à-dire des ressources humaines, des ressources financières et des outils de soutien). [ID]	S. O.	S. O.	S. O.
Liens de causalité : Les entrées sont utilisées pour soutenir et guider les activités du Programme PECC.
Des activités aux résultats	Les analystes ont accès aux intrants (orientation, ressources et outils) nécessaires pour effectuer l’analyse. [ID] Les ressources humaines impliquées correspondent étroitement à l’ensemble des compétences requises. [C] Les analystes sont réceptifs aux directives de la direction. [C]	Les analystes sont réceptifs aux perspectives des parties prenantes. [C]	Les « bonnes » parties prenantes sont engagées à fournir des perspectives (la convocation est suffisamment inclusive). [ID] Les parties prenantes ont la capacité de s’engager. [ID] Il existe de bonnes relations de travail (réseaux solides) entre les parties prenantes. [I]	S. O.
Liens de causalité : La recherche, l’analyse, la coordination et la collaboration créent une base factuelle pour des produits politiques de qualité ; la communication des messages clés encourage leur adoption.
Des extrants aux résultats immédiats	Les problèmes, les questions et les occasions à traiter ont été correctement et clairement définis. [C]	Les produits de politiques communiquent clairement des renseignements de bonne qualité, pertinents et actuels. [C] Les résultats sont distribués en temps voulu. [C]	Les besoins et les points de vue des parties prenantes sont compris et communiqués de manière appropriée. [C] Les « bonnes » parties prenantes sont ciblées dans la diffusion d’information. [C] Les parties prenantes ciblées lisent, comprennent et sont réceptives aux renseignements fournis. [ID]	Les parties prenantes privilégient les messages contenus dans les résultats par rapport aux informations et perspectives concurrentes. [I]
Liens de causalité : L’accès à des produits politiques fondés sur des preuves et informés par les acteurs permet de prendre des décisions et de mener des discussions en connaissance de cause, et encourage l’adhésion des parties prenantes.
Des résultats immédiats aux résultats intermédiaires	S. O.	Les messages clés sont pertinents et opportuns par rapport aux décisions à prendre. [I] Il existe des preuves que la décision, la politique ou la pratique sera efficace. [I]	Les parties prenantes trouvent les possibilités de collaborer à la mise en œuvre des décisions, des politiques ou des pratiques. [I]	Il y a un avantage réel ou perçu à faire avancer les décisions, les politiques ou les pratiques liées. [I]
Liens de causalité : Les décideurs utilisent les renseignements, les conseils et les analyses pour adopter des décisions, des politiques et des pratiques qui font progresser les priorités en matière d’énergie et de changement climatique.
Des résultats intermédiaires aux résultats finaux	S. O.	S. O.	S. O.	Il existe des possibilités de compromis équilibrés (ou de scénarios gagnant-gagnant) en matière d’énergie et de changement climatique. [I]

Annexe 2 méthodes et limites des sondages

Méthode

Les sondages administrés aux intervenants pour cette évaluation ont été adaptés de l’outil d’évaluation des connaissances, de l’adoption et de l’utilisation mis au point par le Dre Kelly Skinner (Université de Waterloo, Faculté des sciences de la santé appliquées). Cet outil quantitatif a été spécialement conçu, sur la base de recherches approfondies, pour mesurer la portée et l’utilisation des résultats produits / fournis par différentes interventions. L’outil d’évaluation utilise un questionnaire standard pour mesurer la portée et l’adoption d’un produit, avec des questions se déplaçant séquentiellement à travers les niveaux d’utilisation possible (Figure 1). Il comprend également des questions permettant de catégoriser les raisons de la non-utilisation délibérée. Les questions standard de l’outil d’évaluation du Dre Skinner ont été adaptées par la DAE pour les besoins de l’évaluation, tout en restant aussi proches que possible de la conception de l’outil.

Figure 1 : Niveaux progressifs de connaissance, d’utilisation et d’assimilation

Les produits sélectionnés pour l’évaluation ont été choisis en consultation avec les représentants du Programme PECC et le conseiller technique de l’évaluation. Au total, cette évaluation prend en compte les résultats de trois sondages (voir tableau 1). L’un d’entre eux, celui sur le Cahier d’information sur l’énergie, a été mené par le Programme PECC (DPE) afin de tester l’outil d’évaluation en tant que mesure de rendement potentielle. Bien que le sondage exécuté par le Programme PECC ait également été adapté de l’outil du Dre Skinner, il a utilisé une version raccourcie du questionnaire afin de tester uniquement les questions perçues comme étant les plus utiles aux besoins immédiats. Les deux sondages réalisés par la DAE comprenaient également des questions sur les niveaux de satisfaction et l’impact du processus de convocation parmi les parties prenantes ciblées.

Tableau 3 : Produits sondés pour l’évaluation

Catégorie	Administration du sondage
Cahier d’information sur l’énergie	Programme PECC, août 2019
Conférence des ministres de l’Énergie et des Mines (CMEM) 2019	DAE décembre 2019
Rapport du Conseil Génération Énergie	DAE décembre 2019

Les trois sondages ont été conçus pour être administrés à un ensemble relativement restreint et ciblé de parties prenantes. Les intervenants ciblés variaient selon le produit (voir le tableau 2), les contacts étant censés se rapporter aux utilisateurs finaux prévus de chaque produit, c’est-à-dire aux personnes dont le Programme PECC s’attendrait le plus à ce qu’elles accèdent au produit et l’utilisent. Afin d’éviter la lassitude, les évaluateurs n’ont pas envoyé plus d’un sondage à une même partie prenante.

Tableau 4 : Liste des parties prenantes ciblées et taux de réponse

Catégorie	Parties prenantes ciblées	Total du nombre de contacts établis	Total des réponses	Taux de réponse
Cahier d’information sur l’énergie	Directeurs généraux des programmes de RNCan, Statistique Canada, ECCC et Affaires mondiales Canada	30 à 33Note de bas de page 5	11	33 à 37 %
Conférence des ministres de l’Énergie et des Mines	Représentants provinciaux et territoriaux au palier opérationnel ayant participé à la CMEM 2019	47	11	23 %
Rapport du Conseil Génération Énergie	SMA de RNCan, Conseil de Génération Énergie et participants au dialogue de Génération Énergie	71	20	28 %

Les sondages ont été administrés à partir de Survey Monkey, le logiciel de sondage standard de la DAE. Les sondages étaient dans les deux langues officielles.

Limites

Un défi majeur était de d’identifier et d’atteindre les parties prenantes ciblées liées à chaque produit. Dans tous les cas, les contacts spécifiques ont été fournis par le Programme selon les listes à disposition. Il est possible que cela ait introduit un biais dans les réponses. En particulier, en ce qui concerne Génération Énergie, les courriels recueillis avec les soumissions électroniques du dialogue de Génération Énergie ne pouvaient pas être utilisés pour des recherches d’opinion publique ou ce sondage. Les listes de contacts des participants plus directs n’avaient pas non plus été tenues à jour de manière adéquate, étant donné le temps écoulé depuis la fin des dialogues.

L’examen des documents et les entretiens réalisés au cours de la phase d’exécution de l’évaluation ont également démontré que les parties prenantes du Programme sont nombreuses et variées. Par conséquent, chaque sondage n’a touché qu’un très petit sous-ensemble de parties prenantes intéressées. Cela pourrait indiquer une marge d’erreur élevée dans les résultats.

Bien qu’il ait été jugé acceptable pour cette analyse, le taux de réponse à chaque sondage a été faible (tableau 2). Les taux de réponse aux sondages administrés par la DAE peuvent avoir été influencés par le calendrier des sondages (administrées autour de la période des vacances, du 11 décembre 2019 au 6 janvier 2020). La publication de la nouvelle lettre de mandat du ministre des Ressources naturelles le 13 décembre 2020 – avec des engagements liés à Génération Énergie – peut également avoir introduit un certain biais de réponse ou avoir eu un impact sur les taux de réponse.

Enfin, l’analyse des résultats a été limitée par la nature de l’outil de sondage. L’outil du D^re Skinner n’est pas conçu pour recueillir des renseignements sur le contenu des produits de connaissance, mais uniquement sur leur portée et leur utilisation. Des questions supplémentaires visant à recueillir plus de contexte ou de données détaillées sur les façons dont les renseignements contenus dans les produits de connaissance sont utilisés auraient ajouté de la valeur à l’analyse du sondage.  

Ces contraintes et les limites qui en résultent pour les résultats pourraient représenter d’importantes leçons apprises si le Programme PECC envisageait d’adopter des sondages similaires comme mesure de performance.

Annexe 3 liste des principaux documents de référence

Colebatch, H. K. (2006). Mapping the Work of Policy, in H. K. Colebatch (Ed.), Beyond the Policy Cycle: The Policy Process in Australia (anglais seulement) (pp. 1-19).

Environnement et Changement climatique Canada 2020. Rapport d’inventaire national 1990-2018 : Sources et puits de gaz à effet de serre au Canada.

Rapport du Conseil Génération Énergie (2018). La transition énergétique du Canada : concrétiser notre avenir énergétique, ensemble. PDF 11.8 Mo

Gouvernement du Canada 2016. Cadre pancanadien sur la croissance propre et les changements climatiques.

Frey, B. et coll. (2006). Measuring Collaboration among Grant Partners, in American Journal of Evaluation (anglais seulement, Vol. 27, N^o 3).

Kingdon, J.W. 1984. Agendas, Alternatives and Public Policies.

Lemmen, D.S., Johnston, M., Ste-Marie, C. et Pearce, T. (2014). Chapitre 3 : Ressources naturelles, Le Canada dans un climat en changement : Perspectives sectorielles sur les impacts et l’adaptation (p. 65-98). PDF 2.4 Mo

Montague, S. (2014). A Structured Menu for Policy Influence. (non publié, anglais seulement)

Ressources naturelles Canada. (2019-2020). Plan ministériel. PDF 2.8 Mo

Ressources naturelles Canada. (2018-2019). Cadre ministériel des résultats.

Ressources naturelles Canada. (2019). Cahier d’information sur l’énergie 2019-2020. PDF 26.7 Mo

Bureau du vérificateur général (BVG) du Manitoba. (2003). A Guide to Policy Development (anglais seulement). PDF 268 Ko

Bureau du premier ministre. (2019). Lettre de mandat du ministre des Ressources naturelles.

Parsons, W. (2004). Not Just Seeing but Weaving: Relevant Knowledge and the Craft of Building Policy Capacity and Coherence, in Australian Journal of Public Administration, 63, pp. 43-57 (anglais seulement)

Énergie positive. (2019). Polarisation sur l’énergie et le climat au Canada : résultats du sondage.

Skinner, K. (2007). Developing a Tool to Measure Knowledge Exchange Outcomes (anglais seulement), Revue canadienne d’évaluation de programme (Vol. 22, N^o 1), p. 49-73. PDF 180 Ko

Tenbensel, T. (2006). Policy Knowledge for Policy Work, in H. K. Colebatch (Ed.), The Work of Policy: An International Survey (anglais seulement, p. 199-216).

Le Conseil de la Fédération. (2015) Stratégie canadienne de l’énergie.

Secrétariat du Conseil du Trésor du Canada (première version non publiée) Évaluation des fonctions politiques : Exploration des concepts et des outils.

US Global Change Research Program (USGCRP). (2019). Fourth National Climate Assessment Volume II: Impacts, Risks and Adaptations in the United States (anglais seulement)

Annexe 4 l’équipe d’évaluation

Christian Asselin (retraité), dirigeant principal de l’audit et de l’évaluation (DPAE)

Michel Gould, dirigeant principal de l’audit et de l’évaluation (nouveau)

David Ash, conseiller principal du DPAE

Stephanie Kalt, gestionnaire de l’évaluation

Mary Kay Lamarche, gestionnaire de l’évaluation

Edmund Wolfe, évaluateur principal

Lauren Omson, évaluatrice principale

Aishwarya Babu, analyste politique (PRPAP)