Évaluation du Programme de croissance propre

Direction de l’audit et de l’évaluation
Ressources naturelles Canada
Présenté au Comité de mesure du rendement, d’évaluation et d’expérimentation (CMREE)
24 octobre 2022

Liste des sigles

Table des Matières

• Sommaire
• Introduction
• Objectifs et méthodes d’évaluation
• Constatations – Pertinence
• Constatations – Conception
• Constatations – Efficacité : Résultats attendus et inattendus
• Constatations – Efficience
• Conclusions
• Annexe A : Équipe d’évaluation

Sommaire

À propos de l’évaluation

Ce rapport présente les constatations, les conclusions et les recommandations découlant de l’évaluation du Programme de croissance propre (PCP). Issu d’une collaboration entre le Bureau de recherche et de développement énergétiques (BRDE) de RNCan, le Service canadien des forêts (SCF) et le Secteur des terres et des minéraux (STM), le PCP est une nouvelle démarche fédérale visant à appuyer l’innovation industrielle dans les secteurs des ressources naturelles et des technologies propres. Le PCP encourage la recherche, le développement et la démonstration (R-D-D) de technologies propres, incluant le déploiement des premières installations à vocation commerciale dans les secteurs énergétique, minier et forestier du Canada. Les paiements de transfert aident les bénéficiaires externes de financement à poursuivre ces travaux de R-D-D. L'enveloppe totale du programme était de 155 millions de dollars sur quatre ans à compter de 2017-2018 (prolongée jusqu'en 2021-22 en raison de la COVID).

Un certain nombre d’innovations majeures ont été mises en œuvre dans le cadre du PCP. Le BRDE a établi des partenariats de confiance avec des collaborateurs et des organismes de financement provinciaux et territoriaux clés. Ces partenariats de confiance visaient à favoriser une collaboration efficace grâce à l’échange d’information, à l’optimisation de chaque processus de financement afin d’accélérer la sélection des projets et à l’éventuelle élaboration d’appels de propositions parallèles ou conjoints. Un nouveau fonds d’aide scientifique et technologique pour les technologies propres (ASTTP) a également été établi pour appuyer la collaboration entre les bénéficiaires externes admissibles et les infrastructures de recherche fédérales. Le BRDE a lancé la Communauté de collaboration de la croissance propre, une plateforme de réseautage en ligne qui vise à aider les promoteurs du PCP à trouver des partenaires potentiels. Le PCP a été le premier programme à utiliser Integro, nouveau portail de financement à guichet unique de RNCan.

L’évaluation a porté sur la pertinence et le rendement (c.-à-d. l’efficacité et l’efficience) du PCP, pour la période allant de 2017-2018 à 2020-2021, avec les mises à jour reflétant l’incidence de la COVID-19 (prolongation du programme jusqu’en 2021-2022). 

La Direction de l’audit et de l’évaluation (DAE) de RNCan a mené cette évaluation conformément à la Politique sur les résultats (2016) du Conseil du Trésor (CT).

Constatations

Dans l'ensemble, l’évaluation montre que le PCP est pertinent et que ses objectifs sont manifestement conformes à ceux du gouvernement fédéral et du ministère. Le programme cadre avec les priorités ministérielles et fédérales relatives à l’accélération de l’innovation en matière de technologies propres, à la création de bénéfices environnementaux et de croissance économique, et à l’optimisation du secteur canadien des ressources naturelles. La vaste mobilisation entreprise dans le cadre du programme a permis de bien déterminer les priorités et les besoins de tous les intervenants concernés. Grâce à sa structure intersectorielle délibérée et sa collaboration continue avec d’autres programmes fédéraux, le PCP a pallié un manque de soutien essentiel.

Le PCP a été essentiellement mis en œuvre comme prévu. Cependant, des modifications aux échéanciers prévus pour le programme et un certain nombre de retards dans le démarrage de projets ont entraîné un ralentissement du versement des contributions établies et des traitements financés. Le programme a reçu un nombre sans précédent de propositions, lesquelles totalisaient plus de 2,3 milliards de dollars de financement (soit 15 fois le budget du programme). Ce phénomène, combiné au déploiement d’une nouvelle plateforme informatique de réception des demandes, a entraîné l’allongement des délais de traitement et d’examen, retardant ainsi la mise en œuvre du programme d’environ un an.

La plupart des caractéristiques novatrices du programme se sont avérées bénéfiques. Les activités de mobilisation, de sensibilisation et de promotion ont suscité un vif intérêt de la part des soumissionnaires, et le programme a été en mesure d’orienter les promoteurs de projets prometteurs non retenus vers d’autres ressources, notamment par l’entremise du Carrefour de la croissance propre et des partenaires de confiance. Il est avéré que les partenariats de confiance ont permis de limiter la redondance des programmes, d’améliorer leur efficacité et d’appuyer les travaux de programmation menés avec les provinces, conférant ainsi un soutien ciblé aux priorités conjointes. Le modèle d’ASTTP est très apprécié des promoteurs issus de petites et moyennes entreprises et des laboratoires fédéraux avec lesquels ils travaillent, leur permettant ainsi d’accéder à de l’infrastructure de recherche fédérale et à des compétences techniques dont ils tirent grandement parti. Par conséquent, il convient de poursuivre son application. En dépit de certains obstacles techniques, le lancement d’Integro, nouveau système à guichet unique, constitue une étape importante dans la numérisation des processus du programme. Des améliorations devront toutefois être apportées pour atteindre la pleine fonctionnalité de ce système. La plateforme communautaire de collaboration n’a, quant à elle, pas atteint son plein potentiel et n’a pas facilité autant de rapprochements que prévu entre les collaborateurs potentiels.

Par ailleurs, il était difficile de mettre en œuvre ce programme innovant. Il était également ambitieux de concilier la mise en œuvre d’au moins six nouvelles approches, y compris la répartition égale du financement entre trois secteurs, le cofinancement obligatoire des PT, le lancement d’un nouveau prototype de système de gestion de la clientèle, l’établissement de la plateforme communautaire de collaboration, ainsi que l’adoption des partenariats de confiance et du modèle d’ASTTP. Les retards dans la conclusion des accords de contribution et le processus complexe d’établissement des deux accords requis pour les projets d’ASTTP ont rallongé les délais de mise en œuvre et donc retardé les projets. Le roulement du personnel, plus restreint que prévu au cours des deux premières années critiques du programme, a contribué au niveau de mise en œuvre moindre.

Compte tenu des progrès réalisés à ce jour et de ces retards, le programme a réussi à atteindre ses objectifs à court terme, procurant ainsi des avantages immédiats grâce au renforcement de la collaboration, à la mobilisation des investissements, à l’accélération de la mise sur le marché des technologies, ainsi qu’à la gestion de toutes les avancées réalisées durant la pandémie de COVID-19. La structure souple du PCP a également permis de bien s’assurer que les projets surmontent les défis posés par la pandémie. Le programme a permis de mobiliser au moins trois fois plus d’investissements dans les technologies propres et d’accélérer leur mise sur le marché (p. ex., 50 % des projets autoévalués comme affichant des niveaux de maturité technologique avancés). Presque tous les promoteurs ont déclaré s’attendre à ce que leur technologie atteigne ou approche sa pleine maturité commerciale au cours des cinq prochaines années.

Bien que l’évaluation ait mis en évidence une divergence entre les exigences relatives aux données énoncées dans les modèles de rapport du BRDE et ses attentes quant à leur mise en œuvre, la stratégie de mesure du rendement adoptée pour le programme a permis de déterminer les avantages immédiats susmentionnés. Compte tenu des échéanciers établis pour les projets de R-D-D du PCP, il est trop tôt pour faire rapport des résultats intermédiaires ou finaux du programme, y compris des gains environnementaux. Les données sur la poursuite de ces résultats de niveau supérieur étaient donc limitées. Par ailleurs, un rapport annuel sur les résultats doit être produit pendant la période de cinq ans suivant la fin d’un projet (à quelques exceptions près). 

Recommandations et réponse de la direction (version préliminaire)

Recommandation	Réponse de la direction
Recommandation no 1 : Afin d’optimiser l’efficacité future des composantes novatrices mises en œuvre dans le cadre du Programme de croissance propre, le BRDE doit : a) clarifier les critères et les directives d’aide scientifique et technologique pour les technologies propres (ASTTP) afin d’accroître les possibilités de mise en œuvre future du modèle et l’efficacité de cette mise en œuvre;	La direction est d’accord. Le Bureau de recherche et de développement énergétiques (BRDE) a entrepris un certain nombre d’activités pour évaluer les composantes novatrices mises en œuvre dans le cadre du Programme de croissance propre, et continuera d’évaluer les leçons apprises afin d’optimiser l’efficacité des composantes des futurs programmes.  a) Au cours de l’été 2021, le BRDE a demandé à un entrepreneur externe d’effectuer un examen détaillé du modèle d’ASTTP au moyen de groupes de discussion et d’entrevues. Ce processus visait à saisir les principales possibilités d’optimisation des ressources et à résumer ces constatations dans un rapport sur lequel le BRDE s’appuiera pour définir les directives et les critères futurs.
b) vérifier si l’utilité de la communauté de collaboration justifie la mobilisation des ressources nécessaires au maintien de la plateforme à l’avenir;	b) À l’automne 2021, le BRDE a envoyé un sondage à tous les membres de la communauté de collaboration en matière de croissance propre afin de mieux comprendre leur utilisation de la plateforme et de leur donner l’occasion de recommander des améliorations et de futurs domaines de contenu. Le BRDE travaillera à l’élaboration d’une stratégie pour la plateforme, avec l’objectif principal de favoriser les partenariats, d’appuyer des propositions de meilleure qualité pour les programmes futurs, de créer un espace réservé aux importantes discussions et de faciliter les jumelages.
c) effectuer une évaluation des besoins technologiques d’Integro et élaborer un plan d’amélioration du système afin de mieux répondre aux besoins internes et externes.	c) À compter de l’été 2021, le BRDE a entrepris une évaluation des besoins techniques d’Integro, laquelle lui a permis de déterminer que ce système n’était pas en mesure de soutenir au mieux la prestation future du programme. Le 17 janvier 2022, le BRDE a présenté au Comité d’examen architectural une nouvelle solution (Salesforce), laquelle a été approuvée à l’unanimité, mise à l’échelle, puis mise en œuvre. Responsable : DG du BRDE au nom du SMA du SEETE  Date d’échéance : Le BRDE déterminera et évaluera les lacunes et les possibilités du modèle d’ASTTP au moyen d’un processus interne pour envisager son éventuelle utilisation dans les programmes futurs. La stratégie communautaire de collaboration sera finalisée à l’automne 2022, et une démarche claire sera définie pour l’avenir de la communauté à l’hiver 2022-2023. Le BRDE travaille au lancement de la solution Salesforce à l’automne 2022.
Recommandation no 2 : Le BRDE doit améliorer les pratiques de mesure du rendement des programmes novateurs en : a) répertoriant les données de rendement qui traduisent le mieux les progrès accomplis et l’atteinte des résultats escomptés; b) clarifiant les exigences de compte rendu grâce à l’établissement d’orientations, de définitions, de cibles, de stratégies de données et de méthodes de suivi claires en matière de production de rapports.	La direction est d’accord. Dans le cadre de ses activités, le BRDE assure une fonction de mesure du rendement, laquelle s’emploie à repérer et collecter les données qui traduisent le mieux les progrès accomplis et l’atteinte des résultats escomptés pour les projets et programmes, ainsi qu’à établir des orientations, des définitions, des cibles, des stratégies de données et des méthodes de suivi claires en matière de production de rapports. À l’avenir, le BRDE poursuivra la mise à jour et la révision de ses stratégies de mesure du rendement, de ses outils de collecte de données et de ses directives en matière de production de rapports sur les projets afin de mieux les harmoniser avec les résultats escomptés et les horizons temporels établis pour l’innovation énergétique et la R-D-D sur les ressources naturelles dans le cadre des futurs programmes. De plus, le BRDE mettra à jour son guide de production de rapports sur les projets du PCP, ses modèles de rapport et les documents associés à ces rapports afin de mettre davantage l’accent sur leurs dates cibles et leurs échéances, d’améliorer les définitions, ainsi que de préciser les méthodologies et les consignes de collecte et d’analyse de données. Le BRDE élaborera également des directives permettant de mieux distinguer les exigences et méthodologies de compte rendu des projets individuels de celles des rapports de données agrégées à l’échelle d’un programme (comme le cadre ministériel des résultats, les profils d’information des programmes). Responsable : DG du BRDE au nom du SMA du SEETE Date d’échéance : Étant donné que les modèles de rapport du PCP ont déjà été distribués aux promoteurs cette année, des mises à jour seront apportées aux modèles de rapport de suivi à compter de septembre 2022.

Introduction

Ce rapport présente les constatations, les conclusions et les recommandations découlant de l’évaluation du Programme de croissance propre (PCP). La Direction de l’audit et de l’évaluation (DAE) de Ressources naturelles Canada (RNCan) a mené cette évaluation conformément à la Politique sur les résultats (2016) du Conseil du Trésor (CT).

Renseignements sur le programme

Le PCP appuie une nouvelle approche fédérale en matière de recherche, de développement et de démonstration (R-D-D) de technologies propres, qui inclut le déploiement des premières installations à vocation commerciale dans les secteurs énergétique, minier et forestier du Canada. L’enveloppe totale du programme quadriennal ayant débuté en 2017-2018 s’élevait à 155 M$. Le programme a été prolongé jusqu’en 2021-2022 en raison de la lutte contre la COVID-19. En plus des ententes de soutien des demandeurs d’ASTTP, des paiements de transfert ont permis d’aider les bénéficiaires de financement externe à poursuivre ces travaux de R-D-D. Le BRDE s’attendait à ce que ce budget finance environ 40 projets. Le Tableau 1 présente le budget approuvé pour le PCP.

Tableau 1 : Budget initial approuvé pour le PCP

Poste de dépenses	2017-2018	2018-2019	2019-2020	2020-2021	2021-2022	Total
F et E	2 636 645	5 146 744	5 218 962	4 992 029	–	17 994 380
Salaires	1 177 796	2 485 936	2 516 048	2 537 304	–	8 717 084
Régime d’avantages sociaux des employés (RASE)	235 559	497 187	503 210	507 461	–	1 743 417
S et C	–	46 070 133	45 361 780	35 098 735	–	126 530 648
Total	4 050 000	54 200 000	53 600 000	43 135 529	0	154 985 529

Source : Document d ’approbation du PCP

Le programme offre du financement aux promoteurs de l’industrie, du milieu universitaire et des organismes de recherche pour qu’ils entreprennent des projets de technologies propres dans les secteurs des ressources naturelles. Le programme visait à atténuer certains des risques associés à la R-D-D et à l’innovation. L’objectif était de renforcer l’excellence et la compétitivité environnementale des entreprises des secteurs des ressources naturelles et des technologies propres. Ainsi, les acteurs du secteur des ressources naturelles rencontrant des problèmes liés à l’énergie propre ou aux technologies propres étaient mis en contact avec des organismes novateurs, jetant ainsi les bases des partenariats d'intérêt mutuel. Grâce à sa structure intersectorielle, le PCP avait pour objet de favoriser les synergies entre les industries ciblées (énergie, mines et foresterie). Issu d’une collaboration entre le Bureau de recherche et de développement énergétiques (BRDE) de RNCan, le Service canadien des forêts (SCF) et le Secteur des terres et des minéraux (STM), le programme est dirigé par ce premier.

Pour avoir droit au financement du PCP, les promoteurs ont dans un premier temps présenté une lettre d’intérêt. Après évaluation de ces lettres, les promoteurs retenus ont été invités à soumettre une proposition complète. Le Programme de croissance propre exigeait alors que les projets retenus soient cofinancés par les provinces et les territoires (PT). Aucun financement ou levier financier minimal n’était requis de la part des PT. Les PT pouvaient offrir leur soutien au moyen de contributions financières ou en nature (biens ou services de valeur offerts à la place d’espèces). Les promoteurs pouvaient également consentir à ce que RNCan communique leur lettre d’intérêt à d’autres entités de financement de divers ordres de gouvernement et du secteur sans but lucratif afin de leur permettre d’être repérés, d’obtenir un cofinancement des PT et de trouver d’autres partenaires potentiels.

Un certain nombre d’innovations majeures ont été mises en œuvre dans le cadre du PCP et sont décrites ci-dessous. Les constatations de l’évaluation liées à ces composantes présentaient un intérêt particulier puisqu’elles peuvent renseigner les décisions et les améliorations relatives aux futurs programmes.

Les partenariats de confiance établis avec les principaux collaborateurs et organismes de financement provinciaux et territoriaux sont la clef de voûte du PCP. Le BRDE a notamment conclu des protocoles d’entente (PE) et des accords de confidentialité avec ces organismes. Ces partenariats de confiance visaient à favoriser une collaboration efficace grâce à l’échange d’information, à l’optimisation de chaque processus de financement afin d’accélérer la sélection des projets et à l’éventuelle élaboration d’appels de propositions parallèles ou conjoints. Le BRDE et les partenaires de confiance ont donc échangé des renseignements en matière de diligence raisonnable et d’examen afin d’accélérer le processus de sélection des projets et de faciliter leur cofinancement.

Le BRDE a établi un nouveau fonds d’aide scientifique et technologique pour les technologies propres (ASTTP) pour appuyer la collaboration entre les bénéficiaires externes admissibles et les infrastructures de recherche fédérales. Le modèle d’ASTTP vise à combler les lacunes en matière de capacité des petites et moyennes entreprises (PME) en les aidant à accéder aux ressources scientifiques et technologiques substantielles et uniques des laboratoires et des centres de recherche fédéraux auxquelles ils n’ont normalement accès que moyennant des frais. Grâce à ce modèle, le PCP pouvait financer directement les laboratoires fédéraux afin de soutenir leur collaboration avec les promoteurs retenus, sans que ces derniers se heurtent à des obstacles de coûts. Le PCP pouvait consacrer jusqu’à 11 millions de dollars de son financement opérationnel aux contributions en nature des centres de recherche fédéraux, notamment aux projets d’ASTTP.

Le PCP a également lancé la Communauté de collaboration de la croissance propre, une plateforme de réseautage en ligne qui vise à aider les promoteurs à trouver des partenaires potentiels, y compris des intervenants provinciaux et fédéraux. La plateforme hébergeait des descriptions des laboratoires fédéraux et des renseignements pertinents provenant des provinces et des territoires.

Le PCP fut le premier à utiliser la solution Integro, nouveau portail de financement à guichet unique de RNCan, pour assurer la réception des demandes, la gestion des cas et du flux de travail, la production de rapports et la gestion de la clientèle des programmes ministériels. 

Structure de gouvernance et responsabilités du programme

Le PCP fait partie du Programme d’innovation énergétique et de technologies propres relevant du Cadre ministériel des résultats 2021-2022 de RNCan. Le BRDE du Secteur de l’efficacité énergétique et de la technologie de l’énergie (SEETE) de RNCan est responsable de la gestion globale du programme et a l’obligation d’en rendre compte. Il administre le programme au nom des secteurs énergétique, minier et forestier de RNCan. Des représentants du Secteur des terres et des minéraux (STM) et du Service canadien des forêts (SCF) de RNCan ont contribué à l’évaluation des propositions de projet.

Le programme repose sur les structures de gouvernance de l’examen des projets et des décisions de financement mises en place pour exécuter les autres programmes d’innovation énergétique de RNCan. La structure de gouvernance comprend des comités d’examen technique composés d’experts en la matière formulant des recommandations de sélection de projets. Un comité spécial des SMA pour la croissance propre (auquel participent le SCF, le STM et d’autres ministères) a ensuite examiné les projets recommandés et a donné son approbation finale. Sous leur forme élargie, les comités d’examen technique se composaient également de participants provinciaux et territoriaux et d’examinateurs externes.

Résultats escomptés

Le programme couvre cinq domaines axés sur les défis environnementaux urgents et les débouchés économiques auxquels sont confrontés trois des secteurs de ressources naturelles de RNCan (énergie, exploitation minière et foresterie) :

• la réduction des émissions de gaz à effet de serre et d’autres polluants atmosphériques;
• la réduction au minimum des perturbations paysagères et l’amélioration de la gestion des déchets;
• la production et l’utilisation de matériaux et de bioproduits de pointe;
• la productivité énergétique et l’efficacité énergétique; et
• la réduction de la consommation de l’eau et des répercussions sur les écosystèmes aquatiques.^{Note de bas de page 1}

Le PCP est destiné à faire progresser les technologies propres du secteur des ressources naturelles du Canada en finançant des projets de R-D-D. « Le programme met en œuvre la nouvelle approche opérationnelle collaborative du gouvernement du Canada en tirant parti des investissements dans la recherche financée par l’État, les centres de recherche et les programmes de financement provinciaux et territoriaux pour mieux mobiliser les technologies propres. Le programme vise à améliorer la coordination et à tirer parti des investissements dans les technologies propres afin d’aider plus efficacement le Canada à atteindre ses objectifs en matière de changements climatiques, à créer des débouchés économiques et à élargir les débouchés sur le marché mondial.»^{Note de bas de page 2}

Les projets entrepris en collaboration avec d’autres ministères, le milieu universitaire et d’autres organismes devraient permettre de réduire les effets négatifs des émissions de GES grâce à l’augmentation des investissements et de la collaboration des intervenants dans les technologies d’énergie propre, offrant ainsi un meilleur accès aux connaissances scientifiques et techniques. Le renforcement des investissements et de la collaboration permettra d'accélérer la mise en marché de ces technologies.

Le modèle logique du PCP est présenté à la figure 1.

Figure 1 : Modèle logique du PCP

Source : Documentation officielle du programme

Objectifs et méthodes d’évaluation

La DAE s’était engagée à réaliser cette évaluation dans son Plan intégré d’audit et d’évaluation pour la période 2021-2026. Elle a établi la nécessité de cette mission dans le cadre de son processus de planification axé sur les risques et en réponse à l’engagement du Conseil du Trésor (CT) de réaliser une évaluation. L’évaluation satisfait également aux exigences d’évaluation des programmes de subventions et de contributions (S et C) existants, en vertu de l’article 42.1 de la Loi sur la gestion des finances publiques et de la Politique sur les résultats du CT.

L’évaluation a porté sur la pertinence et le rendement (c.-à-d. l’efficacité et l’efficience) du PCP, pour la période allant de 2017-2018 à 2020-2021, avec les mises à jour reflétant l’incidence de la COVID-19 (prolongation du programme jusqu’en 2021-2022). Cette première évaluation du programme couvre les trois domaines d’intérêt du PCP : l’énergie, l’exploitation minière et la foresterie.

Voici les questions précises qui y sont traitées :

Objectifs et méthodes d’évaluation

Pertinence	Ce programme répond-il aux besoins des Canadiens? Ce programme cadre-t-il avec les priorités, les rôles et les responsabilités actuels de RNCan et du gouvernement fédéral? Comment le PCP complète-t-il ou réplique-t-il les programmes de technologies propres offerts par d’autres ministères et organismes fédéraux?
Conception et exécution	Dans quelle mesure la conception du programme (p. ex., orientation du projet, structure de gouvernance, mécanismes d’exécution) a-t-elle facilité l’atteinte efficace et efficiente des résultats? Des mécanismes de prestation ont-ils été surexploités ou sous-exploités? (Adoption) Quelles leçons peut-on tirer des principaux éléments de conception du PCP? Comment les principes d’équité, de diversité et d’inclusion (analyse comparative entre les sexes plus) ont-ils été pris en compte dans la conception et l’exécution du programme?
Rendement – Efficacité	Les extrants produits permettaient-ils de favoriser l’atteinte des résultats attendus? Quels progrès ont été accomplis dans l’atteinte des résultats attendus?Note de bas de page 3 Le programme a-t-il produit des résultats inattendus (positifs ou négatifs)? Des procédures adéquates de collecte de données et de production de rapports sont-elles en place pour mesurer le rendement actuel et futur?
Rendement – Efficience	Dans quelle mesure le programme est-il mis en œuvre comme prévu, y compris les ressources financières? Le programme a-t-il été sensible aux facteurs internes et externes (positifs ou négatifs) qui influent sur sa capacité d’atteindre les résultats attendus et de fonctionner avec efficience?

Méthodes d’évaluation

Compte tenu de la courte période couverte et du fait que la plupart des projets financés n’étaient pas encore terminés au moment de l’évaluation, l’évaluation était axée sur la mise en œuvre (conception et exécution). Les répercussions du programme sont également évaluées, dans la mesure du possible, à l’aide de données sur le rendement reflétant principalement les projets entrant dans leur deuxième ou troisième année de mise en œuvre. Compte tenu de l’allongement des délais requis pour obtenir les résultats attendus des projets de R-D-D, on s’attendait à ce que les cibles intermédiaires et finales ne soient pas encore atteintes et à ce que le BRDE suive les progrès accomplis.

Un groupe de travail composé de représentants du PCP et de la DAE de RNCan a appuyé l’évaluation.^{Note de bas de page 4} L’évaluation est fondée sur plusieurs sources de données, comme l’illustre le Tableau 2.

Tableau 2 : Méthodes d’évaluation du PCP

Groupes de discussion avec les participants du modèle d’ASTTP	Entrevues	Examen des documents	Analyse de la base de données	Sondage auprès des demandeurs
Deux groupes de discussion se sont réunis : un avec les promoteurs (n=4) et un avec les laboratoires fédéraux (n=5). Les groupes de discussion ont permis d’obtenir le point de vue des participants sur le modèle d’ASTTP en tant que composante novatrice majeure du PCP.	Entrevues (n=26) avec des experts, des représentants internes, d’autres ministères, des promoteurs participant au PCP et des partenaires de confiance. Ces entrevues ont permis d’obtenir des avis sur la pertinence, l’efficacité et l’efficience du PCP.	Examen des documents du programme couvrant des documents internes, des documents stratégiques et des documents rendus publics. Ces documents ont servi à comprendre les processus, les activités, les priorités et les progrès du PCP par rapport aux objectifs établis.	Examen des données de programme et de rendement aux fins de collecte de données probantes sur les progrès accomplis dans l’atteinte des résultats.	Sondage mené du 23 juin au 20 juillet 2021 auprès de tous les demandeurs ayant soumis une proposition complète (financée et non financée). Taux de réponse de 41 % (40/97). Concernant le modèle d’ASTTP, 12 des 14 projets visés ont participé au sondage. Cette source de données a servi à recueillir les expériences et les perceptions des demandeurs à l’égard du PCP.

Limites et éléments à prendre en considération

L’évaluation a été menée à l’aide d’une combinaison de méthodes aux multiples sources de données pour pallier les limites associées aux méthodes individuelles. Cela a permis de recouper les données probantes entre les diverses sources d’information afin d’en dégager des constatations valides et d’en tirer des conclusions. Toutefois, les limites suivantes devraient être prises en compte dans le cadre de l’examen des constatations de l’évaluation :

Analyse de la base de données. Alors que certains projets n’ont pas soumis de rapport d’étape pour 2019-2020, ceux l’ayant fait ont laissé quelques questions sans réponse. Comme il était prématuré pour les projets de démonstration de mesurer les indicateurs environnementaux ou d’en faire rapport, l’évaluation n’a pas permis de cerner l’effet environnemental du PCP. L’incidence des projets de R-D-D ne sera perceptible qu’à moyen et long terme (d’ici 2026 ou au-delà) et sera consignée dans les rapports quinquennaux du projet.

De plus, la base de données comportait quelques valeurs illogiques (p. ex., nombre plus élevé de femmes hautement qualifiées que le nombre total déclaré de personnes hautement qualifiées [PHQ], niveaux de maturité technologique en baisse). Toute donnée quantitative semblant illogique a été exclue de l’analyse, sans que cela n’ait aucune incidence.

Répondants clés. Les répondants clés (entrevues et participants aux groupes de discussion, n=35) appartenaient à diverses catégories de personnes ayant des perspectives et des compétences différentes. Les remarques isolées sont parfois rapportées lorsque le répondant fait part d’une expérience unique ou d’une perspective singulière dans un domaine donné.

Validité de l’enquête. Il y a une légère surreprésentation des promoteurs de projets financés parmi les répondants à l’enquête, comparativement à la liste complète des demandeurs. Cela n'a rien d'étonnant, les bénéficiaires étant généralement plus susceptibles de répondre à ce type de questionnaire. Les projets énergétiques et les organismes à but lucratif sont aussi légèrement surreprésentés. Par ailleurs, il y a une sous-représentation des Ontariens parmi l’ensemble des répondants. Les données sont restées inchangées (sans pondération) et ont fourni des observations utiles, notamment sur la prestation du programme.

Constatations – Pertinence

Les défis environnementaux urgents et les débouchés économiques mis en évidence par le PCP s’inscrivent dans les besoins des Canadiens

Les documents examinés ont montré que le secteur des ressources naturelles occupe une place importante dans le paysage économique canadien, puisqu’il représentait 10,1 % du produit intérieur brut national en 2016, avec l’énergie, l’exploitation minière et la foresterie constituant la grande majorité des activités du secteur.^{Note de bas de page 5} En plus de jouer un rôle déterminant dans la croissance économique du pays, le secteur des ressources naturelles contribue à la croissance de l’emploi et des investissements au Canada. De plus, les activités de transformation secondaire et tertiaire des sous-secteurs d’exploitation forestière, minérale et minière appuient les activités en aval qui contribuent davantage au produit intérieur brut du Canada. Le Canada accorde une importance particulière au secteur des ressources naturelles, et il a été démontré que la majorité des Canadiens appuient sa mise en valeur. Par exemple, un récent sondage a révélé que les Canadiens le considèrent comme un secteur déterminant de l’économie du pays et comme un outil d’aide à la reprise économique du Canada à la suite de la pandémie de COVID-19^{Note de bas de page 6}.

Dans l’ensemble, les objectifs du PCP cadrent avec les opinions des Canadiens. Le rapport sur l’enquête de 2018 intitulée « Canada’s World Survey » indique que les Canadiens perçoivent les changements climatiques et les questions environnementales comme l’une des principales préoccupations mondiales^{Note de bas de page 7}. Selon un sondage réalisé en 2021 auprès de 1 548 Canadiens, 74 % des répondants s’inquiètent des changements climatiques et 68 % appuient l’objectif de carboneutralité du pays d’ici 2050^{Note de bas de page 8}.

Le PCP cadre avec les priorités, les rôles et les responsabilités du gouvernement fédéral et de RNCan

L’examen des documents et les entrevues révèlent que le rôle et les mesures de RNCan en matière de technologies propres et d’énergies propres novatrices appuient directement le mandat du ministre des Ressources naturelles, tel que défini, par exemple, dans la Loi sur le ministère des Ressources naturelles (1994) et la Loi sur l’efficacité énergétique (1992). Ces lois accordent au ministre des Ressources naturelles le mandat d’améliorer l’exploitation et l’utilisation responsables des ressources, la compétitivité industrielle et l’accès aux marchés, de favoriser l’évolution et l’application des sciences et technologies visant à renforcer le rendement environnemental, la compétitivité et la sécurité des Canadiens, ainsi que de prôner l’utilisation efficace de l’énergie et des ressources naturelles. Par conséquent, le PCP s’inscrit dans le mandat ministériel visant à soutenir l’innovation et l’utilisation des technologies propres dans les secteurs canadiens de ressources naturelles. Ce programme vise à permettre à RNCan d’investir dans les producteurs de technologies propres afin qu’ils puissent relever les défis environnementaux les plus urgents au Canada et créer plus de débouchés pour les travailleurs canadiens.

Par ailleurs, l’examen des documents et les entrevues révèlent que le PCP cadre avec les priorités fédérales et de ministérielles. La lettre de mandat du ministre des Ressources naturelles (2019) lui demande de « veiller à ce que les secteurs de l’énergie et des ressources naturelles du Canada demeurent une bonne source d’emplois, de prospérité et de possibilités pour la classe moyenne partout au pays, notamment en appuyant les collectivités du secteur des ressources dans leur transition vers des technologies plus propres, tout en encourageant et promouvant la compétitivité des entreprises canadiennes. » 

Le PCP s’inscrit dans la deuxième responsabilité essentielle du Cadre ministériel des résultats de RNCan pour 2019-2020 et 2020-2021. Elle prévoit que le PCP contribuera au soutien de la croissance propre dans les secteurs des ressources naturelles afin de veiller à ce que leur compétitivité se renforce dans un environnement en constante évolution et à ce qu’ils continuent d’adopter des pratiques d’exploitation durable, d’accélérer l’avancement de technologies propres et d’appuyer la transition du Canada vers la carboneutralité. Dans le cadre du Programme de croissance propre, le ministère continue de financer avec les provinces et les territoires des projets de recherche, de développement et de déploiement de technologies propres dans les secteurs énergétique, minier et forestier canadiens afin d’accroître la compétitivité de ces derniers et de réduire leur incidence environnementale.

En novembre 2015, le premier ministre Trudeau a annoncé la participation du Canada à Mission Innovation, une initiative mondiale visant à accélérer l’innovation en matière d’énergie propre. Dans le cadre de cette initiative, les pays participants ont convenu de doubler leurs investissements nationaux dans les énergies propres novatrices sur une période de cinq ans, tout en encourageant le secteur privé à investir davantage dans les technologies énergétiques propres transformatrices. Les budgets de 2016 et de 2017 ont financé un certain nombre de mesures complémentaires, notamment dans les domaines de l’infrastructure verte et des technologies propres, qui contribueront au respect de cet engagement.

La Stratégie fédérale de développement durable (2016-2019) a établi des objectifs en matière de croissance propre, d’énergie propre et de lutte efficace contre les changements climatiques. Ces objectifs font partie intégrante du PCP. Parmi les priorités, stratégies et cadres fédéraux s’inscrivant dans les objectifs de croissance propre et de lutte contre les changements climatiques, il convient de citer le Cadre pancanadien sur la croissance propre et les changements climatiques (2016), dont l’un des piliers est le développement, la commercialisation et l’adoption de technologies propres dans tous les secteurs industriels.

Le PCP diffère des autres programmes fédéraux et a comblé une lacune dans le paysage des programmes de technologies propres

La documentation du PCP révèle que le rythme d’innovation dans les secteurs des ressources naturelles (énergie, foresterie et exploitation minière) demeure nettement en deçà du niveau nécessaire à l’atteinte des objectifs communs en matière de changements climatiques. Elle indique également que les technologies propres existantes ne sont ni suffisamment développées ni à l’abri de risques pour permettre leur déploiement massif sur le marché. En 2020, l’Agence internationale de l’énergie a reconnu l’importance des efforts de R-D-D et d’innovation majeurs et ciblés, estimant qu’une forte proportion (jusqu’à 45 %) de toutes les économies d’émissions prévues d’ici 2050 pourraient provenir de technologies actuellement à l’état de prototype ou en phase de démonstration et qui ne seront pas déployées à grande échelle sans investissement supplémentaire^{Note de bas de page 9} .

L’analyse et l’examen des autres programmes fédéraux de subventions et de contributions pour les technologies propres révèlent que le PCP ne fait pas double emploi. Aucun autre programme fédéral de ce genre ne vise expressément à soutenir l’énergie, l’exploitation minière et la foresterie de manière intersectorielle. Des documents indiquent également que le programme comble une lacune dans les programmes fédéraux consacrés aux technologies propres. Il s’agit notamment de pallier un manque de financement direct des projets de recherche et de développement en phase préliminaire, et de remédier à l’incapacité de nombreuses entreprises à commercialiser ou à reproduire leurs technologies émergentes.

Compte tenu des programmes complémentaires de technologies propres novatrices annoncés dans les budgets de 2016 et de 2017, il n’est pas surprenant que les principales personnes interrogées et les participants aux groupes de discussion, toutes catégories confondues, aient évoqué une multitude d’autres programmes et initiatives promouvant les technologies propres ou l’innovation technologique dans son ensemble. Toutefois, la majorité des groupes interrogés sont d’avis que le PCP complète les autres sources de financement. Ils reconnaissent notamment que plusieurs types de programmes sont nécessaires pour répondre aux divers besoins liés aux technologies propres (quel que soit le secteur, la collectivité de bénéficiaires, le NMT, etc.). Les participants aux groupes de discussion ont confirmé le caractère unique du modèle d’ASTTP du PCP, notant qu'il s’agit de leur première occasion d’accéder à des laboratoires fédéraux grâce à un financement propre.

Le PCP a répondu aux besoins de son public cible

L’appel à la manifestation d'intérêt du PCP a généré un nombre de soumissions plus élevé que prévu. Selon les chiffres définitifs, 761 lettres d’intérêt ont été envoyées par les trois secteurs concernés, lesquelles totalisaient des demandes de plus de 2,3 milliards de dollars de financement, soit 15 fois le budget du programme (155 millions de dollars).

Les réponses des promoteurs interrogés ainsi que d’autres catégories de répondants confirment que le PCP a satisfait un besoin. Le programme a injecté de nouveaux fonds dans des secteurs préalablement sous-financés. Il ciblait les bons niveaux de maturité technologique (niveau cinq à niveau huit) pour soutenir la R-D-D, et a permis à rapprocher les solutions de la phase de commercialisation. Il a également contribué au développement de technologies propres en réduisant les risques pour les projets financés.

Dans le cadre des entrevues et des groupes de discussion, les promoteurs ont confirmé que le PCP offrait un soutien à la R-D-D, adoptait une approche holistique et intersectorielle et ciblait bien les NMT de leurs projets. D’après toutes les catégories de répondants clés, le PCP satisfaisait les besoins existants parce qu’il :

• ciblait les bons NMT, pour lesquels un financement moindre est disponible;
• venait en aide (jusqu’à présent) aux secteurs sous-financés, comme les secteurs d’exploitation minière et de traitement des eaux usées;
• avait une vaste portée intersectorielle;
• offrait suffisamment de financement pour permettre aux organismes, en particulier les petites et moyennes entreprises (PME), de changer la donne;
• finançait les projets d’une multitude de promoteurs, y compris des universitaires et des organismes sans but lucratif;
• se coordonnait bien avec les autres programmes;
• était indifférent à la technologie; et
• contrôlait la pertinence et la conformité des projets au moyen d’une lettre d’intérêt avant de demander des soumissions complètes.

Constatations – Conception

Le PCP a entrepris une vaste mobilisation des intervenants pour appuyer l’élaboration de politiques et la définition des domaines prioritaires globaux du programme

Les documents et les entrevues confirment que les domaines d’intérêt du PCP sur lesquels reposent l’appel à la manifestation d'intérêt et la demande de propositions résultent d’un processus de mobilisation intersectoriel auquel ont participé divers intervenants internes et externes à RNCan. Les documents indiquent que les sous-ministres adjoints du SEETE, du SCF et du STM ont convoqué ces trois secteurs à une réunion de spécialistes provinciaux et territoriaux de l'innovation en juin 2017. RNCan a aidé les secteurs concernés à établir la liste des invitations à la réunion ; les membres des groupes de travail fédéraux-provinciaux-territoriaux y ont alors été conviés et il a même été envisagé d’inclure des représentants des PT.  

Un questionnaire de mobilisation a également été préparé et adressé aux PT à l’été 2017. Ce questionnaire visait à obtenir l’avis des provinces et des territoires sur les éventuels domaines d’intérêt du PCP afin d’éclairer la prise de décisions du sous-ministre de RNCan. Il cherchait également à se renseigner sur les priorités des provinces et des territoires, leurs mécanismes de collaboration préférés, leurs projets potentiels et leurs possibilités de cofinancement pour faciliter la collaboration fédérale-provinciale-territoriale dans le cadre du programme. Au final, 9 des 13 provinces et territoires ont répondu au questionnaire, les gouvernements restants ayant quant à eux participé à des discussions bilatérales. Cette mobilisation a permis aux provinces et aux territoires d’appuyer fortement les domaines d’intérêt choisis, lesquels cadraient avec leurs priorités, tout en engendrant suffisamment d’intérêt et de possibilités de partenariat avec les PT dans chacun de ces domaines. Les répondants issus de RNCan et d’autres ministères ont souligné l’efficacité de l’établissement des priorités.

Bien qu’elle ait été saluée, l’approche intersectorielle s’est avérée difficile à mettre en œuvre

La démarche intersectorielle itérative inédite du programme, consistant notamment en des ateliers et des activités de sensibilisation, s’est avérée bénéfique.

Selon les personnes interrogées, toutes catégories confondues, l’approche intersectorielle avait le mérite de répondre plus globalement aux besoins en matière de technologies propres et de cerner les synergies et les solutions technologiques pertinentes dans chaque secteur. Environ la moitié des répondants au sondage estimaient que le PCP appuyait la collaboration avec les provinces et les territoires ou créait des liens entre les secteurs (figure 2).

Figure 2 : Mesure dans laquelle le PCP a donné lieu à une collaboration

Source : Enquête d’évaluation auprès des candidats au PCP

Toutefois, l’approche intersectorielle a été difficile à mettre en œuvre compte tenu des différents niveaux de capacité et d’expertise des secteurs de RNCan. Les gestionnaires de programme ont indiqué que ce secteur d’investissement familier du SEETE s’avérait relativement nouveau pour le STM et le SCF. Cela a eu une incidence sur la coordination, la définition des rôles et responsabilités et, à terme, la gestion de certains projets. L’exigence de répartition égale du financement entre les trois secteurs (p. ex., un tiers du financement total alloué à chacun) a également compliqué le processus de sélection des projets, entraînant ainsi le rejet de projets à fort potentiel dans des secteurs surexploités, et obligeant le programme à trouver des solutions de rechange pour tout projet annulé.

Leçon apprise : L’investissement dans les domaines prioritaires renforce la pertinence du programme et la participation à celui-ci

La mobilisation multipartite interne et externe a débouché sur une meilleure conception globale, dotée d’une grande souplesse pour s'attaquer aux enjeux d'importance. Les structures mises en œuvre par le PCP ont réussi à favoriser une meilleure réponse intergouvernementale globale que celles d’autres programmes. Le PCP s’est efforcé d’éliminer tout obstacle à l’aide de la collaboration fédérale-provinciale-territoriale, du modèle d’ASTTP et d’une conception multisectorielle. Pour les futurs programmes multisectoriels, il serait préférable de ne pas établir une exigence stricte de financement égal afin de disposer d’une marge de manœuvre suffisante pour atténuer les répercussions de tout changement affectant les secteurs et les marchés.

Le PCP a mobilisé un grand nombre de promoteurs divers grâce à une sensibilisation efficace. Le programme a également bénéficié de processus de demande, d’évaluation et de mise en œuvre bien conçus.

Les documents et les données du programme indiquent que les activités de mobilisation, de sensibilisation et de promotion du PCP ont été efficaces et ont contribué à susciter l’intérêt d’un grand nombre d’organismes divers. Les commentaires recueillis dans le cadre du sondage font état d’une communication et d’une promotion efficaces, ainsi que d’un appel à la manifestation d’intérêt satisfaisant (Figure 3). Compte tenu de la forte demande sectorielle^{Note de bas de page 10} d’aide à l’atténuation des risques technologiques, le programme a reçu 761 lettres d’intérêt, engendrant ainsi une participation plus importante que prévu. Le PCP a organisé des webinaires à chaque étape clé du processus, soit avant le lancement de l’appel à la manifestation d’intérêt, pendant la phase de réception des lettres d’intérêts et durant la phase de soumission des propositions complètes des promoteurs retenus.

Figure 3 : Processus du PCP efficaces

Source : Enquête d’évaluation auprès des candidats au PCP

Les personnes interrogées et les participants aux groupes de discussion ont souligné l’un des points forts du programme, à savoir l’envoi d’une lettre d’intérêt comme préalable à la soumission d’une proposition complète dans le cadre du processus de demande. Les répondants au sondage et les personnes interrogées souscrivaient généralement au processus de manifestation d’intérêt, qui aide à confirmer directement la pertinence d’un projet, sans passer par l’élaboration d’une proposition complète. Les répondants ont indiqué que le niveau d’effort était approprié. Ils ont également déclaré que les renseignements fournis sur le processus de demande étaient clairs. Par ailleurs, le fait d’avoir une personne-ressource (conseiller) dans le cadre de la mise en œuvre du PCP était souvent cité comme un atout. Les promoteurs retenus ont déclaré que le programme les a soutenus tout au long de la phase de mise en œuvre et qu’il a tenu compte des problèmes liés à la COVID-19. Cependant, les résultats du sondage indiquent que certains aspects des communications du PCP auraient pu être améliorés. Les personnes interrogées et les participants aux groupes de discussion ont suggéré d’élargir et de décentraliser les activités de communication et de sensibilisation pour atteindre davantage de PME, en particulier celles qui ne sont pas fortement interconnectées. Plus de la moitié des promoteurs ont indiqué que les critères d’admissibilité au programme n’étaient clairs que dans une certaine mesure : il s’agissait de l’un des points d’insatisfaction majeurs (Figure 4). Concernant le modèle d’ASTTP, les promoteurs ont eu du mal à identifier le type de promoteurs et de collaborateurs admissibles. Ce problème a notamment été soulevé par les promoteurs de projets énergétiques et miniers. Il n’y avait pas de différence significative dans leur réponse.

La majorité des répondants à l’enquête (60 %) ont affirmé que le PCP était accessible; toutefois, plusieurs répondants issus de sources diverses ont indiqué que les jeunes entreprises et les PME aux capacités limitées pouvaient néanmoins être désavantagées dans le cadre d’un programme comme le PCP, dont les processus administratifs semblent relativement lourds.

Figure 4 : Processus du PCP devant être améliorés

Source : Enquête d’évaluation auprès des candidats au PCP

Bien que les processus d’évaluation et de sélection des projets du PCP aient été jugés valides, les promoteurs non retenus ont évoqué la nécessité d’obtenir une rétroaction plus claire et plus constructive

Le Comité d’orientation de RNCan et des experts indépendants ont jugé le processus de sélection des projets crédible et défendable. On constate également qu’il est nécessaire de prévoir plus de temps pour les évaluations et la préparation des promoteurs, ainsi que de former des examinateurs experts chargés de veiller à l’uniformité et l’efficacité des processus d’évaluation et de sélection des projets. Un certain nombre de promoteurs non retenus ont décrit le processus de sélection comme opaque (38 %), et 47 % (près de la moitié) ont indiqué que la rétroaction était peu constructive ou que la justification du rejet n’était pas claire (figure 5). Bien que l’évaluation n’ait aucun moyen de les comparer à la rétroaction des promoteurs non retenus par d’autres programmes, et qu’ils puissent avoir une connotation négative, ces résultats suggèrent qu’il est possible d’améliorer les communications du programme liées au processus de demande et de sélection.

Figure 5 : Points de vue relatifs aux processus d’évaluation et de sélection des projets

Source : Enquête d’évaluation auprès des candidats au PCP

D’après les promoteurs, les principales faiblesses du PCP résident dans les délais de décision, de communication et administratifs.

Bien que RNCan ne pouvait pas échanger directement avec les promoteurs à toutes les étapes du processus décisionnel, les répondants au sondage ont jugé les périodes sans communication longues. Plusieurs répondants ont indiqué que le délai écoulé entre la soumission de la proposition et la conclusion de l’accord était très long, ce qui pouvait avoir une incidence concrète sur certains projets. Les promoteurs retenus ont signalé des retards dans l’accès aux fonds du PCP et les réponses du programme, lesquels résultent, selon le BRDE, des niveaux de ressources humaines inférieurs aux prévisions. Certains promoteurs ont mentionné certaines difficultés à communiquer avec un conseiller de projet de RNCan pendant la mise en œuvre de leur projet. Il semblait que les réponses pourraient avoir été retardées en raison du nombre limité de conseillers capables de traiter les demandes en français. Un certain nombre de promoteurs ont également signalé que la signature de leur accord de contribution a pris plus de temps que prévu. Quelques personnes interrogées (promoteurs) et participants aux groupes de discussion ont fait état d’un certain manque d’orientation et de lourdes exigences quant à la précision et la multiplicité des rapports de projet (particulièrement pour ceux visés par le modèle d’ASTTP). 

Compte tenu de la verticalité de la gouvernance, les personnes interrogées au sein de RNCan ont indiqué que l’absence de comité de directeurs généraux a compliqué la prise des décisions pratiques concernant le programme (les DG devaient de toute façon être informés). Les personnes interrogées n’ont pas pu nous assurer des raisons de cette absence, laquelle s’est fait ressentir sur les projets entrepris. Toutes les décisions relatives au suivi (p. ex., approbation des financements complémentaires liés à la pandémie) ont dû être soumises au Comité des sous-ministres adjoints.

Leçon apprise : Le modèle de cofinancement provincial territorial doit faire preuve de plus de souplesse

Au moment de concevoir le programme, RNCan a déterminé que le modèle de cofinancement avec les provinces et les territoires pourrait engendrer des inégalités entre les régions, en particulier pour celles ayant des ressources limitées. Pour remédier à ce problème, RNCan a tenu compte des contributions des PT sur les domaines d’intérêt (tous ont été consultés) et a adapté les niveaux de cofinancement fédéral de manière à pallier les ressources limitées de certaines régions. Toutefois, les personnes interrogées ont expliqué que l’exigence de cofinancement continuait de faire obstacle (qu’il soit réel ou supposé) aux PT ayant des niveaux de ressources moindres (p. ex., provinces de l’Atlantique et territoires du Nord). De plus, il fut difficile pour certains promoteurs d’obtenir le cofinancement obligatoire des PT en raison de divers contextes politiques, structures, cycles de financement et critères ou classifications, des projets provinciaux. Certains promoteurs potentiels n’ont pas pu trouver de financement de soutien dans leur région, et certains projets se sont vu retirer cette aide après leur sélection, empêchant ainsi leur poursuite.

Les partenariats de confiance sont considérés comme une composante prometteuse du programme

Les partenariats de confiance ont été établis pour répondre aux exigences du programme en matière de cofinancement par les provinces. Bien que leur mise en place ait nécessité un travail de fond du BRDE, la plupart des répondants clés internes ont jugé cette innovation positive.

Sept protocoles d’entente (PE) officiels ont été conclus avec des « partenaires de confiance ». Les personnes interrogées à l’interne et à l’externe ont salué l’approche de collaboration et se sont montrées satisfaites des partenariats que le programme a favorisés. Quelques répondants externes ont indiqué que les relations de RNCan avec les PT précédaient ces partenariats, mais que les protocoles d’entente officiels et les accords de confidentialité présentaient des avantages supplémentaires. Les partenariats de confiance ont permis d’alléger la bureaucratie, de faciliter l’échange d’information et de cerner les possibilités de cofinancement. Les personnes interrogées à l’interne ont expliqué que ce modèle permettait au PCP de soutenir des projets plus importants et de meilleure qualité, ainsi que de diriger les promoteurs aux projets prometteurs non retenus vers d’autres investisseurs et d’autres ministères, grâce à des réseaux comme le Carrefour de la croissance propre. Les répondants d’autres ministères ont également présenté le désengagement progressif des projets, la diligence raisonnable partagée et les discussions internes par le biais du Carrefour comme des exemples de collaboration interministérielle efficace dans le cadre du PCP. 

Les répondants du BRDE ont indiqué n’avoir aucune idée du nombre de projets confiés à des partenaires de confiance ou à d’autres ministères par le biais comme le Carrefour de la croissance propre. Bien que ce programme ne l’exige pas, il serait utile de déterminer où les projets non retenus ont « atterri » ou s’ils ont été finalement financés afin de documenter la pleine valeur des collaborations et des connexions établies.

Bien que les répondants aient relevé certains problèmes et difficultés de mise en œuvre, le modèle d’ASTTP a reçu des échos très positifs de la part des promoteurs et des laboratoires fédéraux

Le mécanisme de financement du modèle d’ASTTP a été élaboré par le BRDE en collaboration avec les Services juridiques de RNCan, le Centre d’excellence pour les subventions et contributions de RNCan et le Secrétariat du Conseil du Trésor (SCT). Ces travaux ont amené le SCT à publier un nouveau guide sur la collaboration fédérale avec les bénéficiaires de subventions et de contributions (Guide de la collaboration ministérielle avec les bénéficiaires de subventions et de contributions).

Le PCP a été le premier programme à se doter du modèle d’ASTTP, ce cadre administratif pilote étant difficile à mettre en œuvre. Les promoteurs et les laboratoires participants ont jugé sa mise en place compliquée. Une entente de collaboration en recherche et développement (ECRD) entre le laboratoire et le promoteur et un accord de contribution (AC) étaient requis pour le financement de chaque projet. Cela s’ajoute aux protocoles d’entente conclus entre RNCan et d’autres ministères pour le transfert de fonds (auxquels ni les promoteurs ni les laboratoires n’ont participé). Même s’ils répondaient à une exigence juridique et stratégique, ces divers accords et processus administratifs étaient perçus comme un fardeau. De nombreux éléments indiquent que les projets visés par le modèle d’ASTTP ont connu des retards dans la finalisation de leur ECRD.

Quatorze projets ont eu recours à cette option. Un document ministériel sur les « leçons tirées du modèle d’ASTTP » laisse entendre que le programme s’attendait à cette composante suscite initialement plus d’intérêt. Le même document attribue ce faible taux de souscription à la méconnaissance de ce modèle et aux critères d’admissibilité et paramètres confus de cette nouvelle option. Le BRDE a atténué quelque peu ce problème en intégrant une étape de jumelage (suivant la demande) au processus d’ASTTP. Quoi qu’il en soit, les promoteurs participant au groupe de discussion sur le modèle d’ASTTP ont indiqué que les possibilités de collaboration avec le gouvernement fédéral n’étaient pas manifestes et que ce modèle pouvait profiter aux organismes déjà en relation avec des entités fédérales, par opposition aux nouveaux intervenants d’organismes découvrant seulement les capacités des laboratoires fédéraux.

Ce modèle s’est avéré bénéfique pour les promoteurs et les laboratoires fédéraux prenant part à la collaboration, surtout en ce qui concerne l’accès à l’équipement et aux compétences techniques. Les participants aux groupes de discussion du modèle estimaient que les projets tiraient profit de l’interaction constante entre les laboratoires fédéraux et les promoteurs (par l’échange d’expertise et l’accès aux installations gouvernementales). Les deux tiers des répondants ayant bénéficié du modèle d’ASTTP ont indiqué qu’il leur donnait accès à un meilleur équipement que celui auquel ils auraient pu avoir accès autrement. Ce modèle également aidé la plupart des projets (du moins dans une certaine mesure) à accroître les compétences techniques de leur organisation (figure 6). Les réponses indiquent que le modèle d’ASTTP a également permis de rendre les projets plus abordables et soutenu le travail interdisciplinaire. Tous les répondants (groupes de discussion et entrevues confondus) ont vivement recommandé au programme de généraliser ce type de collaboration entre les promoteurs externes et les laboratoires fédéraux, y compris le financement distinct.

Figure 6 : Avantages du modèle d’ASTTP

Source : Enquête d’évaluation auprès des candidats au PCP

Leçon apprise : L’ASTTP est un modèle de réussite à pérenniser

Le financement de l’accès aux laboratoires fédéraux permet de pallier le manque d’expertise et profite aussi bien aux promoteurs qu’aux laboratoires. Toutefois, en obligeant les promoteurs à gérer deux ententes, une avec RNCan et une avec le laboratoire fédéral, on ne facilite la tâche d’aucune partie, alourdissant ainsi leur fardeau administratif. Le BRDE devrait s’employer à accélérer la négociation et la finalisation de ces accords, ainsi que le processus de jumelage. L’évaluation indique également qu’il est essentiel de clarifier et détailler les possibilités de collaboration avec les laboratoires fédéraux pour permettre à tous les promoteurs admissibles d’envisager les avantages potentiels de cette option.

Bien qu’il constitue une avancée, le système Integro doit encore être amélioré pour atteindre sa pleine fonctionnalité

Le système Integro est le nouveau portail de financement à guichet unique de RNCan. Le Secteur de l’efficacité énergétique et de la technologie de l’énergie (SEETE) a aidé le Secteur de la gestion et des services intégrés (SGSI) à élaborer cette solution en ligne chargée d’assurer la réception des demandes, la gestion des cas et des flux de travail, la production de rapports et la gestion de la clientèle des programmes ministériels. Le PCP a été le premier programme à utiliser cette nouvelle solution ministérielle.

Tous les répondants participant à l’évaluation ont décrit le système Integro comme une étape du parcours de numérisation des processus du programme, leur offrant ainsi un meilleur outil de soumission, de communication, de suivi et de compte rendu électroniques. Cependant, ce nouveau système pose aussi quelques défis. Les répondants à l’enquête ont indiqué avoir eu un peu de mal à s’approprier cet outil et avoir souvent fait face à des erreurs système au lancement du programme. La plupart d’entre eux ont évoqué des problèmes d’accès au système, de difficultés de consignation des travaux en cours, des limites de caractères trop contraignantes appliquées aux champs de saisie et des erreurs dans les modèles de rapport. Le système Integro peut aussi être amélioré pour faciliter la gestion des données par le ministère en veillant à ce que le programme puisse les produire plus aisément et y avoir accès en tout temps (actuellement, certains éléments de rapport sont écrasés). Cette fonction s’avérerait alors utile dans le cadre des travaux de mesure du rendement, des audits et des évaluations.

La communauté de collaboration n’a pas atteint son plein potentiel en tant que composante d’exécution du programme

La plateforme en ligne visait à aider les promoteurs du PCP à trouver des partenaires potentiels, y compris des intervenants provinciaux et fédéraux, ainsi qu’à centraliser les ressources mises à disposition par les laboratoires fédéraux, les programmes provinciaux et territoriaux, et d’autres soutiens financiers et non financiers. En avril 2018, le portail comptait 615 membres. Cependant, très peu d’intervenants ont indiqué avoir utilisé la communauté de collaboration après leur inscription initiale, et aucun d’entre eux n’a trouvé cette plateforme particulièrement utile. L’évaluation n’a pas permis de recenser de nouveaux partenariats formés grâce à ce mécanisme. Le personnel du programme a signalé qu’il était difficile de tenir à jour le site (p. ex., intégration de nouvelles ressources pour garder le contenu pertinent et continuer de susciter beaucoup d’intérêt). Plusieurs promoteurs et partenaires de confiance ont déclaré avoir besoin d’une personne-ressource à RNCan, laquelle facilitera la navigation des divers programmes offerts et le réseautage direct, plutôt que par le biais d’un forum.

Le PCP était conforme aux exigences de l’ACS Plus au moment de la conception du programme

Une analyse ACS Plus a été effectuée dans le cadre de la conception du programme ministériel de croissance propre dans les secteurs des ressources naturelles financé dans le budget de 2017. Les constatations de cette évaluation initiale figurent dans la documentation de conception et le profil d’information sur le rendement du Programme d'innovation énergétique et de technologies propres. Les documents soulignent que les femmes, en particulier les femmes autochtones, continuent d’être sous-représentées dans les secteurs des ressources naturelles et des technologies propres, mais concluent qu’« aucun élément de conception et de prestation [du PCP] n’affecterait différemment un sexe donné ou ne renforcerait le déséquilibre existant entre les sexes. »

Les groupes sous-représentés ou marginalisés ont souvent besoin de bénéficier de délais plus longs, de processus différents et d’un soutien en matière de capacité pour optimiser leur participation aux programmes de financement des technologies propres^{Note de bas de page 11}. Bien qu’ils ne s’attaquent pas aux enjeux fondamentaux de diversité au sein de l’enseignement des STIM et de la main-d’œuvre des technologies propres, les éléments de conception du PCP (p. ex., le processus de la manifestation d’intérêt et le modèle d’ASTTP destiné aux PME) pourraient permettre de faciliter la participation des groupes sous-représentés. L’ACS Plus effectuée par le programme a également indiqué qu’il est difficile de comprendre l’interaction des facteurs de diversité du secteur des technologies propres en l’absence de données désagrégées^{Note de bas de page 12}. Par conséquent, le Programme de croissance propre visait à recueillir des données liées au genre et à la diversité, telles que des données désagrégées sur les taux de participation et de rétention, de manière à éclairer la conception des futurs programmes. Dans les modèles de demande de financement, on a demandé aux promoteurs de mentionner tout participant issu de communautés autochtones et d’indiquer si leur projet contribuerait à renforcer la mobilisation des groupes sous-représentés. Cependant, les programmes de RNCan ne peuvent exiger d’obtenir qu’un ensemble limité de données liées à l’EDI (par opposition à celles transmises de manière volontaire).

Au total, 6 des 35 projets financés comptaient des participants autochtones. Sur les 29 projets ayant fait part de la composition de leur PHQ, la proportion de femmes hautement qualifiées s’élevait en moyenne à 31 %. Un peu plus du tiers des répondants à l’enquête ont indiqué que les membres des groupes sous-représentés ont tiré profit de la mise en œuvre (p. ex., équipes diversifiées) ou des résultats de leur projet (p. ex., avantages pour les collectivités).

Constatations – Efficacité : Résultats attendus et inattendus

Bien qu’il soit trop tôt pour rendre compte des résultats au-delà de ceux mesurés par les indicateurs à court terme, la collecte de données et les pratiques de production de rapports pourraient être améliorées.

Le profil d’information sur le rendement du Programme d'innovation énergétique et de technologies propres (octobre 2020) a permis au BRDE de définir un processus commun de mesure du rendement pour tous ses projets de R-D-D. La stratégie de mesure du rendement du PCP s’inscrit dans cette structure, tout en intégrant un cadre de mesure du rendement axé sur les résultats escomptés du programme. 

Il est trop tôt pour rendre pleinement compte des résultats au-delà de ceux mesurés par les indicateurs à court terme. Les données de mesure du rendement disponibles, même celles ayant trait aux résultats immédiats, étaient quelque peu limitées étant donné les retards dans la mise en œuvre, les accords de contribution de la plupart des projets n’ayant pas été finalisés avant 2019-2020. Au vu des délais nécessaires à l’élaboration et à la mise sur pied de la plupart des projets de R-D-D, les résultats attendus (p. ex., octroi de brevets, avancement des NMT ou réduction des GES, de la consommation d’eau ou des déchets) ne se concrétisent pas avant la dernière année de mise en œuvre du projet. Les projets de R-D-D devront rendre compte de leurs résultats pendant les cinq années suivant la période de financement afin de mieux s’aligner sur leurs délais de concrétisation. Les projets de démonstration qui devraient avoir une incidence environnementale directe commenceront à faire état de leurs résultats en la matière à la fin du projet. Les projets de R et D et les études d’ingénierie préliminaire qui n’auront aucune incidence directe à court terme sur l’environnement ne sont pas tenus de déclarer leurs résultats environnementaux.

Cependant, les rapports consacrés aux projets individuels diffèrent des rapports de données agrégées à l’échelle d’un programme. Malgré l’existence de données de mesure des extrants et des résultats immédiats du programme, certaines données relatives aux résultats intermédiaires restent limitées ou gagneraient à être étayées. Au début de chaque projet, les promoteurs doivent remplir un formulaire de validation et de mise à jour des renseignements fournis dans leur proposition complète, y compris les résultats prévus comme le NMT, les répercussions environnementales, les cibles de PHQ et les autres indicateurs propres à chaque projet (ingénierie préliminaire, démonstration, R et D). Le formulaire de rapport annuel indique que les promoteurs sont tenus de comparer leurs résultats annuels aux cibles qu’ils ont établies dans leur formulaire initial de projet. Le modèle financier trimestriel se sert d’un système de codes couleur (vert, jeune et rouge) pour rendre compte de l’état d’avancement du projet, de la portée effective du projet et des dépenses cumulées. Le modèle oblige également les promoteurs à rédiger un résumé des avancées réalisées et des obstacles ou des défis rencontrés au cours de la période de rapport.

L’examen des données a mis en évidence une divergence entre les exigences relatives aux données énoncées dans les modèles de rapport du BRDE et ses attentes quant à leur mise en œuvre. Par exemple, l’évaluation n’a pas permis de constater que les promoteurs actualisaient ou confirmaient les cibles de façon uniforme. Toutefois, le BRDE a indiqué qu’une mise à jour n’est nécessaire qu’en cas de changement. Comme le modèle ne comporte pas de case indiquant « aucun changement », il est difficile de déterminer s’il n’y a vraiment eu aucun changement ou si des données sont manquantes. Par ailleurs, seuls quelques projets disposaient de données relatives aux cibles de rendement propres au projet (les cibles variables spécifiques à un projet). Le programme a expliqué que les cibles de rendement propres au projet comportant des seuils de rendement technique ne peuvent être atteintes avant la fin du projet, et que les promoteurs feraient rapport de celles-ci une fois le projet terminé dans le cadre d’un rapport de suivi. Ainsi, les modèles de rapport pourraient préciser que les promoteurs ne sont pas tenus d’en faire rapport plus tôt.

Le programme explique qu’il n’existait aucun moyen efficace de présenter les données trimestrielles collectées depuis le lancement des projets. Par conséquent, seules les données des troisième et quatrième trimestres de l’exercice en cours (2020-2021) ont été examinées. L’évaluation a également révélé qu’il manquait un certain nombre de rapports annuels (25 % n’avaient pas été présentés en 2020-2021), que d’autres rapports financiers trimestriels étaient manquants et que les promoteurs n’avaient pas tous rempli le formulaire de renseignements de base du projet. Certains points administratifs des rapports de données d’analyse étaient manquants, incorrects, laissés sans réponse ou incohérents (p. ex., évolution à la baisse du NMT marquant la régression du projet, lequel est parti du niveau 7 pour désormais s’établir au niveau 3). Toutefois, le BRDE a indiqué ne pas utiliser ces NMT pour évaluer les progrès et n’évaluer l’avancement de cette mesure qu’à la fin du projet. Bien que les rapports des données puissent faire état de la meilleure estimation d’un promoteur, ce dernier n’est pas tenu d’effectuer des évaluations annuelles détaillées du NMT au vu des délais et des ressources nécessaires pour effectuer une évaluation approfondie (vérifiée et validée par un conseiller en S et T) et de la lente progression de cette mesure. Les NMT ne sont pas utilisés pour mesurer les progrès quotidiens ou annuels du projet.

Des répondants internes, externes et des promoteurs se sont également demandé si les indicateurs de rendement existants suffisaient à refléter véritablement l’innovation du programme. Ils font notamment état d’un manque de données relatives à l’efficacité des éléments novateurs du programme (p. ex., les partenariats de confiance) et de ses projets, les indicateurs d’emploi traditionnels n’étant pas considérés comme appropriés ou utiles. Ce manque d’indicateurs n’est pas propre à RNCan.

Le PCP produit des extrants permettant de favoriser l’atteinte des résultats attendus

Le PCP a réussi à établir et financer un portefeuille de projets variés. Le programme a financé 51 projets, dont 42 % étaient intersectoriels. Dans l’ensemble, l’exigence de répartition égale des fonds entre les secteurs énergétique, minier et forestier a été respectée, et ces projets couvrent un certain nombre de domaines technologiques. La figure 7 détaille le portefeuille de projets du PCP.

Figure 7 : Projets financés par le PCP

Source : Documentation du PCP

Selon les fichiers de données accessibles (données des T3 et T4 de 2020-2021), la grande majorité des promoteurs ont déclaré que leurs dépenses d’activités respectaient le budget prévu, et plus de la moitié ont indiqué que leur projet respectait les délais impartis. Toutefois, la pandémie de COVID-19 a quelque peu perturbé le déroulement des projets, et certains promoteurs ont subi des retards administratifs (p. ex., retards liés aux décisions ou annonces de financement, à l’élaboration des ententes initiales, au traitement des modifications). Tout démontre que le PCP a réussi à adapter son soutien aux projets, la plupart desquels auraient autrement été clôturés, interrompus ou abandonnés en raison des défis posés par la pandémie de COVID-19. Les résultats de l’enquête appuient également cette conclusion dans la mesure où la plupart des répondants indiquent avoir mis en œuvre leur projet comme prévu, dans une certaine mesure (32 %) ou dans une large mesure (60 %)^{Note de bas de page 13}.

De plus, les répondants ont souligné l’importance du financement global que le PCP accorde à leurs projets, 48 % d’entre eux indiquant que le projet aurait autrement dû faire l’objet de modifications ou n’aurait pas été mené à bien (Tableau 3). Sur ces 48 % de répondants, tous ont indiqué que leur projet aurait été réduit en l’absence du financement du PCP, et deux d’entre eux ont également précisé que le calendrier de leur projet aurait été raccourci.

Tableau 3 : Incidence que l’absence de financement du PCP aurait eue sur les projets

	Nombre	%
Le projet se serait déroulé comme prévu	0	0 %
Le projet aurait été mené à bien, mais aurait fait l’objet de modifications	5	20 %
Le projet n’aurait pas eu lieu	7	28 %
Le projet aurait pu être mené à bien ou non, selon les autres possibilités de financement disponibles	10	40 %
Autre (p. ex., défis, changement d’orientation)	3	12 %
Total	25	100 %

Source: CGP Evaluation Applicant Survey

Quels progrès ont été accomplis dans l’atteinte des résultats attendus?

Le PCP a obtenu les résultats immédiats attendus et œuvre désormais à l’atteinte des résultats intermédiaires.

a)Résultat immédiat n^o 1 : Les projets de R-D-D engendrent une collaboration accrue.

D’après les répondants clés internes, le PCP avait des composantes uniques favorisant la collaboration telles que l’approche intersectorielle, le modèle d’ASTTP, les partenariats de confiance et l’exigence de cofinancement. L’examen des documents et des données a révélé que tous les projets faisaient appel à de multiples partenaires issus de divers milieux (instances municipales, provinciales ou fédérales, industrie, organisme autochtone, etc.). La figure 8 présente une ventilation des types de collaboration relevée dans le cadre du sondage. Étant donné que l’exigence d’appui de la proposition complète par les provinces et des territoires, tous les projets ont au moins un partenaire externe.

Les collaborateurs fédéraux répertoriés sont principalement des laboratoires participant au modèle d’ASTTP; toutefois, 40 % des partenaires financiers et non financiers recensés sont des organismes comme Technologies du développement durable Canada, le Conseil national de recherches du Canada (Programme d’aide à la recherche industrielle), le volet des technologies propres de l’initiative Impact Canada (autre programme offert par le BRDE) et la Fondation canadienne pour l’innovation.

Figure 8 : Types de partenaires du PCP

Source : Enquête d’évaluation auprès des candidats au PCP

Les processus et les structures officiels du PCP ont facilité la collaboration avec les partenaires et les intervenants. Bien que la collaboration soit facilitée par le modèle d’ASTTP, les partenariats de confiances et l’approche intersectorielle du programme, l’ensemble des entrevues et des groupes de discussion laissent entendre que le programme a surtout tiré parti des relations existantes au lieu de créer de nouvelles collaborations. Les entrevues et les échanges des groupes de discussion sur le modèle d’ASTTP ont révélé qu’un certain nombre de promoteurs et de représentants de laboratoires avaient déjà travaillé avec leur partenaire avant le lancement du PCP.

b) Résultat immédiat n^o 2 : Les projets de R-D-D poussent les intervenants à investir

Les projets ont atteint leur objectif minimal d’investissements équivalents (ratio minimal de 1:1) de la part des partenaires et des gouvernements (tableau 4). Il s’agit d’une bonne chose, le PCP ayant imposé le cofinancement des projets, sans toutefois définir un financement ou un levier financier minimal pour les projets approuvés. La documentation montre que les collaborations avec les provinces et les territoires ont engendré une augmentation des investissements dans les projets.

Tableau 4 : Financement du projet rapporté au financement du PCP de RNCan

Emplacement princi pal du projet	Nombre de projets	Coût total du projet ($)	Financement de RNCan ($)	Autres fonds ($)	Ratio de levier
Alberta	15	278 118 593	51 765 867	226 352 726	4,4:1
Colombie-Britannique	7	41 437 323	16 250 731	25 186 592	1,5:1
Manitoba	1	3 556 466	1 940 000	1 616 466	0,8:1
Territoires du Nord-Ouest	1	4 810 187	419 103	4 391 084	10,5:1
Ontario	10	77 905 263	24 430 555	53 474 708	2,2:1
Québec	8	71 430 627	24 252 592	47 178 035	1,9:1
Saskatchewan	1	2 782 017	1 986 854	795 163	0,4:1
Total	43	480 040 476	121 045 702	358 994 774	3:1

Source : Documentation du programme.

Calculé en fonction des plus récentes mises à jour des accords de contribution et des budgets de projet connexes. Le calcul exclut les demandes de remboursement finales du T4 (non exigibles avant le 30 juin 2022).

Les promoteurs ont déclaré que le financement du PCP contribuait à renforcer la crédibilité des PME auprès des autres partenaires industriels ou de financement. Ils ont également indiqué que les fonds gouvernementaux contribuent à réduire les risques associés aux projets, facilitant ainsi l’obtention d’autres soutiens.

Toutefois, le programme n’a pas cherché à savoir si la communauté de collaboration a réellement contribué à l’identification d’investisseurs potentiels. Les entrevues ont confirmé l’existence de cas de cofinancement et de transfert de projets. Les données à ce sujet restent toutefois partielles. Par ailleurs, rien ne démontre que la communauté de collaboration a favorisé les investissements.

c) Résultat immédiat no 3 : Les projets de R-D-D engendrent une production accrue de connaissances.

Les rapports de projet et les promoteurs confirment que le programme a permis d’accroître la production de connaissances (principalement la couverture médiatique, les brevets, la propriété intellectuelle, les articles et les présentations).

Les données de rendement tirées des rapports 2019-2020 des promoteurs montrent que les projets ont déjà produit un certain nombre de connaissances, comme le montre le tableau 5. Des articles évalués par des pairs ont été publiés dans le Journal of the American Chemical Society, le Journal of Paleolimnology, le Journal of Quaternary Science, l’International Journal of Engine Research, la revue internationale Cellulose et la revue Sustainable Materials and Technologies. Des demandes de brevet ont été déposées pour la production de fins grains de magnésie et de silice amorphe fibreuse à partir des résidus miniers de serpentinite et pour un procédé d’amélioration de l’extraction du pétrole et du bitume lourds à partir d’injections de vapeur, de solvants et de gaz, accompagné de puits de production horizontaux supplémentaires. Le BRDE a indiqué s’attendre à ce que ce résultat s’intensifie vers la fin du cycle du programme, compte tenu du temps requis pour favoriser l’innovation.

Tableau 5 : Produits de connaissances générés par les projets du PCP^{Note de bas de page 14}

Type de produit de connaissances	Total (tous les projets)
Produits et couverture médiatiques, etc.	198
Brevet/licence/autre type de propriété intellectuelle	59
Produit de connaissances scientifiques (article évalué par les pairs, etc.)	58
Rapport scientifique (présentation, livre blanc, etc.)	64
Contributions à des codes/normes/politiques/règlements	6
Autre	146
Total	531

Source : Base de données du PCP

d) Résultat intermédiaire no 1 : Les projets de R-D-D rapprochent les technologies de la phase de commercialisation.

Le PCP vise à ce que 50 % des projets de R-D-D gagnent au moins un NMT d’ici 2023. On observe quelques signes précoces d’éventuels progrès, et ce, malgré l’absence de vérification et de validation du NMT de chaque projet par un conseiller en S et T. La moitié des projets ayant soumis leur rapport pour 2019-2020 ont fait état d’une hausse de leur NMT, comprise entre un (+1) et quatre (+4) niveaux (tous ces projets avaient commencé avec un NMT d’au moins 3). De plus, tous les répondants à l’enquête, ainsi que l’ensemble des promoteurs et la plupart des collaborateurs des laboratoires fédéraux participant aux groupes de discussion du modèle d’ASTTP ont confirmé que leur projet avait rapproché une technologie de sa phase de commercialisation. Voici quelques exemples de progrès :

Tous les répondants à l’enquête ont indiqué que le programme de croissance propre contribue bien à rapprocher leurs technologies de leur phase de commercialisation, dans une certaine mesure (24 %) ou dans une large mesure (76 %). Par ailleurs, ils s’attendent, dans une certaine mesure (8 %) ou dans une large mesure (92 %), à ce que leur technologie atteigne ou approche sa pleine maturité commerciale au cours des cinq prochaines années.

e) Résultat intermédiaire no 2 : Les projets de R-D-D favorisent la croissance du secteur des technologies propres.

Bien que cela ne puisse pas être quantifié avec précision, il est probable que le PCP ait favorisé la croissance du secteur des technologies propres en générant de nouvelles connaissances, en créant de nouvelles possibilités d’emploi et en formant du PHQ.

Les projets ne font directement état que du personnel hautement qualifié (PHQ), et non du « personnel formé ». En 2019-2020, 35 des 52 projets financés avaient transmis leurs données relatives à leur PHQ. Ces projets ont déclaré un total de 530 années-personnes d’emploi actuel pour cet exercice. Cela représente une hausse de 252 années-personnes depuis le lancement des projets.

Ces projets ont également fait appel à environ 575 PHQ, soit 205 postes créés depuis le lancement de ces projets. La plupart des répondants s’attendent, dans une certaine (20 %) ou une large mesure (76 %), à avoir atteint leurs objectifs en matière de formation de nouveau personnel qualifié ou spécialisé. Ils s’attendent également, dans une certaine (28 %) ou une large mesure (60 %), à avoir atteint leurs objectifs liés à la création de nouvelles possibilités d’emploi. 

À l’inverse, aucun (0 %) des promoteurs ou des représentants des laboratoires fédéraux participant aux groupes de discussion n’estimait que le PCP ait contribué à la création d’emploi, bien que deux promoteurs aient fait mention d’étudiants inscrits à un programme d’enseignement coopératif.

Le PCP a engendré des résultats inattendus

L’enquête auprès des promoteurs, les entrevues et les groupes de discussion ont révélé que le PCP a produit des résultats inattendus. 

Constatations – Efficience

La mise en œuvre du PCP a été retardée.

Dans l’ensemble, le PCP a été exécuté conformément à l’intention initiale. Cependant, les documents font état de délais prolongés. Les retards au démarrage ont eu une incidence sur l’utilisation des montants de contributions. Par exemple, compte tenu du délai nécessaire à la conduite d’une diligence raisonnable, la majorité (72 %) des contributions ont été versées au cours de la troisième année du programme (à savoir l’exercice 2019-2020), principalement aux deuxième, troisième et quatrième trimestres. Cela laissait à de nombreux promoteurs environ un an pour terminer leurs projets (sans tenir compte de la prolongation d’un an accordée en raison de la COVID-19).

L’évaluation a rencontré des difficultés lorsqu’elle a voulu réconcilier les estimations d’équivalents temps plein des diverses sources d’information pour obtenir une représentation exacte des ressources utilisées par le programme. De plus, aucun mécanisme de rapport ne permet de suivre l’utilisation horizontale du temps consacré par le personnel aux projets ou programmes individuels. Toutefois, le rapport sur les résultats ministériels de RNCan indique que la capacité en ressources humaines du PCP n’a été pleinement atteinte qu’en 2019-2020, soit la troisième année d’exécution du programme. Les renseignements financiers transmis par le programme indiquent que les dépenses liées aux salaires et aux contributions ont accusé un retard par rapport aux engagements initiaux du profil de trésorerie et aux budgets du programme. Le programme a eu besoin d’un an de plus pour se mettre pleinement en place (figure 9), ce qui explique le nombre d’ETP plus faible que prévu (-45 %) à ce moment-là. Ce report des dépenses a créé des lacunes, lesquelles devaient être comblées au cours de la dernière année du programme, et la pandémie de COVID-19 a causé d’autres perturbations. En raison de la pandémie de COVID-19, le PCP a été prolongé d’un an, soit jusqu’en 2021-2022.

Figure 9 : Les dépenses prévues du PCP ont été retardées^{Note de bas de page 15}

Source : Données financières du PCP

Les données financières illustrent le ralentissement des dépenses salariales au cours de la deuxième année du programme (2018-2019), ainsi que les efforts de rattrapage entrepris en 2020-2021 (figure 10).

Figure 10 : Les dépenses salariales du PCP ont été inférieures aux niveaux prévus au cours de l’année d’accélération du programme

Source : Données financières du PCP

Les fonds n’ayant pas été dépensés pour cause de retards, y compris ceux liés à la COVID-19, ont été reportés à d’autres exercices (figure 11). En novembre 2021, le PCP n’avait dépensé qu’environ 18 % du budget révisé de l’exercice en cours. Toutefois, il se peut que cette différence soit en grande partie attribuable aux dépenses liées aux accords de contribution, qui ne devaient être engagées qu’à partir du quatrième trimestre de 2021-2022.

Figure 11 : Dépenses réelles totales par rapport au budget révisé

Source : Données extraites de SAP

Comme le PCP était un programme quadriennal, les retards de mise en œuvre risquaient d’empêcher l’atteinte des résultats escomptés. Les documents de conception du programme reconnaissent ce risque, lequel doit être atténué en mettant en œuvre une stratégie de ressources humaines et une stratégie de mise en œuvre proactives (p. ex., évaluer les besoins et collaborer avec les fournisseurs de services ministériels afin d'élaborer des plans visant à accroître la capacité nécessaire) en prévision de l’approbation du programme. Toutefois, les processus de dotation ne peuvent être amorcés qu’une fois le financement du programme reçu et sont limités par la capacité de soutien des fournisseurs de services ministériels.

Au total, le BRDE a approuvé sept nouveaux programmes en 2017-2018; tous prévoyaient tirer parti de la matrice de dotation horizontale des services votés employée par le Bureau^{Note de bas de page 16}. Par conséquent, certains membres du personnel ont assuré la prestation du PCP tout en appuyant jusqu’à six autres programmes. Cette situation, conjuguée au transfert inattendu de certaines ressources du programme à d’autres secteurs, a créé des limites de capacité au sein du BRDE, en particulier lorsqu’il s’agissait de concilier les multiples approches novatrices de conception et d’exécution du programme. Le BRDE a également noté le volume élevé de modifications apportées aux ententes au cours de la dernière année du programme. Ces modifications ont été effectuées en raison du report de fonds et de l’administration de fonds complémentaires sur l’année supplémentaire accordée pour cause de COVID-19.

Bien que l’évaluation n’ait pas permis de vérifier le nombre précis d’ETP affectés au programme, les personnes interrogées à l’interne et la direction du BRDE ont convenu que les ressources étaient inférieures à celles qui avaient été affectées au Bureau, et qu’elles étaient insuffisantes pour exécuter le PCP, surtout à la lumière du nombre de demandes et du travail supplémentaire nécessaire pour mettre en œuvre les nouveaux éléments du programme. Les personnes interrogées et les répondants des groupes de discussion ont indiqué que le programme et les services ministériels manquaient de personnel et que le roulement du personnel posait un problème. Ce manque de ressources a joué un rôle clé dans les retards de traitement subis par le programme tout au long de sa mise en œuvre et de son exécution. Le projet conjoint d’audit et d’évaluation du volet des technologies propres de l’initiative Impact Canada (2021) de RNCan a permis de cerner des problèmes similaires d’utilisation des ressources, lesquelles découlent des limites de la matrice de dotation horizontale utilisée par le BRDE pour appuyer les nouveaux programmes de technologies propres annoncés dans le budget de 2017.

De même, l’approche intersectorielle a été difficile à mettre en œuvre compte tenu des différents niveaux de capacité et d’expertise des secteurs de RNCan. Les données du programme font état du financement (environ 9,4 M$) transféré aux autres secteurs de RNCan, y compris le SCF et le STM, et aux autres ministères (environ 1,75 M$) pour appuyer l’orientation intersectorielle du programme. L’évaluation n’a pas permis de cerner la mesure dans laquelle cette affectation de ressources à différents secteurs était appropriée ou suffisante pour permettre l’exécution efficace des programmes. 

Le PCP a surmonté les défis posés par la pandémie de COVID-19

On demande aux promoteurs de produire des rapports trimestriels (en plus des rapports annuels) pour vérifier si les échéanciers, la portée et le budget des projets sont respectés. Seules les données des rapports des troisième et quatrième trimestres 2020-2021 étaient disponibles aux fins d’examen au moment de l’évaluation^{Note de bas de page 17}.

La base de données recensait 34 fichiers valides pour le T3^{Note de bas de page 18}. Pour ce qui est du calendrier, 18 promoteurs (53 %) ont indiqué que leur projet respectait les délais impartis, 9 promoteurs (26 %) ont déclaré accuser un léger retard et 5 promoteurs (15 %) ont indiqué qu’ils accusaient un retard important. Les résultats sont semblables pour la portée du projet :

• 22 promoteurs (65 %) n’ont signalé aucun changement de portée du projet
• 6 promoteurs (18 %) ont signalé de légers changements aux répercussions limitées
• 4 promoteurs (12 %) ont signalé de nombreux changements aux répercussions majeurs

Tous les projets, sauf deux, ont indiqué avoir respecté leur budget. Les principaux défis auxquels ont été confrontés les projets étaient principalement externes au programme, y compris les répercussions de la COVID-19, mais aussi les problèmes d’infrastructure et d’équipement, ainsi que les retards subis par certaines étapes du processus (p. ex., réception des résultats des tests des partenaires). Les résultats du quatrième trimestre de 2020-2021 concernant l’évolution des échéanciers, de la portée et du budget des projets sont très semblables aux données du troisième trimestre.

L’examen des documents et des données, les entrevues, les groupes de discussion et l’enquête d’évaluation montrent que le PCP a surmonté les défis posés par la pandémie de COVID-19 en assouplissant les échéanciers et les budgets. Les documents montrent que le PCP a reporté 13,2 M$ de contributions et 4,1 M$ de frais de F et E et de dépenses salariales à l’exercice 2021-2022 pour permettre aux promoteurs de terminer leurs projets. 

Conclusions

Dans l’ensemble, toutes les composantes de l’évaluation ont permis de constater que le PCP est pertinent et que ses objectifs cadrent manifestement avec les priorités fédérales et ministérielles. La vaste mobilisation entreprise dans le cadre du programme a permis de bien déterminer les priorités et les besoins de tous les intervenants concernés. La structure intersectorielle délibérée du programme et sa collaboration continue avec d’autres programmes fédéraux a permis de pallier un manque de soutien essentiel.

Le PCP a été essentiellement mis en œuvre comme prévu, et certaines caractéristiques novatrices du programme se sont avérées bénéfiques. Les partenariats de confiance ont permis de limiter la redondance des programmes, d’améliorer leur efficacité et de multiplier les travaux de programmation menés avec les provinces, conférant ainsi un soutien ciblé aux priorités conjointes. Le modèle d’ASTTP est très apprécié des promoteurs et des laboratoires fédéraux avec lesquels ils travaillent, leur permettant ainsi d’accéder à de l’infrastructure de recherche fédérale et à des compétences techniques dont ils tirent grandement parti. Par conséquent, il convient de poursuivre son application.

Compte tenu des progrès réalisés à ce jour et des retards de mise en œuvre (lesquels ne relevaient pas tous de RNCan), le programme a réussi à atteindre ses objectifs à court terme, procurant ainsi des avantages immédiats grâce au renforcement de la collaboration, à l’optimisation des investissements, à l’accélération de la mise sur le marché des technologies, ainsi qu’à la gestion de toutes les avancées réalisées durant la pandémie de COVID-19. Toutes les sources de données mettaient en évidence l’atteinte des résultats escomptés. La stratégie de mesure du rendement mise en œuvre dans le cadre du programme a permis de déterminer ces avantages immédiats; dans certains cas, les données disponibles restent limitées ou pourraient être améliorées. L’évaluation a mis en évidence une divergence entre les exigences relatives aux données énoncées dans les modèles de rapport du BRDE et ses attentes quant à leur mise en œuvre. Il est trop tôt pour rendre pleinement compte des résultats finaux du programme, y compris des bénéfices environnementaux. Par ailleurs, un rapport annuel sur les résultats doit être produit pendant la période de cinq ans suivant la fin d’un projet (à quelques exceptions près). Le modèle de rapport fourni par RNCan permettra aux promoteurs de continuer à rendre compte des résultats à court, à moyen et, dans la mesure du possible, à long terme.

Il fut difficile de mettre en œuvre ce programme innovant. Toutefois, on ne sait pas si le programme a atteint une efficacité opérationnelle optimale. Il était également ambitieux de concilier la mise en œuvre d’au moins six nouvelles approches, soit la répartition égale du financement entre trois secteurs, le cofinancement obligatoire des PT, le lancement d’un nouveau prototype de système de gestion de la clientèle, l’établissement de la plateforme communautaire de collaboration, ainsi que l’adoption des partenariats de confiance et du modèle d’ASTTP. Les retards dans la conclusion des accords de contribution et le processus complexe d’établissement des deux accords requis pour les projets d’ASTTP ont rallongé les délais de mise en œuvre et donc retardé les projets. La mise en œuvre du programme a été retardée en raison du roulement du personnel, du nombre de ressources humaines plus faible que prévu et de demandes concurrentielles, particulièrement pendant les deux premières années critiques du PCP. L’impression générale de manque de personnel a laissé penser que le programme n’était pas exécuté de manière efficiente.

Annexe A : Équipe d’évaluation

Dirigeant principal de l’audit et de l’évaluation

Michel Gould

Équipe d’évaluation

Stephanie Kalt – Directrice, Évaluation
David Ash – Conseiller principal, Bureau du dirigeant principal de l’audit et de l’évaluation
Jamie Riddell – Gestionnaire principale des évaluations
Edmund Wolfe – Évaluateur principal
Karen Croteau – Gestionnaire de projets, Goss Gilroy Inc.
Marie-Philippe Lemoine – Conseillère, Goss Gilroy Inc.