Sommaire de mission conjointe de l’audit et évaluation de l’Initiative Impact Canada – volet des technologies propres

À propos du Programme

L’Initiative Impact Canada (IIC) est un effort pangouvernemental dirigé par le Bureau du Conseil privé, qui favorise l’utilisation de modèles de financement novateurs conçus pour aider les ministères à accélérer l’adoption d’approches qui permettent d’obtenir des résultats pour les Canadiens. Le volet des technologies propres de Ressources naturelles Canada (RNCan) est l’un des premiers volets des technologies propres (VTP) élaborés dans le cadre de cette nouvelle initiative. Dirigé par le Secteur des technologies énergétiques (STE), le programme a pour objectif d’élaborer conjointement et de lancer une série de prix et de défis pour réaliser des percées dans l’innovation en matière de technologies propres. Depuis 2017, le programme a lancé cinq défis et une initiative d’innovation autochtone. Chacun d’eux a sa propre mission et un ensemble unique d’objectifs, de cibles de rendement, de structures d’incitatifs, d’échéanciers, de collaborateurs, de participants, de stratégies de sensibilisation et de critères d’évaluation. Ce programme a reçu 75 millions de dollars de 2017-2018 à 2020-2021 (jusqu’en 2021-2022 en réponse à la COVID-19).

CE QUE LA MISSION A RÉVÉLÉ

Pertinence

La mission conjointe a permis de constater que le VTP de l’IIC est pertinent. Le programme s’harmonise avec les priorités, les rôles et les responsabilités du gouvernement fédéral et de RNCan, et chacun des six domaines d’intérêt sélectionnés répond aux critères clés qui ont été établis pour définir leurs priorités. De façon plus générale, le VTP de l’IIC appuie les engagements du mandat visant à accroître l’expérimentation et est structuré de façon à donner plus de souplesse aux promoteurs pour proposer des solutions novatrices à des problèmes pour lesquels les solutions ne sont pas apparentes.

Gouvernance

La mission conjointe a permis de constater que les structures, les processus et les mécanismes de gouvernance pour le VTP de l’IIC ont été définis, établis et fonctionnent efficacement. Depuis, les différences d’interprétation des modalités du VTP de l’IIC par les principaux acteurs intraministériels dans les premières étapes de la conception et de l’élaboration du programme découlant du contexte stratégique inconnu ont été corrigées au moyen d’une approche de collaboration continue.

Processus et contrôles

Dans l’ensemble, nous avons constaté que des processus et des contrôles sont en place pour appuyer la conformité aux directives ministérielles pertinentes et à la Politique sur les paiements de transfert du Conseil du Trésor (CT). Les principaux contrôles opérationnels financiers ont été conçus et fonctionnent efficacement la plupart du temps. Toutefois, il était possible d’améliorer la conservation de la documentation liée aux principaux processus décisionnels. La divulgation proactive n’a pas toujours été faite dans les délais prescrits. Le processus de suivi, de gestion et de résolution des recommandations formulées dans le cadre de la vérification des bénéficiaires n’est pas clair.

Conception du programme

Dans l’ensemble, nous avons constaté que la conception des domaines d’intérêt dans le cadre du VTP de l’IIC était conforme aux principes d’Impact Canada et aux pratiques exemplaires dans les modèles de défis. Les stratégies de communication auraient pu être plus novatrices et mieux financées, mais le programme a attiré un nombre suffisant de propositions de qualité.

La mission conjointe des intervenants à la conception conjointe a été reconnue comme une force clé du programme. Le programme a été adapté aux commentaires de la conception conjointe et, bien qu’il y ait place à amélioration, les flexibilités de financement qui en ont résulté et les soutiens non financiers des promoteurs intégrés à la conception de chaque domaine d’intérêt ont facilité la participation de divers intervenants. RNCan a également fait bon usage des collaborateurs pour élaborer ou exécuter des activités dans le cadre du VPT de l’IIC.

Mesure des résultats attendus et imprévus

Impact Canada utilise des approches novatrices qui nécessitent des méthodes et des stratégies nouvelles pour mesurer les résultats et les répercussions du programme. Bien qu’un cadre de rendement théorique ait été inclus dans les approbations du programme, RNCan travaille encore seul et avec le BCP pour améliorer ce cadre et élaborer des résultats propres aux défis et des méthodologies connexes. Néanmoins, les données disponibles indiquent que le programme a réalisé des progrès à l’égard de chacun de ses résultats immédiats – collaboration et investissement accrus dans les technologies propres, mobilisation de nouveaux talents (y compris dans les groupes sous-représentés) et sensibilisation accrue du public.

Il est trop tôt pour rendre compte des progrès réalisés à l’égard des résultats intermédiaires et ultimes. Cependant, une différence clé dans la conception des modèles fondés sur les défis est que si le résultat n’est pas atteint, le financement n’est pas accordé. Nous avons constaté des progrès au moins dans la mesure où les finalistes progressent vers les résultats propres à leur projet; les projets atteignent leurs étapes clés.

Leçons tirées

Le modèle de défi est un nouvel outil qui offre une solution de rechange aux programmes de financement traditionnels, mais les décisions sur le moment approprié d’utiliser ce modèle devraient être examinées attentivement à la lumière du contexte des résultats à atteindre. RNCan a acquis beaucoup de connaissances expérimentales en mettant à l’essai des innovations dans chaque domaine d’intervention. Nous nous attendons à ce que RNCan applique également les leçons apprises du VTP de l’IIC dans sa propre conception des défis futurs liés aux prix, que ce soit sous l’égide d’Impact Canada ou dans le cadre d’une initiative distincte.

À propos de la mission conjointe

La mission conjointe examine la conception et la mise en œuvre du VTP de l’IIC, depuis son annonce dans le budget de 2017 jusqu’en mars 2021, avec des mises à jour reflétant l’incidence de la COVID-19. Les objectifs de la mission conjointe étaient les suivants :

Évaluer dans quelle mesure la conception et l’exécution du programme facilitent l’atteinte efficace et efficiente des résultats immédiats et se conforment aux autorisations pertinentes.
Déterminer et documenter les leçons tirées des approches expérimentales dans le cadre du volet des technologies propres d’Impact Canada qui peuvent être appliquées à des interventions futures.

La portée de la mission comprend un examen des résultats pour le volet de l’ensemble du programme, ainsi que des activités et des extrants pour chacun de ses six domaines d’intérêt. Tout en reconnaissant l’importance des résultats ciblés par chaque défi et chaque initiative, la mission conjointe a mis l’accent sur les résultats attendus pour l’ensemble du programme. Bien qu’il tienne compte de leur rôle dans la facilitation de la conception et de la prestation par RNCan, la portée de la mission exclut le rendement du BCP et de tout autre collaborateur externe.

La Direction générale de l’audit et de l’évaluation (DGAE) de RNCan a mené cette mission conjointe conformément à la Politique sur les résultats (2016) du CT, les Normes internationales pour la pratique professionnelle de l’audit interne de l’Institute of Internal Auditors, et la Politique sur la vérification interne du gouvernement du Canada. Le rapport complet contient des détails sur les questions, les méthodes et les limites de la mobilisation.

À l’avenir, la DGAE de RNCan cherchera des preuves que les leçons apprises ont été prises en compte au moins dans la conception proposée des programmes et des activités pertinents. Les principales leçons apprises comprennent :

Conception	Participer à la conception conjointe du concours dès que possible au cours de la phase de conception. Dans la mesure du possible, les interventions futures devraient entreprendre une mobilisation ou une consultation avant de s’engager dans un domaine d’intérêt. Prévoir le maximum de souplesse possible dans les arrangements fiscaux, y compris des plans d’urgence pour faire face aux imprévus. Si possible, inclure une disposition de report prospectif dans les autorisations de financement afin de simplifier l’utilisation de la souplesse dans l’affectation des fonds d’un exercice à l’autre. Mobiliser les services ministériels tôt pour leur permettre de bien comprendre le programme et ses objectifs. Veiller à ce que la haute direction participe étroitement pour aider à surmonter la résistance à l’égard des programmes novateurs, et à ce que les attentes pour la mise en œuvre du programme soient claires et alignées sur la conception et l’exécution prévues des initiatives proposées. Compte tenu des limites de la création conjointe avec des entités externes, choisir soigneusement des collaborateurs en fonction de la personne la mieux placée pour appuyer les résultats et les avantages pour les Canadiens, et veiller à ce que son rôle soit clairement défini, compris et ne crée pas de conflit d’intérêts réel ou perçu.
Livraison	Veiller à ce que des ressources dédiées soient disponibles (au sein de l’équipe du programme ou des services ministériels) pour réaliser pleinement les objectifs de communication novateurs comme élément central de la conception du défi. Élaborer des critères de sélection clairs et expliquer clairement aux candidats comment ils seront évalués en fonction de ces critères prédéterminés, et veiller à ce que la documentation des décisions liées à la sélection des propositions des candidats soit complète. Dans les cas où des intermédiaires sont utilisés, veiller à ce que la documentation requise selon les ententes de financement soit recueillie et conservée pour remplir le rôle de surveillance de RNCan. Veiller à ce que les approbations des divulgations proactives de renseignements sur les subventions et les contributions soient effectuées en temps opportun.
Incidence	Consacrer suffisamment de ressources à la mesure du rendement, pour évaluer l’efficacité (l’impact) et l’efficience du concours. Dès que possible au cours de la conception ou de la mise en œuvre du défi, envisager des façons de contribuer efficacement à des stratégies de suivi concrètes pour faire progresser les priorités du gouvernement.

Recommandations	Réponse de la direction et plan d’action
Le SMA du STE devrait examiner et documenter les leçons apprises du volet des technologies propres d’Impact Canada, y compris celles qui pourraient émerger du dernier prix et de tout suivi ultérieur au programme, et les rendre disponibles au sein de RNCan, y compris les services ministériels et dans l’ensemble du gouvernement, afin qu’ils puissent éclairer la conception et la remise des futurs prix.	La direction est d’accord. Le Bureau de recherche et de développement énergétiques (BRDE) officialisera et normalisera davantage ses processus de documentation des leçons tirées des défis en matière de technologies propres d’Impact Canada. Le BRDE examinera également les options et élaborera un plan pour partager les leçons tirées des technologies propres d’Impact Canada avec la haute direction de RNCan et d’autres secteurs. À la suite de l’attribution des prix et de la conclusion du programme, le BRDE élaborera un document récapitulatif des leçons apprises, qui sera mis à jour à mesure que les leçons ressortent. Le BRDE continuera de partager les leçons apprises avec l’Unité des retombées et de l’innovation du BCP afin d’appuyer l’élaboration de documents de ressources du Défi qui sont partagés et présentés à d’autres ministères fédéraux et au public (p. ex., études de cas du BCP, Guide du Défi du BCP et conseils du BCP sur les jurys du Défi) et Conseils du BCP sur les défis de contestation). La BRDE continuera également de donner des présentations sur Impact Canada au sein de RNCan et à d’autres ministères sur demande. Responsable de poste : le DG du BRDE au nom du SMA du STE Date de réalisation : le 30 décembre 2021 pour élaborer un plan de documentation et de diffusion des leçons le 30 septembre 2022, élaborer un document sur les leçons apprises, puis le mettre à jour au fur et à mesure des leçons apprises.
Le SMA STE devrait examiner et finaliser la stratégie de mesure du rendement pour l’IIC-CTS. Cette stratégie devrait comprendre : Modèle logique (ou théorie du changement), indicateurs, méthodes de collecte des données, sources de données et éléments contre-factuels possibles. Mesures pour le volet du programme dans son ensemble, ainsi que pour chaque défi ou initiative afin de démontrer l’atteinte des résultats. Le cas échéant, des mesures pour éclairer les considérations relatives à l’ACS+. Un plan sur le calendrier et les moyens par lesquels les rapports sur les résultats et les répercussions du programme seront communiqués à la haute direction.	La direction est d’accord. Le BRDE mettra à jour et finalisera la stratégie de base de mesure du rendement des technologies propres d’Impact Canada, notamment : Mettre la dernière main à l’ébauche du modèle logique, des indicateurs, des méthodes de collecte des données et des sources de données d’Impact Canada sur les technologies propres et, s’il y a lieu et si possible, déterminer les éléments contre-factuels appropriés. Le BRDE aimerait reconnaître qu’en raison de la nature de l’innovation transformatrice et de la RD et D, il s’inspirera également des principes de la documentation sur l’innovation et des évaluations de développement en intégrant de nouveaux résultats et indicateurs et en mettant à jour les hypothèses en fonction des constatations émergentes. Des travaux sont en cours pour mettre à jour et finaliser les mesures de base pour les défis individuels et l’ensemble du programme. Des travaux sont en cours au sein du BRDE pour intégrer les mesures de l’ACS+ à la collecte et la surveillance des données du programme. Le BRDE continuera de collaborer au sein de RNCan, ainsi qu’avec le BCP et Statistique Canada, pour recueillir et surveiller les données sur l’ACS+ et l’équité, la diversité et l’inclusion, dans la mesure du possible. Poste responsable : Le DG du BRDE au nom du SMA du STE Date de réalisation : Le 31 mars 2022 pour mettre la dernière main à la stratégie de mesure du rendement. Mesure et surveillance continues du rendement jusqu’en 2029 (au minimum).
Le SMA du STE devrait veiller à ce que la planification et la méthodologie de la vérification des bénéficiaires fondée sur le risque soient renforcées pour inclure le suivi et la surveillance de l’état et des résultats des recommandations de la vérification des bénéficiaires.	La direction est d’accord. Le BRDE renforcera son plan et sa méthodologie de vérification des bénéficiaires axés sur les risques afin de mieux documenter et suivre l’état et les résultats des vérifications de la Direction générale du BRDE plutôt que celles de la Division. Le BRDE a déjà entrepris un examen de ses processus de vérification fondés sur les risques et a mis à jour ses méthodes de planification, de sélection et de surveillance des vérifications afin de s’assurer que tous les programmes du BRDE mettent en œuvre le Guide sur la vérification des bénéficiaires de RNCan de façon uniforme (p. ex., méthode d’échantillonnage uniforme). Le BRDE a mis à l’essai sa méthode actualisée de planification et de sélection des bénéficiaires fondée sur le risque au deuxième trimestre de 2021. Le BRDE est en train d’améliorer ses méthodes et d’élaborer de nouveaux outils et documents d’orientation pour surveiller le plan de vérification annuel du BRDE. La mise en œuvre des processus et des outils de surveillance des recommandations d’audit et de la conformité aura lieu au troisième et au quatrième trimestres de 2021-2022. Cela comprendra l’optimisation de l’utilisation de la base de données du module sur les accords et les interfaces (AMI) de RNCan pour le suivi des résultats de la vérification et de l’historique de la vérification du promoteur. Poste responsable : le DG du BRDE au nom du SMA du STE Date de réalisation : le 31 mars 2022

Recommandations

Réponse de la direction et plan d’action

Le SMA du STE devrait examiner et documenter les leçons apprises du volet des technologies propres d’Impact Canada, y compris celles qui pourraient émerger du dernier prix et de tout suivi ultérieur au programme, et les rendre disponibles au sein de RNCan, y compris les services ministériels et dans l’ensemble du gouvernement, afin qu’ils puissent éclairer la conception et la remise des futurs prix.

La direction est d’accord. Le Bureau de recherche et de développement énergétiques (BRDE) officialisera et normalisera davantage ses processus de documentation des leçons tirées des défis en matière de technologies propres d’Impact Canada. Le BRDE examinera également les options et élaborera un plan pour partager les leçons tirées des technologies propres d’Impact Canada avec la haute direction de RNCan et d’autres secteurs.

À la suite de l’attribution des prix et de la conclusion du programme, le BRDE élaborera un document récapitulatif des leçons apprises, qui sera mis à jour à mesure que les leçons ressortent. Le BRDE continuera de partager les leçons apprises avec l’Unité des retombées et de l’innovation du BCP afin d’appuyer l’élaboration de documents de ressources du Défi qui sont partagés et présentés à d’autres ministères fédéraux et au public (p. ex., études de cas du BCP, Guide du Défi du BCP et conseils du BCP sur les jurys du Défi) et Conseils du BCP sur les défis de contestation). La BRDE continuera également de donner des présentations sur Impact Canada au sein de RNCan et à d’autres ministères sur demande.

Responsable de poste : le DG du BRDE au nom du SMA du STE

Date de réalisation :

le 30 décembre 2021 pour élaborer un plan de documentation et de diffusion des leçons
le 30 septembre 2022, élaborer un document sur les leçons apprises, puis le mettre à jour au fur et à mesure des leçons apprises.

Le SMA STE devrait examiner et finaliser la stratégie de mesure du rendement pour l’IIC-CTS. Cette stratégie devrait comprendre :

Modèle logique (ou théorie du changement), indicateurs, méthodes de collecte des données, sources de données et éléments contre-factuels possibles.
Mesures pour le volet du programme dans son ensemble, ainsi que pour chaque défi ou initiative afin de démontrer l’atteinte des résultats.
Le cas échéant, des mesures pour éclairer les considérations relatives à l’ACS+.
Un plan sur le calendrier et les moyens par lesquels les rapports sur les résultats et les répercussions du programme seront communiqués à la haute direction.

La direction est d’accord.

Le BRDE mettra à jour et finalisera la stratégie de base de mesure du rendement des technologies propres d’Impact Canada, notamment :

Mettre la dernière main à l’ébauche du modèle logique, des indicateurs, des méthodes de collecte des données et des sources de données d’Impact Canada sur les technologies propres et, s’il y a lieu et si possible, déterminer les éléments contre-factuels appropriés. Le BRDE aimerait reconnaître qu’en raison de la nature de l’innovation transformatrice et de la RD et D, il s’inspirera également des principes de la documentation sur l’innovation et des évaluations de développement en intégrant de nouveaux résultats et indicateurs et en mettant à jour les hypothèses en fonction des constatations émergentes.
Des travaux sont en cours pour mettre à jour et finaliser les mesures de base pour les défis individuels et l’ensemble du programme.
Des travaux sont en cours au sein du BRDE pour intégrer les mesures de l’ACS+ à la collecte et la surveillance des données du programme. Le BRDE continuera de collaborer au sein de RNCan, ainsi qu’avec le BCP et Statistique Canada, pour recueillir et surveiller les données sur l’ACS+ et l’équité, la diversité et l’inclusion, dans la mesure du possible.

Poste responsable : Le DG du BRDE au nom du SMA du STE

Date de réalisation :

Le 31 mars 2022 pour mettre la dernière main à la stratégie de mesure du rendement.
Mesure et surveillance continues du rendement jusqu’en 2029 (au minimum).

Le SMA du STE devrait veiller à ce que la planification et la méthodologie de la vérification des bénéficiaires fondée sur le risque soient renforcées pour inclure le suivi et la surveillance de l’état et des résultats des recommandations de la vérification des bénéficiaires.

La direction est d’accord. Le BRDE renforcera son plan et sa méthodologie de vérification des bénéficiaires axés sur les risques afin de mieux documenter et suivre l’état et les résultats des vérifications de la Direction générale du BRDE plutôt que celles de la Division. Le BRDE a déjà entrepris un examen de ses processus de vérification fondés sur les risques et a mis à jour ses méthodes de planification, de sélection et de surveillance des vérifications afin de s’assurer que tous les programmes du BRDE mettent en œuvre le Guide sur la vérification des bénéficiaires de RNCan de façon uniforme (p. ex., méthode d’échantillonnage uniforme). Le BRDE a mis à l’essai sa méthode actualisée de planification et de sélection des bénéficiaires fondée sur le risque au deuxième trimestre de 2021. Le BRDE est en train d’améliorer ses méthodes et d’élaborer de nouveaux outils et documents d’orientation pour surveiller le plan de vérification annuel du BRDE. La mise en œuvre des processus et des outils de surveillance des recommandations d’audit et de la conformité aura lieu au troisième et au quatrième trimestres de 2021-2022. Cela comprendra l’optimisation de l’utilisation de la base de données du module sur les accords et les interfaces (AMI) de RNCan pour le suivi des résultats de la vérification et de l’historique de la vérification du promoteur.

Poste responsable : le DG du BRDE au nom du SMA du STE

Date de réalisation : le 31 mars 2022

Détails de la page

Date de modification :: 2022-04-29

Language selection

Recherche