Évaluation du Programme global de Subventions et de Contributions

Réalisation des extrants attendus

Le Programme affiche un bon rendement car il a produit tous les extrants attendus, par exemple : lancement d'AOP, production des listes de demandeurs admissibles et octroi de S et C. Selon la plupart des informateurs clés, des mécanismes efficaces sont en place pour les demandes de financement, le processus de sélection des AOP est équitable, et les exigences en matière de rapports sont semblables à celles des AM. Toutefois, l'information concernant la nature et les délais du processus de sélection des projets d'AOP n'était pas systématiquement fournie aux demandeurs, et la rétroaction constructive sur les projets n'était pas non plus fournie systématiquement. Pour corriger ces lacunes et se conformer aux recommandations du SCT concernant les programmes de paiements de transfert, l'ASC devrait normaliser les processus de demande, de sélection et de rétroaction, tant pour les propositions sollicitées que pour les propositions non sollicitées, et communiquer clairement ces processus à la communauté spatiale canadienne.

Même si la stratégie de mesure du rendement (MR) du Programme global de S et C établit des indicateurs de rendement, des données de référence et des cibles pour les résultats attendus du Programme, il est nécessaire de mettre à jour cette stratégie de MR pour s'assurer qu'elle contient des indicateurs, des données de référence et des cibles relatifs aux extrants. De plus, certaines données sur les S et C stockées dans les bases de données de l'ASC étaient inexactes, ce qui indique qu'il faut améliorer le processus de saisie des données pour garantir la validité des données d'archives.

Atteinte des résultats attendus

Le Programme global de S et C a atteint les résultats qu'on attendait et, dans bien des cas, il a dépassé les cibles fixées et les attentes des informateurs clés. L'étendue des connaissances acquises grâce aux projets financés est considérable, particulièrement en ce qui concerne les percées technologiques ou scientifiques et l'élaboration de nouvelles idées pouvant être intégrées aux futures missions spatiales, l'utilisation des données satellitaires, le développement d'applications et d'algorithmes, et la conception de nouveaux projets de R et D. Selon les informateurs clés, l'étendue des nouvelles connaissances découlant des projets financés correspondait à leurs attentes initiales ou les dépassait. De plus, un nombre considérable de présentations et de publications ont été produites à partir des connaissances acquises grâce à la majorité des projets financés.

Même si très peu de financement a été accordé aux entreprises et aux organismes sans but lucratif, le Programme a joué un rôle important en faisant en sorte que l'on accorde de l'importance au domaine spatial dans le milieu universitaire. La moitié des projets financés ont amené de nouveaux acteurs dans les disciplines de recherche liées au domaine spatial pendant la période visée par l'évaluation. En outre, le nombre d'organisations participant aux équipes de recherche des projets financés a augmenté considérablement, et on comptait parmi celles-ci des représentants nationaux et internationaux des universités, de l'industrie et d'autres types d'organisations. Les projets financés par le Programme ont aussi entraîné une augmentation notable du nombre de personnel hautement qualifié et de l'expertise liée à l'espace, ainsi que l'établissement et le maintien de collaborations nationales et internationales. Par exemple, les bénéficiaires de financement ont collaboré avec 225 organisations pour réaliser leurs projets financés. La majorité de ces organisations partenaires étaient établies en Europe, aux États-Unis et dans d'autres pays (p. ex. Japon, Australie). De plus, les collaborations et les réalisations multidisciplinaires ont dépassé l'objectif du Programme, c'est-à-dire que 50 % des projets financés ont donné lieu à au moins une réalisation multidisciplinaire.

3.1.1 Harmonisation avec les objectifs et les priorités du gouvernement fédéral

Les secteurs de l'espace et de l'aérospatiale apportent une contribution indispensable à la prospérité du Canada (Industrie Canada, 2014). Selon le rapport de l'Examen de l'aérospatiale commandé par le gouvernement fédéral, « pour servir l'intérêt national grâce à l'activité spatiale et favoriser la compétitivité de l'industrie spatiale canadienne, il faudra de la détermination, des priorités claires établies au plus haut niveau ainsi que des plans et des programmes efficaces qui concrétiseront ces priorités » (Industrie Canada, 2012a, p. 1). Le même rapport conclut qu'une attention accordée au renforcement de la capacité technologique peut, entre autres, grandement contribuer à maintenir le Canada au rang de puissance spatiale mondiale (Industrie Canada, 2012a). Le Programme global de S et C contribue à répondre à ces préoccupations dans la mesure où il vise à appuyer le développement des connaissances et l'innovation dans les domaines ciblés de manière à soutenir et à accroître la capacité du Canada d'utiliser l'espace pour répondre aux besoins et aux priorités du pays dans le futur. Les objectifs du Programme sont alignés sur les priorités du gouvernement fédéral telles qu'elles sont énoncées dans le cadre pangouvernemental du gouvernement du Canada, la stratégie du gouvernement du Canada dans le domaine des sciences, des technologies et de l'innovation, le Cadre de la politique spatiale du Canada, le Plan d'action économique de 2015, ainsi que dans le discours du trône et les déclarations officielles du gouvernement élu en octobre 2015.

Cadre pangouvernemental du gouvernement du Canada : Les objectifs du Programme global de S et C sont harmonisés avec le secteur de dépenses Affaires économiques du cadre pangouvernemental (SCT, 2011). Plus précisément, le Programme global de S et C est conçu pour contribuer au résultat attendu par le gouvernement, soit créer une économie axée sur l'innovation et le savoir (SCT, 2011).

Stratégie du gouvernement du Canada dans le domaine des sciences, des technologies et de l'innovation : Les sciences, la technologie et l'innovation ont fait l'objet d'une stratégie publiée en 2014 par le gouvernement fédéral. Le gouvernement y affirme son intention de travailler « en collaboration avec l'industrie et la communauté canadienne de la recherche spatiale, afin de tirer parti des ressources actuelles et de favoriser les nouvelles occasions de développement technologique » (Industrie Canada, 2014, p. 59). À cette fin, le gouvernement s'engage à « veiller à ce que ses politiques et ses programmes incitent et aident les Canadiens à exécuter des travaux de recherche scientifique et technologique de calibre mondial » (Industrie Canada, 2014, p. 17) et à « continuer d'appuyer et d'approfondir les travaux de recherche dans un vaste éventail de disciplines, y compris la recherche axée sur l'application et la découverte » (Industrie Canada, 2014, p. 41). La stratégie des sciences, des technologies, et de l'innovation a défini cinq priorités de recherche qui revêtent une importance stratégique pour le Canada :

1. environnement et agriculture,
2. santé et sciences de la vie,
3. ressources naturelles et énergie,
4. technologies de l'information et des communications, et
5. fabrication de pointe, priorité pour laquelle l'aérospatiale est identifiée comme un secteur d'intérêt (Industrie Canada, 2014).

Pour le gouvernement, les cinq priorités de recherche et les secteurs d'intérêts peuvent répondre « aux besoins de secteurs industriels clés du Canada, tels que ceux de l'espace, de la robotique, et de l'aérospatiale » (Industrie Canada, 2014, p. 25).

De plus, les objectifs du Programme global de S et C sont alignés sur les trois piliers de la Stratégie du gouvernement du Canada dans le domaine des sciences, des technologies et de l'innovation, soit les piliers « Humain », « Savoir », « Innovation ». Tout d'abord, le Programme contribue au pilier « Humain » de la Stratégie par lequel le gouvernement cherche à former, à attirer et à maintenir en poste des personnes hautement qualifiées et des plus compétentes ainsi que les meilleurs experts et chefs de file dont le Canada a besoin pour prospérer dans l'économie mondiale du savoir (Industrie Canada, 2014).

Le Programme contribue aussi au pilier « Savoir » dans la mesure où il vise à encourager l'acquisition de compétences spécialisées dans des créneaux où le Canada excelle, comme l'optique spatiale avancée, le développement d'instruments novateurs et la robotique. En effet, par le pilier « Savoir », le gouvernement cherche à « accroître la capacité de recherche et la capacité scientifique au sein des universités, des collèges et des écoles polytechniques » (Industrie Canada, 2014, p. 18). Le gouvernement vise à renforcer son « appui à l'excellence dans tout le spectre des activités de recherche axées sur les découvertes et de recherche appliquée en investissant dans la recherche et dans l'infrastructure » (Industrie Canada, 2014, p. 18).

Enfin, le troisième pilier de la Stratégie, l'« Innovation », vise à « favoriser l'établissement de plus de partenariats entre les entreprises, les universités et les collèges canadiens en vue de stimuler l'innovation et de promouvoir l'adoption de nouveaux processus et de nouvelles technologies qui aideront les entreprises canadiennes à se préparer à soutenir la concurrence et à se démarquer sur les marchés mondiaux » (Industrie Canada, 2014, p. iii). Le Programme global de S et C est aligné sur le pilier « Innovation» en ce sens qu'il vise à appuyer le développement ou le maintien de partenariats entre les universités, le gouvernement et l'industrie, et qu'il renforce les possibilités de collaboration internationale pour les scientifiques canadiens.

Cadre de la politique spatiale du Canada : Le Cadre de la politique spatiale du Canada, publié en 2014, constitue l'élément central de l'approche du gouvernement fédéral relativement à l'espace. L'un des principes directeurs énoncés dans ce cadre est « l'excellence dans les capacités clés », pour lequel le gouvernement souligne qu'il « continuera d'appuyer et de faire progresser les compétences canadiennes traditionnelles tout en restant à l'affût de nouveaux créneaux de réalisations technologiques » (ASC, 2014b, p. 10). Le gouvernement a par ailleurs identifié dans le Cadre de la politique spatiale du Canada quatre champs d'action stratégique, dont la R et D. À ce chapitre, le gouvernement fédéral s'est engagé à travailler avec l'industrie et le milieu canadien de la recherche spatiale, et à stimuler les possibilités de R et D et d'innovation. Pour ce faire, il compte « accroître son appui au développement technologique » (ASC, 2014b, p. 11). Le Programme global de S et C aide le gouvernement fédéral à répondre à sa priorité de stimuler les possibilités de R et D et d'innovation dans la mesure où il offre aux organisations une aide financière qui leur permet de mener des activités de R et D liées à l'espace dans des secteurs prioritaires de l'ASC.

Le plan d'action économique : En vue de donner suite à l'Examen de l'aérospatiale de 2012 dirigé par l'honorable David Emerson, le gouvernement a annoncé dans le Plan d'action économique de 2013 et au cours des mois qui ont suivi plusieurs mesures visant à soutenir le secteur de l'aérospatiale. Parmi ces mesures, on note le lancement du Consortium en aérospatiale pour la recherche et l'innovation au Canada, qui vise à faciliter la collaboration entre les intervenants en aérospatiale (l'industrie, le milieu universitaire et les centres de recherche) en vue de favoriser le développement de technologies de pointe, d'appuyer la formation de personnel hautement qualifié et de promouvoir l'innovation (Ministère des Finances du Canada, 2015). Dans le plan d'action économique de 2015, le gouvernement du Canada a annoncé qu'il a l'intention de continuer à appuyer les piliers d'une économie fondée sur le savoir (Ministère des Finances du Canada, 2015). Selon le gouvernement, « comme les possibilités économiques découlant de l'application des nouvelles technologies augmentent, il est essentiel que le Canada dispose d'une solide base scientifique et technologique, d'une infrastructure de recherche robuste et d'une main-d'œuvre hautement qualifiée » (Ministère des Finances Canada, 2015, p. 96). Les objectifs du Programme global de S et C de soutenir le développement des S et T qui sont liées aux priorités de l'ASC et de favoriser le développement continu d'une masse critique de chercheurs et de personnel hautement qualifié (PHQ) dans les domaines prioritaires à l'ASC contribuent à la réalisation de cette priorité gouvernementale.

Discours du Trône et déclarations du gouvernement élu en octobre 2015 : Après la fin de la période de collecte de données pour l'évaluation du Programme global de S et C, le discours du Trône a été prononcé par le nouveau gouvernement élu. Ce discours définit les grandes lignes des politiques que le gouvernement veut mettre en place dans les mois qui suivent. Le gouvernement y reconnaît que l'investissement public est essentiel pour stimuler et soutenir la croissance économique, la création d'emplois et la prospérité économique (Gouvernement du Canada, 2015a). Dans cette perspective, le ministre de l'Innovation, des Sciences, et du Développement, la ministre des Sciences, ainsi que la ministre de la Petite Entreprise et du Tourisme, ont déclaré, dans un message commun adressé aux employés de l'ASC, que leurs « objectifs primordiaux seront de […] promouvoir et de soutenir la recherche scientifique et l'intégration des considérations scientifiques dans leurs décisions relatives aux investissements et aux politiques » (Message des ministres aux employés de l'ASC, 17 novembre 2015). Enfin, dans la lettre de mandat de la ministre des Sciences, le premier ministre affirme : « Nous croyons que les investissements dans la recherche scientifique, ainsi qu'un juste équilibre entre la recherche fondamentale en appui de découvertes et la commercialisation des idées, mèneront à la création de bons emplois et à une croissance économique durable » (Gouvernement du Canada, 2015b). Le Programme global de S et C contribue à répondre à ces priorités en accordant du financement aux organismes de recherche, aux organisations à but lucratif et, dans une moindre mesure, aux organisations à but non lucratif, dans le but de développer des connaissances dans les secteurs scientifiques et technologiques prioritaires de l'ASC.

3.1.2 Harmonisation avec les priorités du Ministère

Selon le Rapport sur les plans et priorités 2014-2015 de l'ASC, l'industrie spatiale canadienne demeure dépendante des investissements continus en R et D pour croître (ASC, 2014c). De plus, « la capacité du Canada à s'attaquer à la question des intérêts nationaux en augmentant son indépendance sur le plan spatial nécessite une masse critique de PHQ au sein du milieu universitaire, industriel et gouvernemental. Ainsi, il est essentiel de développer, de mobiliser et de retenir des experts dans le domaine spatial et les secteurs connexes » (ASC, 2014c, p. 12). Le Programme global de S et C contribue à répondre à cette préoccupation de l'ASC dans la mesure où il vise à augmenter le nombre de PHQ participant à des initiatives et projets dans le domaine des S et T de l'espace.

De plus, le Programme global de S et C appuie les priorités stratégiques de l'ASC qui consistent à « consolider les activités de développement et de démonstration des capacités de l'ASC » et à « poursuivre la mise en œuvre du Cadre de la politique spatiale du Canada » (ASC, 2015c).

Il contribue aussi à l'atteinte du résultat stratégique de l'ASC selon lequel « les activités du Canada en matière d'exploration spatiale, de prestation de services depuis l'espace et de développement de capacités spatiales répondent aux besoins nationaux en matière de connaissances scientifiques, d'innovation et d'information » (ASC, 2015c, p. 5).

Tel que décrit dans la section Approches et méthodes d'évaluation, l'évaluation est surtout axée sur le volet Recherche, qui représente 98 % des dépenses du Programme global de S et C depuis l'examen des programmes de l'ASC effectué en 2012, et 91 % des dépenses pendant la période d'évaluation. Comme le montre la section Allocation des ressources ci-dessus, 320 000$ ont été consacrés au volet Sensibilisation et éducation depuis 2012, quand il a été décidé de ne plus soutenir les initiatives destinées aux élèves des écoles élémentaires et secondaires. Par conséquent, la conformité du volet Sensibilisation et éducation et les priorités de l'ASC n'est pas démontrée.

3.1.3 Harmonisation des rôles et les responsabilités du gouvernement

Selon la Loi sur l'Agence spatiale canadienne (la Loi), l'ASC a pour mission de:

« […] promouvoir l'exploitation et l'usage pacifiques de l'espace, de faire progresser la connaissance de l'espace au moyen de la science et de faire en sorte que les Canadiens tirent profit des sciences et techniques spatiales sur les plans tant social qu'économique. » (Loi sur l'Agence spatiale canadienne, 1990, art. 4).

L'ASC s'acquitte de son mandat en collaboration avec le secteur privé, le milieu universitaire, des organismes du gouvernement du Canada ainsi que d'autres agences spatiales et organisations internationales (ASC, 2015c). Les activités et objectifs du Programme global de S et C sont alignés sur l'une des fonctions principales que la Loi attribue à l'ASC, c'est-à-dire « concevoir, réaliser, diriger et gérer des programmes et travaux liés à des activités scientifiques et industrielles de recherche et développement dans le domaine spatial et à l'application des techniques spatiales » (Loi sur l'Agence spatiale canadienne, 1990, alinéa 5(2)b)). Le Programme se conforme aussi à l'alinéa 5(3)c) de la Loi, qui précise ce qui suit :

« Dans le cadre de sa mission, l'Agence peut :

contribuer au financement de programmes ou travaux liés à des activités scientifiques et industrielles de recherche et développement dans le domaine spatial et à l'application des techniques spatiales mais ne visant pas l'exploitation commerciale de la science et des techniques spatiales, sauf s'il s'agit de travaux destinés à élaborer, vérifier, évaluer ou utiliser des données, procédés, produits ou systèmes, nouveaux ou améliorés, se rapportant à ce domaine et visant à déterminer le potentiel commercial des sciences et techniques spatiales ».

Selon cette disposition, l'ASC a un rôle majeur à jouer dans le domaine de la R et D liée à l'espace et est habilitée à mettre en œuvre ou à appuyer des initiatives visant la collecte d'information, la recherche et les études relatives à l'espace, ainsi que le maintien d'une masse critique de PHQ dans le domaine spatial.

Par ailleurs, le rapport de l'Examen de l'aérospatiale a souligné que « les investissements publics liés à l'espace sont essentiels si le Canada veut répondre aux impératifs […] de la promotion du développement de nouvelles technologies et du recul des limites du savoir » (Industrie Canada, 2012a, p. 6). Plusieurs études ont aussi témoigné de l'importance pour les gouvernements de participer au financement initial de la R et D dans le domaine spatial (Industrie Canada, 2012a; Industrie Canada, 2012b; Bibliothèque du Parlement, 2013; Organisation de coopération et de développement économiques [OCDE], 2007; OCDE, 2014). Une étude de la Bibliothèque du Parlement portant sur le rôle du gouvernement fédéral dans l'industrie aérospatiale canadienne conclut que, « en raison de la longueur des cycles de recherche et de développement des produits, et de la nature progressive de l'innovation dans l'aérospatiale, le financement initial de la R et D – auquel contribue en partie le gouvernement – revêt une importance particulière » (2013, p. 3). De ce point de vue, l'aide financière apportée aux organisations du secteur spatial par l'entremise du Programme global de S et C est conforme aux rôles et responsabilités du gouvernement fédéral.

3.1.4 Besoin continu du programme

Plusieurs sources de données, y compris les informations recueillies par un examen des documents et un questionnaire en ligne auprès des informateurs clés (les employés de l'ASC, ainsi que des bénéficiaires et non-bénéficiaires de financement du Programme global de S et C), ont été examinées afin de déterminer si le Programme global de S et C continue de répondre à un besoin démontrable et s'il est adapté aux besoins des Canadiens. Comme le montre la figure 2, la majorité des informateurs clés (98 % des bénéficiaires de financement, 71 % des non-bénéficiaires de financement, et 89 % des employés de l'ASC) étaient d'avis que le Programme global de S et C continue de répondre à un besoin démontrable.

Lorsqu'on leur a demandé d'expliquer leurs réponses, plus de la moitié des bénéficiaires de financement et quelques non-bénéficiaires ont indiqué qu'il n'existe aucun autre programme fédéral, à l'exception du Programme global de S et C, entièrement consacré au développement du secteur spatial. En effet, bien que d'autres programmes offrent des S et C aux secteurs spatial et aérospatial et qu'il existe un risque de chevauchement, aucun de ces autres programmes n'a pour priorité la recherche spatiale. Dans la même optique, l'évaluation du Programme de S et C de 2008 avait également noté que « l'ASC est le seul organisme prêt à offrir aux intervenants un appui ciblé qui leur permettra d'atteindre leurs objectifs. Le Programme de S et C par catégorie fournit un support financier dans des secteurs où il n'y a pas d'autres sources de financement » (ASC, 2008, p. 10). Ce dernier aspect sera développé plus en détail dans la section sur le rendement (l'efficience et l'économie) de ce rapport.

Plus spécifiquement, lorsqu'on a demandé aux informateurs clés à quels besoins répond le Programme global de S et C, ils ont identifié trois principaux besoins, qui sont également appuyés par les informations recueillies lors de l'examen des documents :

1. le besoin de développer des capacités pour le secteur spatial canadien;
2. le besoin d'appuyer les collaborations entre l'industrie, le gouvernement, le milieu universitaire et les partenaires internationaux; et
3. le besoin de soutenir les activités des bénéficiaires qui contribuent à la réalisation du mandat et des priorités de l'ASC.

Le besoin de développer des capacités pour le secteur spatial canadien : La première évaluation sommative du Programme de subventions et contributions (ASC, 2008) avait identifié le besoin de développer des capacités pour le secteur spatial canadien. En effet, cette évaluation avait conclu qu'« en raison de la petite taille du secteur spatial canadien, la masse critique nécessaire pour développer des capacités innovatrices diversifiées est difficile à obtenir au sein du milieu universitaire et de l'industrie sans l'appui et le concours clairs du gouvernement » (p. 11). Selon cette évaluation, le Programme contribuait à répondre à ce besoin en assurant la coordination entre les divers acteurs et en fournissant des fonds. En outre, selon l'OCDE, l'acquisition et le développement de capacités spatiales restent un objectif stratégique très attrayant en 2014, et le nombre de pays et d'entreprises qui investissent dans les systèmes spatiaux et leurs applications en aval ne cesse de croître (OCDE, 2014).

Des trois besoins identifiés par les informateurs clés, c'est le besoin de développer des capacités pour le secteur spatial canadien qui a été le plus fréquemment mentionné. Ce besoin peut être divisé en trois sous-catégories :

1. Le nombre de membres du PHQ, soit les personnes titulaires d'un baccalauréat ou d'un grade universitaire de niveau supérieur;
2. L'étendue de l'expertise liée à l'espace;
3. La disponibilité de matériels et d'équipements utiles (p. ex. équipement de laboratoire) pour la réalisation de recherches spatiales.

Lorsqu'on leur a demandé quelles seraient les lacunes si le Programme global de S et C n'existait pas, la plupart des bénéficiaires de financement de même que la moitié des employés de l'ASC et quelques non-bénéficiaires ont souligné qu'il y aurait une diminution de la capacité et des compétences canadiennes dans le secteur spatial. Selon ces derniers, l'absence du Programme global de S et C entraînerait un manque de ressources pour appuyer le développement de nouvelles technologies ainsi que le maintien de la main-d'œuvre qualifiée et de compétences hautement spécialisées.

Par ailleurs, plusieurs non-bénéficiaires, quelques bénéficiaires de financement et quelques employés de l'ASC ont mentionné la nécessité pour le Programme global de S et C d'être davantage à l'écoute des besoins et réalités de la communauté spatiale canadienne et internationale. En effet, ils ont expliqué qu'en raison du contexte mondial changeant, l'ASC devrait, dans la détermination des projets à financer en priorité, prendre davantage en considération les opportunités qui s'offrent au milieu universitaire et au secteur industriel, et les défis auxquels ils font face.

Plus spécifiquement, les bénéficiaires de financement ont offert deux suggestions pour mieux répondre aux besoins des Canadiens. Premièrement, l'ASC devrait assurer une continuité dans les AOP du Programme global de S et C, plutôt que de changer de priorité quant aux projets de recherche qu'elle décide de financer. Selon eux, certains AOP devraient être reconduits pour permettre aux bénéficiaires de continuer leurs activités de recherche. Deuxièmement, les bénéficiaires de financement ont dit que l'ASC devrait continuer à financer les projets de recherche qui visent le développement de projets de niveaux de maturité technologique plus élevés. Ils ont en effet expliqué que, le plus souvent, le financement est alloué pour des projets se situant aux premiers stades de R et D, plutôt que pour le développement de niveaux de maturité technologique plus élevés.

Enfin, quelques employés de l'ASC ont mentionné qu'au fil des ans, le programme Capacités spatiales futures du Canada (AAP 1.3) a largement bénéficié du Programme global de S et C, alors que les autres programmes de l'ASC (Données, informations et services spatiaux [AAP 1.1] et Exploration spatiale [AAP 1.2]) ne l'ont pas suffisamment utilisé. Ils ont expliqué que, pour mieux répondre aux besoins des Canadiens, il serait nécessaire que le Programme global de S et C soit utilisé par l'ensemble des programmes de l'ASC.

Le besoin d'appuyer les collaborations entre l'industrie, le gouvernement, le milieu universitaire et les partenaires internationaux : Dans le Cadre de la politique spatiale, le gouvernement du Canada reconnaît que l'espace est un domaine compétitif et que les activités spatiales coûtent très cher. Pour cette raison, le gouvernement affirme qu'il cherchera à maintenir des partenariats afin de continuer à partager les coûts et les retombées des grands projets spatiaux (ASC, 2014b, p. 11). L'accès à des possibilités de collaboration multidisciplinaire et internationale pour les organisations canadiennes est l'un des résultats attendus du Programme global de S et C. Plusieurs bénéficiaires ainsi que quelques employés de l'ASC et non-bénéficiaires de financement ont indiqué que le Programme global de S et C répond au besoin d'appuyer les collaborations entre l'industrie, le gouvernement, le milieu universitaire et les partenaires internationaux.

Par ailleurs, quelques bénéficiaires et quelques non-bénéficiaires de financement ont déclaré que l'absence du Programme global de S et C aurait des répercussions sur la capacité de l'industrie canadienne et du milieu universitaire de créer des occasions de collaborations nationales et internationales. Ces derniers ont notamment expliqué que le Programme permet aux chercheurs canadiens de participer à des activités ou disciplines liées à l'espace ainsi qu'à des programmes de recherche internationaux.

Le besoin de soutenir les activités des bénéficiaires qui contribuent à la réalisation du mandat et des priorités de l'ASC : Ce besoin a principalement été mentionné par près du tiers des employés de l'ASC, selon lesquels les S et C élargissent la gamme d'outils de financement disponibles. En effet, ces employés de l'ASC et quelques bénéficiaires de financement ont indiqué que le Programme global de S et C répond au besoin de soutenir des activités qui contribuent à la réalisation du mandat et des priorités de l'ASC. Certains employés ont expliqué que l'appui financier de l'ASC aux travaux de R et D est un élément essentiel à l'atteinte des objectifs de l'ASC.

Dans la même veine, quelques employés de l'ASC ont précisé que plusieurs projets pertinents financés pour la réalisation du mandat et des priorités de l'ASC ne pourraient être soutenus en l'absence du Programme global de S et C. Ils ont mentionné que les contrats ne constituent pas une alternative appropriée pour le financement d'initiatives ayant pour objectif le développement des connaissances et des compétences.

3.2.1 Production des extrants et des résultats attendus

La mesure dans laquelle le Programme global de S et C a produit chacun des extrants et des résultats indiqués dans le modèle logique est évaluée dans cette partie du rapport, qui est divisé en sous-parties : extrants, résultats immédiats, résultats intermédiaires et résultats ultimes.

3.2.1.1 Extrants

Question no 5 de l'évaluation : Les listes de priorités de financement ont-elles été produites? (Extr. 1)

Constatation no 5 de l'évaluation : Les listes de priorités de financement de chaque direction générale n'ont pas été produites et certains informateurs clés ont parlé, de façon plus générale, de l'absence de priorités clairement définies à l'échelle de l'ASC. Les éléments probants semblent indiquer que l'alignement sur les priorités de financement de l'ASC est plus marqué dans le cas des AOP que dans le cas des mécanismes de financement des propositions non sollicitées.

L'information fournie par le groupe consultatif de l'évaluation indique que les directions générales n'ont pas produit des listes de priorités de financement. Par conséquent, il a été impossible d'établir avec certitude si les mécanismes de financement en place sont alignés sur les priorités de chacune des directions générales. Cependant, les données laissent supposer que le mécanisme des AOP est mieux aligné sur les priorités de l'ASC que ne l'est le mécanisme de financement des propositions non sollicitées.

Figure 3 : Opinion des employés de l’ASC concernant la mesure dans laquelle les mécanismes de sélection en place sont conformes aux priorités de financement de l’ASC (en %)

	Propositions sollicitées	Propositions non-sollicitées
Je ne sais pas	8 %	27 %
Extrêmement	31 %	19 %
Fortement	44 %	19 %
Modérément	17 %	23 %
Un peu	0 %	13 %
Pas du tout	0 %	0 %

Le mécanisme de financement des AOP est précisément conçu pour solliciter des propositions dans des domaines prioritaires approuvés par les DG. D'ailleurs, l'harmonisation entre les priorités de l'ASC et les propositions sollicitées est l'un des critères de sélection des AOP. Comme le montre la figure 3, la majorité des employés de l'ASC (75 %) pensent qu'il existe une relation directe entre le mécanisme de sélection des AOP et les priorités de l'ASC.

Par contre, d'autres se sont toutefois dits moins convaincus de cette relation, surtout parce que les priorités de l'ASC sont imprécises ou changeantes. Ces employés ont attiré l'attention sur la nécessité d'une planification stratégique à l'échelle de l'ASC qui tient compte des besoins de la communauté spatiale canadienne et qui se traduit par des priorités de financement claires et stables en R et D.

Les employés de l'ASC étaient beaucoup plus susceptibles de faire état d'un alignement conforme aux priorités dans le cas des AOP que dans le cas des mécanismes de financement des propositions non sollicitées^{Note de bas de page 16}. La plupart des employés de l'ASC ont indiqué qu'il y avait une concordance variant de faible à modérée entre le mécanisme de financement des propositions non sollicitées et les priorités de l'ASC (35 %) ou qu'ils ne savaient pas s'il y avait une concordance (27 %; figure 3), ce qui laisse supposer que la concordance est plus grande pour les AOP que pour les mécanismes de financement des propositions non sollicitées. Il est à noter que, pendant la période visée par l'évaluation, il n'y avait pas de critères de sélection normalisés pour les propositions non sollicitées.

Question no 6 de l'évaluation : Les annonces ont-elles été rendues publiques? (Extr. 2)

Constatation no 6 de l'évaluation : Dix AOP ont été rendues publiques pendant la période d'évaluation, la majorité d'entre eux ont été publiés par le programme Capacités spatiales futures du Canada (AAP 1.3) de l'ASC. Même si la plupart des employés de l'ASC ont indiqué que des mécanismes efficaces sont en place pour les demandes de financement, ces employés, de même que les bénéficiaires de financement et les non-bénéficiaires, ont signalé que le caractère sporadique et imprévisible des AOP causait des problèmes. De plus, plusieurs bénéficiaires de financement et non-bénéficiaires ont indiqué que le processus de demande de financement est ardu et complexe, et que de longs délais s'écoulent avant que les résultats de la sélection soient annoncés, les communications de l'ASC étant déficientes à cet égard. Malgré ces préoccupations, une minorité de bénéficiaires de financement ont attribué une bonne note au processus de demande. Les points de vue divergents s'expliquent probablement par les différences dans les processus de demande entre les 10 AOP.

En tout, 10 AOP ont été publiés pendant la période d'évaluation. Cinq d'entre eux avaient trait au programme Capacités spatiales futures du Canada (AAP 1.3), trois au programme Exploration spatiale (AAP 1.2) et deux au programme Données, informations et services spatiaux (AAP 1.1) de l'ASC.

Pour mesurer la qualité globale des mécanismes de financement en place, on a demandé aux informateurs clés de comparer le processus de demande du Programme global de S et C avec les processus de demande financement des AM. Comme le montre la figure 4, les points de vue variaient considérablement entre les trois principaux groupes d'informateurs clés. Même si la plupart des employés de l'ASC ne connaissaient pas suffisamment les mécanismes de financement des AM pour formuler des commentaires, ceux qui les connaissaient ont dit le plus souvent que le processus est comparable aux autres tant pour les propositions sollicitées (65 %) que pour les propositions non sollicitées (58 %). Par contre, les non-bénéficiaires ont jugé le plus souvent que le processus de demande du Programme global de S et C est inférieur à celui des programmes des AM (71 %). L'évaluation des bénéficiaires de financement était plus positive que celle des non-bénéficiaires^{Note de bas de page 17} mais se répartissait en groupes assez égaux : 25 % estimaient que le processus de demande du Programme global de S et C est supérieur, 38 % qu'il est à peu près semblable, et 32 % qu'il est inférieur au processus de demande des AM.

Pour obtenir plus d'indications sur la qualité du processus de demande de financement du Programme global de S et C, on a demandé aux informateurs clés de dire ce qu'ils pensaient du processus de sollicitation au moyen d'AOP, et des processus de soumission de propositions sollicitées et non sollicitées. Bien que les différences entre les AOP et les propositions non sollicitées aient probablement contribué aux divergences d'opinions, les données du groupe présentées ci-dessous donnent tout de même un aperçu des forces et des faiblesses du processus de demande du Programme.

Figure 4 : Évaluation par les informateurs clés du processus de demande de financement du Programme global de S et C par rapport à celui des autres ministères (en %)

	Bénéficiaires	Non-Bénéficiaires	Employés de l'ASC
			Employés de l'ASC - Propositions sollicitées	Employés de l'ASC - Propositions non-sollicitées
Je ne sais pas	5 %	7 %	58 %	75 %
Nettement supérieurs	5 %	0 %	2 %	0 %
Supérieurs	20 %	0 %	4 %	2 %
À peu près équivalents	38 %	21 %	27 %	15 %
Inférieurs	27 %	36 %	6 %	2 %
Nettement inférieurs	5 %	36 %	2 %	6 %

Processus de demande de propositions au moyen d'AOP

Selon la plupart des employés de l'ASC (73 %), des mécanismes efficaces sont en place pour obtenir des demandes de financement à la suite d'AOP. Cependant, plusieurs employés de l'ASC ont souligné que le caractère sporadique et imprévisible des AOP cause des difficultés à la communauté spatiale canadienne du point de vue de la planification et du maintien de capacités en matière de PHQ et d'infrastructures. Ce sentiment a aussi été exprimé par les bénéficiaires de financement et les non-bénéficiaires, dont plusieurs ont recommandé d'adopter l'approche utilisée par les autres ministères, c'est-à-dire d'établir des dates annuelles fixes pour les demandes de propositions. Selon certains bénéficiaires de financement, s'il y avait un calendrier régulier et prévisible pour les AOP, leur planification interne serait plus facile et efficace, et réduirait aussi le problème des horaires surchargés que certains ont connu dans le passé en raison du court délai entre le lancement d'un AOP et la date limite de dépôt des demandes.

Ce n'est pas obligatoire d'uniformiser le calendrier des demandes de propositions, mais les entretiens avec les représentants des AM donnent à penser que cette uniformisation peut être bénéfique sur deux plans : la prévisibilité qu'elle assure pour les demandeurs, et la gestion des dépenses prévues au sein du ministère subventionnaire. Cependant, cette uniformisation ne répond pas forcément aux besoins de l'ASC si, par exemple, les priorités de financement ou les budgets varient considérablement d'une année à l'autre. S'il n'est pas possible d'établir des dates fixes pour les demandes de propositions au moyen d'AOP, les informateurs clés du SCT recommandent alors d'informer les demandeurs de la raison pour laquelle une approche non uniforme est adoptée.

Étant donné que le Programme global de S et C n'a pas de dates fixes pour les demandes de propositions, un besoin de diffusion plus large des informations sur le Programme a été identifié. Comme les ministères sont tenus d'amener les demandeurs potentiels à participer au processus, les informateurs clés du SCT ont proposé des stratégies telles que les listes de diffusion, Twitter et les médias sociaux, et des avis dans les revues pour faire mieux connaître les possibilités de financement. Certains représentants des AM utilisent des approches plus personnelles, comme faire connaître les possibilités de financement lors d'événements sectoriels et de salons professionnels.

En plus de l'absence de dates fixes pour les demandes de propositions, les délais pour la prestation des services liés à l'administration des AOP variaient considérablement entre les AOP lancés pendant la période d'évaluation. Par exemple, la période écoulée entre la date limite d'une demande consécutive à un AOP et la date d'entrée en vigueur de l'accord de financement variait de 33 à 468 jours, comme le montre la figure 5.

Les bénéficiaires de financement considèrent que l'ASC a ré pondu à leur demande de financement plus rapidement que ne le pensent les non-bénéficiaires^{Note de bas de page 18} (voir les fréquences à la figure 6), et certains bénéficiaires de financement ont exprimé de la gratitude pour la rapidité avec laquelle les décisions de financement ont été prises par l'ASC. Toutefois, des informateurs des deux groupes ont expliqué que l'intervalle de temps entre la date limite de dépôt des demandes et l'annonce des résultats est trop long (plus d'une année dans certains cas).

Outre les longs délais de traitement de demandes, des bénéficiaires et des non-bénéficiaires ont indiqué que l'ASC n'avait pas communiqué avec eux pendant la période d'attente, ce qui a occasionné des défis considérables de planification aux demandeurs. De plus, deux des 14 répondants qui n'avaient pas obtenu de financement (et qui avaient répondu à différents AOP) ont dit que l'ASC ne les avait jamais informés que leur proposition avait été rejetée.

Figure 6 : Opinions des bénéficiaires de financement ayant soumis des propositions sollicitées et des non-bénéficiaires concernant la mesure dans laquelle l’ASC a répondu rapidement à leur demande (en %)

	Bénéficiaires	Non-Bénéficiaires
Je ne sais pas	5 %	8 %
Extrêmement	12 %	0 %
Fortement	35 %	8 %
Modérément	30 %	8 %
Un peu	14 %	31 %
Pas du tout	5 %	46 %

Processus de présentation des propositions

Seule une minorité des bénéficiaires de financement et des non-bénéficiaires ont indiqué qu'il était facile de trouver de l'information sur le Programme global de S et C sur le site Web de l'ASC (39 % des bénéficiaires et 21 % des non-bénéficiaires) et que cette information était claire (43 % des bénéficiaires et 14 % des non-bénéficiaires), mais les bénéficiaires ont exprimé une satisfaction considérablement plus grande dans les deux cas^{Note de bas de page 19}. De plus, certains bénéficiaires de financement (30 %) et non-bénéficiaires (21 %) ont mentionné que le niveau d'effort requis pour préparer la demande de financement était raisonnable (figure 7). Cependant, les données indiquent aussi que la plupart des bénéficiaires et des non-bénéficiaires pensent que le processus de demande pourrait être amélioré.

Figure 7 : Opinion des bénéficiaires de financement et des non-bénéficiaires concernant la mesure dans laquelle les efforts requis pour préparer la demande de financement sont raisonnables (en %)

	Bénéficiaires	Non-Bénéficiaires
Je ne sais pas	0 %	7 %
Extrêmement	4 %	14 %
Très	26 %	7 %
Modérément	54 %	29 %
Un peu	9 %	14 %
Pas du tout	7 %	29 %

Pour expliquer leurs réponses, presque tous les bénéficiaires de financement et les non-bénéficiaires qui ont évalué le processus de demande moins favorablement ont mentionné que ce processus est ardu et complexe – une préoccupation exprimée aussi par quelques employés de l'ASC. Certains répondants ont précisé que le degré d'effort requis pour préparer la proposition est trop élevé, particulièrement pour les petites S et C. Le plus souvent, les répondants ont expliqué qu'il y a beaucoup de redondances dans le processus, c'est-à-dire que les mêmes renseignements sont demandés sous différentes formes dans les diverses sections de la proposition. Parmi les autres préoccupations souvent exprimées au sujet de la lourdeur du processus, il y a le fait que l'information demandée et la structure de la demande varient d'un AOP à l'autre, et que la proposition ainsi que les signatures de vérification ne peuvent être transmises par voie électronique. Pour alléger le processus, les employés de l'ASC et les bénéficiaires de financement ont recommandé que l'ASC adopte un formulaire de demande en ligne simplifié qui n'est pas trop différent d'une possibilité de financement à l'autre. Les employés de l'ASC ont ajouté que la transmission électronique améliorerait aussi le processus de sélection des propositions.

Même si des lignes directrices ont été élaborées pour le processus de demande de financement du Programme global de S et C, tant pour les propositions sollicitées que pour les propositions non sollicitées, elles n'ont pas été systématiquement appliquées. Selon les entretiens réalisés avec les représentants des AM pour cette évaluation, le SCT recommande une approche d'ensemble, où le processus de demande et les lignes directrices connexes sont normalisés (il recommande aussi une harmonisation dans l'ensemble des ministères, si possible). Conformément à cette recommandation, la plupart des représentants des AM qui allouent des subventions ou des contributions ont indiqué qu'ils avaient normalisé les lignes directrices pour les demandes, et tous ont normalisé les modèles pour les propositions sollicitées et/ou non sollicitées.

En ce qui concerne la présentation des propositions, le SCT recommande l'automatisation non seulement pour la transmission par voie électronique, mais aussi pour le suivi des bénéficiaires de financement d'une demande à l'autre. Le système de gestion des relations avec la clientèle du CNRC est un exemple louable d'une telle automatisation, en ce sens que son système électronique (à connexion sécurisée) comporte une base de données centralisée qui génère et surveille tous les aspects du processus de financement, comme la présentation des propositions en ligne, les approbations, les ententes, les réclamations, les pièces justificatives, la reddition de comptes, les rapports sur le rendement, et le dépôt direct des versements de l'aide financière.

Question no 7 de l'évaluation : Des listes de demandeurs admissibles ont-elles été produites? (Extr. 3)

Constatation no 7 de l'évaluation : Des listes de demandeurs admissibles ont été produites pour chaque AOP. Les mécanismes de sélection utilisés pour produire ces listes sont jugés équitables par la plupart des employés de l'ASC et des bénéficiaires de financement, mais pas par les non-bénéficiaires. Les trois groupes d'informateurs clés considèrent que le processus de sélection est nettement moins transparent qu'il n'est équitable. Notamment, plusieurs bénéficiaires de financement et non-bénéficiaires ont signalé qu'ils n'avaient pas reçu une rétroactive constructive sur leurs propositions. En ce qui concerne les propositions non sollicitées, de nombreux employés de l'ASC ont exprimé des préoccupations quant à l'équité et à la transparence du processus de sélection.

Un examen de la documentation a permis de trouver des listes de demandeurs admissibles pour chacun des 10 AOP lancés pendant la période d'évaluation.

Pour évaluer dans une certaine mesure la qualité, on a demandé aux employés de l'ASC de comparer le processus de sélection du Programme global de S et C avec celui des AM^{Note de bas de page 20}. Cependant, de nombreux employés ont dit ne pas connaître suffisamment les processus de sélection des AM pour formuler des commentaires, particulièrement en ce qui concerne la sélection des propositions non sollicitées. Pour les propositions sollicitées, la plupart des employés (76 %) qui ont fourni une évaluation ont indiqué que le processus de sélection du Programme est soit équivalent, soit supérieur à celui des AM.

La qualité a aussi été examinée sous l'angle des perceptions des informateurs clés quant à l'équité et à la transparence du processus de sélection. Selon les employés de l'ASC, le processus de sélection des propositions sollicitées et non sollicitées est beaucoup plus équitable qu'il n'est transparent^{Note de bas de page 21}.

Malgré cette discordance, la majorité des employés de l'ASC estiment que le processus de sélection des propositions sollicitées est à la fois équitable (88 %) et transparent (77 %; figure 8). Dans leurs réponses aux questions ouvertes, plusieurs employés ont formulé des observations sur la grande qualité du processus de sélection lié aux AOP et attribué son succès aux conseils du CESC. La seule suggestion pour améliorer le processus de sélection consistait à recourir plus largement à l'examen par des pairs ou des experts.

Figure 8 : Opinion des employés de l’ASC concernant la mesure dans laquelle le processus de sélection est équitable et transparent (en %)

	Propositions sollicitées		Propositions non-sollicitées
	Propositions sollicitées - Équitable	Propositions sollicitées - Transparent	Propositions non-sollicitées - Équitable	Propositions non-sollicitées - Transparent
Je ne sais pas	4 %	4 %	27 %	27 %
Extrêmement	46 %	40 %	10 %	10 %
Très	42 %	38 %	13 %	6 %
Modérément	6 %	17 %	29 %	23 %
Un peu	2 %	2 %	10 %	17 %
Pas du tout	0 %	0 %	10 %	17 %

Contrairement à ce qu'on voit pour le processus de sélection des propositions sollicitées, seule une faible partie des employés de l'ASC estiment que le processus de sélection des propositions non sollicitées est équitable (23 %) et transparent (17 %; figure 8). Bon nombre d'employés ont expliqué que les critères de sélection ne sont pas bien définis ni documentés. Pour améliorer l'équité et la transparence en ce qui concerne les propositions non sollicitées, les employés de l'ASC ont proposé :

• de diminuer le montant alloué par propositions non sollicitées en augmentant la fréquence des AOP, en utilisant des AOP portant sur des domaines généraux, et en établissant des dates fixes pour le dépôt des demandes;
• de mettre en place des lignes directrices et des critères de sélection normalisés pour les propositions non sollicitées;
• de diffuser de l'information sur le site Web de l'ASC au sujet du processus de sélection des propositions non sollicitées.

Les bénéficiaires de financement ont évalué le processus de sélection de l'ASC plus favorablement que ne l'ont fait les non-bénéficiaires^{Note de bas de page 22}. De même, tout comme les employés de l'ASC, les bénéficiaires de financement et les non-bénéficiaires ont indiqué que le processus de sélection est beaucoup plus équitable que transparent^{Note de bas de page 23} (voir les fréquences à la figure 9).

Figure 9 : Opinion des bénéficiaires et des non-bénéficiaires de financement concernant le degré d’équité et de transparence du processus de sélection (en %)

	Bénéficiaires		Non bénéficiaires
	Bénéficiaires - Équitable	Bénéficiaires - Transparent	Non bénéficiaires - Équitable	Non bénéficiaires - Transparent
Je ne sais pas	14 %	7 %	29 %	8 %
Extrêmement	13 %	9 %
Très	45 %	31 %	14 %
Modérément	27 %	31 %	7 %	23 %
Un peu	2 %	9 %	21 %	15 %
Pas du tout		13 %	29 %	54 %

En ce qui a trait à l'équité, quelques bénéficiaires et non-bénéficiaires de financement ont signalé que certains AOP semblent être orientées vers la sélection de grandes organisations ayant déjà beaucoup d'expérience. Pour ce qui est de la transparence, de nombreux bénéficiaires et non-bénéficiaires se sont dits préoccupés par le manque d'information. Plus présisément, ces répondants ont expliqué :

1. que le processus de sélection n'est pas expliqué clairement;
2. qu'ils n'ont pas reçu de rétroaction sur leurs propositions, ou presque pas;
3. que la rétroaction qu'ils ont reçue n'était pas constructive.

Quoique le type et l'importance de la rétroaction sur les propositions rejetées aient varié selon les AOP, les informateurs clés du SCT ont recommandé d'établir des normes de service pour la rétroaction, c'est-à-dire informer les demandeurs non retenus des raisons pour lesquelles leur proposition n'a pas été acceptée. Par exemple, Industrie Canada et le CNRC fournissent une rétroaction écrite et lors de conversations téléphoniques. Cette rétroaction comprend des recommandations pour améliorer les propositions rejetées.

Question no 8 de l'évaluation : Des accords de S et C ont-ils été conclus et une aide financière a-t-elle été fournie? (Extr. 4)

Constatation no 8 de l'évaluation : Une somme de 36 M$ a été octroyée dans le cadre de 195 accords de S et C se rapportant au volet Recherche du Programme global de S et C pendant la période d'évaluation. La moitié de ces fonds ont été allouée aux propositions sollicitées et l'autre moitié, aux propositions non sollicitées, principalement par le programme Capacités spatiales futures du Canada (AAP 1.3). La grande majorité des fonds du volet Recherche ont été alloués à des universités.

Comme le montre la section Allocation des ressources du présent rapport, une somme de 40 M$ en S et C a été octroyée par le Programme global de S et C pendant la période visée par l'évaluation. La grande majorité de ces fonds (91 %, soit 36 M$) se rapportaient au volet Recherche du Programme, qui constitue le sujet principal de l'évaluation, et 76 % des fonds du volet Recherche ont été alloués par le programme Capacités spatiales futures du Canada (AAP 1.3; figure 10).

Figure 10 : Dépenses du volet Recherche selon le programme de l’ASC (la figure ne montre pas la portion plus petite que 1 % octroyée par les Services internes)

	Données, Informations et services spatiaux	Exploration spatiale	Capacités spatiales futures du Canada
Pourcentage	15 %	8 %	76 %

Figure 11 : Pourcentage du financement du volet Recherche consacré aux projets sollicités et non sollicités

	Projets sollicités	Projets non-sollicités
Pourcentage	55 %	45 %

Comme le montre la figure 11, environ la moitié (55 %; soit 20 M$) des fonds du volet Recherche ont été alloués à des projets sollicités dans le cadre de 10 AOP^{Note de bas de page 24} (huit AOP lancés pendant la période d'évaluation, et deux avant le début de l'évaluation). Comme c'est le cas pour le volet Recherche dans son ensemble, les projets sollicités (95 %) et non sollicités (54 %) sont surtout financés par le programme Capacités spatiales futures du Canada (AAP 1.3).

Les 36 M$ dépensés par le volet Recherche ont servi à financer 195 projets (19 % d'entre eux avaient des dates de début ou de fin se situant au-delà de la période d'évaluation). De ces 195 projets:

Figure 12 : Accords de S et C du volet Recherche par type d’organisme bénéficiaire

	Universités	Organismes privés	Organisations à but non lucratif
Pourcentage	95 %	4 %	1 %

• 185 (95 %) étaient des projets d'universités (figure 12), ce qui représente 98 % des fonds du volet Recherche dépensés pendant la période d'évaluation;
• 117 (60 %) étaient des projets sollicités, qui ont reçu en moyenne 182 k$ chacun;
• 78 (40 %) étaient des projets non sollicités, qui ont reçu en moyenne 228 k$ chacun (ou une moyenne de 185 k$ par projet si la contribution de 3,6 M$ mentionnée dans la note 14 est considérée comme une donnée aberrante et exclue du calcul).

Même si l'étendue des montants alloués en financement est grande, les fonds attribués par projet ne dépasse 400 k$ que pour 14 % des projets sollicités (figure 13) et 13 % des projets non sollicités (figure 14).

Comme il est indiqué dans la section Méthode ci-dessus, la plupart des bénéficiaires de financement qui ont répondu au questionnaire en ligne (60 %) ont reçu des fonds pour un projet pendant la période d'évaluation, mais le nombre de projets financés par bénéficiaire variait de un à cinq (figure 15). En tout, 51 % des bénéficiaires de financement ont reçu des fonds pour des propositions sollicitées, 25 % en ont reçu pour des propositions non sollicitées, et les 25 % restants ont reçu des fonds pour une combinaison de propositions sollicitées et non sollicitées.

Question no 9 de l'évaluation : L'évaluation des rapports d'étape et des rapports finaux a-t-elle été faite? (Extr. 5)

Constatation no 9 de l'évaluation : La grande majorité des rapports d'étape et des rapports finaux demandés ont été produits. Selon les informateurs clés, les exigences en matière de rapport sont semblables à celles des AM, mais plus de la moitié des bénéficiaires de financement ont indiqué que les efforts requis pour produire les rapports d'étape et les rapports finaux sont trop grands.

Tel que mentionné dans la section Méthodes du présent rapport, 297 rapports d'étape et rapports finaux ont été produits pour les projets financés par le volet Recherche, ce qui représente 94 % des rapports exigés et 94 % des projets financés pour lesquels des rapports étaient exigés. En moyenne, les bénéficiaires de financement ont préparé 1,94 rapport par projet financé.

Quand on leur a demandé comment les exigences en matière de rapport du Programme global de S et C se comparent à celles des AM, les bénéficiaires de financement et les employés de l'ASC qui ont fourni une évaluation ont le plus souvent indiqué que ces exigences sont assez semblables (figure 16). Cependant, la plupart des employés de l'ASC ne savaient pas comment les exigences en matière de rapport se comparaient avec celles des autres AM, et par conséquent, ils n'ont pas fourni d'évaluation.

Les bénéficiaires de financement avaient des opinions divisées concernant les efforts requis pour satisfaire aux exigences en matière de rapport : 42 % ont dit que le niveau d'effort est très raisonnable, et les 58 % restants ont indiqué qu'il n'est que légèrement ou modérément raisonnable. En expliquant leurs réponses, les bénéficiaires de financement ont exprimé des points de vue discordants quant à savoir si la production de rapports est exigeante, si l'information demandée est pertinente, et si la production de rapports en ligne est conviviale.

Figure 16 : Évaluation par les bénéficiaires de financement et les employés de l’ASC des exigences en matière de rapport du Programme global de S et C, par rapport à celles des autres ministères fédéraux (en %)

	Bénéficiaires	Employés de l'ASC
		Employés de l'ASC - Projets sollicités	Employés de l'ASC - Projets non-sollicités
Je ne sais pas	5 %	64 %	75 %
Nettement supérieures	5 %	4 %	4 %
Supérieures	12 %	4 %	2 %
À peu près équivalentes	47 %	23 %	15 %
Inférieures	25 %	4 %	2 %
Nettement inférieures	5 %		2 %

Même si on n'a pas demandé explicitement aux employés de l'ASC de dire ce qu'ils pensaient du contenu des rapports exigés, quelques-uns ont dit spontanément que certains indicateurs évalués dans les rapports d'étape et les rapports finaux (p. ex. renforcement des capacités en matière de S et T spatiales et diffusion des connaissances) ne sont pas pertinents pour les bénéficiaires de financement provenant de l'industrie. Les bénéficiaires de financement n'ont pas exprimé de préoccupations semblables, mais ils étaient très peu nombreux à provenir de l'industrie pendant la période d'évaluation.

Pour améliorer le processus de reddition de comptes, quelques bénéficiaires de financement ont proposé de remplacer les signatures de vérification en version papier par une version électronique. De plus, il a été proposé d'ajouter une exigence concernant le suivi des rapports pour consigner les résultats qui ne se produisent qu'une fois que les projets financés sont réalisés. « Les données qu'on nous demande (sur les articles, les exposés, etc.) sont des choses qui se concrétisent habituellement à la toute fin des projets (ou même après) », a expliqué un bénéficiaire de financement. L'utilité des rapports de suivi dépendrait probablement de l'ampleur et de la portée des projets financés, mais il est important de mentionner que le CNRC et Industrie Canada exigent des rapports de suivi jusqu'à cinq ans après que les projets financés ont été réalisés.

3.2.1.2 Résultats immédiats

Question no 10 de l'évaluation : Y a-t-il eu un accroissement des connaissances grâce aux projets de recherche menés dans les domaines prioritaires des S et T spatiales? (Rés. 1)

Constatation no 10 de l'évaluation : Pendant la période d'évaluation, 10 AOP ont été lancés et 195 projets ont été financés par le volet Recherche, l'objectif étant d'accroître les connaissances en S et T spatiales. L'étendue des connaissances acquises grâce aux projets financés est considérable, particulièrement en ce qui concerne les percées technologiques ou scientifiques, mais aussi en ce qui concerne l'élaboration de nouvelles idées pouvant être intégrées aux futures missions spatiales, l'utilisation des données satellitaires, le développement d'applications et d'algorithmes, et la conception de nouveaux projets de R et D. Selon la plupart des employés de l'ASC et des bénéficiaires de financement, l'étendue des nouvelles connaissances découlant des projets financés correspondait à leurs attentes initiales ou les dépassait. Inversement, un effet négatif sur l'acquisition de connaissances a été mis en évidence dans le cas des projets proposés qui n'ont pas reçu de fonds du Programme global de S et C. Cependant, certains informateurs clés ont indiqué que la possibilité d'acquisition de connaissances a été contrecarrée par la suppression des AOP dans les domaines de S et T spatiales ciblés et par le seul fait qu'un des grands programmes de l'ASC utilise largement le Programme global de S et C. Par ailleurs, les employés de l'ASC ont signalé qu'il y a une plus grande concordance entre les connaissances produites et les priorités de l'ASC dans le cas des projets sollicités que dans le cas des projets non sollicités.

Les données d'archives indiquent que, pendant la période d'évaluation, des processus concurrentiels (AOP) ont été lancés et que des accords de S et C ont été conclus dans le cadre du volet Recherche du Programme global de S et C; l'objectif visé était d'accroître les connaissances dans les domaines prioritaires des S et T spatiales. Comme il est indiqué ci-dessus, 195 projets ont été financés et 117 (60 %) de ces projets l'ont été à la suite d'un processus concurrentiel (propositions sollicitées). Ces projets sollicités résultaient de 10 AOP, dont 8 ont été lancés après le début de la période d'évaluation. À la fin de la période d'évaluation, deux autres AOP ont été lancés (en novembre et en décembre 2013), mais les accords de S et C n'ont pas encore été conclus dans leur cas.

Dans la stratégie de MR du Programme global de S et C (ASC, 2013a), on a établi des données de référence et des cibles pour le nombre d'AOP lancés et de projets nouveaux ou en cours qui sont financés en se fondant sur l'exercice 2011-2012. Comme le montre le tableau 8, le nombre d'AOP assortis de dates limites pour le dépôt des propositions au cours des deux exercices postérieurs à 2011-2012 est incohérent (il est d'abord inférieur, puis supérieur au nombre de l'exercice 2011-2012), tout comme le nombre de nouveaux projets et de projets en cours financés.

La Stratégie de MR du Programme global de S et C (ASC, 2013a) a établi les données de référence et une cible pour le nombre de projets financés réalisés chaque année en se fondant sur l'exercice 2013-2014, qui correspond à la dernière année de la période d'évaluation. À ce moment, 138 (71 %) des 195 projets financés par le volet Recherche avaient été réalisés (tableau 8). Les 57 projets restants (29 %) se poursuivaient; la date de fin des derniers projets financés était prévue en décembre 2018.

Tableau 8 : Nombre d'AOP lancés, de nouveaux projets et de projets en cours financés, et de projets financés réalisés par exercice

	2009-2010	2010-2011	2011-2012	2012-2013	2013-2014
Nombre d'AOP lancés (selon la date limite de dépôt des propositions)	0	2	3	1	4
Nombre de projets financés (nouveaux et en cours)
Propositions sollicitées	52	51	58	30	49
Propositions non sollicitées	29	19	27	30	37
Total	81	70	85	60	86
Nombre de projets financés réalisésNote de bas de page 25
Propositions sollicitées	13	14	34	0	15
Propositions non sollicitées	17	9	9	6	21
Total	30	23	43	6	36

Étendue de l'accroissement des connaissances

L'information fournie par les bénéficiaires de financement dans leurs rapports d'étape et finaux, et les opinions exprimées par les informateurs clés dans les questionnaires en ligne indiquent une augmentation des connaissances grâce aux projets financés est considérable. Cependant, dans certains cas, il faudrait que le financement des projets se poursuive et qu'il couvre un éventail plus large de programmes de l'ASC pour que le gain de connaissances soit suffisant.

Le tableau 9 indique le nombre et le pourcentage de projets financés qui ont obtenu au moins un bon résultat dans chacun des six indicateurs clés de l'accroissement des connaissances. Comme il est expliqué dans la section Limites du présent rapport, les données utilisables pour ces indicateurs n'étaient disponibles que pour les exercices 2011-2012 à 2013-2014 parce que les modèles de rapport d'étape et de rapport final ont changé au fil des ans. Il est toutefois important de noter que ces données provenaient des rapports d'étape et finaux des bénéficiaires de financement concernant leurs projets financés et qu'un bon nombre d'entre eux (85) étaient toujours en cours à la fin de la période d'évaluation. Par conséquent, les constatations présentées dans le tableau 9 sous-estiment probablement l'ampleur de l'augmentation des connaissances qui sera atteinte d'ici à ce que tous les projets financés aient porté leurs fruits.

Selon les constatations du tableau 9, les percées technologiques ou scientifiques représentent les types les plus courants d'accroissement des connaissances signalés par les bénéficiaires de financement, les deux tiers (66 %) des projets financés ayant permis au moins une percée pendant la période d'évaluation. De plus, environ la moitié des projets financés ont mené à l'élaboration de nouvelles idées pouvant être intégrées aux futures missions spatiales (56 %), à l'utilisation des données satellitaires (51 %), et au développement d'applications et d'algorithmes (43 %). Même si on a rarement signalé des niveaux technologiques supérieurs et des réussites commerciales (23 % et 5 % respectivement), cette dernière constatation n'est pas étonnante vu que, pendant la période d'évaluation, les S et C ont été octroyées en majorité aux établissements d'enseignement. De même, les réalisations limitées sur le plan des niveaux supérieurs de technologie s'expliquent probablement par les décisions de l'ASC concernant les projets à financer. Comme il est indiqué dans la section Pertinence ci-dessus, les bénéficiaires de financement ont dit que, pour mieux répondre aux besoins des Canadiens, le Programme global de S et C devrait relancer les AOP annulés et octroyer plus de S et C pour porter les technologies existantes à des niveaux supérieurs de maturité.

Tableau 9 : Nombre et pourcentage de projets financés entre 2011-2012 et 2013-2014 (n=121) pour lesquels un accroissement des connaissances a été signalé dans les rapports d'étape et finaux

Indicateur de l'accroissement des connaissances	Nombre de projets financés (%)
Percée technologique ou scientifique	81 (66 %)
Élaboration de nouvelles idées pouvant être intégrées aux futures missions spatiales	69 (56 %)
Données satellitaires utilisées (canadiennes ou étrangères)	63 (51 %)
Développement d'applications et d'algorithmes (niveau de maturité des logiciels)	53 (43 %)
Technologie ayant mené à un niveau de développement supérieur (niveau de maturité technologique)	28 (23 %)
Succès commercial	6 (5 %)

Il convient de noter que, même si seulement un peu plus de la moitié des projets financés (56 %) ont permis de développer de nouvelles idées pouvant être intégrées aux futures missions spatiales d'ici la fin de la période d'évaluation, la possibilité que les S et C favorisent une participation accrue du Canada aux missions spatiales a été mentionnée spontanément par bon nombre de informateurs clés dans leur questionnaire en ligne, comme l'illustrent les citations suivantes :

Je crois que les S et C sont le mécanisme le plus important que j'ai eu à ma disposition au cours des cinq dernières années pour mener une recherche planétaire internationale. Ce mécanisme a été crucial, car il nous permet maintenant de participer à un large éventail de missions d'exploration planétaire. (Commentaire écrit par un bénéficiaire de financement)

Pour les scientifiques canadiens, les collaborations officialisées par le Programme global de S et C se sont traduites par des occasions régulières de vol, qui les mettent en lien avec des équipes de missions nationales ou internationales, nouvelles ou existantes. (Commentaire écrit par un employé de l'ASC)

La conséquence [de ne pas avoir obtenu de financement] est importante. Nous ne pouvons pas développer nos idées de recherche et de missions. Elles sont développées par des collègues d'autres pays. (Commentaire écrit par un non-bénéficiaire)

Les réponses données par les informateurs clés dans les questionnaires en ligne ont fourni plusieurs autres indications que l'étendue des connaissances acquises grâce au financement du Programme global de S et C est considérable. Par exemple, plus de la moitié (54 %) des bénéficiaires de financement ont dit que les résultats obtenus à la suite du financement du Programme ont permis de réaliser de nouveaux projets financés par d'autres moyens que le Programme (souvent par l'entremise de partenaires internationaux); 39 % ont indiqué qu'il était trop tôt pour dire si de nouveaux projets seraient réalisés.

Quand on leur a demandé explicitement de déterminer l'étendue des connaissances acquises grâce aux projets financés, la plupart des bénéficiaires de financement (85 %) et des employés de l'ASC (58 %) ont répondu que le financement du Programme global de S et C avait contribué considérablement ou énormément à l'accroissement des connaissances (figure 17). Les répondants qui ont indiqué une augmentation moins importante des connaissances ont expliqué que, même si les projets financés étaient instructifs, il aurait fallu un financement continu pour obtenir une quantité suffisante de connaissances. Soit dit en passant, la plupart des répondants qui n'ont pas fourni une évaluation ont expliqué que les projets financés auxquels ils participaient en étaient encore aux premiers stades de développement. Cependant, quelques employés de l'ASC ont expliqué qu'ils auraient besoin de données plus précises et plus ciblées sur le rendement pour évaluer convenablement l'étendue des connaissances acquises dans le cadre des projets financés.

Dans les questionnaires en ligne, on a aussi demandé aux informateurs clés de dire à quel point l'étendue de l'augmentation des connaissances correspondait à leurs attentes initiales. La grande majorité des bénéficiaires de financement (93 %) et plus de la moitié des employés de l'ASC (56 %) ont répondu que l'étendue des connaissances acquises grâce au financement du Programme global de S et C correspondait à leurs attentes initiales ou les dépassait. Cependant, selon 14 % des employés de l'ASC (ou 20 % de ceux qui ont fourni une évaluation), l'étendue des connaissances acquises était moindre que ce à quoi ils s'attendaient. Ces employés ont expliqué que, pour répondre à leurs attentes initiales, ce moyen de financement devrait être utilisé plus largement par les divers programmes de l'ASC, plutôt que par le programme Capacités spatiales futures du Canada (AAP 1.3) essentiellement. Comme cela a été mentionné précédemment dans ce rapport, ce thème se dégage aussi des réponses des employés de l'ASC portant sur la pertinence du Programme, dans lesquelles ils précisent qu'il faudrait utiliser davantage le Programme global de S et C au sein de l'ASC pour mieux répondre aux besoins des Canadiens.

Figure 17 : Opinions des employés de l’ASC et des bénéficiaires de financement quant à la mesure dans laquelle les S et C ont contribué à l’augmentation des connaissances dans le domaine des S et T spatiales (en %)

	Bénéficiaires	Employés de l'ASC
Je ne sais pas	5 %	17 %
Extrêmement	32 %	17 %
Très	53 %	41 %
Modérément	11 %	21 %
Un peu	0 %	5 %
Pas du tout	0 %	0 %

On peut aussi évaluer l'étendue de l'augmentation des connaissances en examinant les répercussions sur les projets qui n'ont pas été financés par le Programme. D'après les réponses fournies dans le questionnaire en ligne, 21 % des non-bénéficiaires ont pu réaliser leur projet sans le financement du Programme. Ils ont cependant expliqué que le financement reçu d'autres sources représentait une solution provisoire (c.-à-d. qu'il n'était pas suffisant à long terme). Par ailleurs, ils ont indiqué que le fait de recevoir des fonds du Programme global de S et C aurait eu un effet positif important sur leur projet pour ce qui est de l'échéancier, de la portée et de la qualité. Ces réponses donnent à penser que l'absence de financement du Programme peut avoir un effet négatif sur l'acquisition de connaissances.

Peu importe que les non-bénéficiaires aient été en mesure de réaliser leur projet, la plupart d'entre eux ont parlé d'un effet négatif sur la possibilité d'acquisition de connaissances attribuable à l'absence de S et C. Par exemple, un non-bénéficiaire a expliqué qu'« il est difficile d'évaluer le préjudice causé par le fait de ne pas avoir ces résultats [les résultats découlant du projet proposé], mais [qu'il est] convaincu que cela a une incidence sur la compétitivité de notre industrie ».

Harmonisation entre l'acquisition de connaissances et les priorités de l'ASC

Pour atteindre tous les résultats attendus du Programme global de S et C, les connaissances acquises dans le cadre des projets financés devraient correspondre aux priorités de l'ASC dans le domaine des S et T spatiales – d'autant plus que les activités de soutien qui contribuent au mandat et aux priorités de l'ASC sont considérées par les employés de l'ASC comme un besoin important auquel il faudrait répondre par le biais du Programme (voir la section Pertinence). Comme il est indiqué dans la section Extrants du rapport, l'harmonisation avec les priorités de l'ASC est plus marquée dans le cas des AOP que dans le cas des mécanismes de financement des projets non sollicités. Il n'est donc pas étonnant qu'une tendance semblable s'observe en ce qui concerne l'harmonisation entre l'accroissement des connaissances dans les domaines prioritaires et le type de mécanisme utilisé pour financer les projets. Comme le montrent les fréquences indiquées à la figure 18, les employés de l'ASC qui ont fourni une évaluation étaient beaucoup plus susceptibles de dire que les connaissances produites par les projets sollicités correspondaient aux priorités de l'ASC que de dire que les connaissances produites par les projets non sollicités correspondaient à ces priorités^{Note de bas de page 26}.

Figure 18 : Opinions des employés de l’ASC concernant la mesure dans laquelle les connaissances acquises correspondent aux priorités de l’ASC en S et T spatiales (en %)

	Projets sollicités	Projets non-sollicités
Je ne sais pas	6 %	26 %
Extrêmement	30 %	11 %
Très	49 %	34 %
Modérément	11 %	28 %
Un peu	4 %	2 %
Pas du tout	0 %	0 %

Question no 11 de l'évaluation : L'importance accordée au domaine spatial dans les universités, les établissements d'enseignement postsecondaire, et les organisations à but non lucratif et à but lucratif a-t-elle été maintenue ou a-t-elle augmenté? (Rés. 2)

Constatation no 11 de l'évaluation : La moitié des projets financés ont fait intervenir de nouveaux acteurs dans les champs de recherche liés au domaine spatial pendant la période d'évaluation. De plus, le nombre d'organisations faisant partie des équipes de recherche des projets financés a augmenté considérablement. Ces équipes comprenaient des représentants d'universités, d'entreprises et d'autres types d'organisations nationales et internationales. D'autres indications de l'importance accrue accordée au domaine spatial grâce au Programme global de S et C ont été décelées par les informateurs clés, dont la plupart ont signalé que le Programme a joué un rôle important en contribuant à ce renforcement dans le milieu universitaire. Cependant, pour la période visée par l'évaluation, une faible partie des fonds du Programme ont été octroyés aux entreprises et aux organismes sans but lucratif. La contribution du Programme au maintien de l'importance accordée au domaine spatial dans ces types d'organisations est donc limitée.

Dans leurs rapports d'étape et finaux annuels, les bénéficiaires de financement ont indiqué quelles autres organisations étaient associées aux équipes de recherche de leurs projets financés. Il manquait certaines données annuelles sur l'identité ces organisations, et des données fiables n'étaient disponibles que pour les trois derniers exercices de la période d'évaluation (2011-2012 à 2013-2014). Mais, en se fiant aux données disponibles pour ces trois exercices, il y a eu en tout 242 organisations (autres que les organisations des bénéficiaires de financement) qui ont fait partie d'au moins une équipe de recherche d'un projet financé pendant au moins un an. Étant donné que plusieurs de ces organisations étaient associées à plus d'une équipe de recherche d'un projet financé, le nombre moyen d'autres organisations faisant partie d'une équipe de recherche par projet financé était de 4,48 (ET = 4,69), les valeurs extrêmes allant de zéro à 34.

Parmi les 242 organisations qui ont fait partie d'au moins une équipe de recherche d'un projet financé, 42 % étaient canadiennes (figure 19). Les autres étaient établies en Europe, aux États-Unis et dans d'autres régions (p. ex. Costa Rica, Australie, Chine).

Figure 19 : Organisations qui ont été associées à des équipes de recherche par secteur géographique

	Canada	États-Unis	Europe	Autres
Pourcentage	42 %	25 %	27 %	6 %

Étant donné que, pendant la période d'évaluation, 95 % des bénéficiaires de financement étaient des établissements universitaires, il s'ensuit que le type d'organisations le plus souvent associées à des équipes de recherche était des universités (elles représentaient 49 % des organisations qui ont fait partie d'au moins une équipe de recherche d'un projet financé). Comme le montre la figure 20, les 51 % restants étaient des entreprises privées, des centres de recherche, des entités gouvernementales nationales et d'autres types d'organisations (p. ex. entités provinciales, organismes sans but lucratif, établissements d'enseignement post-secondaires).

Figure 20 : Organisations qui ont été associées à des équipes de recherche par type d'organisation

	Universités	Centres de recherche	Entité nationale/fédérale gouvernementale	Organismes privés	Autres
Pourcentage	49 %	14 %	9 %	18 %	10 %

Comme l'indique la figure 21, le nombre d'organisations faisant partie d'équipes de recherche a beaucoup augmenté pendant les deux derniers exercices pour lesquels des données fiables sont disponibles. En 2013-2014, le nombre annuel d'organisations a presque doublé par rapport aux données de référence et aux cibles établies pour cet indicateur de rendement en 2011-2012, conformément à la stratégie de MR pour le Programme global de S et C (ASC, 2013a). Étant donné que le nombre de projets financés par année n'a pas augmenté aussi fortement, ces données indiquent que plus d'organisations faisaient partie des équipes de recherche des projets financés pendant la dernière partie de la période d'évaluation. En effet, selon les rapports d'étape et finaux, la moitié (51 %) des projets financés ont fait intervenir de nouveaux acteurs dans les champs de recherche liés au domaine spatial.

Figure 21 : Nombre d’organisations faisant partie d’équipes de recherche par exercice

	2011-2012	2012-2013	2013-2014
Fréquence	92	162	170

Quand on a interrogé les bénéficiaires de financement dans le questionnaire en ligne au sujet de l'importance accordée au domaine spatial au sein de leur organisation, les deux tiers (68 %) ont dit que le Programme global de S et C avait contribué considérablement ou énormément à ce que l'espace demeure une priorité. Un bénéficiaire de financement a donné l'explication suivante : « Ce programme est la plus importante source de revenus pour nos recherches spatiales. Sans lui, il est peu probable que nous accorderions la même importance à ce domaine que nous le faisons maintenant. » Cependant, d'autres bénéficiaires de financement ont fait état de répercussions moins importantes parce que, ainsi que l'ont expliqué quelques bénéficiaires, on ne peut pas compter sur le Programme comme source de financement continu.

Les employés de l'ASC ont exprimé des opinions semblables à celles des bénéficiaires de financement quant à la contribution du Programme au maintien de l'importance accordée au domaine spatial dans les établissements universitaires. Étant donné que ces établissements représentaient la vaste majorité des bénéficiaires de financement pendant la période d'évaluation, la plupart des employés de l'ASC (58 %) ont indiqué que le Programme réussit à maintenir cette importance. Toutefois, quelques employés (21 %) ont signalé qu'il y a des avantages à maintenir l'importance accordée au domaine spatial dans l'industrie, et la plupart (65 %) ne savaient pas s'il y avait de tels avantages pour les organismes sans but lucratif (qui n'étaient pas un des principaux groupes cibles du Programme).

Après la fin de la période d'évaluation, la population cible du Programme global de S et C a été élargie pour mettre davantage l'accent sur l'industrie (voir la section Limites ci-dessus), de sorte que les constatations relatives à la contribution du Programme au maintien de l'importance accordée au domaine spatial dans les organismes à but lucratif seront probablement différentes lors de la prochaine évaluation du Programme.

Question no 12 de l'évaluation : Des partenariats ont-ils été établis et/ou maintenus, les organisations canadiennes ont-elles eu accès à des collaborations internationales, et les contributions des partenaires ont-elles eu un effet de levier? (Rés. 3)

Constatation no 12 de l'évaluation : La majorité des bénéficiaires de financement ont établi et/ou maintenu des partenariats pour réaliser leurs projets financés, et plus des deux tiers de ces collaborations se sont nouées avec des organisations de l'extérieur du Canada. Les informateurs clés ont indiqué que le financement du Programme avait permis d'accroître les collaborations profitables avec de nouveaux et partenaires existants, ce qui a contribué au succès des projets financés. De plus, près de la moitié des projets financés se sont servis du levier des contributions des partenaires. Le ratio de levier estimé était de 1,86 $ (en espèces ou en nature) pour chaque 1 $ des fonds du Programme global de S et C investi, mais ce ratio estimatif doit être interprété avec prudence en raison des limites méthodologiques.

Partenariats établis et/ou maintenus

Selon les constatations faites lors de la première évaluation du Programme global de S et C (ASC, 2008), celui-ci a joué un rôle essentiel en tant que catalyseur de collaborations entre les intervenants, ce qui a permis la réussite de nombreux projets financés. Comme il est indiqué dans la section Pertinence du rapport, les informateurs clés interrogés dans le cadre de la présente évaluation ont indiqué que le Programme était toujours nécessaire pour faciliter la collaboration entre les partenaires nationaux et internationaux, afin que les Canadiens puissent participer aux activités liées au domaine spatial.

D'après les rapports d'étape et finaux (correspondant aux exercices pour lesquels des données fiables étaient disponibles, soit de 2011-2012 à 2013-2014), la majorité (84 %) des bénéficiaires de financement ont maintenu ou établi des partenariats en vue de réaliser leurs projets financés. En tout, des partenariats ont été établis avec 225 organisations durant cette période. Cependant, les organisations partenaires participaient souvent à plus d'un projet financé, ce qui donne une moyenne de 3,98 (ET = 4,16) partenariats par projet financé, les valeurs extrêmes allant de zéro à 17.

Figure 22 : Organisations partenaires par type d’organisation

	Universités	Centres de recherche	Entité nationale/fédérale gouvernementale	Organismes privés	Autres
Pourcentage	49 %	20 %	10 %	11 %	10 %

La composition des 225 organisations partenaires ressemblait à celle des organisations faisant partie des équipes de recherche (décrite ci-dessus). Comme le montre la figure 22, près de la moitié de ces organisations étaient des universités (49 %) et les autres, des centres de recherche, des entreprises privées, des entités gouvernementales nationales et d'autres types d'organisations (p. ex. agences spatiales, organismes sans but lucratif).

Comme l'indique la figure 23, le nombre d'organisations qui se sont associées avec les bénéficiaires de financement pour au moins un projet financé a fluctué pendant les trois exercices de la période d'évaluation pour lesquels des données fiables sont disponibles (de 2011-2012 à 2013-2014). Les données de référence et la cible pour cet indicateur ont été établies en 2011-2012 (ASC, 2013a).

Figure 23 : Nombre d’organisations partenaires par exercice

	2011-2012	2012-2013	2013-2014
Fréquence	129	140	95

Pour mieux comprendre les résultats quantitatifs indiqués ci-dessus, on a demandé aux informateurs clés ce qu'ils pensaient des partenariats formés grâce au Programme global de S et C. Invités à comparer les collaborations résultant du Programme avec leurs attentes initiales, les employés de l'ASC et les bénéficiaires de financement ont dit que l'ampleur de la collaboration avec les nouveaux partenaires (74 % des employés de l'ASC et 91 % des bénéficiaires de financement) et les partenaires avec lesquels les bénéficiaires de financement avaient déjà collaboré (70 % des employés de l'ASC et 94 % des bénéficiaires de financement; figures 24 et 25) correspondait à leurs attentes ou les dépassait.

Pour favoriser encore davantage la collaboration, l'établissement de partenariats et collaborations a été suggéré comme critère de sélection des futurs AOP. Une pratique semblable est intégrée au Programme de démonstration de technologies d'Industrie Canada ainsi qu'au Programme de professeurs-chercheurs industriels et au Programme de recherche-développement coopérative du CRSNG, l'accent étant mis sur l'établissement de partenariats et de collaborations. Selon la plupart des bénéficiaires de financement, les fonds qu'ils ont reçus du Programme global de S et C leur ont permis d'accroître considérablement leur collaboration avec de nouveaux partenaires (70 %) et des partenaires avec lesquels ils avaient déjà collaboré (61 %). En outre, la plupart des bénéficiaires de financement ont signalé qu'ils avaient grandement bénéficié des collaborations nouées avec de nouveaux partenaires (72 %) et de partenaires existants (61 %). Plusieurs bénéficiaires de financement ont expliqué que les partenariats établis ou renforcés grâce au financement du Programme avaient favorisé la poursuite de la collaboration une fois le projet terminé. D'autres ont fait remarquer que le succès de leurs projets financés aurait été moindre sans la collaboration des partenaires.

Figure 24 : Mesure dans laquelle la collaboration avec les nouveaux et les partenaires existants correspondait aux attentes initiales des employés de l’ASC (en %)

	Nouveaux partenaires	Partenaires existants
Il est trop tôt pour savoir/ Je ne sais pas	21 %	26 %
Nettement supérieure aux attentes	2 %	0 %
Supérieure aux attentes	30 %	14 %
Conforme aux attentes	42 %	56 %
Inférieure aux attentes	5 %	5 %
Nettement inférieure aux attentes	0 %	0 %

Figure 25 : Mesure dans laquelle la collaboration avec les nouveaux et les partenaires existant correspondait aux attentes initiales des bénéficiaires de financement (en %)

	Nouveaux partenaires	Partenaires existants
Il est trop tôt pour savoir/ Je ne sais pas	5 %	6 %
Nettement supérieure aux attentes	9 %	6 %
Supérieure aux attentes	40 %	26 %
Conforme aux attentes	42 %	62 %
Inférieure aux attentes	4 %	2 %
Nettement inférieure aux attentes

Dans le même ordre d'idées, la plupart des non-bénéficiaires ont indiqué que, s'ils avaient reçu des fonds du Programme global de S et C, ce financement aurait suscité une collaboration importante avec de nouveaux partenaires (58 %) et des partenaires existants (73 %). Quelques non-bénéficiaires ont expliqué, que faute de financement du Programme, les possibilités de collaborer avec des partenaires ont diminué.

Possibilité de collaborations internationales

Comme il est indiqué dans la section ci-dessus, les bénéficiaires de financement ont collaboré avec 225 organisations en vue de réaliser leurs projets financés. Parmi ces organisations, moins d'un tiers (29 %) étaient canadiennes (figure 26). Les autres étaient établies en Europe, aux États-Unis et dans d'autres pays (p. ex. Japon, Australie).

Figure 26 : Organisations partenaires par secteur géographique

	Canada	États-Unis	Europe	Autres pays
Pourcentage	29 %	25 %	38 %	8 %

La figure 27 montre que la plupart des employés de l'ASC (65 %) et des bénéficiaires de financement (86 %) ont dit que les collaborations internationales pour mener à bien les projets financés ont comblé ou dépassé leurs attentes initiales. La plupart des bénéficiaires de financement ont indiqué que, grâce aux fonds du Programme, ils ont pu développer leur collaboration avec des partenaires internationaux (64 %), et plus de la moitié d'entre eux ont signalé qu'ils avaient grandement bénéficié de ces collaborations internationales (57 %). Ainsi que l'a expliqué un bénéficiaire de financement : « Les S et C se sont avérées essentielles pour établir un grand nombre de ces collaborations. »

D'autres preuves que le financement du Programme global de S et C favorise la collaboration internationale ont été fournies par les non-bénéficiaires, la moitié d'entre eux (55 %) ayant indiqué que leurs collaborations avec des partenaires internationaux auraient augmenté considérablement s'ils avaient obtenu du financement. Certains ont décrit l'absence de financement comme une occasion ratée pour mieux positionner le Canada sur la scène spatiale internationale.

Figure 27 : Opinion des employés de l’ASC et des bénéficiaires de financement concernant la mesure dans laquelle la collaboration avec des partenaires internationaux correspondait à leurs attentes initiales (en %)

	Bénéficiaires	Employés de l'ASC
Il est trop tôt pour savoir/ Je ne sais pas	7 %	26 %
Nettement supérieure aux attentes	14 %	0 %
Supérieure aux attentes	35 %	26 %
Conforme aux attentes	37 %	40 %
Inférieure aux attentes	4 %	9 %
Nettement inférieure aux attentes	4 %	0 %

Mise à profit des contributions des partenaires

Contrairement à certains programmes fédéraux de paiements de transfert (p. ex. Programme de recherche-développement coopérative du CRSNG, Programme de démonstration de technologies d'Industrie Canada), le Programme global de S et C de l'ASC n'inclut pas le niveau des fonds obtenus par effet de levier dans ses critères de sélection. Cependant, selon les rapports d'étape et finaux annuels des bénéficiaires de financement, les contributions des partenaires ont servi d'effet de levier pour 52 % des projets financés par le Programme entre 2011-2012 et 2013-2014 (les exercices pour lesquels des données fiables sont disponibles). Comme le montre la figure 28, le nombre de projets financés qui ont mis à profit les contributions des partenaires en 2012-2013 et en 2013-2014 était supérieur aux données de référence et à la cible établie en 2011-2012, conformément à la stratégie de MR pour le Programme (ASC, 2013a).

Figure 28 : Nombre de projets financés par année qui ont mis à profit les contributions des partenaires

	2011-2012	2012-2013	2013-2014
Fréquence	18	41	38

Parmi les bénéficiaires qui ont rempli le questionnaire en ligne, 79 % ont dit avoir obtenu des fonds par effet de levier (en espèces et en nature) pour au moins un projet financé par le Programme global de S et C^{Note de bas de page 27} (ce qui correspond plus ou moins à la proportion de non-bénéficiaires [82 %] qui pensaient qu'ils auraient pu obtenir des fonds par effet de levier s'ils avaient été financés par le Programme). Quant aux bénéficiaires qui ont obtenu des fonds d'autres sources, 66 % ont indiqué qu'ils avaient déjà grandement bénéficié de cet effet de levier. Par ailleurs, la majorité des bénéficiaires de financement (91 %) et des employés de l'ASC (69 %) ont mentionné que l'ampleur des contributions obtenues grâce au Programme correspondait à leurs attentes initiales ou les dépassait.

Selon les estimations fournies par les bénéficiaires de financement dans leur questionnaire en ligne, un montant moyen de 1,86 $ a été obtenu par effet de levier d'autres partenaires ou d'autres sources pour chaque 1 $ reçu du Programme global de S et C (figure 29). Ce ratio de levier se compare à celui du Programme de recherche-développement coopérative du CRSNG (1,56 $ pour 1 $ investi) et il est inférieur à celui du Programme de S et C par catégorie de RNCan, comme l'indiquent les rapports d'évaluation des programmes (3,26 $ pour 1 $ investi; CRSNG, 2010; RNCan, 2012). Ces comparaisons entre les ratios de levier devraient cependant être interprétées avec prudence parce que, même si ces programmes présentent des similitudes avec le Programme global de S et C, ils en diffèrent par leur nature et leur conception. En outre, la validité des données sur l'effet de levier est discutable parce que les bénéficiaires de financement ont fait une évaluation rétrospective qui, dans certains cas, combine les apports financiers de multiples projets financés. Il est à noter que les données sur l'effet de levier proviennent aussi des rapports d'étape et finaux annuels des bénéficiaires de financement, mais que la validité de ces données est également douteuse et qu'elles n'étaient pas disponibles sous une forme cumulative propice à l'analyse.

3.2.1.3 Résultats intermédiaires

Question no 13 de l'évaluation : Est-ce que la disponibilité des connaissances et des renseignements liés à l'espace dans des domaines prioritaires est plus grande? (Rés. 4)

Constatation no 13 de l'évaluation : Un nombre considérable de présentations et de publications ont été produites à partir des connaissances acquises grâce à la majorité des projets financés. Les connaissances ont été diffusées à l'échelle nationale et internationale, ainsi que dans le milieu universitaire et le grand public. Par ailleurs, une fois les projets terminés, la plupart des bénéficiaires de financement ont continué de diffuser les connaissances dans les communautés à l'extérieur de leurs organisations.

La première évaluation du Programme global de S et C (ASC, 2008) a révélé que la diffusion à grande échelle des résultats des recherches des projets financés n'avait pas encore eu lieu parce que le Programme était relativement récent à ce moment-là. Par contre, la présente évaluation montre que les connaissances dans le domaine spatial qui résultent des projets financés sont maintenant largement diffusées. Selon les rapports d'étape et finaux des bénéficiaires de financement, la plupart des projets financés (69 %) ont débouché sur des réalisations importantes en ce qui concerne la diffusion et la sensibilisation scientifique générale (pour les exercices pour lesquels des données fiables étaient disponibles, soit de 2011-2012 à 2013-2014).

Pendant toute la période d'évaluation, la majorité des projets financés ont donné lieu à des présentations (83 %) et à des publications (69 %).

• La plupart des présentations ont pris la forme de conférences, de séminaires ou d'ateliers (75 %), et les autres étaient des présentations aux médias ou au grand public (18 %) et d'autres types de présentations (8 %).
• La majorité des publications étaient dotées d'un comité de lecture (73 %), les autres étaient des publications non dotées d'un comité de lecture (25 %) et des livres (2 %).
• La plupart de ces publications (74 %) faisaient mention du financement de l'ASC.
• Pour les exercices 2012-2013 et 2013-2014 (les exercices pour lesquels des données fiables étaient disponibles), 37 % des projets financés, qu'ils soient nouveaux ou en cours, ont aussi donné lieu à d'autres types de publications (p. ex. matériel publié sur Internet, rapports techniques, manuels de formation).

Comme le montrent les figures 30 et 31, en moyenne, 17,52 présentations et 13,71 publications ont été produites pour chaque projet financé. Cependant, l'intervalle entre les valeurs extrêmes est très large, et seuls quelques projets financés ont donné lieu à au moins 50 présentations (6 %) ou publications (5 %). Un projet financé a notamment donné lieu à 539 publications, ce qui est de beaucoup supérieur aux autres projets financés. Quand le calcul ne tient pas compte de cette valeur d'exception, le nombre moyen de publications par projet financé est de 10,52 (ET = 16,49).

Comme on le voit dans la figure 32, le nombre de présentations et de publications par exercice a augmenté de façon constante pendant la période d'évaluation. Les données de référence et la cible pour ces indicateurs ont été établies en 2011-2012 (ASC, 2013a) et, au cours des deux exercices suivants, le nombre de présentations et de publications a dépassé l'objectif.

Figure 32 : Nombre de présentations et de publications par exercice (fréquence)

	2009-2010	2010-2011	2011-2012	2012-2013	2013-2014
Exposés	184	254	537	868	838
Publications	63	546	367	636	485

L'information fournie par les bénéficiaires de financement dans le questionnaire en ligne préparé pour cette évaluation donne à penser que les connaissances acquises grâce aux projets financés continuent d'être largement diffusées après la réalisation des projets. Plus précisément, 70 % des bénéficiaires de financement ont fait état d'un nombre considérable d'activités visant à continuer de diffuser les connaissances dans les communautés à l'extérieur de leurs organisations.

Quand on leur a demandé à quel point la diffusion des connaissances correspondait à leurs attentes initiales, la majorité des bénéficiaires de financement (89 %) et des employés de l'ASC (83 % de ceux qui ont fourni une évaluation) ont indiqué que leurs attentes initiales avaient été comblées ou dépassées. Ils ont expliqué que les connaissances acquises grâce aux projets financés par le Programme global de S et C étaient largement diffusées à l'échelle nationale et internationale, ainsi que dans le milieu universitaire et le grand public. Certains répondants ont cependant dit que l'ASC pourrait faciliter une diffusion encore plus large des connaissances en rendant les publications plus accessibles au sein de l'ASC et dans le grand public. Par ailleurs, certains répondants ont fait observer que les publications et les présentations sont des mesures du rendement moins pertinentes pour les bénéficiaires de financement qui proviennent des entreprises que pour ceux du milieu universitaire.

Question no 14 de l'évaluation : La capacité en S et T spatiales dans les secteurs ciblés a-t-elle augmenté? (Rés. 5)

Constatation no 14 de l'évaluation : La capacité en S et T spatiales a augmenté grâce au Programme global de S et C, particulièrement en ce qui concerne les PHQ et l'expertise liée à l'espace, mais aussi en ce qui concerne la disponibilité du matériel et de l'équipement nécessaires pour réaliser des recherches spatiales. Pendant la période d'évaluation, le renforcement des capacités pour mener des travaux en sciences spatiales s'observait davantage dans les milieux universitaires, comme l'indique le fait que la plupart des membres des équipes de recherche des projets financés (PHQ) étaient des étudiants ou des membres du corps professoral. Cependant, la suppression des AOP dans les domaines de S et T spatiales auparavant ciblés met en péril le maintien de certaines des capacités développées jusqu'à maintenant.

Incidence globale sur la capacité

Comme il est indiqué dans les sections Pertinence et Résultats immédiats du présent rapport, quand on leur a demandé à quels besoins répondait le Programme global de S et C, les informateurs clés ont mentionné le plus souvent la nécessité de renforcer les capacités dans le secteur spatial canadien. Pendant la période d'évaluation, le volet Recherche du Programme a financé 195 projets en S et T spatiales, l'objectif étant de maintenir et d'accroître la capacité du Canada à utiliser l'espace pour répondre aux besoins et aux priorités du pays. Ces projets ont permis d'accroître les connaissances dans le domaine des S et T spatiales et, selon la plupart des bénéficiaires de financement et des employés de l'ASC, le financement du Programme a aussi contribué à maintenir l'importance accordée à l'espace au Canada.

Figure 33 : Opinion des bénéficiaires de financement et des employés de l’ASC concernant la mesure dans laquelle l’incidence du Programme sur le renforcement des capacités correspondait à leurs attentes initiales (en %)

	Bénéficiaires	Employés de l'ASC
Il est trop tôt pour savoir/ Je ne sais pas	9 %	33 %
Nettement supérieur aux attentes	7 %	2 %
Supérieur aux attentes	37 %	16 %
Conforme aux attentes	46 %	37 %
Inférieur aux attentes	2 %	12 %
Nettement inférieur aux attentes	0 %	0 %

Dans ce contexte, il n'est pas surprenant que la plupart des bénéficiaires de financement (77 %) aient fait état d'un effet bénéfique important du Programme global de S et C sur la capacité globale de leur organisation à mener des recherches en S et T spatiales. Comme l'illustre la citation suivante, certains bénéficiaires de financement ont expliqué que la capacité de leur organisation aurait énormément diminué sans le financement du Programme : « Sans lui, nous n'aurions presque rien; il a été absolument essentiel. » De même, la plupart des employés de l'ASC (69 % de ceux qui ont fourni une évaluation) ont parlé d'un effet bénéfique sur la capacité globale du Canada à mener des travaux de recherche en S et T spatiales.

Par ailleurs, la majorité des bénéficiaires de financement (89 %) et des employés de l'ASC (68 %) ont indiqué que l'ampleur de l'incidence du Programme sur les capacités correspondait à leurs attentes initiales ou les dépassait (figure 33).

Comme il a déjà été mentionné dans le rapport (voir la section Résultats immédiats), seulement 20 % des non-bénéficiaires qui ont rempli le questionnaire en ligne ont réalisé les projets qu'ils avaient proposés, et l'absence du financement du Programme global de S et C a eu un effet néfaste sur l'échéancier, la portée et la qualité de ces projets. Quand on leur a demandé ce qui serait arrivé s'ils avaient reçu des fonds du Programme, 62 % ont indiqué que le financement aurait permis d'accroître considérablement la capacité globale de leur organisation à faire des recherches en S et T spatiales. Dans les réponses aux questions ouvertes, plusieurs non-bénéficiaires ont signalé que leur organisation a de la difficulté à maintenir sa capacité sans le financement du Programme.

Même si les données ci-dessus démontrent que le financement du Programme global de S et C permet effectivement d'accroître la capacité en S et T spatiales, les non-bénéficiaires et les bénéficiaires de financement ne diffèrent pas beaucoup dans leur évaluation de la capacité actuelle de leur organisation à effectuer des recherches en S et T spatiales. On trouve une explication partielle de cette absence de différence statistique dans les réponses aux questions ouvertes fournies par les bénéficiaires de financement et les employés de l'ASC. Plusieurs répondants des deux groupes ont expliqué qu'ils avaient observé récemment un effet négatif sur la capacité, attribuable à la suppression des ASOP dans les domaines de S et T spatiales ciblés auparavant. Ils ont notamment signalé la difficulté à conserver le personnel hautement qualifié et l'expertise dans le domaine des sciences spatiales. Un autre bénéficiaire a expliqué que: « La vraie question, c'est : que se passe-t-il maintenant que ces programmes sont terminés. Comment allons-nous maintenir notre expertise en recherche spatiale? Nous risquons de la perdre. »

Types de renforcement des capacités

Dans les questionnaires en ligne, on a demandé aux bénéficiaires de financement, aux non-bénéficiaires et aux employés de l'ASC dans quelle mesure le Programme global de S et C avait des effets bénéfiques sur trois types précis de renforcement des capacités :

• PHQ^{Note de bas de page 28};
• Expertise liée à l'espace;
• disponibilité de matériel et d'équipement utiles (p. ex. équipement de laboratoire) pour la réalisation de recherches spatiales.

Les réponses à ces questions en ligne correspondaient aux constatations mentionnées dans la section Pertinence au sujet des besoins en matière de capacités auxquels répond le Programme global de S et C.

Le volet Recherche du Programme global de S et C n'est pas expressément conçu pour accroître la disponibilité de matériel et d'équipement pour la réalisation de recherches spatiales. Néanmoins, comme le montrent les figures 34 à 36 ci-dessous, plusieurs informateurs clés ont souligné l'efficacité du Programme pour l'augmentation des capacités en matière de matériel et d'équipement. Plus particulièrement, la moitié des bénéficiaires de financement (51 %) ont signalé un effet bénéfique considérable sur le matériel et l'équipement disponibles dans leur propre organisation, et 26 % ont signalé des effets bénéfiques qui s'étendaient à des organisations autres que la leur. De même, une minorité non négligeable des non-bénéficiaires pensaient que le financement du Programme aurait grandement bénéficié à leur organisation (42 %) et à d'autres organisations (42 %) en ce qui concerne la capacité en matière de matériel et d'équipement. Bien que plusieurs employés de l'ASC n'aient pas été en mesure de fournir une évaluation, 48 % de ceux qui l'ont fait, ont parlé d'avantages considérables pour les Canadiens en ce qui a trait au matériel et à l'équipement.

Le Programme global de S et C semble avoir un effet positif inattendu sur la capacité liée au matériel et à l'équipement, mais les trois groupes d'informateurs clés ont indiqué que les principaux avantages du Programme sur le plan du renforcement des capacités ont trait aux PHQ et à l'expertise liée à l'espace (figures 34, 35 et 36). Selon la plupart des bénéficiaires, le financement qu'ils ont reçu du Programme a eu un effet bénéfique sur la capacité en matière de PHQ (74 %) et d'expertise liée à l'espace (77 %) au sein de leur organisation. De plus, une minorité des bénéficiaires de financement ont signalé des effets bénéfiques sur les PHQ (36 %) et l'expertise (43 %) dans d'autres organisations. Dans des proportions à peu près semblables, les non-bénéficiaires ont indiqué que, s'ils avaient reçu des fonds du Programme, leur organisation et d'autres organisations auraient constaté des effets bénéfiques sur les PHQ (67 % et 17 %, respectivement) et l'expertise (67 % et 58 %, respectivement). De même, la plupart des employés de l'ASC qui ont fourni une évaluation ont signalé que le Programme avait eu un effet bénéfique au Canada sur les PHQ (64 %) et l'expertise liée à l'espace (60 %). Les informateurs clés des trois groupes ont expliqué que le Programme est particulièrement utile pour créer des emplois, attirer de nouveaux talents (du Canada et de l'étranger), et former des étudiants et le personnel.

Figure 34 : Opinion des bénéficiaires de financement concernant la mesure dans laquelle le Programme a eu un effet bénéfique (dans leur propre organisation et dans d’autres organisations) sur les PHQ, l’expertise liée à l’espace, et le matériel et l’équipement (en %)

	PHQ		Expertise		Matériel et équipement
	PHQ - Au sein de votre organisation	PHQ - À l'extérieur de votre organisation	Expertise - Au sein de votre organisation	Expertise - À l'extérieur de votre organisation	Matériel et équipement - Au sein de votre organisation	Matériel et équipement - À l'extérieur de votre organisation
Il est trop tôt pour savoir / Je ne sais pas	2 %	17 %	2 %	11 %	4 %	17 %
Extrêmement	32 %	11 %	32 %	15 %	21 %	13 %
Très	42 %	25 %	46 %	28 %	30 %	13 %
Modérément	23 %	23 %	14 %	25 %	16 %	17 %
Un peu	2 %	9 %	7 %	13 %	14 %	13 %
Pas du tout	0 %	15 %	0 %	8 %	16 %	26 %

Figure 35 : Opinion des non-bénéficiaires concernant la mesure dans laquelle le Programme aurait eu un effet bénéfique (dans leur propre organisation et dans d’autres organisations) sur les PHQ, l’expertise liée à l’espace, et le matériel et l’équipement (en %)

	PHQ		Expertise		Matériel et équipement
	PHQ - Au sein de votre organisation	PHQ - À l'extérieur de votre organisation	Expertise - Au sein de votre organisation	Expertise - À l'extérieur de votre organisation	Matériel et équipement - Au sein de votre organisation	Matériel et équipement - À l'extérieur de votre organisation
Il est trop tôt pour savoir / Je ne sais pas	25 %	25 %	17 %	17 %	25 %	25 %
Extrêmement	25 %	0 %	17 %	8 %	25 %	17 %
Très	42 %	17 %	50 %	50 %	17 %	25 %
Modérément	8 %	42 %	17 %	8 %	8 %	8 %
Un peu	0 %	0 %	0 %	8 %	17 %	8 %
Pas du tout	0 %	17 %	0 %	8 %	8 %	17 %

Figure 36 : Opinion des employés de l’ASC concernant la mesure dans laquelle le Programme a un effet bénéfique au Canada sur les PHQ, l’expertise liée à l’espace, et le matériel et l’équipement (en %)

	PHQ	Expertise	Matériel et équipement
Il est trop tôt pour savoir/ Je ne sais pas	23 %	19 %	41 %
Extrêmement	14 %	9 %	5 %
Très	35 %	44 %	7 %
Modérément	19 %	14 %	29 %
Un peu	9 %	14 %	10 %
Pas du tout	0 %	0 %	10 %

Les rapports d'étape et finaux annuels des bénéficiaires de financement corroborent les constatations selon lesquelles le Programme global de S et C appuie efficacement la capacité en matière de PHQ. Comme le montre le tableau 10, le nombre de PHQ qui font partie des équipes de recherche des projets financés a augmenté pendant la période d'évaluation et, au cours des deux derniers exercices, il était à peu près le double des données de référence et de la cible établies en 2011-2012 pour cet indicateur (ASC, 2013a). Cependant, quand on interprète ces données, il faut savoir que certaines PHQ ont probablement fait partie de plus d'une équipe de recherche pendant le même exercice et qu'elles ont par conséquent été comptées plus d'une fois. De plus, les données présentées dans le tableau 10 ne tiennent pas compte du temps que chaque PHQ a consacré à un projet financé. Les données sur les équivalents temps plein (ETP) ont été recueillies vers la fin de la période d'évaluation, mais ces données n'étaient pas disponibles sous une forme propice à l'analyse aux fins de la présente évaluation.

Tableau 10 : Type, nombre et pourcentage de PHQ faisant partie des équipes de recherches des projets financés, par exercice

Type de PHQ	2009-2010	2010-2011	2011-2012	2012-2013	2013-2014
Membres du corps professoral	41 (21 %)	84 (32 %)	191 (38 %)	374 (34 %)	324 (34 %)
Étudiants et boursiers postdoctoraux	128 (66 %)	159 (61 %)	256 (51 %)	584 (53 %)	435 (46 %)
Autres	26 (13 %)	20 (8 %)	53 (11 %)	140 (13 %)	198 (21 %)
Total	195	263	500	1 098	957

En moyenne, 10,21 (ET = 11,66) PHQ par exercice ont travaillé dans une équipe de recherche d'un projet financé, les valeurs extrêmes allant de 1 à 103 PHQ par équipe de recherche par exercice. En ce qui concerne la composition, environ la moitié (52 %) des membres des équipes de recherche des projets financés étaient des étudiants et des boursiers postdoctoraux, 34 % étaient des membres du corps professoral et 15 %, d'autres types de PHQ (p. ex. scientifiques, ingénieurs, techniciens de l'industrie).

La grande proportion d'étudiants et de membres du corps professoral dans les équipes de recherche s'explique par le fait que la majorité des fonds du Programme global de S et C ont été octroyés aux établissements universitaires. Dans les réponses aux questions ouvertes, les employés de l'ASC mettaient en doute la pertinence des PHQ en tant qu'indicateur de rendement pour les S et C allouées à l'industrie et faisaient observer que le maintien de la capacité en matière de PHQ est moins préoccupant pour l'industrie qu'il ne l'est pour les établissements universitaires. Comme le Programme se transforme pour inclure davantage de bénéficiaires de financement provenant de l'industrie, il faudrait examiner la pertinence de conserver le nombre de PHQ comme indicateur pour ces bénéficiaires.

Question no 15 de l'évaluation : Y a-t-il plus de collaborations multidisciplinaires et/ou entre les établissements? (Rés. 6)

Constatation no 15 de l'évaluation : Des collaborations multidisciplinaires et entre les établissements ont été établies par les bénéficiaires de financement, la moitié d'entre eux ayant signalé une augmentation considérable de leurs collaborations multidisciplinaires grâce au financement du Programme global de S et C. La mesure dans laquelle des collaborations multidisciplinaires ont été établies correspondait aux attentes initiales des bénéficiaires de financement et des employés de l'ASC ou les dépassait. En outre, la moitié des projets financés ont donné lieu à au moins une réalisation liée à une recherche multidisciplinaire.

Les données des rapports d'étape et finaux se rapportant au nombre de collaborations multidisciplinaires établies par les bénéficiaires de financement n'étaient pas disponibles sous une forme propice à l'analyse aux fins de la présente évaluation. Cependant, comme il est indiqué dans la section Résultats immédiats, la vaste majorité des bénéficiaires de financement étaient des établissements universitaires et environ la moitié des organisations avec lesquels ils travaillaient dans leurs équipes de recherche et avec lesquelles ils collaboraient dans le cadre de partenariats étaient des entreprises privées, des centres de recherche, des entités gouvernementales nationales et d'autres types d'organisations non universitaires. Ces constatations indiquent que des collaborations entre établissements ont été établies par les bénéficiaires de financement pour réaliser les projets financés.

Selon la plupart des bénéficiaires de financement (90 %) et des employés de l'ASC (67 %), la mesure dans laquelle les projets financés ont suscité des collaborations multidisciplinaires correspondait à leurs attentes initiales ou les dépassait. Environ la moitié des bénéficiaires de financement ont dit que leurs collaborations multidisciplinaires ont beaucoup augmenté grâce au financement du Programme global de S et C (51 %) et qu'ils ont grandement bénéficié de ces collaborations (46 %). Comme l'a expliqué un bénéficiaire de financement : « Pour la première fois […], nous avons créé une équipe multidisciplinaire. Ça a été fantastique et ça a beaucoup amélioré les possibilités de formation et l'efficacité du projet – beaucoup plus que ce à quoi je m'attendais. » Dans le même ordre d'idées, la plupart des non-bénéficiaires (64 %) ont indiqué que le financement du Programme leur aurait permis d'accroître leurs collaborations avec des équipes multidisciplinaires s'ils avaient reçu des fonds pour les projets proposés.

Selon les rapports d'étape et finaux des bénéficiaires de financement, plusieurs collaborations multidisciplinaires ont été particulièrement fructueuses. Plus précisément, 50 % des projets financés ont donné lieu à une ou plusieurs réalisations directement liées aux recherches multidisciplinaires (pendant les exercices pour lesquels des données fiables étaient disponibles, soit de 2011-2012 à 2013-2014).

Figure 37 : Nombre de réalisations multidisciplinaires produites par les projets financés, par exercice

	2011-2012	2012-2013	2013-2014
Fréquence	25	32	30

Comme on le voit dans la figure 37, en 2012-2013 et en 2013-2014, le nombre de réalisations multidisciplinaires produites par les projets financés pendant chaque exercice était légèrement supérieur à la cible fixée pour cet indicateur, qui avait été établie à partir des données de 2011-2012 (ASC, 2013a).

3.2.2 Démonstration d'efficience et d'économie

Pour évaluer l'efficience du Programme global de S et C, on a demandé aux employés de l'ASC de faire part de leur expérience et de leur opinion concernant son efficience globale ainsi que l'efficience de sa structure de gouvernance et de mise en œuvre. D'autres indications sur l'efficience du Programme ont été fournies par l'opinion des informateurs clés au sujet de l'utilité du Programme par rapport à l'utilisation des fonds publics et leur point de vue sur la qualité globale du Programme.

Efficience de l'utilisation des ressources et structure de gouvernance

Efficience globale de l'utilisation des ressources : Les employés de l'ASC ont exprimé des opinions divergentes quant à la mesure dans laquelle le Programme global de S et C est mis en œuvre de manière efficiente sur le plan de l'utilisation des ressources.

Selon plusieurs informateurs clés (32 %), le Programme est mis en œuvre de manière très efficiente (figure 38). Ces employés ont expliqué que le CESC a déployé des efforts louables pour optimiser l'utilisation des ressources (p. ex. en créant des modèles et une liste de vérification). Ils en ont en outre félicité le personnel du CE pour la manière efficace et serviable dont il soutient les initiatives de financement.

À l'inverse, d'autres employés de l'ASC (43 %) ont décrit une mise en œuvre moins efficiente du Programme, ralentis par de longs processus et une surveillance serrée du CESC (figure 38). Plusieurs de ces employés ont dit craindre que la complexité des processus bureaucratique occasionne des délais et retarde le déclenchement des AOP, créant un encombrement d'accords à conclure en fin d'exercice, et occasionnellement, des fonds inutilisés.

Comme le volume des accords de financement a augmenté et que le nombre d'employés du CESC a diminué au fil du temps, le personnel du CESC a indiqué qu'une grande partie de son temps est consacré à la surveillance des initiatives de financement, ce qui lui laisse peu de temps pour exercer ses autres fonctions. Même s'il n'est pas possible de faire une comparaison directe avec les programmes de paiements de transfert des AM à cause des différences fondamentales entre les programmes, il est intéressant de noter que la fonction de surveillance du CESC diffère d'un programme fédéral à l'autre. Par exemple, le CESC du Programme d'aide à la recherche industrielle du CNRC surveille peu certaines initiatives de financement parce qu'un bon nombre des processus sont automatisés (p. ex. outils de demande de financement en ligne). Pour déterminer si les lignes directrices et les modèles sont respectés uniformément, le CNRC s'en remet à une évaluation de l'assurance de la qualité effectuée par sa Direction des finances, ainsi qu'à des vérifications et des évaluations internes. Par contre, le CESC du Programme de S et C par catégorie de RNCan compte un groupe d'examen des accords qui surveille tous les accords de financement où de fortes sommes sont en jeu et qui présentent un risque modéré ou élevé, ainsi que les changements apportés aux modèles approuvés, et il effectue un échantillonnage de 10 % à 15 % des autres accords. Le CESC de RNCan présente ensuite un rapport trimestriel à la haute direction.

Structure de gouvernance : Les opinions sur l'efficience globale du Programme global de S et C divergeaient, et elles divergent également au sujet de la structure de gouvernance du Programme.

Comme le montre la figure 39, quand on leur a demandé d'évaluer la pertinence globale de cette structure, 27 % des employés de l'ASC ont dit qu'elle est très ou extrêmement appropriée, tandis que 48 % ont dit qu'elle ne l'est pas du tout, qu'elle l'est peu ou modérément.

En réponse à des questions plus précises sur la structure de gouvernance du Programme, une minorité non négligeable d'employés de l'ASC (entre 25 % et 40 %) ont mentionné que les obligations ainsi que les rôles et les responsabilités du CESC sont clairement définis et appropriés. En revanche, entre 50 % et 60 % des employés ont indiqué que ce n'est pas le cas, et qu'une meilleure communication et/ou une révision des obligations, des rôles et des responsabilités du CESC s'imposent. Dans des proportions semblables, des points de vue divergents ont été exprimés concernant la mesure dans laquelle les obligations, les rôles et les responsabilités sont clairement définis et appropriés pour les employés qui travaillent sur les initiatives de S et C (p. ex. directeurs, gestionnaires, personnel).

Parmi les sous-groupes d'employés de l'ASC qui ont été interrogés, ceux qui ont dit que les obligations, les rôles et les responsabilités sont clairement définis et appropriés étaient généralement des directeurs, des gestionnaires et des membres du personnel qui utilisaient le Programme global de S et C. Par contre, les autres directeurs, gestionnaires et membres du personnel n'étaient pas du même avis, comme c'est le cas de la majeure partie du personnel du CESC, du personnel de la Gestion financière et des cadres supérieurs.

Relation entre la perception de l'objectif des S et C et la perception de l'efficience du Programme : Dans les réponses aux questions ouvertes du questionnaire en ligne, quelques employés de l'ASC qui étaient insatisfaits de l'efficience de la structure de gouvernance du Programme ont expliqué que cette structure est désuète et devrait être revue pour mieux s'harmoniser avec le Cadre de la politique spatiale du Canada (ASC, 2014b) et la nouvelle approche de gestion de projets de l'ASC.

Cependant, les désaccords entre les employés de l'ASC au sujet de l'efficience et de la structure de gouvernance du Programme résultaient en grande partie de l'absence d'une vision commune de la raison d'être des accords de financement en matière de S et C. Essentiellement, les employés ne s'entendent pas sur les questions suivantes :

1. comme les contrats, les S et C devraient être considérées comme un moyen de financer des projets qui sont conçus uniquement pour appuyer les objectifs des autres programmes indiqués dans l'AAP de l'ASC;
2. les S et C devraient être considérées comme des éléments d'un programme plus vaste, à l'échelle de l'ASC, ayant ses propres objectifs, processus et résultats attendus.

Les employés de l'ASC qui voyaient les S et C simplement comme un moyen de financer des projets à l'appui des autres programmes de l'ASC estimaient que les efforts de surveillance du CESC pour assurer la cohérence de la mise en œuvre et des résultats du Programme sont inefficaces. Ils ont expliqué que ce sont les directeurs, les gestionnaires et les employés des programmes, plutôt que le CESC, qui possèdent l'expertise relative au secteur spatial canadien et qui connaissent les besoins des programmes de l'ASC. Pour améliorer l'efficience, ils recommandent de revoir les rôles et les responsabilités en conséquence.

À l'inverse, ceux qui voyaient les S et C comme un élément contribuant à un programme à l'échelle de l'ASC ont dit qu'il ne fallait pas confondre les S et C avec les contrats. Ils s'inquiètent du manque d'harmonisation au sein de l'ASC en ce qui concerne le processus d'élaboration des AOP, la sélection et la gestion des projets financés, et la production des rapports connexes, souvent parce que les lignes directrices et les outils ne sont pas appliqués de manière uniforme. Ces informateurs clés estimaient donc qu'il y avait de grandes disparités dans l'élaboration et l'administration des différents AOP et dans la qualité finale des AOP.

Plusieurs tenants de cette position ont recommandé de simplifier davantage le Programme global de S et C et de mieux communiquer les obligations, rôles et responsabilités établis, particulièrement aux nouveaux utilisateurs du Programme qui ont l'habitude d'attribuer des contrats. Cependant, quelques employés de l'ASC ont proposé de confier plus de responsabilités au CESC afin de mieux harmoniser l'exécution et les résultats du Programme dans l'ensemble de l'ASC.

Les données recueillies aux fins de la présente évaluation tendent à confirmer qu'il y a lieu d'avoir un programme de S et C à l'échelle de l'ASC. Ce programme aurait des objectifs, processus et résultats attendus normalisés, qui seraient appliqués de façon uniforme au sein de l'ASC :

• Les modalités du Programme global de S et C, telles qu'elles ont été approuvées par le CT en 2009, définissent un programme conçu pour appuyer les objectifs primordiaux de l'ASC, notamment une stratégie de mise en œuvre et des résultats attendus qui sont propres à ce programme et qui s'appliquent à toutes les initiatives financées par son entremise.
• Comme il est indiqué plus en détail dans le mandat du CE (2010a), son rôle principal concerne l'harmonisation et la normalisation de la prestation du Programme et de la production des rapports, et il consiste notamment à fournir une expertise en S et C et des services du portefeuille axés sur la gestion des S et C, à assurer la surveillance du Programme et le suivi du rendement, et à soutenir les activités du Comité consultatif des S et C.
• Même s'il y a des possibilités d'amélioration, dans l'ensemble et dans sa forme actuelle, le Programme global de S et C répond efficacement aux besoins du secteur spatial qui ont été déterminés par les informateurs clés du Programme pendant la période d'évaluation (tels qu'ils sont décrits dans la section Résultats ultimes du présent rapport).
• Comme il est indiqué dans la section Extrants du rapport, le SCT recommande la normalisation des processus, systèmes et procédures pour la gestion et la prestation des paiements de transfert au sein des ministères, et l'harmonisation dans l'ensemble du gouvernement fédéral.
  • Selon la Politique sur les paiements de transfert du SCT (2008), le SCT, les ministres et les administrateurs généraux ont chacun des responsabilités associées à l'atteinte du résultat attendu de la Politique, à savoir : « Il y a collaboration au sein du ministère et entre les ministères en vue d'harmoniser les programmes de paiements de transfert et d'uniformiser leur administration, lorsqu'approprié. »

Cependant, on ne peut ignorer la perception de quelques employés de l'ASC selon laquelle les méthodes actuelles de surveillance et de normalisation du Programme sont inefficaces. Il pourrait s'avérer bénéfique de passer en revue les modalités du Programme global de S et C, ainsi que le mandat lié au Programme, afin de s'assurer qu'il est structuré de la manière la plus efficace pour répondre aux besoins du secteur spatial canadien et aux priorités de l'ASC, tout en se conformant à la Politique sur les paiements de transfert du SCT. Les résultats de cet examen et des modifications subséquentes à la structure de gouvernance du Programme devraient être communiqués clairement dans l'ensemble de l'ASC pour favoriser l'acceptation et l'harmonisation.

Utilisation judicieuse des fonds publics

Comme le montre la figure 40, la majorité des employés de l'ASC (66 %) et des bénéficiaires de financement (88 %) ont indiqué que, dans l'ensemble, le Programme global de S et C a utilisé judicieusement les fonds publics canadiens. L'un des bénéficiaires de financement a écrit : « Les Canadiens seraient fiers de la façon dont nous avons dépensé chaque sou de ce programme! » La plupart des non-bénéficiaires ont indiqué qu'ils ne pouvaient pas fournir une évaluation, mais ceux qui l'ont fait ont aussi dit que les fonds publics avaient été utilisés judicieusement (83 %).

Dans leurs réponses, les informateurs clés des trois groupes ont souligné que le Programme réussissait à atteindre les résultats attendus, notamment en ce qui concerne le développement et la diffusion des connaissances, le renforcement des capacités, le maintien de l'importance accordée à l'espace, et la facilitation de collaborations et de partenariats importants à l'échelle nationale et internationale. Selon l'un des non-bénéficiaires : « Sans [le Programme], le Canada disparaîtrait rapidement du groupe des participants essentiels [aux programmes spatiaux internationaux] pour se retrouver tout au plus parmi les observateurs. » De plus, plusieurs informateurs clés ont dit que le Programme global de S et C donnait un très bon rendement en retour d'investissements modestes. Par exemple, un bénéficiaire de financement a parlé du « bon rapport coût/résultats sur le plan de la science, des publications, des PHQ, des collaborations, etc. […] ». Dans le même ordre d'idées, plusieurs employés de l'ASC et quelques bénéficiaires de financement ont dit particulièrement apprécier la flexibilité des S et C par rapport aux contrats. Ils ont expliqué que les S et C laissent la liberté de définir les objectifs, les échéanciers et le budget des projets, sans produits livrables et d'une manière efficace qui est entièrement gérée par l'ASC. « Pour certaines activités, ce programme est une excellente façon de financer des équipes universitaires ou industrielles en comparaison aux contrats qui peuvent être beaucoup plus exigeants sur le plan de la documentation», a écrit un employé de l'ASC. De façon similaire, un bénéficiaire de financement a écrit que « la totalité des fonds alloués servent directement à soutenir la recherche; l'efficience d'autres programmes […] a énormément diminué, au point que de nombreux chercheurs ont du mal à voir de la valeur ajoutées à la recherche sous contrat ».

Le Programme global de S et C a aussi fait la preuve d'une utilisation judicieuse des fonds publics en rehaussant la réputation du Canada en R et D dans le domaine spatial. Même si ce ne sont que les bénéficiaires de financement qui ont parlé explicitement de cet avantage pour les Canadiens quand ils expliquaient pourquoi le Programme constitue un bon investissement, les informateurs clés des trois groupes ont spontanément mentionné l'effet positif qu'a le Programme sur la réputation du Canada à différents moments dans les réponses aux questions ouvertes du questionnaire en ligne. Les citations suivantes illustrent la crédibilité conférée par le Programme global de S et C :

[Le projet financé] promet d'établir solidement la réputation du Canada en tant que pays fiable et respecté pour ce type de recherche. (Commentaire écrit par un bénéficiaire de financement)

Nous sommes vus comme des acteurs crédibles possédant une bonne expertise et des installations de qualité, ce qui nous permet de faire partie du « club des grands ». (Commentaire écrit par un bénéficiaire de financement)

[Les bénéficiaires de financement] affichent et présentent leurs résultats à l'internationale, faisant briller le Canada, et attirant les collaborations internationales. (Commentaire écrit par un employé de l'ASC)

Il est difficile de dire quelles répercussions le financement aurait eues exactement, mais il est certain qu'il aurait contribué considérablement au renforcement des capacités au profit du Canada sur la scène internationale. (Commentaire écrit par un non-bénéficiaire)

Malgré la satisfaction générale à l'égard du bon rapport coût/résultats du Programme global de S et C, plusieurs informateurs clés ont proposé des améliorations. Selon certains employés de l'ASC, l'optimisation des ressources pourrait être améliorée en harmonisant mieux le financement consacré aux propositions non sollicitées avec les priorités de l'ASC (comme il est indiqué dans la section Extrants du présent rapport) et en réduisant le niveau de surveillance exercée par le CESC pour améliorer l'efficience (comme il est indiqué dans la sous-section ci-dessus).

Selon certains bénéficiaires de financement, un soutien continu de l'ASC pour amener les projets financés dans le cadre d'anciens AOP à un niveau supérieur de maturité, c'est le meilleur moyen d'améliorer l'optimisation des ressources. Comme un bénéficiaire de financement l'a expliqué, sans un financement continu de l'ASC, « […] nous ne pouvons pas convertir les S et C de l'ASC en résultats de valeur supérieure pour les Canadiens actuellement. » En examinant les choses dans une perspective plus large, un autre bénéficiaire de financement a expliqué qu'une meilleure adéquation entre les orientations stratégiques futures de l'ASC et l'orientation des projets financés s'impose : « Je crois que la transparence et la définition claire de l'orientation de l'ASC sont nécessaires pour améliorer l'utilisation des fonds publics. » La nécessité d'un financement continu dans les domaines prioritaires, du financement pour amener les projets à un niveau supérieur de maturité et, plus généralement, de priorités clairement énoncées à l'échelle de l'ASC : voilà les constatations qui se dégagent de l'évaluation et qu'on retrouve dans les sections Pertinence et Production des extrants et des résultats attendus du présent rapport.

Qualité générale du Programme : Dans les questionnaires en ligne, on demandait aux informateurs clés d'évaluer leur niveau de satisfaction générale à l'égard du Programme global de S et C, et d'indiquer comment le Programme se compare aux autres programmes fédéraux de S et C. En ce qui concerne la satisfaction générale, la plupart des bénéficiaires de financement (74 %) et des employés de l'ASC (68 %) ont indiqué qu'ils sont généralement satisfaits (figure 41). Cependant, les non-bénéficiaires ont fait état d'un niveau de satisfaction générale considérablement moins élevé, 57 % d'entre eux se disant insatisfaits du Programme^{Note de bas de page 29}.

De même, la plupart des bénéficiaires de financement (84 %) et des employés de l'ASC (27 % ou 64 % de ceux qui ont fourni une évaluation) ont indiqué que le Programme est à peu près équivalent ou meilleur que les autres, tandis que la plupart des non-bénéficiaires (72 %) ont indiqué qu'il est pire que les autres (figure 42). Du point de vue des différences entre les groupes, les bénéficiaires de financement et les employés de l'ASC auraient plus tendance à évaluer le Programme global de S et C favorablement que les non-bénéficiaires, comparativement aux autres programmes. De plus, les bénéficiaires de financement étaient plus enclins à évaluer le Programme favorablement que les employés de l'ASC, comparativement aux autres.

Pour mieux mettre en contexte ces évaluations de la qualité globale du Programme, on a demandé aux informateurs clés d'indiquer ce qu'ils apprécient le plus et ce qu'ils apprécient le moins dans le Programme global de S et C. Comme il fallait s'y attendre, les thèmes qui émergent de l'information fournie correspondent à un bon nombre des constatations clés présentées dans les sections Pertinence et Rendement ci-dessus. Les aspects les plus appréciés qui ont été cités fréquemment par les informateurs clés sont les suivants :

1. Le Programme finance des activités canadiennes liées au domaine spatial (mentionné par plusieurs bénéficiaires et non-bénéficiaires de financement, et par certains employés de l'ASC).
2. Les S et C offrent plus de flexibilité que les contrats sur le plan des objectifs, du budget et des échéanciers des projets (mentionné par plusieurs bénéficiaires de financement et employés de l'ASC, et par certains non-bénéficiaires).
3. Le Programme joue un rôle important dans le renforcement des capacités du Canada dans le domaine spatial (mentionné par plusieurs bénéficiaires et non-bénéficiaires de financement).
4. Le CESC fournit un soutien et une expertise utiles (mentionné par plusieurs employés de l'ASC).

Les aspects les moins appréciés qui ont été cités fréquemment par les informateurs clés sont les suivants :

1. Les avis d'offre de participation (AOP) sont rares et imprévisibles, et les priorités liées au domaine spatial qui sont ciblées par les AOP changent de manière imprévisible (mentionné par plusieurs bénéficiaires et non-bénéficiaires de financement, et par certains employés de l'ASC).
2. Le processus de sélection des propositions sollicitées manque de transparence et il n'y a pas suffisamment de rétroaction, et les délais entre les dates de dépôt des propositions et l'annonce des décisions relatives à la sélection sont trop longs (mentionné par plusieurs bénéficiaires et non-bénéficiaires de financement, et par certains employés de l'ASC).
3. Le processus en place pour lancer les AOP et attribuer l'aide financière est trop lourd et onéreux (mentionné par plusieurs employés de l'ASC).

Trois facettes de l'économie ont été examinées aux fins de la présente évaluation :

1. économie dans les dépenses du Programme;
2. pertinence des extrants du Programme pour atteindre les résultats attendus;
3. chevauchement avec d'autres programmes.

Économie dans les dépenses du Programme

Montant prévu par rapport au montant réel consacré aux accords de S et C : Selon les données financières présentées dans le tableau 1 (dans la section Allocation des ressources), le montant réel consacré aux projets financés par le Programme global de S et C a dépassé le budget prévu de 8 % (soit 3,242 k$) pendant les cinq années de la période d'évaluation. L'augmentation des dépenses consacrées aux accords de S et C par rapport au budget prévu du Programme s'est produite pendant les premières années de la période d'évaluation, quand les modalités actuelles du Programme ont été mises en application. Par contre, pendant les deux derniers exercices de la période d'évaluation (2012-2013 et 2013-2014), le budget prévu dépassait les dépenses réelles de 5 % à 8 %.

L'examen des dépenses prévues et réelles consacrées aux accords de S et C par type de financement montre que, pendant la période d'évaluation, l'excédent des dépenses réelles est surtout attribuable aux subventions (tableau 11). En ce qui concerne les quatre principaux programmes de l'ASC, le programme Capacités spatiales futures du Canada et, dans une moindre mesure, le programme Données, informations et services spatiaux ont consacré plus davantage de fonds que prévu aux accords de S et C. En revanche, le programme Exploration spatiale a dépensé moins que ce prévoyait son budget, tout comme le programme Services internes (quoique le budget de ce programme était relativement modeste). Il convient de mentionner qu'il n'a pas été possible d'examiner les dépenses prévues et réelles relativement aux projets sollicités et non sollicités, ni relativement aux volets Recherche ainsi que Sensibilisation et éducation, parce que les prévisions budgétaires n'étaient pas réparties de cette manière.

Allocation des ressources : Les données financières concernant les dépenses allouées à chacune des cinq activités ou à chacun des cinq extrants indiqués dans le modèle logique du Programme global de S et C n'étaient pas disponibles. De plus, le ratio des frais administratifs par rapport aux dépenses du Programme ne pouvait pas être calculé parce que, à l'exception des coûts liés au CESC, les données financières sur le coût de la gestion et de l'administration du Programme à l'ASC n'ont pas fait l'objet d'un suivi.

Les coûts liés au CESC sont indiqués dans le tableau 5 de la section Allocation des ressources. Dans les années qui ont suivi la création du CESC, le nombre d'ETP et les crédits salariaux prévus sont demeurés assez stables, mais le budget de F et E prévu a diminué, ce qui s'est traduit par une réduction de 27 % du budget global prévu du CESC entre 2010-2011 et 2013-2014. Pour ce qui est des dépenses réelles, le CESC coûte 32 % de moins que ce que prévoit son budget. La comparaison des coûts du CESC en 2010-2011 avec ceux de 2013-2014 montre que les coûts réels ont diminué de 48 %; cela est principalement attribuable à la diminution importante des coûts de F et E dans les dernières années, quand le Programme était mieux établi. En plus de la diminution des dépenses de F et E, le nombre d'ETP affectés au CESC en 2013-2014 est passé de 5 à 3,5. Cela représente une réduction d'environ 22 % des crédits salariaux. Il est à noter qu'un nombre total de 3 ETP pour le CESC était prévu dans le budget de 2015-2016 (quand le présent rapport a été rédigé), et que le nombre réel d'ETP pour l'exercice en cours est aussi de trois environ.

Si les coûts liés au CESC ont diminué pendant la période d'évaluation, le montant alloué aux projets financés par le Programme global de S et C a par contre augmenté de 24 % (et de 36 % pour le volet Recherche) en 2013-2014 par rapport à ce qu'il était en 2009-2010 (voir les tableaux 1 et 3 dans la section Allocation des ressources). En outre, le budget du Programme pour les quatre exercices suivants sauf le premier (2014-2015 à 2017-2018) devait plus que doubler les dépenses réelles consacrées aux projets financés en 2013-2014 (tableau 2). Cette augmentation budgétaire projetée s'explique surtout par l'augmentation des dépenses prévues pour les projets financés au moyen de contributions, dont la plupart devraient être accordées à l'industrie (comme il est indiqué dans la section Limites).

Au cours de la période d'évaluation, en moyenne 0,07 $ ont été consacrés au CE pour chaque dollar alloué aux accords de S et C (tableau 12). Si on fait une ventilation par exercice, on voit que le coût du CESC par rapport à chaque dollar alloué aux projets financés a diminué au fil du temps, passant de 0,10 $ en 2010-2011 (quand le CESC a été créé) à 0,05 $ en 2013-2014.

Pertinence des intrants du Programme

Quand on a interrogé les employés de l'ASC sur la pertinence des intrants du Programme global de S et C, environ le quart des répondants (23 %) ont dit que les intrants sont pertinents, et 45 % ont dit qu'ils sont insuffisants pour assurer l'exécution du Programme (figure 43).

La raison la plus souvent mentionnée pour expliquer que les intrants sont insuffisants, c'est qu'il manque de ressources humaines affectées au CESC, ce qui cause des retards dans l'administration des initiatives de financement et limite la capacité du CESC à exercer ses fonctions. Dans leurs réponses, près de la moitié des employés de l'ASC ont attiré l'attention sur l'augmentation récente du recours au Programme global de S et C (c.-à-d. augmentation du budget du Programme et du nombre d'accords de financement) et la réduction simultanée du nombre d'ETP affectés au CESC, comme il est indiqué dans la sous-section ci-dessus sur l'allocation des ressources. D'ailleurs, selon quelques employés de l'ASC, les ressources humaines du CESC devraient être augmentées suffisamment pour qu'elles puissent assumer leurs rôles et responsabilités actuels, mais aussi exercer des fonctions additionnelles, par exemple participer à la rédaction des AOP et répondre aux questions des demandeurs de financement.

Par contre, certains des employés de l'ASC qui ont indiqué que les ressources humaines affectées au CESC sont adéquates ou excessives ont expliqué que les ETP actuels pourraient être utilisés plus efficacement si on réduisait le niveau de surveillance exercé par le personnel du CESC – un point de vue expliqué en détail dans la section Efficience du rapport. Que la cause réside dans l'insuffisance des ressources humaines affectées au CESC ou le manque d'efficacité dans l'exercice de sa fonction de surveillance, plusieurs employés de l'ASC se sont dits préoccupés par les ramifications négatives des délais trop longs entre les dates limites prévues dans les AOP et les dates d'entrée en vigueur des accords de financement, comme l'indiquent les constatations présentées dans la section Extrants du rapport.

La nécessité d'augmenter le niveau de financement sous forme de S et C octroyé au secteur spatial canadien, et particulièrement aux établissements universitaires, a aussi été mentionnée fréquemment par les employés de l'ASC ayant indiqué que les intrants du Programme sont insuffisants. Compte tenu de l'interruption du financement pour les priorités ciblées par les AOP antérieurs et de l'augmentation du financement qui est actuellement octroyé à l'industrie, on craint une diminution des capacités des établissements universitaires et de l'importance qu'on y accorde à l'espace.

Même si on n'a pas demandé explicitement aux bénéficiaires et aux non-bénéficiaires de financement ce qu'ils pensaient de la pertinence des intrants du Programme global de S et C, plusieurs répondants des deux groupes ont tout de même exprimé des préoccupations concernant l'insuffisance du financement sous forme de S et C pour les établissements universitaires dans les dernières années et les années à venir. Par exemple, un bénéficiaire de financement a écrit : « J'espère que l'ASC va continuer d'accorder de l'importance aux partenariats qui ont été établis avec le milieu universitaire grâce au Programme de S et C […] et qu'il continuera de soutenir une communauté de recherche active dans tous les domaines des sciences spatiales. Ce soutien a représenté un outil très précieux pour créer mon groupe de recherche et, sans lui, je ne serais pas rendu où je suis maintenant. » De plus, quelques non-bénéficiaires ont dit que le niveau de financement octroyé par l'ASC est dérisoire en comparaison de celui des pays où le secteur spatial est important.

Chevauchement avec d'autres programmes

La recherche sur Internet n'a pas permis de trouver des programmes de paiements de transfert comparables qui visent spécifiquement à financer le développement scientifique et technologique dans le domaine spatial au Canada. D'ailleurs, la plupart des employés de l'ASC (57 % ou 77 % de ceux qui ont fourni une évaluation) ont dit que le Programme global de S et C n'est pas redondant par rapport à d'autres programmes de financement canadiens. Un employé de l'ASC a donné l'explication suivante : « Même s'il y a d'autres sources de financement disponibles, peu (voire aucune) ne répond vraiment aux besoins du domaine spatial. Nul doute qu'il existe des possibilités d'effet de levier, mais le fait est que l'ASC a des exigences et un mandat particuliers qui sont mieux servis par un programme interne. »

L'absence de chevauchement est d'ailleurs confirmée par la constatation présentée ci-dessus, selon laquelle seulement 21 % des non-bénéficiaires ont pu réaliser les projets proposés grâce à d'autres sources de financement et, même dans ce cas-là, le financement reçu était insuffisant. Comme l'a expliqué un non-bénéficiaire (dont le projet proposé n'a jamais été réalisé) : « J'apprécie beaucoup pouvoir soumettre une demande de financement à l'ASC, parce que c'est essentiel pour ma recherche et qu'il n'y a pas d'autres sources de financement. » De même, plusieurs bénéficiaires de financement ont parlé qu'il y a peu de sources de financement pour le développement scientifique et technologique dans le domaine spatial, et 88 % des bénéficiaires ont indiqué qu'ils n'auraient probablement pas pu réaliser leurs projets sans le financement du Programme global de S et C.

Historiquement, le Programme global de S et C a collaboré avec le CRSNG dans le cadre d'initiatives de financement précises. Il a été suggéré qu'une collaboration plus étroite entre le Programme et les conseils subventionnaires pourrait s'avérer utile pour exercer un effet de levier. Pour faciliter cette collaboration, quelques employés de l'ASC ont proposé que les mécanismes d'exécution du Programme (p. ex. les processus de demande et de présentation de rapports sur le rendement) soient alignés sur ceux des conseils subventionnaires. Soit dit en passant, les efforts déployés pour harmoniser le Programme avec ceux des AM seraient simplifiés par le fait que les conseils subventionnaires fédéraux ont harmonisé leurs modalités et normalisé leurs processus (selon les entretiens menés avec les représentants des AM pour cette évaluation).

Réalisation des extrants attendus

Les constatations de l'évaluation montrent que les réalisations suivantes sont directement dues aux Programme global de S et C et de son volet Recherche pendant la période d'évaluation (1er octobre 2009 au 31 mars 2014) :

• Dix AOP ont été lancés dans le cadre du volet Recherche (pour deux de ces AOP, l'accord de financement n'avait pas encore été conclu à la fin de la période d'évaluation).
• Une liste de demandeurs a été produite pour chacun des huit AOP pour lesquels un accord de financement a été conclu.
• Le Programme a alloué 40 M$ en S et C.
• 91 % (36 M$) de tout le financement en S et C relevait du volet Recherche du Programme;
  • 76 % du financement du volet Recherche a été alloué par le programme Capacités spatiales futures du Canada de l'ASC (AAP 1.3);
  • 98 % du financement du volet Recherche a été alloué aux universités.
• 195 accords de financement ont été conclus dans le cadre du volet Recherche :
  • 40 % des accords découlaient de propositions non sollicitées;
  • 60 % des accords découlaient d'AOP (deux d'entre eux ayant été lancés avant l'approbation des modalités du Programme global de S et C en 2009).
• 94 % des rapports d'étape et finaux exigés ont été produits par les bénéficiaires de financement, ce qui représente 94 % des projets financés par le volet Recherche.

Selon la plupart des informateurs clés, des mécanismes de demande de financement efficaces sont en place, le processus de sélection des AOP est équitable, et les exigences en matière de rapport sont semblables à celles des AM. Même si les directions générales de l'ASC n'ont pas toutes produit une liste de priorités de financement s'appliquant à toutes les initiatives de S et C (un extrant prévu du Programme), une évaluation visant à déterminer si les 10 AOP lancés pendant la période d'évaluation étaient alignés sur les priorités de l'ASC a été effectuée au cas par cas. L'ASC devrait normaliser le processus pour dresser les listes de priorités de financement qui s'appliquent à toutes les initiatives de S et C.

En ce qui concerne les propositions sollicitées, les constatations de l'évaluation montrent que les renseignements sur la nature du processus de sélection des propositions et les retards dans ce processus n'ont pas été fournis aux demandeurs systématiquement d'un AOP à l'autre, et la rétroaction constructive sur les propositions n'a pas non plus été donnée de manière systématique. De plus, des redondances dans les formulaires de demandes des AOP est des incohérences dans les processus de demande des divers AOP ont été relevées. Pour corriger ces lacunes, et conformément aux recommandations du SCT relativement aux programmes de paiements de transfert, l'ASC devrait normaliser les processus de demande, de sélection et de rétroaction pour tous les AOP et communiquer clairement ces processus à la communauté spatiale canadienne. Pour faciliter la planification interne des demandeurs de financement, les informateurs clés ont suggéré d'accroître la prévisibilité du lancement des AOP.

Contrairement à ce qu'on a vu pour les projets sollicités qui sont financés dans le cadre des AOP, les constatations de l'évaluation indiquent qu'il n'y a pas de critères de sélection clairement énoncés pour les propositions non sollicitées. En outre, les informateurs clés ont exprimé des préoccupations concernant l'équité et la transparence du processus de sélection des propositions non sollicitées, et la mesure dans laquelle ces propositions sont alignées sur les priorités de financement de l'ASC. Comme pour les AOP dans le cas des propositions sollicitées, l'adoption de processus de demande, de sélection et de rétroaction normalisés et transparents pour les propositions non sollicitées permettrait de corriger les problèmes liés au mécanisme de financement des propositions non sollicitées. Par ailleurs, la recommandation ci-dessus à propos de la production d'une liste de priorités de financement pour chaque direction générale du Ministère garantirait l'alignement entre les projets non sollicités et les priorités de l'ASC.

La stratégie de MR du Programme global de S et C détermine les indicateurs de rendement, les données de référence et les cibles pour les résultats attendus du Programme, mais pas pour les extrants attendus, ce qui indique qu'il est nécessaire de mettre à jour la stratégie de MR du Programme pour qu'elle contienne des indicateurs de rendement, des données de référence et des cibles liés aux extrants. De plus, certaines données sur les S et C stockées dans les bases de données de l'ASC étaient inexactes (p. ex. plus d'un numéro d'identification par accord dans certains cas, liste erronée des rapports d'étape et finaux produits), ce qui indique la nécessité d'améliorer le processus de saisie des données pour garantir la validité des données d'archives.

Atteinte des résultats attendus

Les constatations de l'évaluation montrent que les projets financés par le volet Recherche du Programme global de S et C ont permis d'accroître les connaissances dans le domaine des S et T spatiales – quoique la conformité entre les types de connaissances acquises et les priorités de l'ASC est plus évidente pour les projets sollicités que pour les projets non sollicités, ce qui renforce la nécessité d'un processus de sélection normalisé pour les propositions non sollicitées. Les données montrent aussi que les connaissances produites par les projets financés ont donné lieu à d'importantes percées technologiques ou scientifiques, à l'élaboration de nouvelles idées pouvant être intégrées aux futures missions spatiales, à l'utilisation des données satellitaires, au développement d'applications et d'algorithmes, et à la conception de nouveaux projets de R et D. En outre, la diffusion des connaissances s'est accrue; les présentations et les publications ont été largement diffusées à l'échelle nationale et internationale, ainsi que dans les milieux universitaires et le grand public. Cependant, selon des informateurs clés de l'ASC et des bénéficiaires de financement, l'absence de continuité dans le financement des domaines scientifiques et technologiques ciblés par les AOP antérieurs a réduit la capacité de certains bénéficiaires de financement à amener leurs projets de R et D à un niveau supérieur de maturité et à exploiter tout leur potentiel pour l'acquisition de connaissances.

En plus d'accroître le développement et la diffusion des connaissances, le Programme global de S et C a permis d'accroître l'importance que l'on accorde à l'espace au Canada. Par exemple, les bénéficiaires de financement ont fait intervenir de nouveaux acteurs dans les disciplines de recherche liées au domaine spatial, et le nombre d'organisations faisant partie des équipes de recherche des projets financés a augmenté considérablement pendant la période d'évaluation. De plus, les projets financés par le volet Recherche du Programme ont entraîné une augmentation notable du nombre d'employés hautement qualifiés et de l'expertise liée à l'espace au sein des organisations financées et à l'extérieur de celles-ci, mais plusieurs bénéficiaires de financement ont dit craindre qu'il ne soit pas possible de maintenir les capacités développées une fois les projets terminés.

Le financement du Programme global de S et C a aussi favorisé l'établissement et le maintien de collaborations entre les bénéficiaires de financement et les partenaires nationaux et internationaux, ce qui a permis d'obtenir des fonds provenant d'autres sources pour environ la moitié des projets financés. En outre, grâce à la diversité des organisations faisant partie des équipes de recherche des projets financés et parmi les organisations partenaires, les bénéficiaires de financement ont établi des collaborations multidisciplinaires et pluri-institutionnelles qui ont débouché sur des réalisations liées spécifiquement à des recherches multidisciplinaires dans la moitié des projets financés.

En raison des changements apportés au fil du temps aux modèles de rapports d'étape et finaux, environ le tiers des données sur les rapports fournies par les bénéficiaires n'étaient disponibles que pour un exercice à la fois et ne pouvaient pas être mises en correspondance avec les données connexes recueillies au cours des autres exercices de la période d'évaluation, d'où l'impossibilité de faire une analyse globale, pluriannuelle, du rendement du Programme. Cette faiblesse méthodologique indique qu'il est nécessaire de s'assurer que les données sur le rendement provenant des rapports d'étape et finaux des bénéficiaires sont conservées systématiquement sous une forme accessible, pluriannuelle, propice à l'évaluation.