Initiative des orientations stratégiques de l'EFPC - Évaluation sommative intégrée

Mai 2018

Évaluation sommative intégrée – version définitive

Liste des sigles et des acronymes

Résumé

Historique et contexte

En novembre 2014, le Conseil du Trésor (CT) a approuvé l'Initiative des orientations stratégiques (l'IOS ou l'Initiative), un projet échelonné sur 3 ans (de 2014-2015 à 2016-2017) visant à examiner l'exécution et la gestion de l'apprentissage à l'École de la fonction publique du Canada (l'EFPC ou l'École) ainsi que la programmation, le modèle opérationnel et les stratégies qui permettraient de mettre en œuvre un nouveau modèle. L'Initiative visait à établir une plateforme d'apprentissage plus accessible, plus pertinente et plus adaptable. Elle comportait des projets de modernisation des activités opérationnelles de l'École et de modification du modèle de financement, dans le but d'instaurer une nouvelle approche à l'égard de l'apprentissage. Selon cette nouvelle approche, il incomberait aux ministères d'offrir l'apprentissage propre à leur mandat respectif, tandis que l'École offrirait un programme de cours commun s'adressant à l'ensemble de la fonction publique et favoriserait une culture axée sur l'apprentissage dans la fonction publique.

Les 3 dernières années ont été fécondes à bien des égards : consultations auprès des ministères et organismes fédéraux, mise en œuvre progressive du nouveau modèle de financement, révision du programme de cours et mise au point de technologies d'aide à l'apprentissage et de systèmes de renseignements d'affaires. À la fin de l'exercice 2016-2017, les fonctionnaires n'avaient besoin que d'une connexion Internet pour accéder à la plateforme en ligne de l'École, GCcampus, et à la série de produits d'apprentissage qu'elle contient.

Objet et portée de l'évaluation

L'Initiative a fait l'objet d'une évaluation dont le but était de fournir aux décideurs de l'École une rétroaction neutre, fiable et pertinente au regard des engagements faits au premier ministre et au Conseil du Trésor en 2014. Deux exercices d'évaluation ont été menés. Premièrement, en décembre 2016, une évaluation formative a fourni un bilan à mi-parcours de l'Initiative. Cette évaluation portait sur la mise en œuvre de l'IOS et répondait aux questions principalement liées aux activités, aux extrants et aux résultats immédiats de celle-ci. Deuxièmement, le présent document, intitulé Initiative des orientations stratégiques de l'EFPC : Évaluation sommative intégrée, aborde les questions liées aux résultats à moyen et à long terme de l'IOS. Plus précisément, l'évaluation sommative portait sur l'état de la situation après la mise en œuvre de l'IOS, notamment en ce qui concerne les points suivants : pertinence du financement de l'École et de ses autorisations; mesure dans laquelle il y a eu une amélioration du degré de satisfaction des apprenants, des connaissances acquises et de la capacité d'appliquer les connaissances; pertinence du programme de cours de l'École; incidence de l'IOS sur la gamme de produits d'apprentissage de l'EFPC; mesure dans laquelle un programme de cours commun de base a été mis en place; rendement de l'École à l'égard de la présentation des résultats de formation. L'évaluation sommative portait également sur la façon dont l'École pourra mesurer les résultats de son écosystème d'apprentissage.

Conclusions et recommandations

1. Le nouveau modèle de financement de l'EFPC a été adopté avec succès, et les autorisations de dépenser et les niveaux de référence prévus semblent appropriés. Puisque les activités entreprises dans le cadre de l'IOS devront se stabiliser pendant encore au moins 2 ans et que les besoins futurs sont difficiles à prédire à ce stade précoce du cycle de vie du nouveau modèle, il est trop tôt pour évaluer avec certitude les besoins de l'École en matière de ressources. Cela dit, il semble que les niveaux de référence actuels pour 2017-2018et ceux prévus pour les exercices subséquents soient suffisants à court terme, à condition que toute augmentation ultérieure des responsabilités de l'École soit assortie de fonds supplémentaires.

   La capacité de percevoir des redevances et de reporter à l'exercice financier suivant les recettes provenant de ces redevances fournit à l'École une marge de manœuvre suffisante pour mettre en œuvre le nouveau modèle opérationnel de façon efficace et efficiente.

   Recommandation no 1 : À l'avenir, les coûts estimatifs associés à l'élaboration et à la prestation de l'apprentissage devraient devenir un élément distinct à prendre en compte dans les présentations au Conseil du Trésor et les demandes présentées au Cabinet.

2. L'École a établi un programme de cours commun de base pertinent, tel qu'il est défini par les cadres supérieurs. L'École a réalisé des progrès considérables vers l'établissement d'un programme de cours commun de base pertinent. L'orientation de l'École s'est précisée aux yeux des intervenants, et les représentants des ministères et organismes font davantage confiance à l'École pour répondre aux besoins d'apprentissage fondamentaux, ce qui laisse aux organisations le soin d'offrir la formation propre à leur mandat.

   Le programme de cours commun de base s'entend essentiellement des sujets et des priorités jugés pertinents au regard des responsabilités de rendement d'une masse critique de fonctionnaires à l'échelle pangouvernementale, ainsi que des priorités déterminées aux échelons supérieurs. Toutefois, la définition n'a pas été systématiquement validée par les employés de première ligne. En outre, la présomption voulant que les besoins des apprenants doivent être pangouvernementaux semble freiner la formation d'importantes sous-populations; des représentants de certains ministères et organismes estiment que les besoins de leurs employés échappent à la nouvelle définition de l'École et qu'ils doivent offrir eux-mêmes la formation dont ont besoin leurs employés.

   Recommandation no 2 : L'École, en consultation avec les cadres supérieurs ainsi que les gestionnaires intermédiaires et le personnel de première ligne de toutes les régions, devrait continuer à clarifier, à valider et à préciser la définition de son programme de cours commun de base.

3. La gamme de produits d'apprentissage de l'École a fait l'objet d'une refonte complète qui a amélioré l'accessibilité et le choix parmi les modes d'apprentissage. Dans le cadre de l'IOS, la gamme de produits d'apprentissage de l'EFPC a été fondamentalement modifiée. Le nombre de cours en classe est passé de 262 à 87 tandis que le nombre d'événements a presque quintuplé pour passer à 372. Le nombre de produits d'apprentissage en ligne à rythme libre est demeuré relativement stable (219 à la fin de 2016-2017), mais la plupart des produits sont dorénavant offerts en nouvelles versions. En outre, de nouveaux types de produits d'apprentissage sont désormais offerts.

   De façon générale, les représentants des ministères et organismes accueillent favorablement la gamme renouvelée de produits d'apprentissage et notent des améliorations en ce qui concerne le choix des modes d'apprentissage et l'accessibilité aux possibilités d'apprentissage. L'École semble plus apte à s'adapter rapidement aux nouvelles priorités. Toutefois, certaines préoccupations demeurent, principalement en ce qui concerne le passage d'un modèle axé sur l'apprentissage en classe à un modèle reposant sur les activités d'apprentissage en ligne. La réduction du nombre d'options d'apprentissage en classe peut amener les utilisateurs à croire à une pénurie de places. En outre, une trop grande dépendance aux modes d'apprentissage en ligne peut nuire à la formation des employés qui n'ont pas facilement accès à Internet.

   Recommandation no 3 : L'École devrait continuer à développer et à optimiser la gamme de modes d'apprentissage associés à son écosystème d'apprentissage.

4. L'École doit établir un cadre solide de mesure des résultats. L'EFPC menait des évaluations de niveau 1 bien avant l'IOS. En comparant les données d'évaluation de niveau 1 avant et après la mise en œuvre de l'IOS, l'École a constaté que la satisfaction à l'égard des produits d'apprentissage en ligne au rythme de l'apprenant avait augmenté pendant cette période visée. Toutefois, les observations issues des évaluations de niveau 1 n'intéressent à peu près pas les représentants des ministères et des organismes, qui souhaitent plutôt savoir la mesure dans laquelle leurs employés acquièrent de nouvelles connaissances et compétences grâce à l'École et utilisent ces nouveaux éléments dans le cadre de leurs tâches.

   L'École recueille des données fondamentales sur l'acquisition et la mise en application de connaissances pour la plupart des activités exigeant une inscription, ainsi que des données détaillées sur un petit échantillon d'activités d'apprentissage défini chaque année. Toutefois, elle n'a pas élaboré de protocole d'analyse permettant de satisfaire les organisations clientes. De plus, étant donné la façon dont évolue l'écosystème d'apprentissage de l'École, il faudra mettre en place un système qui permet de mesurer de manière convenable et efficace les résultats d'apprentissage et qui va au-delà des concepts d'évaluation classiques (le modèle Kirkpatrick) et des approches classiques de collecte de données d'évaluation. Les ministères et organismes doivent participer à la collecte des données. En bref, il faudra adopter une approche plus exhaustive et plus stratégique pour répondre aux exigences des ministères et organismes ainsi qu'aux besoins de l'École, approche selon laquelle les méthodologies sont instaurées en fonction des besoins en matière d'évaluation.

   Recommandation no 4 : L'École devrait s'appuyer sur les pratiques d'évaluation de l'apprentissage existantes et investir de façon appropriée dans la création d'un régime d'évaluation complet permettant la collecte, l'analyse et la communication des données sur l'apprentissage, l'application des acquis et la satisfaction des apprenants et tous les autres concepts fondés sur les besoins des utilisateurs.

5. L'IOS a donné à l'École un système de renseignements d'affaires bonifié capable de produire une vaste gamme de rapports; les rapports internes ont été bien accueillis; toutefois, les organisations clientes sont toujours insatisfaites. À la suite des activités menées dans le cadre de l'Initiative, l'École a investi dans un système de renseignements d'affaires amélioré qui, jumelé aux pratiques existantes en matière de collecte de données, permet de fournir une vaste gamme de mesures des résultats. En général, les responsables de l'École sont satisfaits des rapports produits destinés à l'interne. Toutefois, les différentes versions des modèles de rapports externes ne répondent pas encore pleinement aux besoins des ministères et organismes clients. Les responsables des ministères et organismes souhaitent obtenir des chiffres sur l'utilisation mensuelle, des renseignements sur les cours terminés ou annulés et des mesures des résultats d'apprentissage y compris des renseignements statistiques comme les taux de réponse.

   Recommandation no 5 : L'École devrait améliorer ses rapports externes en établissant un système produisant des rapports qui répondent aux exigences des clients sur le plan de la fréquence, du contenu et du format.

 1. Introduction

Une évaluation de l'Initiative des orientations stratégiques (l'IOS ou l'Initiative) a été réalisée pour fournir aux décideurs de l'École de la fonction publique du Canada (l'EFPC ou l'École) une rétroaction neutre, fiable et pertinente au regard des engagements faits au premier ministre et au Conseil du Trésor en 2014. Elle permet d'évaluer l'étendue des réalisations par rapport aux résultats attendus énoncés dans l'IOS. L'École s'engage à présenter ces résultats au Bureau du Conseil privé et au Conseil du Trésor d'ici la fin du 3e trimestre de 2017-2018.

Deux exercices d'évaluation ont été menés. En décembre 2016, une évaluation formative a fourni un bilan à mi-parcours de l'Initiative. Cette évaluation portait sur la mise en œuvre de l'IOS et répondait aux questions principalement liées aux activités, aux extrants et aux résultats immédiats de celle-ci.

Le présent rapport, intitulé Initiative des orientations stratégiques de l'EFPC : Évaluation sommative intégrée, aborde quant à lui les questions liées aux résultats à moyen et à long terme et présente les résultats des activités d'évaluation réalisées de juin à septembre 2017. Le rapport décrit d'abord l'Initiative, avant de présenter les objectifs et la méthodologie de l'évaluation, puis les constatations de l'évaluation classées par question d'évaluation. Le rapport se termine sur les conclusions et les recommandations, suivies d'une réponse de la direction et d'un plan d'action.

 2. Historique et contexte

2.1 Motivation de l'Initiative des orientations stratégiques

L'École est régie par la Loi sur l'École de la fonction publique du Canada, qui précise que l'École a pour mission « d'inciter à la fierté et à la qualité dans la fonction publique [...], de contribuer à ce que les gestionnaires aient la compétence et les connaissances [...] nécessaires à l'élaboration et à la mise en œuvre des grandes orientations, à l'adaptation aux changements [...] et à une gestion efficace et équitable [et] d'aider les [...] fonctionnaires [à fournir] au public des services de haute qualité. »

Le 24 novembre 2014, le Conseil du Trésor (CT) a approuvé l'Initiative des orientations stratégiques, un projet échelonné sur 3 ans (de 2014-2015 à 2016-2017) visant à examiner l'exécution et la gestion de l'apprentissage à l'École ainsi que la programmation, le modèle opérationnel et les stratégies qui permettraient de mettre en œuvre un nouveau modèle. Avant le lancement de l'Initiative, l'exécution de l'apprentissage était jugée fragmentaire et parfois déconnectée des priorités du gouvernement ou des besoins de rendement. À l'époque, le modèle de financement fondé sur le recouvrement des coûts privilégiait la production de recettes, et l'accès à l'apprentissage était inégal parmi les régions et organisations.

L'Initiative a permis de définir une transformation de l'apprentissage de bout en bout, autant sur le plan de la matière enseignée que de la manière de l'enseigner. Le projet visait à établir une plateforme d'apprentissage plus rentable et plus accessible. Il comportait des projets de modernisation des activités opérationnelles de l'École et une modification de son modèle de financement dans le but d'instaurer une nouvelle démarche à l'égard de l'apprentissage, exécutée en collaboration avec des experts du secteur public, du secteur privé et du milieu universitaire. Selon cette nouvelle démarche, il incomberait aux ministères d'offrir l'apprentissage propre à leur mandat respectif, tandis que l'École offrirait un programme de cours commun s'adressant à l'ensemble de la fonction publique^Note1 et favoriserait une culture axée sur l'apprentissage dans la fonction publique.

2.2 Résultats attendus

Avec l'approbation du CT en novembre 2014, le modèle logique ci-dessous a été élaboré pour encadrer la mise en œuvre de l'Initiative. Les cases en bleu présentent les résultats sur lesquels portait l'évaluation sommative intégrée. La réalisation des autres résultats a été examinée grâce à l'évaluation de mi-parcours menée en 2015 et 2016. Les résultats attendus des 2 exercices d'évaluation sont décrits plus en détail au chapitre 3.

2.3 État actuel de l'Initiative

Les 3 dernières années ont été fécondes à bien des égards : consultations auprès des ministères et organismes fédéraux, mise en œuvre progressive du nouveau modèle de financement, révision du programme de cours et mise au point de technologies d'aide à l'apprentissage et de systèmes de renseignements d'affaires. À la fin de l'exercice 2016-2017, les fonctionnaires n'avaient besoin que d'un accès Internet pour pouvoir utiliser la plateforme en ligne de l'École, GCcampus, et sa série de produits d'apprentissage. Désormais, les produits d'apprentissage de l'École sont offerts à un nombre croissant de fonctionnaires partout au Canada. En 2013-2014, l'année précédant l'Initiative, le nombre total d'apprenants uniques^Note2 utilisant la plateforme d'apprentissage commun de l'École (en salle de classe et en ligne) était de 100 962^Note3. Durant la 3e et dernière année de l'Initiative, en 2016-2017, ce nombre avait atteint 159 287, soit une augmentation de 63 %.

Même si la plupart des activités prévues dans le cadre de l'Initiative avaient été réalisées à la fin de l'exercice 2016-2017, les fonds affectés à l'Initiative n'avaient pas été entièrement utilisés. Aussi les fonds restants ont-ils été reportés afin de financer l'institutionnalisation et l'amélioration des volets de l'Initiative jusqu'en 2018-2019.

2.4 Dépenses de l'EFPC et investissements dans l'IOS

La figure 1 présente les dépenses réelles et prévues de l'École, de 2014-2015 à 2018-2019. Cette période comprend les 3 années de transformation, de 2014-2015 à 2016-2017, ainsi que les 2 années subséquentes.

Figure 1. Dépenses de l'EFPC par année de 2014 à 2019 (réelles et prévues)

Le tableau 1 contient les investissements réels et prévus pour la mise en œuvre de l'Initiative de 2014-2015 à 2018-2019. Les chiffres comprennent les dépenses réelles de 20,8 M$ effectuées durant la période de transition de 3 ans, ainsi que les investissements de 6,1 M$ prévus pour les 2 années subséquentes, soit un total de 26,8 M$ sur 5 ans.

Source : Dossiers de l'EFPC

Le nombre d'équivalents temps plein (ETP) a diminué durant la période de mise en œuvre de l'Initiative. En 2013-2014, le total d'ETP s'élevait à 622, comparativement à 581 en 2016-2017. De 2014-2015 à 2016-2017, l'empreinte physique de l'École est passée de 36 866 mètres carrés à 32 578 mètres carrés.

 3. Méthodologie et objectifs de l'évaluation

3.1 Évaluation de mi-parcours

L'évaluation formative, axée sur les activités et les extrants de l'Initiative de 2013-2014 à 2015-2016, visait à déterminer si l'IOS avait été mise en œuvre comme prévu et à mesurer les réalisations et les progrès accomplis par rapport à certains résultats attendus. L'évaluation formative s'est traduite par l'examen d'un grand nombre de documents de l'École et de documents connexes ainsi que par des entrevues auprès de 56 représentants de l'École, des organisations clientes et d'autres intervenants. L'évaluation formative a constitué pour l'équipe de direction de l'EFPC un outil important pour mesurer les progrès de l'Initiative et pour corriger le tir au besoin. Le bilan à mi-parcours a par ailleurs fourni un outil important pour évaluer les progrès réalisés par rapport aux critères énoncés dans la présentation au CT.

Le Rapport d'évaluation de mi-parcours, approuvé en décembre 2016, a confirmé que l'École avait réalisé une combinaison adéquate d'activités et d'extrants pour faciliter la transformation du nouveau modèle opérationnel et de prestation. En outre, le rapport a confirmé que la nouvelle structure de gouvernance et de responsabilisation appuyait suffisamment les activités de l'École et il a fait état d'une mobilisation et d'une collaboration interministérielles accrues de la part de différents groupes.

Au nombre des principales constatations du rapport, mentionnons les progrès réalisés en vue de la mise en œuvre complète, dans les délais prévus, d'un programme de cours commun pour tous les fonctionnaires fédéraux d'ici la fin de 2016-2017, programme qui comportera un nombre de priorités d'apprentissage supérieur à ce qui avait d'abord été prévu. Aux objectifs envisagés au début de la transformation sont venues s'ajouter les priorités d'apprentissage portant sur les résultats et la livraison, la sensibilisation aux questions autochtones, la nouvelle orientation en dotation et la réinitialisation de l'ensemble des politiques. Le rapport a par ailleurs indiqué que l'adoption d'un nouveau modèle de financement et de prestation a rehaussé la réputation de l'École en tant que pôle d'apprentissage commun dans la fonction publique fédérale.

L'évaluation de mi-parcours a débouché sur la formulation de 5 recommandations. L'École a élaboré une réponse de la direction et un plan d'action en conséquence. Ces éléments sont présentés à l'annexe A. Par ailleurs, des détails sur certaines des mesures prises (liées aux questions de l'évaluation sommative) sont fournis au chapitre 4 de l'Évaluation sommative intégrée.

L'évaluation sommative, portant sur la période de mise en œuvre initiale (de 2013-2014 à 2016-2017)^Note4, a traité des questions liées aux résultats attendus et d'autres aspects de l'Initiative n'ayant pas été évoqués dans l'évaluation formative. L'évaluation sommative se voulait un examen du mandat législatif, des résultats et du modèle de financement. Il incombait à Goss Gilroy Inc. d'examiner le mandat législatif et les résultats, ainsi que de produire la version définitive du rapport d'évaluation sommative intégrée. L'examen du modèle de financement a été réalisé par un autre entrepreneur. L'évaluation a été effectuée conformément à la Politique sur les résultats et à la Directive sur les résultats du Conseil du Trésor, y compris l'Annexe B : Procédures obligatoires pour les évaluations.

3.2 Questions de l'évaluation sommative

Les questions de l'évaluation sommative sont présentées au tableau 2. La liste comprend, pour chacun des 3 volets de l'évaluation sommative intégrée, les questions d'évaluation et les sources de données correspondantes (voir ci-dessous). Le tableau présente également les questions de l'évaluation de mi-parcours à titre de référence.

3.3 Sources de données

Les constatations issues de 5 sources de données ont été résumées pour répondre à chaque question portant sur l'examen des résultats et l'examen du modèle de financement.

Les données ont été recueillies notamment au moyen d'un examen documentaire (plus de 150 documents ont été consultés, y compris des documents internes de l'École, allant des plans de projets aux rapports, ainsi que divers outils de suivi^Note5) et d'une collecte de données administratives sur les inscriptions et les évaluations relatives aux produits d'apprentissage qu'a consignées l'École de 2013-2014 à 2016-2017. Des entrevues ont été menées auprès de 45 informateurs clés (17 dirigeants externes, 18 autres représentants externes et 10 membres de l'École^Note6). L'annexe B présente les personnes interviewées, dont les données identificatrices ont été supprimées aux fins de protection de la confidentialité. Enfin, un examen documentaire des méthodes employées pour évaluer et communiquer les résultats d'apprentissage de l'écosystème d'apprentissage de l'École a été réalisé. L'examen du modèle de financement de l'École représentait la 5e source de données.

Les données ont été compilées, analysées et résumées par question d'évaluation à l'aide de matrices de données et présentées sous forme de rapports techniques distincts par source de données. Les réponses des informateurs internes et externes clés interviewés ont été analysées séparément^Note7. Les analyses provenant de sources de données distinctes ont été triangulées pour accroître la fiabilité des constatations et des conclusions. Les recommandations, liées aux constatations et aux conclusions, ont été examinées par des représentants de l'École, qui se sont assurés qu'elles étaient réalistes et applicables. L'École a formulé une réponse de la direction en conséquence.

 4. Constatations

4.1 Le montant réaffecté à l'École était-il adéquat, compte tenu des dépenses permanentes requises pour exécuter le nouveau modèle opérationnel (question 2)?

Les niveaux de référence de l'École pour les années suivant la période de transition (2017-2018 et exercices subséquents) semblent en phase avec les besoins de dépenses projetés.

L'examen du modèle de financement a permis de déterminer que, puisque les activités entreprises dans le cadre de l'IOS devront se stabiliser pendant encore au moins 2 ans et que les besoins sont difficiles à prévoir à ce stade précoce du cycle de vie du nouveau modèle, il est trop tôt pour évaluer avec certitude les besoins de l'École en matière de ressources. Cela dit, il semble que les niveaux de référence actuels pour 2017-2018 et ceux prévus pour les exercices subséquents soient suffisants à court terme, à condition que toute augmentation ultérieure des responsabilités de l'École soit assortie de fonds supplémentaires.

Depuis sa création en 2004^Note8, l'EFPC fonctionne grâce à des crédits parlementaires annuels couvrant certaines activités (de 40 M$ à 60 M$ par année) et aux recettes provenant d'autres activités (de 25 M$ à 75 M$ par année). L'IOS a permis à l'École de passer à un modèle de financement fondé principalement sur les crédits parlementaires. Les ministères et organismes constituant l'administration publique centrale^Note9ont dû remettre au Trésor 230 $ par employé nommé pour une période indéterminée ou déterminée, soit un total de 56,2 M$. De ce montant, 34,1 M$ (soit 140 $ par employé nommé pour une période indéterminée ou déterminée) ont été ajoutés au montant des crédits parlementaires actuels de l'École. En échange, les employés ont obtenu un accès illimité à GCcampus et à toutes les ressources en ligne offertes sur la plateforme de l'École. Chaque ministère et organisme obtiendrait en outre un nombre minimum de places, proportionnel à sa taille, pour les activités d'apprentissage en classe. La transition vers le nouveau modèle de financement s'est effectuée progressivement sur les 3 années de la période de l'IOS. Comme il a été évoqué au chapitre 2, les dépenses de l'École en 2016-2017, soit la dernière année prévue de l'Initiative, s'élevaient à 82 784 238 dollars.

4.2 Les autorisations de dépenser et les recettes de l'École sont-elles convenables (question 3)? Le mandat législatif, les autorisations de dépenser et les recettes de l'École devraient-ils être modifiés de façon à tenir compte de son nouveau mandat et de son nouveau modèle opérationnel (question 1)?

Les autorisations de dépenser et les recettes de l'École sont convenables et n'ont pas à être modifiées.

L'examen détaillé du mandat législatif de l'École ne s'inscrivait pas dans la portée de l'évaluation^Note10, mais une analyse de la documentation fournie par l'École et un examen du modèle de financement ont permis de déterminer si les autorisations de dépenser de l'École demeuraient pertinentes. Après la transition, l'École conserve les autorisations accordées en vertu des paragraphes 18(1) et 18(2)^Note11 de la Loi sur l'École de la fonction publique du Canada, y compris l'autorisation de percevoir les redevances qui sont suffisantes pour recouvrer ses coûts et de reporter les recettes de ces redevances à l'exercice suivant.

L'École continue de percevoir des redevances des organisations visées par son mandat qui sont partiellement financées par des crédits parlementaires ou qui ne le sont pas, ainsi que des organisations ayant la possibilité de profiter des services de l'EFPC selon un coût de 230 $ par employé, conformément à un règlement interministériel. Les autres exigences concernent (a) la conception, l'élaboration et la prestation du contenu d'apprentissage jugé prioritaire ou demandé par les ministères pour répondre aux besoins d'apprentissage communs de la fonction publique au-delà du programme de cours commun de base actuel et prévu; et (b) l'utilisation des installations de l'EFPC à un coût établi conformément aux Lignes directrices sur l'établissement des coûts (2016) du Conseil du Trésor.

La marge de manœuvre que procure l'autorisation de reporter à l'exercice financier suivant les recettes issues des redevances est nécessaire pour pallier le fait que la planification, la conception, l'élaboration, la validation et la prestation dépassent souvent le cycle de planification annuel. En vertu de la Loi sur l'École de la fonction publique du Canada, l'École peut affecter des recettes non dépensées au financement de ces activités au cours du prochain exercice financier.

Ces autorisations sont essentielles pour que l'École puisse poursuivre la mise en œuvre efficiente et efficace du nouveau modèle opérationnel en ayant la capacité financière suffisante pour s'adapter à l'évolution des priorités et des besoins d'une année à l'autre. La modification des autorisations pourrait restreindre la capacité de l'École à fournir, tout particulièrement, des services aux organisations extérieures à l'administration publique centrale et des services ne relevant pas du programme de cours commun de base. Par ailleurs, l'examen du modèle de financement a permis de déterminer qu'à court terme ces autorisations ne présentent aucun risque pour le gouvernement.

4.3 Dans quelle mesure les orientations stratégiques ont-elles eu une incidence sur l'ensemble des produits d'apprentissage (question 8)?

Dans le cadre de l'IOS, la gamme de produits d'apprentissage de l'EFPC a été considérablement modifiée.

Au cours de la période de 3 ans de l'IOS, des changements substantiels ont été apportés au nombre et aux types de produits d'apprentissage offerts. À la fin de la mise en œuvre de 3 ans de l'IOS, 68 % des produits d'apprentissage en salle de classe et des produits d'apprentissage en ligne à rythme libre étaient nouveaux. Le nombre de produits d'apprentissage en salle de classe dirigés par un enseignant a diminué, et le nombre d'événements et de produits d'apprentissage en ligne à rythme libre a augmenté. Cette tendance cadre avec la consigne qu'a reçue l'École au début de l'Initiative, selon laquelle il fallait accroître les gains d'efficacité et réaliser des économies au profit du gouvernement du Canada (tout en améliorant l'accès aux produits d'apprentissage) en passant d'un modèle de prestation en salle de classe à un modèle de prestation principalement en ligne.

Au cours de l'Initiative, l'École a cherché à créer 8 types de produits d'apprentissage. Cet ensemble de modes d'apprentissage se nomme l'écosystème d'apprentissage (voir le diagramme ci-dessous). Comme l'indique le tableau 3, le nombre de produits d'apprentissage en salle de classe dirigés par un enseignant est passé de 262 en 2013-2014 à 87 en août 2017. Le nombre d'heures de formation dirigée par un enseignant est passé de 787 266 en 2013-2014 à 440 019 en 2016-2017^Note12. Le nombre de produits d'apprentissage en ligne à rythme libre est passé de 188 à 243 au cours de la même période, et une bonne part du contenu d'apprentissage en salle de classe a été convertie au mode d'apprentissage en ligne. Le nombre de produits en salle de classe virtuelle est resté le même (3). Le nombre d'événements a augmenté, passant de 81 en 2014-2015 à 372 en 2016-2017. Pour certaines catégories de produits, il est impossible de calculer l'augmentation, car l'École n'a pas été en mesure de fournir des données sur ces catégories datant d'avant l'IOS. L'École ne comptabilise pas le nombre de produits d'apprentissage sur appareil mobile; toutefois, l'examen d'un ensemble aléatoire de produits d'apprentissage en ligne à rythme libre offerts sur GCcampus indique que l'apprentissage mobile est offert pour de nombreux produits d'apprentissage en ligne. Hormis les chiffres inconnus, le nombre total de produits est passé de 534 à 928 au cours des trois années de l'IOS, augmentation attribuable principalement à la hausse du nombre d'événements et de ressources en ligne.

Le programme de cours actuel de l'EFPC est à 68 % nouveau, et de nombreux sujets offerts en salle de classe auparavant, voire la plupart d'entre eux, sont dorénavant offerts à l'aide de produits en ligne à rythme libre. Comme l'indique le tableau 4, une analyse plus détaillée des produits d'apprentissage en salle de classe et en ligne à rythme libre a révélé des changements substantiels : des 450 produits dans les deux catégories, seulement 97 ont été conservés. En tout, 195 cours en salle de classe et 158 cours en ligne à rythme libre ont été abandonnés. Un total de 20 cours en salle de classe ont été ajoutés, mais la vaste majorité des nouveaux produits, soit 189, sont des cours en ligne à rythme libre. Un total de 67 % des nouveaux produits d'apprentissage en ligne à rythme libre ont été acquis auprès des fournisseurs de produits de formation commerciaux Vubiz et SkillSoft.

L'analyse détaillée des sujets dont traitent les produits d'apprentissage de l'École ne s'inscrivait pas non plus dans la portée de l'évaluation, et l'École était incapable de fournir la liste des sujets par produit d'apprentissage^Note17. Néanmoins, plusieurs observations générales peuvent être formulées en ce qui concerne les changements apportés aux sujets d'apprentissage. D'abord, même si l'orientation générale de l'École n'a pas changé fondamentalement, une attention accrue semble être accordée au changement et à la transformation organisationnels. Cependant, comme il en est question plus en détail dans la prochaine section, l'École a cherché à supprimer les produits qui ne faisaient pas partie du programme de cours commun de base, et elle en a ajouté qui portaient sur 14 priorités déterminées. À titre de référence, la liste actuelle de sujets, tirée de GCcampus en septembre 2017, est présentée à l'annexe C.

Dans le cadre de l'Initiative, le Comité d'intégration du contenu de l'École (CICE) a été créé pour superviser les changements apportés aux produits d'apprentissage et l'harmonisation de ces produits avec le mandat de base, les priorités et les capacités de l'École, ainsi que pour assurer une coordination continue de l'évolution du programme de cours. Le but du CICE est de veiller à ce que tout le contenu soit couvert, sans chevauchement inutile.

De façon générale, les représentants des ministères et organismes ont accueilli favorablement la nouvelle gamme de produits d'apprentissage, tout en admettant qu'il s'agit d'un processus continu et en rappelant à l'École la valeur de l'apprentissage en personne dans certains cas.

Les représentants des ministères et organismes interviewés estimaient généralement que l'École était sur la bonne voie en offrant davantage de produits d'apprentissage plus facilement accessibles. L'écosystème d'apprentissage a été bien accueilli, y compris les activités d'apprentissage gratuites, en ligne à rythme libre, les causeries et d'autres événements thématiques, les événements offerts par WebEx, les vidéos et les blogues. Certains répondants ont indiqué que l'École était dorénavant moins centrée sur la région de la capitale nationale et que le fardeau de déplacement avait été allégé. Certains intervenants externes ont noté une meilleure correspondance entre l'offre de l'École et les besoins de leur organisation, ce qui permet au personnel de certains ministères et organismes de profiter davantage des produits de l'École et de moins dépendre de la formation interne. L'École pourra ainsi devenir progressivement le principal fournisseur d'occasions d'apprentissage de la fonction publique fédérale.

Certains représentants ministériels ont déploré que l'École s'appuie plus lourdement sur les produits d'apprentissage en ligne. Les modes de prestation en personne sont nécessaires dans certaines situations, et la création de relations et l'établissement de réseaux demeurent un avantage important des cours offerts en salle de classe. L'adoption d'une approche davantage axée sur les produits en ligne a eu pour effet de réduire les possibilités d'apprentissage d'employés ayant un accès limité à l'Internet, tels que les employés travaillant en régions isolées, à bord d'un navire ou dans un environnement hautement restreint et sécurisé, les ouvriers et autres.

La réduction des produits d'apprentissage en salle de classe a aussi créé une appréhension quant à la disponibilité des places dans les cours offerts selon ce mode. Les représentants interviewés de certains ministères s'inquiétaient que le nombre de places disponibles dans les salles de classe ne réponde pas à leurs besoins.

La transformation du programme de cours de l'EFPC se poursuit et devrait se poursuivre à long terme, à mesure que les produits d'apprentissage sont révisés et ajoutés en fonction de l'évolution des besoins et des priorités. Les répondants externes et internes s'entendaient pour dire que la transformation du programme de cours demeure inachevée. L'Initiative a permis un renouvellement important, et la plupart des objectifs de transformation du programme de cours ont été atteints. Le seul volet important où la transformation tarde à se faire sentir concerne les produits d'apprentissage spécialisés (GI/TI, Communications, Finances, RH, Sécurité, Approvisionnement et Politiques), ce qui est principalement attribuable au fait que la réinitialisation des politiques de la fonction publique fédérale, qui risque de modifier considérablement le contenu des produits d'apprentissage dans ces domaines, est toujours en cours.

Un programme de cours commun de base a-t-il été établi (question 10)?

L'École a établi un programme de cours commun de base conformément à la définition du Comité consultatif de l'EFPC.

Bien que la Loi sur l'École de la fonction publique du Canada n'exige pas que l'École adopte un programme de cours commun de base et ne fournisse aucune définition d'un tel programme, la consigne qu'a reçue l'École par rapport à l'Initiative était d'établir une « formation de base commune permettant le perfectionnement des connaissances, des habiletés et des compétences qui sont communes à tous les employés de l'administration publique centrale et propres au gouvernement »^Note18. Les membres de l'EFPC interviewés ont indiqué que l'École appliquait cette définition aux sujets liés aux responsabilités de rendement d'une masse critique de fonctionnaires, à l'échelle pangouvernementale et qu'elle laissait aux ministères et organismes le soin d'assurer l'apprentissage propre à leur mandat respectif. Les représentants de l'EFPC ont aussi indiqué que l'École jugeait que les priorités d'apprentissage du gouvernement et de la fonction publique fédérale faisaient partie intégrante de la définition.

Durant la période de transformation, l'École a mené de vastes consultations sur les principaux besoins d'apprentissage communs auprès des utilisateurs actuels et potentiels des produits et services qu'elle offre aux ministères et organismes fédéraux^Note19; particulièrement, de hauts fonctionnaires ont été abondamment consultés, y compris des dirigeants clés comme le greffier du Conseil privé. Les analyses de l'EFPC découlant de ces consultations ont été examinées par les membres du Comité éditorial de l'entreprise (composé de responsables de l'apprentissage de diverses organisations clientes) et par les membres du Comité consultatif de l'EFPC (composé de sous-ministres). Les consultations ont porté sur la définition des sujets devant faire partie du programme de cours commun de base offert par l'École, y compris les priorités d'apprentissage du gouvernement et de la fonction publique fédérale.

Les consultations ont confirmé la nécessité d'un apprentissage lié à des sujets communs tels que les valeurs et l'éthique, le service à la population, la gestion de la fonction publique et les fonctions habilitantes telles que les services financiers, les services des ressources humaines et la sécurité. Elles ont aussi donné lieu à la production d'une liste de 14 priorités d'apprentissage^Note20. Les priorités d'apprentissage ont été perçues comme des thèmes associés à une fonction publique efficace qui devaient s'intégrer aux sujets communs. L'ensemble des sujets et thèmes, approuvés par le Comité consultatif de l'EFPC, constitue le programme de cours commun de base.

Le renouvellement du programme de cours décrit à la section précédente visait à établir un ensemble adéquat de produits d'apprentissage associés aux sujets communs convenus. Dans certains cas, plusieurs produits pourraient traiter du même sujet, ce qui donnerait le choix à l'apprenant. Durant les 3 années de l'IOS, selon les représentants de l'École, toutes les priorités ont été intégrées en tant que produits indépendants ou éléments de produits constituant le programme de cours de l'École. Les représentants de l'École ont indiqué que les mesures à prendre pour réaliser les priorités étaient fort variées. Dans certains cas, selon les représentants de l'École, quelques événements ponctuels ont été jugés suffisants. Dans d'autres cas, la matière portant sur une priorité avait été abordée de manière plus exhaustive. Par exemple, les thèmes autochtones ont été traités dans le cadre de plusieurs événements et ils sont intégrés de manière exhaustive et permanente dans des produits d'apprentissage clés.

Cependant, certains produits ont été retirés du programme de cours, car il a été établi qu'ils ne cadraient pas avec la définition d'un programme de cours commun de base. Par exemple, la série sur la planification de la retraite a été annulée, car ce sujet ne s'applique pas aux responsabilités de rendement des fonctionnaires, en plus d'être abondamment traité dans le secteur privé. Dans la même veine, il a été établi que les compétences de négociation et de travail en équipe étant des sujets de formation offerte par le secteur privé, la formation en la matière a été retirée du programme de cours de l'École. Même s'ils ne sont pas propres au gouvernement, certains produits d'apprentissage liés à des thèmes prioritaires font encore partie du programme de cours de l'École. Tel est le cas des produits liés à la gestion du changement et à la gestion de projet^Note21.

Les représentants des ministères et organismes ont généralement bien accueilli la clarté accrue du programme renouvelé, mais ils trouvent tout de même que l'opérationnalisation de la définition de « programme de cours commun de base » est restrictive.

Les répondants externes ont bien accueilli le processus de consultation et ont mentionné que le résultat est un programme de cours commun de base plus clair et mieux ciblé. Les répondants ont été particulièrement élogieux à l'égard de la gamme renouvelée de programmes sur le leadership et du nouvel ensemble de cours sur l'excellence du service. Certains répondants externes ont toutefois déploré que le programme de cours commun de base ait été largement défini par les plus hauts fonctionnaires de la fonction publique fédérale et que les gestionnaires intermédiaires et le personnel de première ligne aient été peu consultés^Note22.

Certains répondants, y compris des cadres supérieurs externes, ont remis en cause ce qui semblait être une interprétation littérale de l'expression « commun de base », selon laquelle la matière doit être pertinente pour les employés de pratiquement tous les ministères et organismes. Par exemple, les représentants de ministères et organismes formés principalement de scientifiques ou d'ouvriers, ou dont le mandat est axé sur l'application de la loi et la sécurité ou sur les politiques, ont indiqué que leurs besoins étant suffisamment distincts, ils avaient besoin d'une formation spécialisée dans des domaines tels que la gestion et le leadership. Après l'IOS, ces ministères et organismes estiment qu'ils devront continuer à fournir leur propre formation, car les programmes qu'offre l'École ne répondent pas à leurs besoins. Certains de ces répondants ont déploré que, malgré la réaffectation de fonds à l'École, ils n'ont pas pu réduire leur budget de formation en conséquence.

Comme il a déjà été mentionné, les efforts d'élaboration du programme de cours sont permanents et incessants. Toutefois, durant les 3 années de l'IOS, la majeure partie du travail a été accomplie pour établir les produits d'apprentissage qui composent le programme de cours commun de base tel que l'ont défini l'École et ses comités consultatifs, y compris les priorités déterminées.

4.5 Le programme de cours de l'École demeure-t-il pertinent pour les fonctionnaires et le gouvernement du Canada (question 7)?

À la fin de la période de 3 ans visée par l'IOS, le programme de cours de l'École a été jugé pertinent pour les fonctionnaires et le gouvernement du Canada.

Depuis des années, l'École sonde les apprenants immédiatement après la fin de leurs activités d'apprentissage afin de connaître leur perception de divers aspects de l'activité. La figure 2 montre les réponses des apprenants, sur une échelle de 5 points allant de « tout à fait d'accord » à « tout à fait en désaccord », aux énoncés « Cette activité d'apprentissage a répondu à mes besoins » et « Cette activité d'apprentissage a été un bon investissement pour mon employeur ». On a calculé la moyenne pour toutes les activités d'apprentissage en classe et en ligne à rythme libre pour la période de 2013-2014 à 2016-2017. Comme le montre la figure, la perception des apprenants quant à la mesure dans laquelle les activités d'apprentissage répondaient à leurs besoins de formation en classe est passée de 4,3 à 4,4 entre la dernière année précédant l'IOS (2013-2014) et la 3e année de l'IOS (2016-2017). En ce qui concerne les produits d'apprentissage en ligne, la perception des apprenants quant à la mesure dans laquelle les activités d'apprentissage répondaient à leurs besoins est passée de 4,1 à 4,3. Au cours de la même période, la perception des apprenants quant à la mesure dans laquelle les activités d'apprentissage en classe représentaient un bon investissement pour leur employeur est passée de 4,3 à 4,5. En ce qui concerne la formation en ligne, la perception des apprenants quant à la mesure dans laquelle les activités d'apprentissage représentaient un bon investissement pour leur employeur est passée de 3,8 à 4,2. Ces chiffres élevés, qui dans tous les cas ont augmenté au cours de la période couverte par l'IOS, donnent à penser que les apprenants estiment que les produits d'apprentissage de l'École sont pertinents.

Figure 2. Besoins en apprentissage satisfaits et bon investissement (en classe et en ligne)

Mis à part ce qui précède, il y a peu de critères objectifs permettant d'évaluer la pertinence du programme de cours renouvelé de l'EFPC. On n'a pas procédé à une évaluation systématique, exhaustive et globale des besoins d'apprentissage des fonctionnaires à l'échelle du gouvernement. Les normes telles que les repères internes ou les listes de manuels scolaires n'étaient pas non plus référencées. Tel que cela est mentionné précédemment, la Loi sur l'École de la fonction publique du Canada ne définit pas de programme de cours obligatoire. Les documents récents portant sur la vision et la stratégie de la fonction publique fédérale, comme Objectif 2020, Destination 2020 et les rapports annuels du greffier sur la fonction publique au premier ministre, ne fournissent que des points de référence généraux, sans entrer dans les détails sur les sujets d'apprentissage.

Néanmoins, la majorité des répondants, tant à l'interne qu'à l'externe, ont indiqué qu'ils estimaient que le programme de cours renouvelé était pertinent et qu'il offrait un bon niveau de connaissances de base. Certains répondants externes se sont toutefois également demandé si le programme de cours commun de base qui a été approuvé était suffisamment complet ou s'il traitait de tous les sujets appropriés. Par exemple, un répondant externe de haut niveau s'est demandé si le programme de cours commun pour les fonctionnaires devrait inclure des formations liées à la pensée critique, à l'analyse et au jugement.

4.6 Y a-t-il eu une augmentation de la satisfaction des apprenants (question 5b)?

La satisfaction des apprenants à l'égard des produits d'apprentissage en ligne à rythme libre a augmenté au cours de la période de 3 ans de l'IOS. Le niveau de satisfaction à l'égard des autres modes d'apprentissage est demeuré stable.

Le tableau 5 montre la satisfaction générale, tirée du sondage auprès des apprenants immédiatement après leur formation, pour l'ensemble des activités qui ont eu lieu au cours d'une même année, pour les 3 principaux types de produits d'apprentissage, en comparant les niveaux antérieurs à l'IOS aux niveaux obtenus au cours de la dernière année de l'Initiative. Comme on peut le voir dans le tableau, les niveaux ont légèrement augmenté pour la formation et les événements en classe, et un peu plus substantiellement pour les produits d'apprentissage en ligne à rythme libre.

Bien que les changements entre l'année antérieure à l'IOS et la dernière année de l'IOS aient été positifs, il faut faire preuve de prudence dans notre interprétation, en particulier en ce qui concerne les gains relativement aux événements, car ils étaient trop timides. Par contre, les gains et les niveaux de satisfaction obtenus pour les cours en classe et, surtout, pour les formations en ligne à rythme libre, ont été notables et suggèrent que les changements et les améliorations apportés à la gamme de produits d'apprentissage en ligne semblent avoir contribué à l'augmentation du niveau de satisfaction des apprenants.

La plupart des personnes interrogées, tant à l'intérieur qu'à l'extérieur de l'École, estiment que la satisfaction des apprenants est un concept important à mesurer; la satisfaction indique au minimum que l'expérience des participants avec les produits de l'EFPC est bonne, ce qui porte à croire qu'ils auront envie de suivre d'autres formations à l'École. Certains répondants de l'extérieur et de l'École ont laissé entendre que le niveau élevé de satisfaction à l'égard des cours en ligne à rythme libre pourrait indiquer une évolution des préférences d'apprentissage (c'est-à-dire une préférence accrue pour les cours en ligne comme mode d'apprentissage « par défaut »). Certains répondants de l'extérieur ont indiqué que les niveaux de satisfaction élevés les aident à être plus confiants quand ils recommandent l'École à leurs employés.

4.7 Le degré de connaissances acquises par les apprenants augmente-t-il, et les apprenants appliquent ils ces connaissances dans leur travail (question 12)?

Une recherche ciblée effectuée par l'École a révélé des gains de connaissances des apprenants et des impacts positifs sur leur efficacité au travail à la suite de certaines activités d'apprentissage, mais ces observations ne peuvent être généralisées à tous les produits de l'École.

L'École utilise le modèle Kirkpatrick^Note25 pour décrire les évaluations de l'apprentissage : le niveau 1 a trait aux réactions de l'apprenant, y compris sa satisfaction, immédiatement après l'activité d'apprentissage; le niveau 2 concerne l'apprentissage ou l'acquisition de connaissances ou de compétences; le niveau 3 concerne les changements de comportement qui en résultent ou l'application en milieu de travail des connaissances ou des compétences nouvellement acquises; le niveau 4 a trait aux résultats, généralement sous la forme d'améliorations organisationnelles découlant la mise en application des connaissances ou des compétences.

Comme nous l'avons mentionné précédemment, l'École évalue régulièrement la satisfaction des apprenants et en fait rapport. Immédiatement après une activité d'apprentissage, les apprenants inscrits reçoivent automatiquement un questionnaire en ligne contenant des questions sur leur satisfaction (niveau 1). Le questionnaire comprend également des questions sur la perception de l'apprenant par rapport aux niveaux 2 et 3 : « Veuillez évaluer votre niveau de connaissances dans la matière avant et après l'activité d'apprentissage » (niveau 2); « Je suis motivé pour mettre en application les leçons tirées de cet apprentissage au travail » (niveau 2); « J'ai confiance en ma capacité d'appliquer cet apprentissage au travail »; « Mon milieu de travail me permettra de mettre en pratique ce que j'ai appris » (niveau 3). Toutefois, l'évaluation n'a mis au jour aucun élément probant indiquant que les données découlant des éléments de niveaux 2 et 3 sont analysées et communiquées systématiquement aux personnes intéressées à l'extérieur de l'École.

Les rapports sur les résultats des niveaux 2 et 3 se limitent à un petit nombre d'activités d'apprentissage chaque année et ne peuvent donc être généralisés à toute la gamme de produits d'apprentissage de l'École. Pour certains cours^Note26, plutôt que de se fier aux perceptions des apprenants, les « connaissances » sont déterminées par des tests de connaissances. Des tests identiques sont soumis aux apprenants avant et après l'activité d'apprentissage. Le gain de connaissances est indiqué par la différence en pourcentage entre les notes obtenues avant et après le cours. Le gain de connaissances a été mesuré pour 8 cours en 2013-2014^Note27 et pour 12 cours différents en 2015-2016^Note28. (Les données sur les gains de connaissances pour 2016-2017 n'ont pas été recueillies.) En 2013-2014, les gains de connaissances variaient de 12 à 78 %. En 2015-2016, les gains de connaissances variaient de 6 à 129 %. Il n'est pas possible d'établir une comparaison valable entre ces deux périodes parce que les produits d'apprentissage examinés étaient différents.

En ce qui concerne l'évaluation de niveau 3, l'utilisation au travail des compétences et connaissances nouvellement acquises (parfois appelée « transfert d'apprentissage ») est également mesurée par l'École pour certains cours et programmes chaque année^Note29. En 2013-2014, les participants de 6 activités d'apprentissage^Note30 ont reçu des sondages en ligne de niveau 3. De 2014-2015 à 2016-2017, les participants de 4^Note31, 20^Note32 et 7^Note33 activités d'apprentissage, respectivement, ont reçu des sondages en ligne de niveau 3. Des enquêtes en ligne ont été envoyées aux apprenants et, dans certains cas, aux superviseurs immédiats des apprenants, 3 à 6 mois après l'activité d'apprentissage. Dans l'enquête de 2013-2014, on a posé deux questions concernant (i) le changement de comportement après la participation à l'activité d'apprentissage et (ii) l'impact de l'activité d'apprentissage sur l'efficacité de l'apprenant au travail. À partir de l'enquête 2014-2015, différentes questions de niveau 3 ont été posées au sujet de « l'utilisation des nouvelles connaissances, compétences et attitudes acquises pendant le cours » et du soutien reçu en milieu de travail pour l'application des nouvelles connaissances. La question de 2013-2014 relative à l'efficacité a été retenue. On a utilisé les mêmes questions en 2015-2016 et 2016-2017. De plus, pour 1 activité d'apprentissage en 2015-2016^Note34 et pour 3 activités d'apprentissage en 2016-2017^Note35, les superviseurs des apprenants ont été interrogés et on leur a demandé d'évaluer leur degré d'accord ou de désaccord avec l'énoncé suivant : « Le programme a contribué à améliorer le rendement de mon employé ».

Le tableau 6 présente les paramètres d'application pour les 7 activités d'apprentissage examinées en 2016-2017. Comme on peut le constater, la majorité des répondants ont mis à profit les connaissances, les compétences ou les attitudes acquises au cours de l'activité d'apprentissage à laquelle ils ont participé. La plupart des répondants ont également reçu un soutien dans leur milieu de travail pour l'application des connaissances et ont indiqué que l'activité d'apprentissage avait eu un impact positif sur leur rendement au travail. La plupart des superviseurs qui ont fourni une rétroaction étaient d'accord ou tout à fait d'accord pour dire que le programme avait amélioré le rendement de leurs employés.

En raison des changements apportés aux questions de l'enquête, aux protocoles d'analyse et de rapport^Note37 d'une année à l'autre et du fait que les différentes activités d'apprentissage ont fait l'objet d'une évaluation de niveau 3 chaque année, il n'est pas possible de faire une comparaison valable entre le rendement antérieur à l'IOS et le rendement au cours de la dernière année de la période de 3 ans de l'Initiative. L'École a élaboré des rapports internes annuels pour faciliter la comparaison des paramètres d'application entre les activités d'apprentissage au cours d'une année donnée. Par exemple, en 2015-2016, la perception moyenne des apprenants à l'égard de l'impact de l'activité d'apprentissage sur leur efficacité variait d'un minimum de 20 % des répondants qui ont indiqué « de façon significative » ou « fortement » (cours I104) à un maximum de 82 % pour le Programme de perfectionnement des gestionnaires (PPG).

4.8 L'École peut-elle fournir des données sur les résultats de ses cours de formation (question 11)?

À la suite des activités menées dans le cadre de l'Initiative, l'École a investi dans un système de renseignements d'affaires amélioré qui, combiné aux pratiques existantes en matière de collecte de données, permet de fournir une vaste gamme de mesures des résultats.

Un aspect important de l'Initiative des orientations stratégiques consistait en une mise à niveau poussée des systèmes de renseignements d'affaires de l'École, que cette dernière continue d'améliorer. Le résultat jusqu'à maintenant est une plateforme intégrée capable de combiner, et de rendre compte de diverses façons, des données du système d'inscription aux activités d'apprentissage de l'École, de GCcampus, de l'évaluation des activités d'apprentissage et des « listes maîtresses » de la fonction publique fédérale contenant de l'information sur les ministères, les régions, les lieux et les priorités.

Les représentants de l'École s'entendent généralement sur la qualité et l'utilité des tableaux de bord et des rapports internes générés par la nouvelle plateforme. L'évaluation a permis d'examiner de nombreux exemples de rapports et tableaux de bord, notant la gamme disponible et la souplesse du système pour générer facilement des rapports supplémentaires contenant pratiquement n'importe quelle combinaison de mesures.

Le système est limité uniquement par les données auxquelles il a accès. Les lacunes notables à cet égard comprennent le genre de données rigoureuses sur l'évaluation des niveaux 2 et 3 mentionnées dans la section précédente^Note38, ainsi que les données sur l'achèvement des cours. Dans ce dernier cas, le système peut faire rapport sur les inscriptions, mais il ne peut pas toujours déterminer si un apprenant inscrit a terminé l'activité d'apprentissage. Particulièrement en ce qui concerne les produits d'apprentissage à rythme libre et d'autres produits d'apprentissage en ligne, l'information sur une inscription ne correspond pas à la confirmation que l'apprenant a entrepris et terminé l'apprentissage associé au produit^Note39.

Diverses versions de modèles de rapports externes n'ont pas encore répondu aux besoins des ministères et organismes clients.

Les personnes de l'extérieur interrogées à tous les niveaux ont souligné le manque d'information sur l'apprentissage et l'application des produits d'apprentissage de l'École, et les personnes-ressources de l'École ont reconnu cette lacune. Les représentants de l'École signalent que l'on a fait des progrès à cet égard et qu'à l'avenir, on procédera à des évaluations de niveaux 2 et 3, et on fera rapport plus souvent. Les représentants des ministères et organismes se réjouiraient apparemment d'une telle avancée, suggérant que les données des niveaux 2 et 3 devraient être recueillies essentiellement avec la même régularité et par les mêmes moyens que celles du processus actuel de niveau 1.

Selon les personnes interrogées de l'extérieur, un des premiers extrants prévus de l'Initiative et un des résultats très attendus par les ministères et organismes (comme il est indiqué dans l'évaluation formative) était la production de rapports réguliers sur les activités et leurs résultats. Dans le cadre de la transformation associée à l'Initiative, et compte tenu de la réaffectation des budgets des ministères et organismes à l'École, les représentants des ministères espéraient obtenir une rétroaction fréquente sur l'utilisation des ressources de l'École et la participation des employés aux activités de l'École, ainsi que sur les répercussions de cette utilisation et de cette participation sur le rendement des employés. Concrètement, les administrateurs généraux (qui sont responsables en dernier ressort de l'apprentissage des employés dans leur organisation) et les responsables de l'apprentissage voulaient obtenir des mises à jour régulières sur les activités et les produits d'apprentissage auxquels leurs employés ont recours; une indication de l'attribution des places de classe restantes pour l'année; et des mesures d'évaluation de l'apprentissage (particulièrement aux niveaux 2 et 3) pour leurs employés, par activité d'apprentissage.

Au début de la période de 3 ans visée par l'Initiative, l'École n'a pas été en mesure de répondre à la demande de rétroaction des ministères et organismes, en grande partie parce que la mise à niveau des systèmes de renseignements d'affaires de l'École n'était pas terminée. Les ministères et organismes ont reçu leurs premiers rapports en décembre 2015. Une deuxième série de rapports, maintenant appelée Rapport sur les indicateurs d'apprentissage, a été envoyée aux ministères et organismes en juin 2017^Note40. La dernière itération a porté sur 4 indicateurs de rendement (portée, expérience des apprenants, taux de répétition et couverture prioritaire^Note41) ainsi que sur les données opérationnelles (activités d'apprentissage principales, inscriptions, inscriptions uniques aux programmes de leadership et répartition régionale). L'information opérationnelle a été présentée pour chaque organisation en regard de l'ensemble de la fonction publique fédérale et à des organisations de taille semblable.

Les personnes interrogées représentant les ministères et organismes ont exprimé des commentaires favorables sur les efforts de l'École en matière de rapports, et se sont montrées positives à l'égard des éléments du rapport, comme les comparaisons avec des organisations de taille semblable et les tendances au fil du temps. Toutefois, de façon générale, les personnes interrogées dans les ministères et organismes ont exprimé leur déception à l'égard des rapports eux-mêmes. Elles ont fait remarquer qu'elles ne reçoivent pas dans ces rapports l'information qu'elles désirent; les fonctionnaires des ministères et organismes veulent obtenir des chiffres mensuels sur l'utilisation, y compris des renseignements sur les résultats d'apprentissage et les annulations, ainsi que des mesures des résultats d'apprentissage pour leurs employés, y compris des données statistiques comme les taux de réponse. Les représentants des ministères et organismes interrogés ont également critiqué les formats de rapport qu'ils trouvaient difficiles à assimiler et à utiliser. Pour leur part, les représentants de l'École soulignent que la diversité des modèles et des exigences en matière de rapports des ministères et organismes nuit à la production de rapports normalisés.

En même temps que l'École a produit des rapports normalisés, elle a également répondu aux demandes de rapports personnalisés des ministères et organismes^Note42. Par exemple, l'Agence du revenu du Canada (ARC) a demandé et reçu des données d'évaluation de niveau 1 et de niveau 3 pour ses employés qui ont participé au PPG en 2016-2017, comparativement aux participants au PPG de l'ensemble de la fonction publique fédérale. L'ARC est satisfaite des rapports qu'elle a reçus. D'autres ministères et organismes ont connu des expériences tout aussi positives en ce qui a trait aux demandes de rapports personnalisés, bien que d'autres ministères et organismes se disent insatisfaits des réponses de l'École à leurs demandes de rapports personnalisés. Les représentants des ministères et organismes ont également un accès direct et limité aux bases de données de l'École, dont ils peuvent extraire leurs propres données et rapports. Les personnes interrogées ayant utilisé les bases de données font part d'un succès et d'une satisfaction limités.

4.9 Comment l'École peut-elle mesurer les résultats de l'écosystème d'apprentissage, qui évolue constamment (question 13)?

Un système qui mesure les résultats de l'écosystème d'apprentissage en évolution de l'École de manière convenable et efficace devra dépasser les concepts classiques d'évaluation de l'apprentissage et les méthodes de collecte de données.

Le modèle Kirkpatrick s'applique de manière efficace à l'apprentissage et aux comportements découlant directement des activités d'apprentissage officielles^Note43. Selon les estimations les plus courantes, cet apprentissage représente environ 10 % de l'apprentissage global d'un employé, 20 % de l'apprentissage découlant de l'apprentissage non officiel et du mentorat, et 70 % découlant de l'expérience de travail. Le soutien offert par l'environnement de l'apprenant et la motivation de ce dernier peuvent avoir une incidence sur l'ensemble de l'apprentissage.

L'élargissement de la gamme de modes d'apprentissage, particulièrement en ce qui concerne l'accroissement de la contribution de modes d'apprentissage à rythme libre moins structurés, évalués en ligne et au moyen d'appareils mobiles, a également une incidence sur les possibilités et les exigences liées aux résultats éventuels du système de mesure. Les produits d'apprentissage n'exigeant aucune inscription ne sont pas adaptés aux méthodes de sondage qui exigent une adresse du courriel. Les apprenants qui apprennent sur de courtes périodes, de manière fragmentaire, ou par l'intermédiaire du « glanage » en ligne, ne sont pas susceptibles de répondre aux demandes officielles de rétroaction liée à ces épisodes. En réalité, les apprenants peuvent juger que ces activités ne constituent pas des activités d'apprentissage, même lorsqu'elles sont fournies par l'École ou qu'elles découlent d'activités de l'École.

L'École ne dispose d'aucun modèle stratégique exhaustif permettant d'adopter des méthodes harmonisées avec les besoins en matière d'évaluation établis en fonction des besoins prévus des décideurs.

Si l'écosystème de l'École continue d'intégrer un nombre croissant d'occasions d'apprentissage non officielles, tout en souhaitant favoriser de manière plus générale une culture d'apprentissage encourageant l'apprentissage, on devra élaborer un système exhaustif et détaillé de mesure et d'évaluation des résultats comprenant des paramètres dépassant la réaction, l'apprentissage, les comportements et les résultats standard liés à Kirkpatrick. L'éventail de méthodes devra être élargi pour comprendre des méthodes semblables aux méthodes suivantes :

• sondages automatisés^Note44 en ligne
• séances de rétroaction en direct, à la suite du cours, avec les apprenants
• éléments des activités d'apprentissage en classe ou en ligne, comme des tests, des démonstrations ou des observations, des jeux de rôles et l'enseignement par les pairs
• comparaisons du rendement avant et après l'événement
• entrevues avec l'apprenant
• études de cas visant l'apprenant
• analytique Web examinant les pages consultées, les paramètres de mobilisation, etc.
• sondages contextuels intégrés aux produits d'apprentissage mobiles
• suivi de l'activité sur les médias sociaux
• autres solutions reposant sur la technologie

Les concepteurs de programmes d'études ont besoin de données probantes de grande qualité liées aux besoins en matière d'apprentissage et aux préférences du public cible afin d'accroître de manière continuelle la pertinence des programmes d'études et de préciser les objectifs d'apprentissage. Les concepteurs ont besoin de données probantes liées aux caractéristiques des produits (ce qui fonctionne, ce qui ne fonctionne pas) afin d'améliorer les produits d'apprentissage. Les cadres de l'École et les dirigeants de la fonction publique fédérale ont besoin de données probantes liées à la valeur des activités d'apprentissage de l'École pour appuyer les décisions en matière de dépenses.

La gamme croissance de questions et de méthodes de mesure combinée à un large éventail de besoins divers en matière de données probantes exige, à l'avenir, une approche sélective et stratégique en ce qui concerne la mesure des résultats d'apprentissage liés à l'écosystème de l'École. Il n'est ni pratique ni nécessaire de mesurer tous les paramètres. Quoiqu'un nouveau produit d'apprentissage important comme le Programme de perfectionnement des gestionnaires exige une évaluation exhaustive, ce n'est peut-être pas le cas pour une seule activité d'une heure diffusée sur le Web sur un sujet d'intérêt actuel. Chaque tâche de mesure éventuelle devrait commencer par une évaluation des besoins des décideurs, suivie par l'établissement des données probantes pouvant répondre le mieux à ces besoins en fonction des ressources disponibles. Des solutions de mesure pratiques, puisées au sein d'une gamme complète d'options méthodologiques modernes, devraient suivre les décisions.

 5. Conclusions et recommandations

5.1 Le nouveau modèle de financement de l'EFPC a été adopté avec succès, et les autorisations de dépenser et les niveaux de référence prévus semblent appropriés.

Puisque les activités entreprises dans le cadre de l'IOS devront se stabiliser pendant encore au moins 2 ans et que les besoins futurs sont difficiles à prédire à ce stade précoce du cycle de vie du nouveau modèle, il est trop tôt pour évaluer avec certitude les besoins de l'École en matière de ressources. Cela dit, il semble que les niveaux de référence actuels pour 2017-2018 et ceux prévus pour les exercices subséquents soient suffisants à court terme, à condition que toute augmentation ultérieure des responsabilités de l'École soit assortie de fonds supplémentaires.

La capacité de percevoir des redevances et de reporter à l'exercice financier suivant les recettes provenant de ces redevances fournit à l'École une marge de manœuvre suffisante pour mettre en œuvre le nouveau de modèle opérationnel de façon efficace et efficiente.

Recommandation 1. À l'avenir, les coûts estimatifs associés à l'élaboration et à la prestation de l'apprentissage devraient devenir un élément distinct à prendre en considération dans les présentations au Conseil du Trésor et les demandes présentées au Cabinet.

5.2 L'École a établi un programme de cours commun de base pertinent, tel qu'il est défini par les cadres supérieurs.

L'École a réalisé des progrès considérables vers l'établissement d'un programme de cours commun de base pertinent. L'orientation de l'École s'est précisée aux yeux des intervenants, et les représentants des ministères et organismes font davantage confiance à l'École pour répondre aux besoins d'apprentissage fondamentaux, ce qui laisse aux organisations le soin d'offrir la formation propre à leur mandat.

Le programme de cours commun de base s'entend essentiellement des sujets et des priorités jugés pertinents au regard des responsabilités de rendement d'une masse critique de fonctionnaires à l'échelle pangouvernementale, ainsi que des priorités déterminées aux échelons supérieurs. Toutefois, la définition n'a pas été systématiquement validée par les employés de première ligne. En outre, la présomption voulant que les besoins d'apprentissage doivent être pangouvernementaux semble freiner la formation d'importantes sous-populations; des représentants de certains ministères et organismes estiment que les besoins de leurs employés échappent à la nouvelle définition de l'École et qu'ils doivent offrir eux-mêmes la formation dont ont besoin leurs employés.

Recommandation 2. L'École, en consultation avec les cadres supérieurs ainsi que les gestionnaires intermédiaires et le personnel de première ligne de toutes les régions, devrait continuer à clarifier, à valider et à préciser la définition de son programme de cours commun de base.

5.3 La gamme de produits d'apprentissage de l'École a fait l'objet d'une refonte complète qui a amélioré l'accessibilité et le choix parmi les modes d'apprentissage.

Dans le cadre de l'IOS, la gamme de produits d'apprentissage de l'EFPC a été fondamentalement modifiée. Le nombre de cours en classe est passé de 262 à 87 tandis que le nombre d'événements a quintuplé pour passer à 372. Le nombre de produits d'apprentissage en ligne à rythme libre est demeuré relativement stable (219 à la fin de 2016-2017), mais la plupart des produits sont dorénavant offerts en nouvelles versions. En outre, de nouveaux types de produits d'apprentissage sont désormais offerts.

De façon générale, les représentants des ministères et organismes accueillent favorablement la gamme renouvelée de produits d'apprentissage et notent des améliorations en ce qui concerne le choix des modes d'apprentissage et l'accessibilité aux possibilités d'apprentissage. L'École semble plus apte à s'adapter rapidement aux nouvelles priorités. Toutefois, certaines préoccupations demeurent, principalement en ce qui concerne le passage d'un modèle axé sur l'apprentissage en classe à un modèle reposant sur les activités d'apprentissage en ligne. La réduction du nombre d'options d'apprentissage en classe peut amener les utilisateurs à croire à une pénurie de places. En outre, une trop grande dépendance aux modes d'apprentissage en ligne peut nuire à la formation des employés qui n'ont pas facilement accès à Internet.

Recommandation 3. L'École devrait continuer à développer et à optimiser la gamme de modes d'apprentissage associés à son écosystème d'apprentissage.

5.4 L'École doit établir un cadre solide de mesure des résultats.

L'EFPC menait des évaluations de niveau 1 bien avant l'IOS. En comparant les données d'évaluation de niveau 1 avant et après la mise en œuvre de l'IOS, l'École a constaté que la satisfaction à l'égard des produits d'apprentissage en ligne au rythme de l'apprenant avait augmenté pendant la période visée par l'IOS. Toutefois, les observations issues des évaluations de niveau 1 n'intéressent à peu près pas les représentants des ministères et organismes, qui souhaitent plutôt connaître la mesure dans laquelle leurs employés acquièrent de nouvelles connaissances et compétences grâce à l'École et utilisent ces nouveaux éléments dans le cadre de leurs tâches.

L'École recueille des données fondamentales sur l'acquisition et la mise en application de connaissances pour la plupart des activités exigeant une inscription, ainsi que des données détaillées sur un petit échantillon d'activités d'apprentissage défini chaque année. Toutefois, elle n'a pas élaboré de protocole d'analyse permettant de satisfaire les organisations clientes. De plus, étant donné la façon dont évolue l'écosystème d'apprentissage de l'École, il faudra mettre en place un système qui permet de mesurer de manière convenable et efficace les résultats d'apprentissage et qui va au-delà des concepts d'évaluation classiques (le modèle Kirkpatrick) et des approches classiques de collecte de données d'évaluation. Les ministères et les organismes doivent participer à la collecte des données. En bref, il faudra adopter une approche plus exhaustive et plus stratégique pour répondre aux exigences des ministères et organismes ainsi qu'aux besoins de l'École, approche selon laquelle les méthodes sont instaurées en fonction des besoins en matière d'évaluation.

Recommandation 4. L'École devrait s'appuyer sur les pratiques d'évaluation de l'apprentissage existantes et investir de façon appropriée dans la création d'un régime d'évaluation complet permettant la collecte, l'analyse et la communication des données sur l'apprentissage, l'application des acquis et la satisfaction des apprenants et tous les autres concepts fondés sur les besoins des utilisateurs.

5.5 L'IOS a donné à l'École un système de renseignements d'affaires bonifié, capable de produire une vaste gamme de rapports; les rapports internes ont été bien accueillis; toutefois, les organisations clientes sont toujours insatisfaites.

À la suite des activités menées dans le cadre de l'Initiative, l'École a investi dans un système de renseignements d'affaires amélioré qui, jumelé aux pratiques existantes en matière de collecte de données, permet de fournir une vaste gamme de mesures des résultats. En général, les responsables de l'École sont satisfaits des rapports produits destinés à l'interne. Toutefois, les différentes versions des modèles de rapports externes ne répondent pas encore pleinement aux besoins des ministères et organismes clients. Les responsables des ministères et organismes souhaitent obtenir des chiffres sur l'utilisation mensuelle, des renseignements sur les cours terminés ou annulés et des mesures des résultats d'apprentissage, y compris des renseignements statistiques comme les taux de réponse.

Recommandation 5. L'École devrait améliorer ses rapports externes en établissant un système produisant des rapports qui répondent aux exigences des clients sur le plan de la fréquence, du contenu et du format.

 6. Réponse et plan d'action de la direction

 Annexe A : Recommandations et plans d'action liés à l'évaluation de mi-parcours

 Annexe B : Répondants (évaluations formative et sommative)

 Annexe C : Liste des sujets liés aux produits d'apprentissage de l'EFPC

Sujets actuels liés aux produits d'apprentissage de l'EFPC (en date de septembre 2017, le nombre de produits liés à chaque sujet figure entre parenthèses) :

• Communications (35)
• Finances (20)
• Priorités du gouvernement (64)
  • Lieux de travail sains et respectueux (28)
  • languages officielles (16)
  • Excellence du service (11)
  • Valeurs et éthique (3)
• Rouages du gouvernement (14)
• Ressources humaines (81)
  • Bâtir l'effectif (14)
  • Efficacité opérationnelle (16)
  • Gestion des talents (12)
  • Gestion du milieu de travail (17)
• Gestion de l'information (17)
• Technologie de l'information (6)
• Leadership (24)
• Développement personnel (114)
  • Perfectionnement professionnel (36)
  • Aptitudes pour la communication (31)
  • Perfectionnement professionnel et d'équipe (57)
• Politiques et règlements (13)
• Approvisionnement (21)
• Sécurité (9)

Contactez-nous Abonnez-vous au bulletin GCApprentissage

---

En vedette

Événement : Saluer la résilience des femmes autochtones et des personnes 2ELGBTQIA+

(3 mai 2024)

Événement : L'ACS Plus à l'œuvre : Respect, relations et leadership intersectionnel à Gwaii Haanas

(6 mai 2024)

Événement : Tirer profit des preuves scientifiques pour élaborer des politiques de manière efficace

(7 mai 2024)

Suivez :

• Twitter
• YouTube
• LinkedIn
• Bulletin GCApprentissage
• RSS