Rapport de synthèse sur l’extension de l’évaluation prospective de pays

Author:

Aidspan

Article Type:

Article Number: 2

Le groupe technique de référence en évaluation rend compte des conclusions de l'extension

RÉSUMÉ Le Groupe technique de référence en évaluation a mené des évaluations prospectives dans huit pays durant la période d'allocation 2017-2019. Ces évaluations se sont poursuivies durant une année supplémentaire et ont bénéficié d’une phase d’extension de trois mois. En octobre, un document de position a été présenté au Comité de la stratégie pour l’informer des résultats issus de la phase d’extension de trois mois et des recommandations du TERG, et pour demander la soumission du document au Conseil d’administration à titre informatif.

Le Conseil d’administration a approuvé le fait que le Groupe technique de référence en évaluation (GTRE ou TERG selon son acronyme en anglais) commandite des évaluations prospectives de pays (PCE selon l’acronyme en anglais) dans huit pays durant la période d’allocation 2017-2019. Ces évaluations se sont poursuivies durant une année supplémentaire et ont bénéficié d’une phase d’extension de trois mois. En octobre, un document de position a été présenté au Comité de la stratégie pour l’informer des résultats issus du Rapport de Synthèse des PCE pour la phase d’extension de trois mois et des recommandations du TERG, et pour demander la soumission du document au Conseil d’administration à titre informatif.

Les PCE sont des évaluations prospectives approfondies menées dans les pays, qui utilisent diverses méthodes pour fournir un aperçu détaillé de la mise en œuvre, de l’efficacité et de l’impact des subventions du Fonds mondial dans les pays sélectionnés. L’objectif des PCE est d’évaluer de manière indépendante la mise en œuvre et l’impact du programme en cours au niveau des pays afin de générer des données probantes et d’informer les parties prenantes aux niveaux mondial, régional et national dans le but d’accélérer les progrès vers la réalisation des objectifs stratégiques (OS) du Fonds mondial.

D’avril à juin 2021, les évaluateurs ont réalisé une dernière analyse concernant les révisions des subventions, les investissements dédiés aux systèmes résilients et pérennes pour la santé (SRPS) et l’établissement des subventions. Les principaux domaines explorés au cours de cette phase d’extension sont les suivants :

1. Les problèmes rencontrés lors de la révision des subventions du nouveau modèle de financement 2 (NFM2, période d’allocation 2017-2019) et tout enseignement pertinent tiré de la riposte du Fonds mondial à la COVID-19 et en particulier des mesures de flexibilité opérationnelle introduites en 2020 ;
2. La façon dont les instances de coordination nationale (ICN), les gouvernements et les autres parties prenantes du pays comprennent et utilisent la terminologie relative aux systèmes de santé et au renforcement des systèmes de santé ;
3. Les raisons qui sous-tendent la faible utilisation des indicateurs de couverture SRPS dans les cadres de performance des subventions NFM3 (période d’allocation 2020-2022) ; et
4. L’établissement des subventions dans le cadre du NFM3, y compris les facteurs qui ont motivé les modifications budgétaires relatives à la composante SRPS, et les investissements liés à l’équité ainsi que la transparence, l’appropriation par les pays et l’inclusion.

Cet article décrit les conclusions et les recommandations issues de la phase d’extension de trois mois des PCE, ainsi que le positionnement du TERG quant à ces conclusions dans un rapport présenté à titre informatif lors de la 17^ème réunion du Comité de la stratégie en octobre 2021. L’article est basé sur l’annexe de l’évaluation prospective de pays du Fonds mondial à la Synthèse des conclusions de 2021 et des recommandations issues de la phase d’extension en date du 30 juin 2021 et le document du Comité de la stratégie GF/SC17/04A, Groupe technique de référence en évaluation : Rapport de synthèse de l’extension de l’évaluation prospective de pays.

Principales conclusions

Onze conclusions clés mentionnées dans le rapport de synthèse de l’extension de l’évaluation prospective de pays ont été présentées. Ces conclusions concernent le processus de révision des subventions, les investissements dédiés aux SRPS, les indicateurs de couverture SRPS et l’établissement des subventions :

Problèmes lors de la révision des subventions du NFM2 et enseignements tirés de la riposte à la COVID-19 :

1. Le processus de révision du cycle de subvention NFM2 était d’une lourdeur importante, et cela en raison des délais de prise de décisions et des nombreuses parties prenantes ou des différents niveaux de décisionnaires.
2. La mise à jour des cadres de performance n’a pas été évoquée comme étant un facteur qui a contribué à la lourdeur de la révision des subventions.
3. Les mesures de flexibilité introduites en réponse à la COVID-19 ont augmenté la rapidité et l’efficacité des processus de révision des subventions au cours de la dernière année des subventions NFM2.

Les investissements dédiés aux SRPS (ou comment les parties prenantes des pays comprennent et utilisent l’appui aux systèmes de santé et au renforcement des systèmes de santé (RSS)) :

4. Pour les investissements dans les SRPS, un ensemble de modèles économiques et de facteurs contextuels ont expliqué les raisons qui expliquent la prédominance, dans les subventions finales, de l’appui budgétaire aux systèmes de santé plutôt que du renforcement des investissements, notamment :

• Le cycle de subvention de trois ans ;
• Le manque d’indications dans les lettres d’allocation à propos du montant à investir dans la composante SRPS et les types d’investissements à prioriser pour renforcer le système de santé ;
• Le manque de planification relative à la composante SRPS au moment de la conception de la subvention ;
• Les contraintes globales du système de santé en matière de ressources, qui conduisent les parties prenantes à utiliser les financement SRPS pour combler les lacunes ; et
• Le manque de participation des personnes expertes en matière de systèmes de santé dans la conception des demandes de financement, y compris les expert·e·s issu·e·s d’autres bailleurs ou d’autres partenaires engagés dans ce domaine.

5. Le degré d’alignement des investissements des subventions dédiées aux SRPS sur les objectifs du système de santé national était variable, ainsi que leur harmonisation avec les investissements d’autres partenaires externes. Il semble que peu d’analyses du contexte et/ou des lacunes aient été réalisées pour orienter où et comment concentrer les investissements du Fonds mondial en plus des efforts déjà réalisés par les pays et par les autres bailleurs de financement. Il existe néanmoins des exemples où les investissements ont eu une valeur ajoutée par rapport aux investissements existants.

Les raisons de l’utilisation limitée des indicateurs de couverture SRPS dans le cadre du NFM3 :

6. La plupart des subventions qui comprenaient des modules SRPS comportaient relativement peu d’indicateurs SRPS dans les cadres de performance. Plusieurs modèles économiques et divers facteurs contextuels ont influencé cela, notamment le fait que :

• Les indicateurs de performance SRPS ne sont pas obligatoires ;
• La possibilité d’être tenus responsables de la mauvaise performance relative aux indicateurs SRPS a provoqué de l’inquiétude ;
• Les données pour évaluer la performance ne sont pas aisément disponibles et/ou sont coûteuses à collecter ; et
• Les indicateurs de performance SRPS sont mal alignés sur les domaines d’investissement.

L’établissement des subventions du NFM3, y compris les facteurs qui ont motivé les modifications budgétaires des investissements dédiés aux SRPS et ceux liés à l’équité :

7. Dans cinq pays, l’enveloppe dédiée à la composante SRPS dans les subventions a augmenté pendant la période d’établissement des subventions ; dans deux pays, elle a diminué.
8. Sachant que la ventilation du budget par population clé (un nouvel onglet dans les budgets détaillés) n’a pas été systématiquement réalisée, il n’a pas été possible d’évaluer les modifications apportées en matière de droits humains, de genre et d’équité lors de l’établissement des subventions.
9. Les raisons qui expliquent les modifications apportées aux budgets sont les suivantes : un reclassement ou des changements en matière d’approche budgétaire ; des changements de modalité de mise en œuvre ; des recommandations issues du Comité d’examen technique (CET ou TRP selon son acronyme en anglais) ; et des préoccupations concernant la réalisation des objectifs de performance des subventions (concernant le taux d’absorption).
10. Dans l’ensemble, les pays ont indiqué que l’appropriation nationale était plus importante lors de l’établissement des subventions du NFM3, par rapport au NFM2, bien que cela concerne davantage les acteurs gouvernementaux que les acteurs de la société civile.
11. En dépit d’une plus grande appropriation par les pays, les processus de budgétisation finale des subventions sont restés opaques dans la plupart des pays et les décisions financières finales ont souvent été prises indépendamment des discussions techniques. Les récipiendaires principaux (RP) n’ont pas toujours communiqué de façon officielle les modifications budgétaires apportées aux partenaires de mise en œuvre.

Les recommandations du rapport et le positionnement du TERG

Le TERG a approuvé ces onze conclusions clés et, sur la base de celles-ci, les nouvelles recommandations du rapport sont les suivantes :

Recommandation 1 (revue pour intégrer les conclusions de la phase d’extension de 2021) : afin de réduire les écarts entre les orientations politiques et la conception des subventions, améliorer la communication sur la manière d’investir de façon plus stratégique dans la composante SRPS, y compris le renforcement du système communautaire (RSC).

• Dans sa prochaine stratégie, le Fonds mondial devrait clarifier si l’objectif principal des investissements dédiés aux SRPS est intrinsèquement lié à la gestion des trois épidémies, ou si son objectif est plus largement de contribuer au renforcement des systèmes de santé.
• Dans le cadre de la stratégie actuelle et à mesure que le Fonds mondial évolue, le Secrétariat devrait améliorer la cohérence de sa communication sur la nature de ces objectifs et sur la manière d’investir de façon plus stratégique (et moins pour combler les lacunes) dans les SRPS.
• Continuer l’intégration de la feuille de route SRPS et s’appuyer sur les notes d’orientation actuelles en travaillant avec chacun des pays pour clarifier quels sont les domaines prioritaires spécifiques de la composante SRPS du Fonds mondial et à quoi ressemblerait le renforcement du système de santé (RSS) par opposition à un appui budgétaire pour le système de santé. Cela devrait inclure la garantie que les activités de la subvention ont un objectif spécifique à court et à long terme, des structures qui se les approprient et qui doivent rendre des comptes, et avec des indicateurs et des objectifs dans les cadres de performance qui concernent à la fois la mise en œuvre et les résultats intermédiaires ainsi que les résultats à plus long terme qui peuvent s’étendre sur plusieurs cycles de subvention.
• Afin de faciliter l’alignement des investissements dédiés aux SRPS du Fonds mondial sur les stratégies nationales de santé, garantir une appropriation adéquate des dirigeant·e·s et des personnes ayant une expertise en matière de planification du système de santé, et leur implication dans les processus d’élaboration des plans stratégiques nationaux et des demandes de financement, et dans le suivi de la mise en œuvre.
• Afin de faciliter la coordination et l’harmonisation avec d’autres partenaires : (a) travailler avec les partenaires techniques pour s’assurer que les outils/processus convenus pour l’analyse du contexte de la composante SRPS (par exemple, l’analyse des lacunes) sont en place ; et (b) aider les pays à mettre en œuvre ces outils pour permettre de hiérarchiser les investissements en fonction des priorités nationales de santé et des autres investissements des partenaires.

 

Recommandation 2 : Afin d’améliorer la contribution des subventions à l’équité et à l’OS3, promouvoir de façon explicite les investissements sous forme de subventions dans ces domaines, notamment en mesurant de façon plus directe les facteurs d’inégalité et les résultats des investissements relatifs aux droits humains et à l’égalité de genre.

• Investir davantage dans les données et l’utilisation des données, y compris les enquêtes sur les populations clés et vulnérables ainsi que d’autres sources de données qui mettent en lumière les différences socio-économiques, sexospécifiques, géographiques et ethniques en matière de charge de morbidité et d’accès aux services auxquelles les subventions contribuent à répondre.
• Veiller à ce que les cadres de performance intègrent les données existantes sur les droits humains et l’engagement politique ainsi que la charge de morbidité et l’accès aux services au sein des différents groupes de population et à ce qu’ils les utilisent efficacement pour suivre la contribution des subventions en matière d’’impact pour l’OS3 et l’OS1.
• Tout en reconnaissant le succès des initiatives stratégiques et/ou des fonds de contrepartie pour inciter les investissements sous forme de subventions pour la réduction des obstacles à l’accès aux services liés à l’équité, aux droits humains et au genre, donner la priorité à l’intensification de ces investissements dans l’ensemble du portefeuille et les encourager par le biais d’opérations standards de gestion des subventions. Cela devrait inclure des efforts explicites pour améliorer la mise en œuvre des subventions et, si nécessaire, des révisions en temps opportun pour maximiser la contribution des subventions à la réduction des obstacles à l’accès aux soins et de l’impact des maladies.

Recommandation 3 (sur la base des données probantes recueillies au cours de la phase d’extension de 2021) : Veiller à ce que la phase d’établissement des subventions soit aussi transparente et inclusive que le processus de demande de financement, dans les processus de conception des subventions à l’avenir, et que des efforts accrus soient déployés pour maximiser l’appropriation par les pays des allocations finales des subventions, notamment grâce à la participation d’un groupe élargi de parties prenantes.

• Approche inclusive et participative :
  • Clarifier le processus final de budgétisation des subventions auprès de toutes les parties prenantes, notamment en donnant des indications sur les personnes qui devraient être impliquées, ce que l’on attend d’elles et quelles formations pourraient améliorer leur participation si nécessaire.
  • Dans la mesure du possible, sélectionner les sous-récipiendaires (SR) plus tôt dans le processus pour faciliter leur participation.

• Transparence et appropriation par le pays :
  • Améliorer la transparence en documentant de façon systématique et en partageant avec les parties prenantes les modifications budgétaires importantes apportées lors de la conception et de la mise en œuvre des subventions, y compris la justification et les conséquences techniques de ces modifications budgétaires.
  • Renforcer l’appropriation locale en allant au-delà du gouvernement/du ministère de la Santé et en menant davantage de consultations avec les SR/organisations de la société civile (OSC) dont les activités sont modifiées à la suite de modifications budgétaires dans les subventions.

Recommandation 4 (qui inclut les informations supplémentaires sur les enseignements tirés de l’application des mesures de flexibilité opérationnelle liées à la COVID-19 pendant la phase d’extension de 2021) : Gagner en flexibilité et en réactivité dans la mise en œuvre en simplifiant le processus de révision des subventions pour encourager les récipiendaires à y avoir recours tout au long du cycle de subvention.

• Envisager des mesures de flexibilité et une rationalisation du processus de révision du programme pour encourager/récompenser l’introduction plus précoce de programmes innovants qui maximisent l’impact et repoussent les transferts budgétaires non stratégiques à plus tard dans le cycle de subvention de trois ans.
• Introduire des mesures de flexibilité dans les dispositions contractuelles et les cadres de performance des RP et des SR qui peuvent être utilisées pour effectuer des modifications à mi-parcours si nécessaire.
• Dans le cadre de l’examen de révision des subventions prévu par le Secrétariat (mi-2021), examiner la façon dont les pays pourraient renforcer les décisions de révision fondées sur les données (en évitant ainsi de se baser de façon disproportionnée sur les données financières pour éclairer les décisions relatives aux modifications), conformément à la mise en place d’un processus rationalisé et plus flexible pour les révisions de programme.
• En s’appuyant sur les enseignements tirés des mesures de flexibilité opérationnelle exceptionnelles liées à la COVID-19, mises en place pour minimiser l’impact de la pandémie de COVID-19 sur les programmes soutenus par le Fonds mondial et sur les opérations du Secrétariat, adapter le processus actuel d’examen périodique du budget de manière à ce que des ajustements en matière de portée/d’échelle puissent être inclus (comme lors d’une révision de programme) mais avec des délais de réponse/d’exécution rapides et un processus de révision rationalisé pour réduire la charge de travail imposée aux parties prenantes, par exemple en :
  • Clarifiant ce qui constitue une révision de la portée/de l’échelle et assouplir l’exigence d’implication du TRP pour les modifications mineures ;
  • Réduisant la quantité d’information requise de la part des RP, et du Secrétariat éventuellement, par le biais des formulaires de demande de révision des subventions et d’un processus élargi ;
  • Maintenant des processus d’approbation des RP et des CCM plus souples et/ou électroniques et en reconsidérant le nombre d’entités différentes requises pour approuver/approuver les révisions proposées.

Recommandation 5 (revue pour intégrer les conclusions de la phase d’extension de 2021) : Améliorer le suivi de la performance des subventions pour éclairer les décisions de mise en œuvre.

• Instaurer des processus d’examen de routine des subventions au niveau du pays, en y intégrant une démarche d’amélioration de la qualité, en mettant l’accent sur les données de performance des subventions et en s’appuyant sur les données probantes et les données émergentes pour mieux éclairer les révisions qui maximisent l’impact.
• Mettre en œuvre les réformes proposées du système de notation des subventions pour refléter à la fois la performance de la subvention et la contribution des subventions à la performance du programme national. En outre, cela devrait s’appuyer sur des contributions qualitatives, notamment l’expertise de l’ICN, de l’agent local du Fonds mondial, de l’équipe pays et du Secrétariat au sens large.
• En s’appuyant sur le système revu de notation des subventions, développer un ensemble d’options pour illustrer la façon dont le Fonds mondial pourrait répondre aux bonnes et aux mauvaises performances, et mettre en place un cadre pour décider quand et comment introduire ces mesures dans des contextes et circonstances différents.
• En ce qui concerne la composante SRPS en particulier :
  • Renforcer l’utilisation des indicateurs SRPS revus pour remédier à la mise en œuvre tardive et à une potentielle dépriorisation tout au long de la mise en œuvre de la subvention.
  • Appuyer les parties prenantes du pays pour s’assurer que des indicateurs adéquats sont inclus dans le cadre de performance pour suivre les investissements dédiés aux SRPS et les progrès en matière de renforcement des systèmes de santé, au moins pour les investissements SRPS les plus importants dans le portefeuille.
  • Veiller à ce que les indicateurs viennent contribuer aux efforts nationaux pour suivre les progrès en matière de SRPS et qu’ils soutiennent les efforts du Fonds mondial pour mesurer les résultats de la composante SRPS. Le cas échéant, les indicateurs devraient s’harmoniser avec d’autres cadres de S&E à l’échelle mondiale pour le RSS, les soins de santé primaires et la préparation aux pandémies.
  • Veiller à ce que les incitations à la performance instaurées par le modèle économique ne découragent pas l’investissement dans le renforcement des systèmes de santé. Les actions à mettre en place pourraient éventuellement inclure les actions suivantes :
    • Fixer des objectifs ou des cibles de subvention qui s’étalent sur plusieurs cycles de subvention successifs, avec éventuellement des objectifs intermédiaires pour chaque cycle de subvention (cela devrait être éclairé par une stratégie d’investissement dans les SRPS à plus long terme).
    •  Mesurer les progrès réalisés dans la mise en œuvre de la composante SRPS et directement liés aux actions de relations publiques, en veillant à ce que les autres parties prenantes engagées, y compris les ministères de la Santé et des Finances, soient reconnues comme étant responsables des progrès réalisés dans la mise en œuvre des activités dont elles ont la responsabilité.
    • Autoriser une utilisation plus souple des financements de la subvention et/ou faire des concessions sur les rapports d’absorption, de sorte qu’un faible taux d’absorption pour la composante SRPS ne soit pas nécessairement équivalent à une mauvaise performance de la part du RP.

Conclusion

Le TERG a en grande partie approuvé les recommandations revues, qui sont ajustées sur la base des conclusions tirées de la phase d’extension.

Prochaines étapes

Le Comité de la stratégie et le Secrétariat ont été invités à examiner les conclusions et recommandations ci-dessus pour apporter des améliorations au modèle du Fonds mondial et pour apporter des clarifications dans le cadre de la prochaine stratégie. Des détails supplémentaires sont disponibles dans le rapport de synthèse de l’extension PCE.

Le Comité de la stratégie a également été sollicité pour examiner le rôle essentiel que jouent les évaluations nationales pour générer des données probantes et pour informer les parties prenantes aux niveaux mondial, régional et national afin d’accélérer les progrès pour atteindre les OS de la stratégie actuelle du Fonds mondial, et de ses stratégies à venir. Le TERG et le Secrétariat du Fonds mondial ont publié le rapport sur la phase d’extension en annexe au rapport de synthèse PCE 2021, ainsi qu’un document de position du TERG et la réponse apportée par la Direction du Secrétariat.