MESURER LA PERFORMANCE DE LA NOUVELLE STRATÉGIE DU FONDS MONDIAL
Author:
Aidspan
Article Type:Article Number: 4
Le cadre de S&E et d'ICP et le projet de manuel d'ICP en discussion.
RÉSUMÉ Les membres du Conseil d'administration du Fonds mondial se sont retrouvés pour leur retraite d'une journée le 8 juillet et ont, entre autres, discuté d'un projet de cadre de suivi-évaluation de haut niveau, ainsi que des indicateurs clés de performance (ICP), pour la stratégie 2023-2028 "Combattre les pandémies et bâtir un monde plus sain et plus équitable".
Au cours de la retraite d’une journée du Conseil d’administration le 8 juillet, les membres ont examiné un document issu de la réunion du Comité stratégique (CS) qui s’est tenue la veille. Le projet de document est le cadre de suivi-évaluation (S&E) de haut niveau, comportant des indicateurs clés de performance (ICP), pour la stratégie 2023-2028 “Combattre les pandémies et bâtir un monde plus sain et plus équitable”.
Contexte
Le Fonds mondial souhaite mettre en place un cadre de suivi-évaluation exhaustif afin de fournir un apercu exact et en temps opportun de la performance du Fonds mondial dans le cadre de la mise en œuvre de la nouvelle stratégie. Il souhaite le faire dans l’esprit d’un “environnement hautement contributif permettant une gestion responsable des performances aussi bien du Partenariat que du Secrétariat “.
Les revues des précédents cadres d’indicateurs clés de performance du Fonds mondial ont systématiquement mis en évidence les défis liés à la complexité de la mesure du partenariat et de la performance du Fonds mondial sur des sujets différents, mais interconnectés, par le biais des mesures quantitatives existantes. Le Secrétariat a essayé de relever ces défis en élaborant le nouveau cadre de S&E et les ICP qui y sont intégrés.
Le nouveau cadre de S&E
Le cadre de S&E est constitué de cinq composantes:
- Des ICP dans les domaines clés où des indicateurs de performance fiables sont disponibles.
- Un calendrier d’évaluation qui permet d’analyser les étapes cycliques du modèle opérationnel et les domaines de la stratégie qui sont difficiles à mesurer.
- La mise en œuvre de la subvention et le suivi des performances.
- Des informations de gestion liées à l’efficience et à l’efficacité des processus opérationnels.
- D’autres rapports du Secrétariat et des partenaires qui fournissent une assurance supplémentaire sur le fonctionnement du Fonds mondial et sur l’orientation générale du partenariat mondial.
Ces composantes fournissent des informations du plus haut niveau permettant de suivre les progrès et d’assurer la supervision et l’orientation stratégique des organes de gouvernance du Fonds mondial. Des consultations antérieures avaient eu lieu sur les processus de mesure. Sur la base de ces discussions, le Secrétariat a élaboré une liste des ICP proposés, accompagnée de thèmes d’évaluation préliminaires qui viendront compléter les ICP (en reconnaissant que d’autres consultations concernant l’évaluation ainsi qu’un calendrier d’évaluation sont nécessaires dans le cadre de la nouvelle fonction d’évaluation).
Les détails spécifiques sur tous les ICP sont fournis dans le projet de manuel des ICP.
Discussions du Conseil d’administration
Le CA a examiné la manière dont les leçons tirées des précédents cadres d’ICP ont été exploitées dans l’élaboration du cadre de S&E. Les membres ont cherché à connaître ce que le cadre de S&E a pris en compte et quelles informations ont été mises à la disposition du CA. Ils ont également mené des discussions sur les ICP spécifiques proposés dans le cadre des consultations sur les méthodes de mesure et sur les questions à soumettre aux comités à des fins d’orientation. Enfin, ils ont voulu savoir quelles propositions initiales pour le calendrier d’évaluation pluriannuel seraient retenues dans le cadre de la nouvelle fonction d’évaluation et quels progrès ont été réalisés dans la transition vers la nouvelle fonction.
Le Secrétariat a sollicité les contributions du CA sur les points suivants: (i) une directive générale en vue d’affiner le cadre de suivi-évaluation ; (ii) le niveau de satisfaction des membres du CA en ce qui concerne les ICP proposés, ainsi que de la “direction stratégique” (vraisemblablement, l’orientation que le Secrétariat souhaitait que le CA approuve) par rapport à certains ICP; et (iii) d’autres commentaires à prendre en compte lors de l’élaboration de la première version du calendrier d’évaluation pluriannuel.
Les défis aussi bien historiques qu’actuels de la mesure des performances sur des sujets divers et souvent difficiles à mesurer dans un environnement hautement contributif ont inspiré l’approche adoptée pour l’élaboration du cadre de S&E, comme le montre la figure ci-dessous.
Figure 1. Défis liés à la mesure traités dans le nouveau cadre de S&E
Commentaires des parties prenantes
Les participants ont accueilli favorablement le nouveau Panel d’évaluation indépendant (PEI) et attendent avec impatience l’arrivée du Responsable en chef de l’évaluation et de l’apprentissage. Son leadership, son indépendance et des ressources et un soutien adéquats seront essentiels pour garantir la pleine exploitation du cadre de S&E afin d’améliorer l’apprentissage, la responsabilité et l’assurance programmatique auprès du CA.
Les intervenants ont apprécié les efforts considérables qui ont été déployés pour améliorer continuellement la capacité du Fonds mondial à assurer le suivi des performances et des résultats. Ils ont noté en particulier le travail considérable entrepris pour intégrer les ICP dans un cadre de S&E plus large et plus cohérent, mieux intégré dans le travail général du Secrétariat et priorisant la prise de décision fondée sur des preuves. Ils ont particulièrement apprécié le lien plus étroit entre les indicateurs de performance des subventions et les indicateurs au niveau des partenariats, ainsi que la réflexion amorcée sur la manière dont l’évaluation ou d’autres analyses qualitatives peuvent compléter les mesures quantitatives. En ce qui concerne les domaines importants à mesurer pour lesquels un ICP n’est pas adapté, il sera nécessaire de comprendre dans quelle mesure ils sont couverts par d’autres sections du cadre de S&E et complètent les ICP.
De manière générale, les participants ont déclaré que le cadre était solide et couvrait la plupart des domaines stratégiques importants. En particulier, ils ont estimé que les efforts visant à créer de nouvelles séries d’ICP pour l’engagement communautaire, la préparation et la riposte aux pandémies et les systèmes intégrés et centrés sur les personnes sont très prometteurs. Ils ont notamment salué l’introduction d’un marqueur relatif au genre dans l’ensemble du cadre.
De nombreux points concernant la réorientation des mesures d’incitation à la performance et des rapports concernant les résultats/l’impact des programmes soulignent l’importance du nouveau cadre de S&E, ainsi que des ICP. Au fur et à mesure de la progression des travaux sur ces outils, le Secrétariat doit expliquer clairement comment il utilisera le cadre de S&E pour fournir au Conseil d’administration une image plus précise de ce qui fonctionne (ou pas), en se basant sur les leçons tirées des différentes sources de preuves, de la nature des informations (qualitatives et quantitatives) et des niveaux de responsabilité (par exemple, comment les indicateurs de la subvention sont formulés en ICP), et pour déclencher des réponses en temps utile.
De nombreux participants ont demandé que la théorie du changement mentionnée dans les documents soit partagée plus explicitement avec le CS et le conseil d’administration, puis utilisée pour renseigner le calendrier d’évaluation afin de combler les lacunes en matière de connaissances et faciliter la compréhension nécessaire pour la réalisation des objectifs.
La distinction entre les indicateurs au niveau du partenariat et les indicateurs de performance des subventions, ainsi que le renforcement des indicateurs des systèmes de santé résilients et pérennes (SSRP), ont été jugés positifs. Toutefois, si les parties prenantes se réjouissent de voir davantage d’indicateurs sur le renforcement des systèmes de santé et sur les obstacles liés à l’équité/au genre/aux droits humains, ceux-ci restent relativement peu nombreux par rapport aux indicateurs liés aux maladies, notamment au plus bas niveau du “conifère de contrôle” Elles ont déclaré qu’il existe encore des possibilités d’harmoniser les indicateurs avec ceux d’autres organismes mondiaux de financement de la santé.
Un aspect qui, selon les participants, fait défaut est la mesure du partenariat/de la collaboration avec d’autres partenaires et en particulier avec les signataires du Plan d’action global de l’Objectif de développement durable (ODD) 3. Ce point ne figure ni parmi les indicateurs clés de performance ni dans le calendrier d’évaluation pluriannuel. Les parties prenantes attendent du Secrétariat qu’il propose des mesures concrètes visant à évaluer les progrès réalisés au niveau de ce catalyseur stratégique essentiel (par exemple, l’alignement des stratégies avec d’autres acteurs, la collaboration dans le cadre du plan d’action global pour la réalisation de l’objectif de développement durable 3 et les activités conjointes).
Le Cadre fait mention de la “performance des partenaires par rapport à celle des subventions”. Si la performance des partenaires inclut tous les pays bénéficiaires d’une subvention du Fonds mondial, sans tenir compte si la subvention couvre ou non les domaines correspondant aux ICP des partenaires, quel est le lien avec le suivi de la performance du Fonds mondial? L’ICP est un agrégat, donc moins utile pour faire un rapport sur la performance. Les participants ont souhaité connaître la définition de “performance des partenaires”.
En ce qui concerne l’intégration du SSRP et les indicateurs de la qualité, certaines divergences sont apparues. Par exemple, certaines parties prenantes ont fortement recommandé au Fonds de repenser à la relance de l’évaluation des établissements de santé, en affirmant qu’il sera probablement très difficile de collecter des données sur la base des indicateurs proposés ou de déterminer l’échantillonnage, et que la qualité des données pourrait être inutilisable. Ils se sont interrogés sur les implications financières du financement de l’évaluation des établissements de santé par le Fonds mondial et sur les risques de produire de données qui ne seront pas utiles.
Certains, tout en soutenant en principe l’enquête sur le SSRP dans les établissements de santé et en réitérant l’importance de mesurer les progrès réalisés dans le cadre de cette priorité clé, ont rappelé la nécessité de limiter au maximum les coûts et la charge de travail liée à la production de rapports, et ont souhaité avoir l’avis des responsables de mise en œuvre sur cette proposition. En revanche, d’autres se sont montrés très favorables à l’affectation de ressources supplémentaires, si nécessaire, pour permettre la réalisation d’enquêtes et d’études visant à assurer le suivi des établissements de santé et à évaluer l’impact du Fonds mondial sur les systèmes de santé.
Des questions ont été formulées au sujet du dénominateur des personnes sous traitement antirétroviral (TARV) qui ne tient pas compte de l’accès aux tests de charge virale (CV). Si 30 à 40 % de la population sous traitement ne subissent pas de test de charge virale au cours d’une année, les taux de suppression seront artificiellement bas. L’utilisation du nombre de tests de charge virale effectués au cours d’une période spécifique comme dénominateur et de la suppression de la charge virale (SCV) comme numérateur permet d’obtenir une représentation plus exacte de la SCV chez les personnes ayant accès aux tests. Pour ceux qui n’ont pas accès aux tests, de nombreux patients peuvent avoir une charge virale supprimée sans qu’il soit possible de le déterminer. Les parties prenantes ont demandé pourquoi le seuil est déterminé par un maximum ou un minimum. L’objectif devrait être une suppression à 95%, conformément à la stratégie mondiale de lutte contre le sida.
En ce qui concerne l’objectif de “connaître son statut”, il serait prudent de reconnaître qu’il s’agit d’une approximation et que les données ne sont pas toujours exactes, à moins que les tests effectués en double n’aient été éliminés. La situation est davantage compliquée par la répétition des tests dans les programmes de prévention du VIH où l’objectif est de rester négatif, objectif s’appuyant sur des tests de routine.
Pour ce qui est du projet de calendrier d’évaluation, les parties prenantes ont noté qu’aucune des évaluations proposées n’est explicitement axée sur les pratiques du modèle opérationnel du Fonds mondial et comment elles contribuent à la réalisation des domaines programmatiques prioritaires. Les participants recommandent que cet aspect soit explicitement intégré dans les thèmes d’évaluation proposés.
En outre, étant donné que ces évaluations sont essentielles pour éclairer les décisions du CS et du conseil d’administration, de nombreuses parties prenantes ont fortement désapprouvé la proposition de réduire le nombre d’évaluations annuelles de huit à quatre ou six. Au lieu d’une réduction des ambitions en matière d’évaluation, les parties prenantes souhaiteraient voir une évaluation de la capacité de S&E du Fonds mondial avant de voter sur la décision à venir concernant le budget de fonctionnement pour l’année 2023. Par exemple, le budget du Groupe technique de référence en évaluation (TERG) était-il suffisant pour ses ambitions? Et quelle part du budget de fonctionnement est consacrée à l’évaluation (personnel interne et TERG, coûts des évaluations elles-mêmes, activités de diffusion, etc.)
Concernant les ICP financiers, les participants ont émis des doutes sur la proposition de créer un ICP “part des dépenses d’exploitation”. Ils ont fortement remis en question le paradigme dit de “coût-efficacité “, qui est contraire aux valeurs promues par le Fonds mondial. En effet, ce paradigme mène à une logique de concentration des ressources techniques sur ceux qui bénéficient déjà de la plus grande partie du financement du Fonds mondial, ce qui est contraire aux principes d’efficacité et d’équité approuvés par le Fonds mondial. Certains ont donc pensé qu’ils ne pouvaient pas soutenir l’introduction de cet indicateur basé sur un principe de coût-efficacité au détriment des aspects qualitatifs.
Néanmoins, ils ont également considéré que cet indicateur était utile pour le suivi des dépenses d’exploitation. Il pourrait être plus détaillé (part des dépenses consacrées au suivi, à l’évaluation et à l’assurance en particulier) et pourrait être inclus dans d’autres cadres de S&E en tant que simple indicateur de mesure des processus opérationnels plutôt qu’un ICP. En effet, certaines parties prenantes sont convaincues qu’un contrôle extrême des dépenses d’exploitation serait incompatible avec les “ambitions stratégiques” et ne refléterait pas les performances de l’organisation.
En ce qui concerne le cadre global de S&E, les parties prenantes ont exprimé leur déception à propos du manque d’informations fournies sur le suivi et l’évaluation des processus opérationnels. En général, elles n’ont pas soutenu le concept selon lequel les ICP et le calendrier d’évaluation pluriannuel sont les deux seuls éléments que le conseil d’administration devrait être autorisé à voir et à commenter. Elles ont signalé que le CS a demandé à plusieurs reprises des données désagrégées, notamment sur la performance des subventions et les cadres de résultats des initiatives stratégiques. Elles voulaient savoir ce qui a empêché le Secrétariat de partager ces informations importantes avec le CA et les comités.Voir l’Article 3 intitulé La transparence est un principe fondateur du Fonds mondial: où est-elle donc? dans le présent OFM pour en savoir plus sur la nécessité d’améliorer les pratiques de communication.
L’indicateur relatif à l’introduction de nouveaux produits est important pour la mise en œuvre et le suivi de l’approche du façonnage des marchés de prochaine génération. En plus de la quantité de produits innovants, le type/besoin du produit doit également être pris en compte afin de s’assurer que les nouveaux produits ont un effet positif sur la mission du Fonds.
La qualité et la disponibilité des données ayant constitué et restant un défi mondial, certaines parties prenantes ont voulu savoir quelles stratégies et quels ” facilitateurs ” le Fonds mondial proposera aux pays pour améliorer la production et l’utilisation de données de haute qualité en vue de faciliter la production des rapports, et de favoriser de meilleurs résultats en ce qui concerne la performance des stratégies.
