L’UTILISATION DES DONNÉES SUR LES INDICATEURS CLÉS DE RÉSULTATS PAR LE CONSEIL D’ADMINISTRATION ET LE SECRÉTARIAT DU FONDS MONDIAL EST « PARTIELLEMENT EFFICACE », ESTIME LE BUREAU DE L’INSPECTEUR GÉNÉRAL

Author:

Samuel Muniu

Article Type:

Article Number: 1

Le rapport d’audit juge que l’utilisation des données sur les indicateurs clés de résultats requiert des améliorations

RÉSUMÉ Dans le cadre d’un audit de suivi des indicateurs clés de résultats du Fonds mondial, le Bureau de l’Inspecteur général a constaté que les mécanismes de communication de l’information, de gouvernance et de supervision du cadre d’indicateurs clés de résultats sont efficaces. Il estime toutefois que le Conseil d’administration et le Secrétariat du Fonds mondial pourraient améliorer l’utilisation des données sur les indicateurs.

À l’occasion d’un audit de suivi du cadre d’indicateurs clés de résultats (KPI) du Fonds mondial, le Bureau de l’Inspecteur général (BIG) a constaté que les mécanismes de communication de l’information, de gouvernance et de supervision sont efficaces, mais que le Conseil d’administration et le Secrétariat du Fonds mondial pourraient améliorer leur utilisation des données sur les indicateurs clés de résultats dans leur travail.

Le rapport d’audit  a été publié le 27 mars 2019. Le Conseil d’administration du Fonds mondial a approuvé le cadre d’indicateurs clés de résultats 2017/2022 en juin 2016 comme outil de suivi des progrès et d’amélioration de la reddition de comptes de l’organisation.

L’audit était axé sur les aspects suivants :

• adéquation et efficacité en termes de collecte, consolidation et communication des données des indicateurs clés de résultats ;
• utilisation des données des indicateurs clés de résultats par le Conseil d’administration et le Secrétariat du Fonds mondial dans le cadre des décisions fondées sur les résultats ;
• mécanismes établis de gouvernance et de supervision du cadre d’indicateurs clés de résultats.

L’audit a couvert tous les indicateurs clés de résultats stratégiques et de mise en œuvre, à l’exception des indicateurs 12a et 12b, relatifs à la disponibilité de technologies médicales abordables, et de l’indicateur iKPI-h sur le mécanisme d’achat groupé. Ces indicateurs ont été examinés dans le cadre d’un audit de suivi des procédures d’achat dont le rapport a été publié en septembre 2018.

Contexte

Cadre d’indicateurs clés de résultats 2017/2022

Le cadre contient 12 indicateurs clés de résultats stratégiques et neuf relatifs à la mise en œuvre (iKPI). Les KPI stratégiques mesurent les progrès au regard des objectifs stratégiques du Fonds mondial. Les iKPI, approuvés en janvier 2017 par le Comité exécutif de direction du Fonds mondial, suivent les intrants, les effets et les résultats requis pour atteindre les KPI stratégiques et les objectifs opérationnels.

Figure : Indicateurs clés de résultats stratégiques

Changements dans la gestion du cadre d’indicateurs clés de résultats

Mi-2017, la gestion du processus de suivi et de communication de l’information sur les indicateurs clés de résultats a été transférée du Département financier au Département de la stratégie et de la politique du Fonds mondial, en vue de mieux aligner le cadre d’indicateurs clés de résultats sur le suivi de la stratégie.

Principales constatations

Le Bureau de l’Inspecteur général a dressé deux conclusions principales :

• La collecte, la consolidation et la communication des données des indicateurs clés de résultats ont enregistré des progrès significatifs, mais des problèmes de contrôle ont toutefois été observés ;
• Les limitations dans la conception des indicateurs clés de résultats entravent leur intégration dans les opérations quotidiennes.

La collecte, la consolidation et la communication des données des indicateurs clés de résultats ont enregistré des progrès significatifs, mais des problèmes de contrôle ont toutefois été observés

Le rapport du Bureau de l’Inspecteur général signale que la collecte, la consolidation et la communication des données des indicateurs clés de résultats ont enregistré des progrès significatifs, suite à la mise en œuvre du cadre de responsabilité à partir de début 2017, lequel détaille les méthodologies de collecte et de calcul des données. Les rôles et responsabilités liés aux indicateurs clés de résultats stratégiques et de mise en œuvre sont par ailleurs clarifiés dans le cadre de responsabilité. Le Secrétariat a en outre placé des référents dans différents départements, chargés de la collecte, du traitement et de la validation des données des indicateurs clés de résultats, ce qui a mené à des améliorations de la communication des résultats des indicateurs. L’utilisation de systèmes d’information internes comme le Système du Fonds mondial (GFS) et le Système de gestion des subventions (GOS) a amélioré les procédures de collecte des données, juge le BIG. Celui-ci signale qu’il est prévu d’automatiser entièrement les procédures de collecte des données pour certains indicateurs clés de résultats.

Malgré ces améliorations, l’audit a constaté des lacunes au niveau de la collecte et de la consolidation des données, en particulier en matière de contrôle de la qualité. Les données relatives au KPI 7 (utilisation des fonds : capacité d’absorption), par exemple, sont obtenues de deux systèmes différents – le Grant Management System (GMS) et le Grant Operating System (GOS), la nouvelle version du système de gestion des subventions – sans mécanisme approprié de rapprochement permettant de garantir la qualité et l’exactitude des informations obtenues. Cette absence de rapprochement mène à des données en double transmises au Conseil d’administration.

Les méthodes de collecte de la documentation aux fins de la consolidation des données du KPI 11 (investissements nationaux) ne sont pas normalisées ni courantes, et il n’y a pas de mécanisme permettant de vérifier comment les résultats de chaque pays sont préparés. De ce fait, la seule source d’information sur la méthodologie de recueil des données est le personnel qui a pris part au rassemblement initial des données. Pour certains indicateurs clés de résultats, la collecte et la consolidation des données se font manuellement, et sont donc propices aux erreurs humaines durant le « nettoyage » des données. Le rapport cite l’exemple du KPI 9b relatif aux droits humains, pour lequel les données sont extraites des budgets détaillés des subventions et analysées manuellement.

Au vu du volume de budgets de subventions reçus par le Fonds mondial, il s’agit d’un processus lourd et propice aux erreurs. Une autre déficience recensée par le Bureau de l’Inspecteur général concerne certains indicateurs clés de résultats, pour lesquels les schématisations n’avaient pas été finalisées (schémas des modalités de mise en œuvre) au moment de l’audit. C’était le cas pour la moitié des indicateurs clés de résultats de mise en œuvre et 22 des indicateurs clés de résultats. Fin 2018, le Secrétariat avait néanmoins terminé toutes les schématisations sauf une. Les données de certains indicateurs clés de résultats n’étaient pas facilement accessibles. Par exemple, le Fonds mondial ne dispose pas des données primaires pour le KPI 11 sur les investissements nationaux, et doit donc obtenir ces données auprès de sources externes. Le Fonds mondial a peu de contrôle sur la disponibilité et la cohérence des paramètres obtenus à partir de ces données.

La communication des données des indicateurs clés de résultats se fait annuellement ou semestriellement. Les données sont présentées aux référents KPI aux fins des calculs et rapports. L’audit a constaté des retards significatifs dans la soumission des données des indicateurs clés de résultats. Ainsi, seul un KPI a respecté le délai de soumission de l’équipe chargée des KPI durant le cycle de rapport de novembre. Une autre difficulté constatée par le Bureau de l’Inspecteur général est l’absence d’examen secondaire des données collectées, calculées et communiquées par les référents dans les différents départements. L’absence de validation des données et la procédure de rédaction des rapports par les référents font que des inexactitudes passent inaperçues, explique le BIG, l’équipe chargée des indicateurs clés de résultats n’étant pas nécessairement composée d’experts des données sous-jacentes.

Les limitations dans la conception des indicateurs clés de résultats entravent leur intégration dans les opérations quotidiennes

Le Conseil d’administration du Fonds mondial a approuvé le cadre stratégique actuel d’indicateurs clés de résultats huit mois avant le lancement de la stratégie 2017/2022. Il s’agit d’une amélioration significative par rapport au précédent cadre, qui avait été approuvé 18 mois après le début de la période de mise en œuvre de la stratégie. Les indicateurs clés de résultats sont alignés sur la stratégie, et les forces et faiblesses de chaque indicateur ont été identifiées et documentées dans le cadre d’indicateurs clés de résultats.

Cependant, l’audit a relevé des domaines requérant des améliorations supplémentaires. Les méthodologies de mesure et de procédure relatives au KPI 6a (renforcement des systèmes de santé : systèmes d’achat) ne sont toujours pas définis alors que le cadre d’indicateurs clés de résultats est en vigueur depuis plus d’un an. C’est également le cas pour trois des dix KPI de mise en œuvre. Le Secrétariat du Fonds mondial n’avait pas défini d’indicateurs, fixé de cibles et convenu d’outils de collecte des données pour trois iPKI, à savoir l’iKPI d1 sur l’exactitude des prévisions – demande de produits, l’iKPI-G sur l’achat de produits dans le cadre du mécanisme d’achat groupé, et l’iKPI I sur le déploiement de produits innovants. Le Bureau de l’Inspecteur général remarque cependant qu’une importante restructuration des départements en charge de ces indicateurs clés de résultats était en cours au moment de l’audit.

Le cadre actuel d’indicateurs clés de résultats ne suit pas les résultats pour trois des sept sous-objectifs qui représentent la part du lion des investissements dans les systèmes résistants et pérennes pour la santé du Fonds mondial (65 %). Il s’agit des trois sous-objectifs suivants : ressources humaines pour la santé, communautés et prestation intégrée de services. Les progrès de ces sous-objectifs sont cependant suivis via le rapport interne du Plan de mise en œuvre de la stratégie du Fonds mondial (SIP) au Secrétariat.

L’audit a pris note de l’utilisation d’indicateurs intermédiaires pour deux KPI – 5 et 9c – aux fins du suivi des résultats en raison de l’absence de données disponibles pour suivre leurs progrès. Dans d’autres cas, la disponibilité des données était limitée, par exemple pour le KPI 2. Les données relatives à un des sous-objectifs liés au KPI 2 (pulvérisation intradomiciliaire d’insecticide à effet rémanent : cible de la prestation de service) étaient uniquement disponibles pour 30 % des pays mettant en œuvre cette intervention.

L’implantation des indicateurs clés de résultats dans les opérations courantes du Fonds mondial est entravée par les limitations au niveau de leur conception, considère le Bureau de l’Inspecteur général. Par exemple, le Conseil d’administration a progressé de discussions sur la méthodologie ou les cibles pour chaque indicateur clé de résultats à la discussion des données communiquées. Cependant, les limitations concernant les données et analyses supplémentaires l’empêchent d’évaluer de manière détaillée les résultats organisationnels. Au niveau du Secrétariat, certains indicateurs clés de résultats sont intégrés dans les activités quotidiennes, tandis que d’autres ne le sont pas. Ainsi, le KPI 11, le KPI 2 et le KPI 7 sont intégrés dans les opérations de gestion des subventions, ce qui n’est pas le cas du KPI 4 sur l’efficacité des investissements.

Actions convenues de la Direction

Deux actions convenues de la Direction ont été confiées au Département de la Stratégie et du Pôle chargé des politiques d’ici au 31 décembre 2019 :

• examen et ajustement des schématisations de processus et du cadre de responsabilité vis-à-vis des indicateurs clés de résultats afin d’intégrer des contrôles de la qualité des données ;
• élaboration et mise en œuvre de nouvelles normes pour mesurer, communiquer et suivre les résultats opérationnels.

Autres ressources :

• Rapport de l’audit de suivi objet de cet article : Audit de suivi sur le cadre d’indicateurs clés de résultats du Fonds mondial, 27 mars 2019 (GF-OIG-19-008)
• Rapport de l’audit précédent : Rapport d’audit sur le cadre d’indicateurs clés de résultats du Fonds mondial, 26 mars 2016 (GF-OIG-16-009)
• Rapport de l’audit antérieur sur la stratégie : Stratégie du Fonds mondial – Processus de planification, de mise en œuvre et de suivi (GF-OIG-16-008)
• Cadre actuel d’indicateurs clés de résultats stratégiques : Cadre d’indicateurs clés de résultats stratégiques 2017/2022 (GF-B35-07a).