DES AUDITS DES SUBVENTIONS DU FONDS MONDIAL AU RWANDA ET AU BÉNIN SIGNALENT DES PROBLÈMES LIÉS À LA DISPONIBILITÉ ET À LA QUALITÉ DES DONNÉES

Author:

David Garmaise

Article Type:

Article Number: 1

Pour les subventions du Rwanda, qui reposent sur le modèle de financement fondé sur les résultats, la disponibilité de données fiables et de bonne qualité est particulièrement importante

RÉSUMÉ Des problèmes liés à la disponibilité et à la qualité des données occupent une place importante dans deux audits menés récemment par le Bureau de l’Inspecteur général concernant les subventions du Rwanda et du Bénin. Pour les subventions du Rwanda, qui reposent sur le modèle de financement fondé sur les résultats, la disponibilité de données fiables et de bonne qualité est particulièrement importante.

L’audit récent des subventions du Fonds mondial au Rwanda par le Bureau de l’Inspecteur général (BIG) concernait principalement les données, et plus particulièrement la disponibilité et la qualité de celles-ci. Des problèmes similaires ont été soulevés lors du récent audit des subventions du Bénin par le Bureau de l’Inspecteur général. Cet article fournit un résumé des constatations du Bureau de l’Inspecteur général pour les deux audits.

Le Bureau de l’Inspecteur général a publié un rapport sur l’audit du Rwanda le 25 février et un sur l’audit du Bénin le 8 mars.

Audit du Rwanda

« Le Rwanda continue d’obtenir des résultats programmatiques impressionnants avec le soutien du Fonds mondial et des partenaires », commente le Bureau de l’Inspecteur général. Le pays a enregistré un recul des décès liés au VIH et à la tuberculose, grâce au nombre accru de personnes sous traitement antirétroviral et aux taux de guérison de la tuberculose relativement élevés. Le nombre de décès liés au VIH a baissé de 9 600 en 2007 à 3 100 en 2017, en partie du fait de la mise en œuvre d’une politique de traitement universel.

L’audit a constaté que si les systèmes et contrôles destinés à préserver la qualité des données du Rwanda sont bien conçus, ils présentent néanmoins des faiblesses au niveau de la mise en œuvre, en particulier en ce qui concerne le paludisme. (La garantie financière est généralement efficace, observe le Bureau de l’Inspecteur général.)

L’audit couvrait les trois subventions actives du Rwanda, une pour chaque maladie, pendant la période de janvier 2016 au 30 juin 2018. Le récipiendaire principal pour les trois subventions – RWA-H-MOH, RWA-T-MOH et RWA-M-MOH – était le ministère de la Santé. Toutefois, le Bureau de l’Inspecteur général indique que ses constatations concernant les données se limitent à la subvention paludisme, qui représente 20 pour cent de ses subventions actives au Rwanda. Le BIG a observé moins de problèmes de données dans les subventions de lutte contre le VIH et la tuberculose.

Malgré les efforts de prévention, avance le Bureau de l’Inspecteur général, le nombre de cas de paludisme a triplé, passant de 1,7 million en 2014 à 4,9 millions en 2017, ce qui représente l’augmentation la plus importante en Afrique. Selon les observations du BIG, les mesures de la qualité des données du Rwanda ne sont pas suffisamment robustes pour faire face à l’augmentation du nombre de cas. Il recommande de réexaminer l’efficacité des activités de prévention du Rwanda.

Le Fonds mondial utilise depuis 2014 au Rwanda un modèle de financement en fonction des résultats, également appelé financement de la stratégie nationale. D’après le Bureau de l’Inspecteur général, le Rwanda est le seul portefeuille important à utiliser ce modèle. Dans le cadre de ce modèle, tous les décaissements annuels sont directement liés aux résultats programmatiques déclarés, c’est pourquoi il est crucial de disposer de données fiables et de bonne qualité.

Le Bureau de l’Inspecteur général qualifie de « partiellement efficaces » les systèmes et procédures de protection de la fiabilité des données. Quant à l’ensemble des mécanismes de garantie et de supervision, ils « nécessitent une nette amélioration ». (Le BIG applique un système de notation à quatre niveaux –efficace, partiellement efficace, nécessite une nette amélioration et inefficace.)

Selon le Bureau de l’Inspecteur général, les déficiences recensées « ne remettent pas nécessairement en question la pertinence du modèle de financement en fonction des résultats au Rwanda, pays manifestement doté de mécanismes solides de responsabilité et d’antécédents de mise en œuvre efficace des programmes ».

Le Bureau souligne du reste qu’un examen distinct, commandité par le Secrétariat en 2018, a confirmé que le modèle restait pertinent (voir l’article de l’OFM du 13 novembre 2018). « Cependant », affirme le Bureau de l’Inspecteur général, « l’incapacité de renforcer les contrôles des données et la portée de la garantie pourrait affaiblir dans le temps la fiabilité des résultats sur la base desquels le Fonds mondial soutient les programmes de santé du Rwanda ».

Aspects problématiques

L’audit a recensé quatre aspects problématiques principaux :

• déficiences dans les systèmes et contrôles dont les données sont issues ;
• écarts entre les données sur la consommation et les patients ;
• utilisation d’un nombre limité de données d’enquête pour valider les résultats programmatiques ;
• insuffisance de la supervision et de la garantie de la qualité des données.

Nous décrivons brièvement ci-après chaque aspect problématique.

Systèmes et contrôles de données

Système HMIS

Le Rwanda utilise un système électronique d’information pour la gestion de la santé (système HMIS) pour enregistrer et déclarer les résultats des programmes. Selon le Bureau de l’Inspecteur général, un certain nombre de contrôles sont en place, tels que des agents qualifiés en matière de gestion des données et la validation mensuelle et trimestrielle des données, mais ces contrôles ne sont pas mis en œuvre de façon efficace et des déficiences existent qui pourraient affecter la qualité des données. Ce problème concerne principalement la subvention de lutte contre le paludisme.

L’audit a mis en lumière un certain nombre de déficiences au niveau des contrôles. (L’audit précédent du BIG, mené en 2014, contenait une constatation similaire.) Par exemple, révèle le Bureau de l’Inspecteur général, bien que les procédures opérationnelles standard décrivent les niveaux d’approbation requis avant que les résultats déclarés ne puissent être saisis dans le système, deux tiers des établissements de santé inspectés durant l’audit avaient modifié les résultats relatifs au paludisme sans obtenir d’approbation et après la déclaration initiale. Ces modifications ont entraîné une augmentation de 19 pour cent du nombre de cas de paludisme traités dans les établissements de santé.

Caractère incomplet des registres sur le paludisme

Les directives nationales imposent que tous les résultats déclarés dans le système électronique d’information soient justifiés par des documents primaires, appelés « registres ». Cependant, près de deux tiers des 100 travailleurs de santé communautaires sondés n’avaient pas de registres pour les périodes antérieures.

L’audit a identifié des problèmes en ce qui concerne les données saisies dans les registres. Par exemple, les résultats des tests de diagnostic du paludisme n’étaient pas inscrits dans les registres, ce qui créait des difficultés pour déterminer le résultat du diagnostic et le traitement ultérieur enregistrés dans le système HMIS. (Un porte-parole du Bureau de l’Inspecteur général a expliqué à l’OFM que le registre est la principale source documentaire. S’il n’est pas maintenu correctement, il n’est pas possible de s’assurer que les données du système HMIS sont correctes.)

Supervision inadéquate des travailleurs de santé communautaires

Les 45 000 travailleurs de santé communautaires du Rwanda ont des capacités limitées pour enregistrer les données en temps voulu, affirme le Bureau de l’Inspecteur général. Suite à une recrudescence du nombre de cas de paludisme, le ministère de la Santé a révisé en décembre 2016 ses directives afin d’autoriser les travailleurs de santé communautaires à gérer les cas de paludisme chez les adultes et chez les enfants de moins de 5 ans, ce qui a mis à rude épreuve leurs capacités.

Le personnel des centres de santé est censé rendre visite tous les mois aux travailleurs de santé communautaires. Or, pour plus de trois quarts des travailleurs de santé communautaires sondés, le Bureau de l’Inspecteur général n’a trouvé aucune preuve de supervision au cours des 12 mois précédant l’audit. Depuis l’audit, ajoute le BIG, le ministère de la Santé a pris des mesures pour restructurer le cadre de supervision.

Irrégularité des contrôles de routine des données

Le personnel des établissements de santé est tenu d’effectuer des validations mensuelles et trimestrielles des données avant de déclarer les résultats. Le Bureau de l’Inspecteur général a découvert que 59 pour cent seulement des établissements de santé contrôlés effectuaient ces validations.

Selon les explications du BIG, ce problème tient en partie au fait qu’une nouvelle structure organisationnelle des établissements de santé a été mise en œuvre en juillet 2017. Le ministère de la Santé déploie une plateforme électronique d’apprentissage pour les superviseurs et les gestionnaires de données récemment recrutés.

Écarts entre les données sur la consommation et les patients

Le ministère de la Santé a mis en place un système électronique d’information pour la gestion de la logistique (eLMIS) dans l’ensemble des pharmacies de district, hôpitaux de district et centres de santé afin d’enregistrer les médicaments reçus et distribués aux patients et aux travailleurs de santé communautaires. Le magasin central de fournitures médicales utilise un système de gestion des stocks appelé SAGE. Les systèmes SAGE et eLMIS n’avaient pas encore été intégrés au moment de l’audit.

Selon le Bureau de l’Inspecteur général, les données sur le paludisme révèlent que le nombre de patients diagnostiqués au moyen de kits de diagnostic et traités avec des antipaludéens était supérieur au nombre de kits de diagnostic distribués d’environ 41 pour cent. Le nombre de patients traités pour un paludisme sans complication était supérieur de 34 pour cent à la quantité de médicaments antipaludéens consommés.

« Ces résultats sont contraires à la plupart des constatations de l’audit qui révèlent généralement qu’un plus grand nombre de kits de diagnostic ou d’antipaludéens ont été consommés par rapport au nombre de cas déclarés », affirme le Bureau de l’Inspecteur général.

Utilisation d’un nombre limité de données d’enquête

Le ministère de la Santé utilise deux mécanismes principaux pour collecter les données déclarées au Fonds mondial : les données de routine et les données d’enquête. Pour la période 2015/2017, neuf des indicateurs de résultat étaient évalués au moyen d’enquêtes (qui sont réalisées tous les deux ans seulement), tandis que quatorze sont suivis par des données de routine.

Selon le Bureau de l’Inspecteur général, certains indicateurs suivis au travers d’enquêtes seraient plus faciles à suivre au moyen des données de routine. La dernière enquête menée au niveau communautaire concernant la gestion des cas de paludisme ne couvre que 57 des 45 000 travailleurs de santé communautaires, affirme le BIG, et n’est peut-être pas représentative de la moyenne nationale. Le Bureau de l’Inspecteur général signale également qu’il conviendrait d’examiner la méthodologie des enquêtes.

Insuffisance de la supervision et de la garantie de la qualité des données

Conformément au principe de l’appropriation par le pays, indique le Bureau de l’Inspecteur général, le Secrétariat s’appuie sur les systèmes et contrôles nationaux existants du Rwanda plutôt que de vérifier de manière indépendante les résultats déclarés. Suite à l’audit de 2014 du Bureau de l’Inspecteur général, le Secrétariat avait entrepris d’examiner régulièrement les systèmes et contrôles, mais cela n’a pas été mis en œuvre de façon efficace, estime le Bureau de l’Inspecteur général.

Le ministère de la Santé est chargé d’effectuer semestriellement un exercice de supervision intégrée de soutien et d’audit de la qualité des données (exercice de supervision et d’audit). Ces audits vérifient les systèmes en vue de valider les résultats déclarés pour un indicateur (sur 14) pour chaque subvention. D’après le Bureau de l’Inspecteur général, les audits ne couvrent pas l’efficacité des systèmes et contrôles informatiques dont sont issus les résultats. De plus, ils ne sont pas effectués de manière cohérente.

Au travers de l’agent local du Fonds, le Secrétariat a réalisé en janvier 2016 un examen dont il est ressorti que les problèmes de systèmes recensés dans le cadre de l’audit de 2014 n’avaient pas été traités adéquatement.

Actions convenues de la direction

Quatre actions ont été convenues par la direction (voir le Tableau 1 ci-dessous). Pour les quatre actions, le titulaire est le Responsable de la Division de la gestion des subventions et la date cible est le 31 décembre 2019.

 

Remarque : Les responsables en santé environnementale et communautaire supervisent les travailleurs de santé communautaire. Au moment de l’audit, il n’y avait qu’un seul responsable à chaque établissement de santé.

+++++++++++++++

Audit du Bénin

L’audit des subventions du Bénin a conclu que le pays a enregistré des progrès significatifs dans la lutte contre les trois maladies, malgré les problèmes affectant la mise en œuvre des programmes. L’audit couvre la période de juin 2016 à juin 2018 et cinq subventions actives – deux de lutte contre le VIH, une de lutte contre la tuberculose, une de lutte contre le paludisme et une visant la mise en place de systèmes résistants et pérennes pour la santé.

Les récipiendaires principaux pour les subventions VIH étaient le Programme Santé de Lutte contre le SIDA (BEN-H-PSLS) et Plan International (BEN-H-PlanBen). Pour la subvention tuberculose, le récipiendaire principal était le Programme National contre la Tuberculose (BEN-T-PNT), pour la subvention paludisme, il s’agissait du Programme National de Lutte contre le Paludisme (BEN-T-PNLP), et pour la subvention de renforcement des systèmes de santé, le récipiendaire principal était le Programme de renforcement des résultats du système de santé (BEN-S-PRPSS).

Exemples de progrès enregistrés par le Bénin :

• le Bénin a l’un des taux de couverture du traitement du VIH les plus élevés d’Afrique occidentale et centrale ;
• au moment de l’audit, le taux de succès thérapeutique contre la tuberculose au Bénin dépassait 89 pour cent, contre un taux moyen de 79 pour cent dans la région ;
• les taux de mortalité du paludisme ont reculé de manière significative entre 2011 et 2016 ; les cas de paludisme confirmés par dépistage ont augmenté de 354 223 à 1 219 975 grâce à un recours accru aux tests de dépistage rapide.

L’audit a identifié trois problèmes et risques principaux :

• non-respect du plan et des directives en matière d’approvisionnement ;
• qualité inégale des services ; et
• déficiences au niveau de la qualité des données.

Nous décrivons ci-après chacun de ces problèmes et risques.

Plans et directives en matière d’approvisionnement

Au Bénin, les achats de produits de santé respectent les directives nationales, affirme le Bureau de l’Inspecteur général. Des opérations annuelles de quantification sont conduites, menant à l’établissement d’un plan d’achat consolidé.

Le Bureau de l’Inspecteur général évoque des tensions s’exerçant sur les stocks au niveau central et des ruptures de stock au niveau des établissements en raison du non-respect du plan d’achat consolidé. (Un porte-parole du Bureau de l’Inspecteur général a expliqué à l’OFM que l’expression « tensions sur les stocks » fait allusion à une situation de stocks bas persistants, avec épuisement des stocks régulateurs.)

L’audit a observé des retards de livraison des produits de santé : les médicaments antipaludéens censés être fournis par les pouvoirs publics n’ont pas été achetés en 2017 et 2018 en raison de déficits budgétaires et des procédures d’approvisionnement complexes des pouvoirs publics. Des retards au niveau des procédures d’achat de certains partenaires ont du reste aggravé la situation, observe le Bureau de l’Inspecteur général.

Au niveau central, a-t-il été constaté dans le cadre de l’audit, le stock de médicaments antipaludéens était inférieur au stock régulateur de trois mois requis. En outre, les tests de diagnostic rapide étaient en rupture de stock.

Le Bureau de l’Inspecteur général a par ailleurs remarqué que les responsables aux niveaux communautaire et des districts respectent rarement les directives en matière d’achats. D’après le BIG, une cause profonde de ces problèmes est liée au faible nombre de pharmaciens formés : il n’y a aucun pharmacien dans les huit entrepôts et hôpitaux audités.

Qualité des services

Il ressort de l’audit que l’accès à des services de qualité contre le paludisme est faible, en particulier au niveau communautaire.

La qualité du traitement ne respecte pas systématiquement les directives thérapeutiques, affirme le Bureau de l’Inspecteur général. Les registres indiquent un plus grand nombre de cas traités que de cas dépistés positifs, certains cas dépistés négatifs sont traités et certains cas dépistés positifs ne le sont pas. Selon le Bureau de l’Inspecteur général, ces problèmes sont dus aux capacités limitées des travailleurs de santé communautaires, qui sont insuffisamment formés à la prise en charge du paludisme, ainsi qu’au caractère limité du soutien et de la supervision des infirmiers des établissements de soins.

L’audit a constaté que s’agissant du VIH, il n’existe pas de directives nationales appropriées pour l’éducation thérapeutique en matière de prévention de la transmission de la mère à l’enfant. (Par « éducation thérapeutique », on entend les conseils et le soutien apportés aux femmes enceintes par les sages-femmes.) Les services varient en fonction des connaissances des sages-femmes, explique le BIG, et ne sont parfois même pas dispensés. En outre, on observe des retards dans l’exécution des tests de dépistage de l’infection à VIH chez les nourrissons.

Qualité des données

Le Bureau de l’Inspecteur général constate que l’indisponibilité et l’irrégularité des données font qu’il est impossible d’effectuer un suivi et des prises de décision efficaces.

Les données communautaires pour le paludisme ne sont pas déclarées au niveau national. Les données communiquées par chaque communauté ne font pas l’objet d’une compilation globale au niveau des établissements de santé en raison de l’absence d’outils adéquats. Au lieu de cela, indique le BIG, l’établissement de santé adresse au district sanitaire un rapport détaillé pour chaque communauté. Le caractère limité des ressources humaines et l’importance de la charge de travail au niveau des districts – un seul statisticien par district pour couvrir en moyenne 270 travailleurs de santé communautaires – font qu’il est difficile de compiler des données aussi fractionnées. Dans la mesure où les établissements de santé n’envoient pas de rapports globaux sur les communautés au niveau hiérarchique directement supérieur, remarque le Bureau de l’Inspecteur général, les données relatives aux communautés ne sont pas intégrées dans le système d’information sanitaire national.

L’audit a révélé que les données relatives aux communautés communiquées au Fonds mondial sont issues d’un système parallèle géré par un sous-récipiendaire, Catholic Relief Services (CRS). Ce système n’est pas exploitable, explique le Bureau de l’Inspecteur général, dans la mesure où il n’est pas basé sur le système national ; il ne surveille que les régions couvertes par le Fonds mondial et ne garantit pas pleinement l’exactitude des informations déclarées.

La qualité inégale des données et des services a mené à des lacunes au niveau des services fournis aux femmes enceintes, affirme le Bureau de l’Inspecteur général. En 2017, 28 pour cent des femmes enceintes séropositives au VIH n’ont pas accouché dans des centres de PTME, ce qui signifie que ces accouchements n’ont pas été nécessairement réalisés dans le respect du protocole recommandé. Bien que 83 pour cent des enfants nés de mères séropositives fassent l’objet d’un test de réaction en chaîne de la polymérase (PCR), 35 pour cent de ces tests ne sont pas réalisés dans les délais prescrits de six à huit semaines après l’accouchement (afin de détecter les infections très précoces avant le développement d’anticorps), et aucun système n’est en place pour s’assurer que les nourrissons séropositifs au VIH soient mis sous traitement.

Notations

Le Bureau de l’Inspecteur général conclut que les programmes ne sont actuellement que partiellement efficaces en ce qui concerne la fourniture de services de qualité adéquate aux patients et de données fiables pour étayer les prises de décision. Il ajoute que les activités liées à la gestion des achats et des stocks s’avèrent elles aussi partiellement efficaces.

Actions convenues de la direction

Deux actions ont été convenues par la direction (voir le Tableau 2 ci-dessous). Le Responsable de la Division de la gestion des subventions est titulaire des deux actions convenues de la direction.

 

Remarque : Chemonics est un partenaire technique du secteur privé qui participe aux achats de produits de santé et à la gestion des ruptures de stocks pour USAID.

Autres ressources :

• Bénin : Étude diagnostique des subventions du Fonds mondial accordées à la République du Bénin (publiée le 23 octobre 2012, rapport numéro GF-OIG-12-001)
• Rwanda :
• Audit des subventions du Fonds mondial accordées au Rwanda (publié le 23 décembre 2014, rapport numéro GF-OIG-14-023)
• Rapport d’audit sur les subventions du Fonds mondial au Rwanda (publié le 11 mars 2011, rapport numéro GF-OIG-10-003)