Le 3 avril 2023, le Bureau de l'Inspecteur général (BIG) a publié son rapport sur l'audit des données et des systèmes de données dans les pays.

Contexte

Chaque pays est responsable de la mise en œuvre de sa riposte aux trois maladies, et notamment de l'utilisation de systèmes d'information de gestion en santé (SIGS) dont l'efficacité dépend de la qualité et de l'actualité des données programmatiques. La stratégie 2023-2028 du Fonds mondial met l'accent sur la prise de décision basée sur les données et préconise d'investir dans des systèmes et des capacités permettant la production, l'analyse et l'utilisation rapides de données complètes, actualisées et exactes, désagrégées en fonction du contexte.

Les informations sanitaires relatives aux programmes et à la gestion des achats et des stocks (GAS) sont collectées par le biais de différents types de systèmes ou sous-systèmes aux niveaux national, régional et des établissements de santé, qui peuvent être manuels et/ou électroniques. Ces informations sont soit parallèles, soit intégrées à l'ensemble des informations nationales sur la santé. Le Fonds mondial entend renforcer et soutenir les systèmes de données nationaux autant que possible.

En règle générale, le SIGS national et les systèmes d'établissement de rapports spécifiques à chaque maladie recueillent des données sur les services de santé de routine fournis par les établissements de santé (ES). Des établissements de santé au niveau national, les données font l'objet de plusieurs processus de collecte, de communication et d'agrégation.

Bien que les données et les systèmes de données nationaux soient la propriété des pays, des investissements et des efforts conjoints de la part de multiples parties prenantes (gouvernements, bailleurs de fonds, partenaires et responsables de mise en œuvre) sont nécessaires pour pouvoir en assurer le développement et le renforcement. Les progrès dans ce domaine dépendent des catalyseurs transversaux qui affectent l'ensemble du cycle de vie des données, notamment:

• La disponibilité de financements nationaux et provenant des bailleurs de fonds pour assurer un nombre suffisant de personnel dûment formé, d'infrastructures, d'équipements, etc.;
• des dispositions solides au niveau de la gouvernance et de la mise en œuvre (par exemple, des lois, des politiques et des procédures, des dirigeants, une structure administrative, etc.) pour garantir des résultats durables; et
• des partenariats bien coordonnés entre les parties prenantes au niveau national et international en vue d'orienter les investissements dans les domaines prioritaires.

Le Fonds mondial a apporté son soutien aux pays pour l'amélioration de la qualité de leurs données et de leurs systèmes de données par le biais de subventions aux pays, complétées par des initiatives stratégiques (IS). En raison de la complexité des systèmes de santé nationaux et des ressources limitées, le Fonds mondial s'est appuyé sur des partenariats avec des partenaires nationaux, techniques et d'autres donateurs pour faciliter ce travail. Compte tenu de la nature complexe des données et des systèmes de données et des défis plus généraux auxquels est confronté le secteur de la santé, l'amélioration des systèmes de santé nécessite souvent des investissements à plus long terme.

Premier constat

Le Fonds mondial a soutenu l'amélioration du déploiement et de l'intégration des données relatives au VIH, à la tuberculose et au paludisme dans le SIGS électronique national. Si la capacité des programmes financés à fournir des données complètes et désagrégées s'est améliorée, des problèmes liés à l'actualité et à l'exactitude des données subsistent et ont un impact sur l'efficacité de la prise de décision.

Le Fonds mondial estime que les rapports sont remis dans les délais lorsqu'au moins 80 % des rapports des établissements de santé sont transmis au système d'information sanitaire électronique dans les délais impartis. Des progrès ont été enregistrés dans l'amélioration de la soumission des rapports dans les délais au niveau national, la moyenne des pays à fort impact et des pays essentiels s'étant améliorée de 22 % entre 2017 (54 %) et 2021 (76 %). Toutefois, la performance de cet indicateur stagne depuis 2019 et reste inférieure à l'objectif fixé pour décembre 2021. En outre, les délais moyens dans les pays à fort impact et les pays essentiels sont biaisés par les portefeuilles hautement performants, 59 % des pays à fort impact et des pays essentiels ayant reçu des rapports dans les délais de la part des ES.

Dans les huit pays sélectionnés par le BIG, des écarts importants ont été constatés en ce qui concerne le niveau d'exactitude des données. Tous les pays de l'échantillon ayant fait l'objet d'un examen de la qualité des données (EQD) national ou ciblé au cours de la période d'audit (depuis 2018) ont jugé l'exactitude des données des indicateurs sélectionnés médiocre ou très médiocre pour au moins l'une des trois maladies:

En outre, 18 audits des pays par le BIG depuis 2018 (45%) ont révélé des lacunes importantes dans l'exactitude des données en raison de divergences entre: (a) les données déclarées dans le SIGS et les documents sources primaires des ES; et (b) les données sur la consommation et sur les patients. Le BIG attribue ces inexactitudes aux facteurs suivants :

Au niveau infranational et aux points de prestations des soins:

• Des problèmes liés à la fragmentation des systèmes d'information, qui alourdissent la charge de travail du personnel et réduisent le temps et la capacité nécessaires pour assurer l'exactitude des données communiquées;
• Le manque d'outils et de registres pour la communication des données, entraînant des enregistrements non standardisés qui augmentent le risque d'erreurs;
• des problèmes liés à la capacité du personnel (postes vacants, manque de formation et lacunes dans les connaissances), entraînant le non-respect des directives et des procédures; et
• des lacunes dans le suivi et la supervision des données programmatiques, qui entraînent la non-identification d'erreurs dans les données.

Au niveau national:

• Difficultés d'utilisation du DHIS2 pour analyser les données et améliorer leur qualité. Le DHIS2 dispose d'une fonctionnalité intégrée permettant de vérifier l'exactitude des données, mais elle n'est pas utilisée de manière efficace pour identifier et corriger les erreurs de données. Les règles de validation de la qualité des données pour les composantes des maladies individuelles n'ont pas été mises en place ou les fonctionnalités d'évaluation de la qualité des données n'ont pas été utilisées au niveau national ou infranational. Dans sept des pays de l'échantillon qui utilisent le DHIS2, les applications permettant d’assurer la qualité des données n'ont pas été déployées ou utilisées de manière adéquate.

Au niveau du Secrétariat:

• Le Secrétariat n'assure qu'un suivi limité de l'exactitude des données dans l'ensemble du portefeuille. L'exactitude des données dans les pays ne fait pas non plus l'objet d'un suivi systématique: il n'existe pas d'indicateurs clés de performance (ICP) stratégiques ou opérationnels au niveau du Secrétariat pour contrôler l'exactitude des données, ce qui a favorisé la persistance des problèmes y relatifs.

Deuxième constat

La visibilité des données de bout en bout de la chaîne d'approvisionnement est limitée et il existe des problèmes importants concernant la qualité des données au niveau national. Les investissements limités et l'absence d'une approche détaillée pour le renforcement de la gestion des données et des systèmes de GAS compromettent l'efficacité du Fonds mondial en ce qui concerne la résolution de ces problèmes. La disponibilité, la qualité et la triangulation limitées des données sur la consommation ont un impact négatif sur la gestion de la chaîne d'approvisionnement, ce qui accroît le risque de ruptures de stock et de péremption au niveau des ES.

Plus de 55 % du total des subventions allouées par le Fonds mondial concernent l'achat de produits de santé et les activités liées à la chaîne d'approvisionnement. Toutefois, la disponibilité des données nationales relatives aux activités de GAS est limitée et la qualité des données sur la consommation correspondante est médiocre. La fragmentation des systèmes d'information sur la gestion logistique (SIGL) limite la disponibilité de données globales sur la consommation au niveau central. Il existe également des écarts importants entre la consommation de produits de santé et les données relatives aux patients et aux programmes. Ces écarts peuvent être attribués à la mauvaise qualité des données concernant les patients dans le DHIS2 et/ou des données sur la consommation dans le SIGL, ainsi qu'à l'absence de triangulation systématique des données sur les patients et sur la consommation de produits de santé.

Les investissements directs dans l'amélioration de la qualité des données de routine, l'établissement de rapports et la vérification en vue de garantir un processus solide de gestion des produits de santé sont limités. Les subventions accordées pour les systèmes de gestion des produits de santé sont principalement destinées aux infrastructures (construction, entretien et rénovation d'entrepôts, par exemple) et à d'autres catalyseurs (assistance technique, par exemple) pour le stockage et la distribution des produits de santé; mais seulement 16 % des subventions accordées aux systèmes de gestion des produits de santé sont investis dans les données et les systèmes de données de la GAS.

Au niveau du Secrétariat, la capacité du Fonds mondial à combler les lacunes dans les données est limitée par les éléments suivants:

• Absence d'un cadre de mise en œuvre axé sur les données et les systèmes de chaîne d'approvisionnement;
• Absence de mesures appropriées pour suivre la disponibilité et la qualité des données et des systèmes de chaîne d'approvisionnement dans les pays, réduisant ainsi la visibilité de la maturité des données de GAS au niveau des pays;
• Fragmentation des rôles et des responsabilités en ce qui concerne les données programmatiques et liées à la GAS au sein du Secrétariat, ce qui entrave la mise en œuvre d'interventions transversales; et
• Visibilité centrale limitée du financement des systèmes de données de GAS des pays, situation qui a une incidence sur la capacité de mesurer, de suivre et d'évaluer l'impact des investissements du Fonds mondial.

Troisième constat

L'investissement dans les systèmes de données programmatiques au niveau national et l'appropriation par les pays figurent parmi les priorités du Fonds mondial.  Bien que le Fonds mondial dispose d'un cadre stratégique pour les données programmatiques, des lacunes ont été identifiées dans la mesure et le suivi des performances, limitant ainsi la compréhension du Secrétariat et sa réponse aux défis résiduels en matière de qualité des données.

Le Fonds mondial a élaboré son Cadre stratégique pour l'utilisation des données à des fins d'action et d'amélioration au niveau national, 2017-2022 (Data Use for Action and Improvement (DUFAI)) afin de soutenir ses objectifs et d’obtenir des résultats sur les indicateurs clés de performance. Pour les cinq composantes du DUFAI, il existe au total 20 indicateurs connexes. Toutefois, ces indicateurs ne sont pas suivis et contrôlés de manière adéquate, car six des 20 indicateurs seulement font l'objet d'un rapport officiel à la haute direction et ce, malgré le fait que le DUFAI exige une évaluation continue et un rapport annuel à la haute direction. Il existe également des lacunes opérationnelles dans le suivi de la complétude des données, étant donné que le Secrétariat ne contrôle pas la complétude des données des indicateurs au niveau des établissements. Ce contrôle est différent de celui de la complétude globale des rapports, qui évalue uniquement la réception des formulaires de rapports mensuels ou trimestriels.

Le suivi et la mesure de la performance par rapport aux indicateurs du DUFAI sont compromis par:

• La plate-forme de profil du système de S&E du Fonds mondial qui ne fonctionne pas comme prévu; et
• la fragmentation des rôles et des responsabilités au niveau du Secrétariat en ce qui concerne les données programmatiques.

Quatrième constat

Le Fonds mondial a élaboré des orientations et des outils détaillés pour le contrôle de la disponibilité et de la qualité des données, mais une supervision et un contrôle inadéquats au niveau des structures réduisent la capacité à détecter les insuffisances importantes des données et à y remédier.

Au niveau des subventions, il existe des indicateurs de performance du SIGS et du S&E dans les cadres de performance des subventions pour au moins une subvention dans les huit pays de l'échantillon. Tous disposent d'au moins un indicateur national sur la complétude ou la présentation des rapports dans les délais, dans le cadre de subventions ayant bénéficié d'un financement important pour des interventions en matière de SIGS et de S&E. Cela permet au Fonds mondial de mesurer, de contrôler et d'évaluer l'impact de ses investissements et de suivre l'évolution de la qualité des données de routine au niveau des pays. Pour les subventions du NFM3/CS6, quatre des huit pays sélectionnés disposent d'un indicateur de résultat pour suivre le déploiement et la fonctionnalité du SIGS à l'échelle nationale.

Malgré ces efforts, le BIG a identifié deux défis dans le suivi efficace des données programmatiques au niveau de l'établissement de santé et de l'assurance dans les pays, notamment:

• Une supervision inadéquate des risques liés aux données programmatiques au niveau de l'établissement de santé; et
• une attention, une profondeur et une différenciation limitées de l'assurance fournie par l'agent local du Fonds (ALF) sur les données programmatiques en se basant sur le risque associé au portefeuille.

Pour ce qui est du point (2), la vérification des données communiquées est peu approfondie et l'ALF ne se concentre pas sur les revues spécifiques du S&E de base concernant les données programmatiques. Cette situation est imputable à:

• L'assurance limitée des données programmatiques de base pour les portefeuilles présentant un risque élevé en matière de S&E;
• un manque de vérification approfondie des données communiquées à la source primaire; et
• la part importante du temps consacré par les experts en S&E aux revues transversales.

Le BIG souligne que le défaut de garanties adéquates contre les inexactitudes matérielles dans les données communiquées peut se traduire par une prise de décision, une planification des programmes et une mesure des performances inadéquates au niveau des pays et du Secrétariat.

Actions convenues de la direction

Pour donner suite aux constats susmentionnés, les trois actions convenues de la direction suivantes ont été approuvées par le Secrétariat du Fonds mondial:

1. Le Secrétariat: (a) élaborera d'ici le 30 juin 2024; et (b) mettra en œuvre d'ici le 30 juin 2025 un cadre opérationnel de bout en bout visant à améliorer la qualité des données programmatiques des pays (notamment les dimensions relatives à la complétude, à l'actualité et à l'exactitude), l'utilisation des données, l'analyse des données (y compris la triangulation) ainsi que l'assurance et la supervision.

Ce cadre comprendra :

• Les processus de contrôle de la qualité des données et d'établissement de rapports sur cette question;
• les rôles et responsabilités au sein du Secrétariat; et
• l'amélioration de l'assurance de la qualité des données.

2. Le Secrétariat: (a) élaborera d'ici le 30 juin 2024; et (b) développera d'ici le 30 juin 2025 un cadre de mise en œuvre détaillé visant à soutenir l'opérationnalisation de la Feuille de route relative à la chaîne d'approvisionnement dans le but d'améliorer la numérisation, la disponibilité des données, l'analyse des données (y compris la triangulation) et l'utilisation des données relatives à la chaîne d'approvisionnement dans les pays. Ce cadre comprendra des indicateurs clés pour contrôler et évaluer la disponibilité et la qualité des données de la chaîne d'approvisionnement dans les pays, des processus pour établir des rapports sur ces indicateurs et des directives sur la coordination avec les partenaires mondiaux.

Commentaire

Ce rapport n'est pas d'une lecture facile et une bonne connaissance du sujet est nécessaire pour comprendre l'importance des conclusions. Il s'agit d'un rapport important, car le sujet s'applique non seulement au portefeuille du Fonds mondial, mais également à d'autres bailleurs de fonds tels que le PEPFAR (President's Emergency Fund for AIDS Relief) et la PMI (President's Malaria Initiative), étant donné qu'ils utilisent tous les mêmes systèmes de reporting et qu'ils communiquent les mêmes données. Les améliorations nécessaires mises en évidence par le BIG sont essentielles pour atteindre les objectifs de performance des subventions.

La difficulté à laquelle le Secrétariat sera probablement confronté est liée au fait que, malgré l'élaboration et la mise en œuvre du cadre opérationnel et du cadre de soutien à l'opérationnalisation de la Feuille de route pour la chaîne d'approvisionnement, rien ne garantit une amélioration des données et des systèmes dans les pays. Il est essentiel que les pays aient la volonté d'améliorer l'enregistrement, la transmission, la collecte et la diffusion des données sanitaires, en mettant l'accent sur l'amélioration de l'enregistrement des données dans les établissements de soins de santé primaires. Deux points sont à prendre en considération à cet égard.  Premièrement, les connaissances, les ressources et la motivation nécessaires doivent s'étendre du centre aux établissements de soins de santé primaires en passant par les structures régionales et locales, ce qui n'est pas chose aisée. Deuxièmement, certaines populations clés (PC) doivent être prises en compte.

Bien qu'elles soient importantes pour le suivi des performances, les données peuvent également représenter un danger pour certains individus appartenant à la catégorie des PC. Pour rendre compte de la consommation de produits liés au traitement antirétroviral, un centre de santé doit indiquer le nombre de patients pris en charge et les quantités distribuées.  Cependant, les membres de certains groupes de PC - en particulier ceux qui risquent de subir des répercussions sociales ou juridiques - hésitent à accéder aux services de santé s'ils n'ont pas la certitude que leur identité et leur classification sociale resteront confidentielles, et de préférence ne seront pas enregistrées. Ces personnes craignent que leur identité ne soit signalée ou que les autorités régionales et centrales n'aient accès à l'enregistrement de leur identité et d'autres détails dans une clinique. Ces personnes peuvent alors être tentées de donner de faux noms ou d'utiliser des identités différentes dans différentes cliniques, ce qui fausse les données sur le nombre de personnes traitées et sur l'observance thérapeutique.

Nous assistons aujourd'hui à une augmentation de la corruption à l'échelle mondiale. Dans ce contexte, les systèmes de données sont attrayants pour les potentiels pirates informatiques, car ils offrent des possibilités de copier et/ou de supprimer des données, que ce soit pour un gain financier, des raisons politiques ou d'autres raisons personnelles. Ces systèmes doivent donc être sécurisés. Il est surprenant qu'il ne soit fait aucune mention de la sécurité dans ce rapport du BIG. Toutefois, lorsque nous avons partagé le présent article avec le BIG, ce dernier nous a indiqué que la sécurité n'était pas l'objet de l'audit. Pourtant, il nous semble que la sécurité est une question fondamentale lorsqu'il s'agit de systèmes de données et de gestion des données et qu'elle aurait dû au moins être reconnue.