La DQA, en une phrase
Une Data Quality Assessment est un exercice structuré de vérification de la qualité, de la cohérence et de la traçabilité des données rapportées. On part d'un chiffre du rapport, et on redescend : d'où vient-il, qui l'a saisi, sur quelle base, et retrouve-t-on la même valeur à chaque étage ?
Les cinq dimensions de la qualité
Les bailleurs institutionnels, USAID en tête, structurent la DQA autour de cinq dimensions. Elles servent de grille de lecture : un chiffre peut être parfaitement exact et malgré tout inutilisable, s'il arrive six mois trop tard ou s'il ne mesure pas ce que l'indicateur annonce.
| Dimension | La question qu'elle pose | Ce qui la casse |
|---|---|---|
| Validité | La donnée mesure-t-elle bien ce que l'indicateur prétend mesurer ? | Une définition d'indicateur ambiguë, interprétée différemment selon les équipes. |
| Fiabilité | La même méthode appliquée deux fois donne-t-elle le même résultat ? | Un protocole de collecte qui change en cours de projet, ou des enquêteurs formés différemment. |
| Précision | Le chiffre est-il exact, sans erreur de saisie ni de calcul ? | Une recopie manuelle entre deux tableurs, une formule cassée, un doublon non détecté. |
| Intégrité | La donnée est-elle protégée d'une modification arbitraire ? | Un fichier partagé que tout le monde peut éditer, sans trace de qui a changé quoi. |
| Actualité | Arrive-t-elle assez tôt pour servir à une décision ? | Une consolidation trimestrielle sur un projet dont les décisions se prennent chaque semaine. |
Les deux dernières sont les plus négligées et les plus coûteuses. Une donnée exacte mais intraçable ne se défend pas devant un bailleur, et une donnée juste mais tardive n'a servi à personne.
Quand mener une DQA
- Avant un rapport bailleur important, pour ne pas découvrir l'écart pendant la revue.
- Quand un bailleur l'annonce : mieux vaut avoir fait la sienne d'abord.
- Après un changement d'équipe ou d'outil, moment où les définitions d'indicateurs se mettent silencieusement à diverger.
- Quand un chiffre surprend : un taux d'atteinte à 140 % est plus souvent un problème de définition qu'une réussite.
Sur un projet correctement outillé, une DQA complète prend quelques jours. Sur un projet qui vit dans une dizaine de tableurs partagés, elle prend des semaines, et c'est en soi un résultat de la DQA.
Comment elle se déroule
Le principe est le même quelle que soit l'échelle : on choisit quelques indicateurs, et on remonte leur chaîne jusqu'à la source.
- 1. Choisir les indicateurs. Trois à cinq suffisent, pris parmi ceux qui portent le plus d'enjeu dans le rapport.
- 2. Reconstituer la chaîne. Du chiffre du rapport au fichier consolidé, du fichier consolidé à l'export de collecte, de l'export à la soumission d'origine.
- 3. Recalculer. Reprendre la valeur depuis les données brutes, sans regarder le chiffre annoncé, puis comparer.
- 4. Vérifier la définition. Demander à deux personnes de définir l'indicateur de mémoire. Si les définitions divergent, la donnée diverge déjà.
- 5. Documenter et corriger en amont. Un écart trouvé se corrige dans le processus, pas seulement dans le chiffre.
Ce qui se corrige à la source, et pas après
La leçon la plus utile d'une DQA est qu'une grande partie de ce qu'elle trouve n'aurait jamais dû pouvoir arriver. Une donnée aberrante bloquée au moment de la saisie coûte une seconde ; la même donnée retrouvée six mois plus tard coûte une journée, et parfois n'est plus corrigeable.
- Les contraintes de saisie. Une règle de validation dans le XLSForm empêche une valeur incohérente d'entrer, avec un message d'erreur écrit pour l'enquêteur.
- Le test du questionnaire avant diffusion. Le remplir soi-même une fois révèle l'ordre des questions, les sauts, les conditions d'affichage et la durée réelle, avant que trente enquêteurs ne partent avec.
- La traçabilité de l'enquêteur. Savoir qui a collecté quoi permet de comparer les résultats par enquêteur et de repérer un biais de collecte, qu'aucun contrôle sur les valeurs ne verrait.
- Une seule chaîne, sans recopie. Chaque passage manuel d'un outil à un autre est un endroit où la donnée peut changer sans trace.
Sur la préparation d'une collecte terrain robuste, et ce qui se règle avant le départ des équipes, l'article accélérer la collecte de données avec KoboCollect traite le sujet du côté des équipes de terrain. Cette page-ci répond à « qu'est-ce qu'on vérifie » ; l'article répond à « comment s'organiser ».
Erreurs fréquentes
- Traiter la DQA comme un contrôle du personnel. Une équipe qui craint la DQA cache les écarts au lieu de les signaler, et la donnée empire.
- Vérifier le chiffre sans vérifier la définition. Deux équipes qui comptent correctement des choses différentes produisent un total faux.
- Corriger le rapport sans corriger le processus. Le même écart reviendra au trimestre suivant.
- Ne mener la DQA qu'à la demande du bailleur. C'est le pire moment pour découvrir un problème.
- Confondre nettoyage et qualité. Retirer les valeurs gênantes améliore le tableau, pas la donnée.
Glossaire
- DQA
- Data Quality Assessment, vérification structurée de la qualité, de la cohérence et de la traçabilité des données.
- Validité
- Le fait qu'une donnée mesure bien ce que l'indicateur prétend mesurer.
- Fiabilité
- Le fait qu'une même méthode, appliquée deux fois, donne le même résultat.
- Traçabilité
- La possibilité de remonter d'un chiffre rapporté jusqu'à la donnée d'origine et à son auteur.
- Donnée brute
- La soumission telle qu'elle a été collectée, avant tout nettoyage ou agrégation.
- Contrainte de saisie
- Une règle de validation qui empêche une valeur incohérente d'être enregistrée, avec un message d'erreur personnalisé.
- Biais de collecte
- Un écart systématique introduit par la façon de collecter, par exemple un enquêteur qui reformule une question à sa manière.
Questions fréquentes
Qu'est-ce qu'une DQA en MEAL ?
Une DQA (Data Quality Assessment) est une vérification structurée de la qualité, de la cohérence et de la traçabilité des données rapportées. Elle part d'un chiffre du rapport et remonte la chaîne jusqu'à la donnée collectée sur le terrain, pour vérifier que la valeur se retrouve à chaque étage.
Quelles sont les dimensions de la qualité des données ?
Cinq dimensions sont généralement retenues, notamment par USAID : la validité (la donnée mesure ce que l'indicateur annonce), la fiabilité (la méthode donne le même résultat deux fois), la précision (pas d'erreur de saisie ni de calcul), l'intégrité (la donnée est protégée d'une modification arbitraire) et l'actualité (elle arrive à temps pour servir à une décision).
Quand faut-il mener une DQA ?
Avant un rapport bailleur important, quand un bailleur en annonce une, après un changement d'équipe ou d'outil, et chaque fois qu'un chiffre surprend. Un taux d'atteinte supérieur à 100 % est plus souvent un problème de définition d'indicateur qu'une réussite.
Comment éviter les problèmes de qualité plutôt que les corriger ?
En agissant à la source : des contraintes de validation dans le questionnaire qui empêchent une valeur incohérente d'entrer, un test du formulaire avant diffusion, la traçabilité de l'enquêteur pour chaque soumission, et une chaîne sans recopie manuelle d'un outil à l'autre.
Une DQA sert-elle à sanctionner les équipes ?
Non, et l'utiliser ainsi la rend contre-productive : une équipe qui craint la DQA cache les écarts au lieu de les signaler. La très grande majorité des problèmes trouvés viennent d'une définition ambiguë ou d'une recopie manuelle, pas d'une faute individuelle.
La qualité des données avec Opti'
Opti Gemba traite la Data Quality Assessment comme un type de mission à part entière, au même titre qu'une baseline ou une PDM : elle a ses TDR, son questionnaire, sa collecte et son rapport.
Mais l'essentiel se joue avant. Le questionnaire généré porte ses contraintes de validation et ses messages d'erreur, il se teste avant diffusion, et chaque soumission garde le nom de l'enquêteur comme une variable exploitable : on peut comparer les résultats par enquêteur et repérer un biais de collecte. Le questionnaire, la collecte, l'analyse et le rapport vivant dans le même projet, il n'y a pas de recopie manuelle entre eux, donc pas d'endroit où la donnée puisse changer sans trace.
OptiBot
Conseil méthodologique sur vos définitions d'indicateurs et votre plan de vérification.
En savoir plus →
Opti Gemba
Mission DQA, contraintes de saisie, traçabilité par enquêteur, de la collecte au rapport.
En savoir plus →
Opti Academy
Se former à la qualité des données et aux systèmes MEAL, à votre rythme.
En savoir plus →