Evaluation methodological approach

Le suivi, l'audit et l'évaluation sont tous les trois des exercices de bonne gestion publique. Ils sont proches et complémentaires mais traitent des questions différentes.
Tous les trois portent des jugements de valeur mais les références du jugement sont différentes.

• Pour éviter des malentendus et des déceptions. Si l'équipe d'évaluation externe traite des questions qui relèvent de l'audit ou du suivi, elle risque de ne pas y répondre correctement car elle ne dispose pas des moyens appropriés
• Pour reformuler une question formulée dans un esprit d'audit ou de suivi afin de la retenir comme question d'évaluation
• Pour que les informateurs adoptent une attitude de coopération à l'évaluation, sachant que la relation avec un évaluateur n'est pas la même qu'avec un auditeur
• Pour favoriser des synergies entre les trois exercices.

• L'audit (au sens traditionnel) vérifie la légalité et la régularité de la mise en œuvre des ressources.
• Le suivi vérifie la bonne gestion des interventions et informe sur la progression de l'utilisation des ressources, sur l'état d'avancement des réalisations et sur les résultats directs. Le suivi produit des informations exhaustives avec une périodicité courte, ce qui n'est pas le cas pour l'audit et l'évaluation.
• L'évaluation juge de la conception et la mise en œuvre de l'intervention en s'intéressant principalement aux résultats et aux impacts, qu'ils soient attendus ou non.

Les critères de jugement

• L'audit juge en fonction de critères connus et clarifiés à l'avance (allocations budgétaires, textes réglementaires, normes de bonne gestion).
• Le suivi juge la progression de l'utilisation des ressources et l'avancement des réalisations par rapport aux objectifs opérationnels et la qualité des réalisations par rapport aux standards professionnels.
• L'évaluation juge les conséquences de l'intervention au regard des besoins sociaux, des enjeux économiques, des problèmes environnementaux, etc. Elle se réfère aux objectifs mais elle doit souvent les clarifier. Les critères de jugement qu'elle utilise sont rarement établis à l'avance.

La temporalité

• L'audit est effectué de manière périodique suivant des normes préétablies, ou ponctuellement si une analyse des risques le justifie.
• Le suivi est un processus continu de collecte, qui donne lieu à des rapports fréquents (un à quatre par an).
• L'évaluation est un exercice approfondi qui mobilise des outils lourds pour la collecte et l'analyse de l'information et qui ne peut pas être conduit tous les ans.

L'utilisation

• L'audit vise à déceler et prévenir les irrégularités.
• Le suivi donne des signaux d'alerte et permet un feedback rapide en cas de dérive. Il permet aussi de rendre des comptes sur les performances tout au long de la chaîne des gestionnaires, depuis les opérateurs de terrain jusqu'aux gestionnaires centraux.
• L'évaluation apporte une compréhension des effets de l'intervention et fournit des recommandations de réforme, des options stratégiques et politiques ou des propositions d'ajustement de la mise en oeuvre.

Les qualités professionnelles requises

Chaque exercice requiert une capacité professionnelle appropriée ainsi que des compétences de base distinctes :

• L'auditeur a des compétences juridiques et comptables. Son action a un caractère d'autorité.
• Le responsable du suivi a des bonnes connaissances professionnelles dans le domaine de l'intervention et des compétences de gestion. Son action a un caractère de supervision.
• L'équipe d'évaluation réunit des compétences d'enquête de et d'expertises sectorielles. Elle a besoin de la collaboration des acteurs concernés par l'intervention pour collecter une information pertinente, pour savoir l'interpréter et pour formuler un jugement légitime.

Un bon système de suivi facilite grandement l'évaluation. Si une évaluation s'intéresse aux effets attendus, la première chose à faire est de vérifier si ces effets ont fait l'objet d'un suivi, si des indicateurs ont été utilisés, et si un point zéro a été enregistré. En retour, les rapports d'évaluation suggèrent souvent des améliorations à apporter au système de suivi.
L'audit et le suivi peuvent permettre de repérer des succès et des échecs apparents et recommander que l'évaluation approfondisse l'analyse des causes et des effets, clarifie les critères de jugement, ou valide une bonne pratique.
Pour sa part, une évaluation peut montrer que la bonne application d'une norme juridique ou professionnelle constitue un facteur particulier d'efficacité ou d'inefficacité, et ainsi rétroagir sur les pratiques de suivi et d'audit.

• Si on a des informations sur des pratiques illégales ou de mauvaise gestion, il vaut mieux donner la priorité à l'audit, assainir la situation et reporter l'évaluation à plus tard.
• Si les informations de suivi sont absentes ou non fiables, cela complique l'évaluation mais cela ne l'empêche pas. On ne doit jamais prendre prétexte de l'insuffisance du suivi pour refuser de traiter une question d'évaluation.
• La pratique d'audit qui est décrite ici est la pratique traditionnelle de l'audit de régularité. Il arrive que des professionnels de l'audit soient sollicités pour juger les résultats et les impacts et répondre à des questions de nature évaluative. Souvent appelée audit de performance, cette pratique peut devenir équivalente à celle de l'évaluation. Dans ce cas, les auditeurs adaptent leurs attitudes, leurs critères de jugement et leurs compétences professionnelles. L'absence de frontière nette entre l'audit de performance et l'évaluation génère fréquemment de la confusion.
• La pratique de suivi qui est décrite ici est la pratique traditionnelle. Les systèmes de suivi traditionnels sont de plus en plus intégrés à des systèmes de mesure des performances. Le suivi des performances implique la définition des performances cibles en terme de réalisations et de résultats, la mesure systématique des progrés en direction de ces niveaux cibles, des discussions périodiques orientées vers la performance, et des incitations au bénéfice de ceux qui progressent bien.
• La pratique de suivi décrite ici est différente aussi du suivi axé sur les résultats (ROM) de la CE. Le système ROM produit une notation de tous les programmes et projets d'aide en ce qui concerne l'obtention des résultats et impacts attendus. Toutefois, l'appréciation portée n'est pas continue et ne repose pas sur des indicateurs systématiquement quantifiés.