Evaluation methodological approach

.

Pourquoi utiliser cet outil en evaluation ?

L'analyse coût-efficacité est un outil d'aide à la décision. Il a pour but d'identifier la voie la plus efficace, du point de vue économique, d'atteindre un objectif. Dans le cadre de l'évaluation, l'analyse permet de discuter l'efficacité économique d'un programme ou d'un projet.

Si l'on considère un programme qui a pour objectif majeur la création d'emplois, l'analyse coût-efficacité visera à estimer le nombre d'emplois créés par ce programme duquel le coût de chaque emploi pourra être déduit. Le cas échéant, la comparaison entre plusieurs programmes poursuivant le même objectif permettra de comparer les coûts induits par chaque pour un emploi créé. Cette comparaison fournit des indicateurs quantitatifs tangibles à la discussion sur le choix des méthodes comparées.

L'analyse coût-efficacité permet de comparer des politiques, des programmes ou des projets entre eux. Elle confronte plusieurs alternatives, notamment dans le but de savoir celle qui permet d'obtenir un résultat donné pour le coût le moins élevé.

L'analyse coût-efficacité peut contribuer à apporter des réponses aux questions suivantes :

• Quel est le coût d'un programme ou d'une mesure, rapporté à un élément concret lié à son objectif ?
• Est-il préférable d'investir des ressources dans une intervention plutôt qu'une autre pour atteindre l'objectif donné ?
• Quel type d'intervention ou quelle association d'interventions procurent les meilleurs résultats, en fonction de l'objectif final visé et des ressources disponibles ?
• Comment allouer au mieux les ressources, étant donné les besoins concurrentiels entre les programmes?
• A quel niveau un investissement supplémentaire peut-il améliorer nettement le résultat d'une intervention ?

Quels usages peut-on faire de l'analyse coût-efficacité ?

Spécificités de l'analyse coût-efficacité :

• L'efficacité est mesurée en fonction d'un résultat unique qui est l'effet principal attendu de l'intervention analysée.
• C'est une méthode d'analyse économique : elle mesure l'efficacité selon des indicateurs des résultats attendus ou atteints et non en fonction de la valeur monétaire de ces résultats.

L'analyse coût-efficacité contribue efficacement à l'évaluation de projet, de programme ou à l'évaluation sectorielle lorsque l'objectif majeur de la politique peut être réduit en un résultat unique. C'est un instrument d'analyse économique des objectifs opérationnels à ces différents niveaux.

L'analyse coût-efficacité peut être utilisée :

• En évaluation ex ante comme outil d'aide à la décision, pour orienter les choix.
  Selon les cas, l'outil peut servir Selon les cas, l'outil peut servir (i) à animer la réflexion préalable à la décision des décideurs, (ii) à faire ressortir des préférences à des groupes représentant différentes catégories de bénéficiaires ou d'acteurs impliqués dans les secteurs où l'intervention est envisagée.
• En évaluation ex post pour juger a posteriori de l'efficacité économique d'une intervention
• En évaluation intermédiaire pour actualiser les résultats ex ante et effectuer des choix entre diverses options de poursuite d'une intervention

Comment mettre en oeuvre l'analyse coût-efficacité?

Vérifier la pertinence de l'analyse au regard du programme

S'il n'est pas possible d'exprimer l'effet attendu du programme sous la forme d'un résultat prioritaire précis ou si cette priorité ne peut pas être exprimée sous la forme d'unités quantifiables homogènes, il est préférable de ne pas avoir recours à l'analyse coût-efficacité.

La méthode est bien adaptée aux actions dont les résultats attendus sont clairement identifiés et dont les coûts directs et indirects sont aisément mesurables.

Identifier l'accessibilité et la fiabilité des données

Pour réaliser une analyse coût-efficacité, l'évaluateur a besoin de disposer de données fiables, c'est-à-dire :

• en évaluation ex-post, la possibilité de mesurer les résultats obtenus,
• en évaluation ex-ante, une modélisation possible, sur des bases rigoureuses, des résultats effectivement susceptibles d'être atteints.

Déterminer le critère d'efficacité et élaborer l'indicateur pertinent

Le choix du critère sur lequel sera mesurée l'efficacité est en relation directe avec l'objectif principal de l'intervention.

• Dans le cas d'une intervention dont les objectifs peuvent être résumés par un objectif principal unique, l'identification du critère d'efficacité ne doit pas présenter de difficulté particulière.
• En revanche, pour une intervention dont les objectifs sont multiples, ce choix peut justifier des débats visant à retenir un objectif principal de l'intervention qui sera l'objet de l'analyse coût efficacité.

Par exemple, pour une intervention visant à améliorer l'efficacité de l'enseignement fondamental, le critère d'efficacité retenu peut être l'accroissement du niveau moyen des connaissances fondamentales acquises au cours du cycle primaire. Soulignons que d'autres critères pourraient se révéler plus pertinents selon le contexte dans lequel l'intervention est mise en œuvre.

La mesure de cet accroissement peut s'appuyer sur l'évolution des notes obtenues par les élèves dans l'ensemble des matières ou être limité aux deux matières jugées les plus importantes. On peut aussi imaginer un test appliqué à tous les élèves issus de l'enseignement primaire pour mesurer cet accroissement.

Comment évaluer le coût total du programme ?Additionner les coûts directs

Dans ce mode de calcul, seuls les coûts directs investis dans l'intervention sont pris en compte. Dans le cadre d'intervention de l'aide publique au développement, il s'agit le plus souvent de coûts financiers : subventions, transferts financiers, diminutions de taxes, financements de projets ou d'activités, etc.

Prendre en compte des coûts indirects

La prise en considération des coûts indirects s'avère nécessaire à la valorisation du travail des fonctionnaires en charge de la supervision et au suivi du programme ou de l'intervention.

Prendre en compte d'autres types de coûts

Lorsque d'autres coûts importants sont induits par la mise en œuvre du projet, il peut s'avérer nécessaire d'ajouter un niveau de complexité dans le calcul des coûts. Par exemple en prenant en compte la perte de gains ou de bénéfices résultant du fait de ne pas avoir utilisé à d'autres fins ces financements publics (coût de perte d'opportunité).

Comment mesurer les effets du programme ?Evaluation ex ante

L'évaluateur doit prévoir de façon rigoureuse les résultats quantitatifs prévisibles de la mesure. Selon la complexité de l'intervention, le recours à une méthode de simulation peut s'avérer nécessaire. 

Evaluation ex post

L'évaluateur peut utiliser des techniques empiriques s'il dispose de données primaires suffisamment nombreuses et fiables. Lorsque ce n'est pas le cas, il lui faut estimer les résultats quantitatifs effectivement obtenus à partir de données secondaires.

Comment mettre en rapport les coûts avec l'efficacité ?

L'analyse nécessite de disposer d'éléments stables sur lesquels repose la comparaison :

• entre différentes interventions aux objectifs similaires dans un même pays,
• entre des interventions de même nature dans des contextes similaires,
• des résultats obtenus avec une situation sans intervention, etc.

En comparant des programmes

Lorsque l'on compare des programmes aux résultats identiques, c'est le critère du coût comparatif qui est utilisé comme paramètre.

Lorsque l'on compare, pour un même objectif, différents types d'interventions au coût identique, l'analyse repose sur des éléments qualitatifs.

Quelles sont les ressources nécessaires?

Quels sont les avantages et les limites de l'outil?