Evaluation methodological approach

.

Structure de la section:

• Définition
• Pourquoi et quand utiliser l'analyse coût-efficacité ?
• Comment mettre en œuvre l'analyse coût-efficacité ?
• Exemples
• Bibliographie

.

Une mesure effectuée sur des bases physiques et non monétaires

L'autre spécificité de l'analyse coût-efficacité est de mesurer l'efficacité selon des indicateurs reflétant les résultats attendus ou atteints et non pas en fonction de la valeur monétaire de ces résultats. A la différence de l'analyse coût-avantages, l'analyse coût-efficacité ne comporte donc pas d'évaluation monétaire des résultats. Il s'agit d'une méthode d'analyse économique et non pas financière. 

L'analyse produit le coût unitaire d'un résultat attendu. Par exemple, pour un programme santé, on pourra s'intéresser à la diminution d'une pathologie en terme de nombre de personnes concernées :

• combien coûte l'éradication de cette pathologie pour une personne ?
• combien coûte l'éradication de cette pathologie dans un programme d'éducation à l'accroissement de la proportion de lettrés ?
• à quel coût le programme permet-il d'augmenter de 1 % la proportion de population alphabétisée ?

Quelles sont les questions auxquelles l'analyse coût efficacité peut répondre?

L'analyse coût-efficacité peut contribuer à apporter des réponses aux questions suivantes :

• Quel est le coût d'un programme ou d'une mesure, rapporté à un élément concret lié à son objectif (ex : coût par enfant scolarisé) ?
• Est-il préférable (ou bien a-t-il été préférable) d'investir des ressources dans une intervention plutôt qu'une autre pour atteindre l'objectif donné ?
• Quel type d'intervention ou quelle association d'interventions procurent (ou auraient procuré) les meilleurs résultats, en fonction de l'objectif final visé et des ressources disponibles ?
• Comment allouer au mieux les ressources, étant donné les besoins concurrentiels entre les programmes (ou comment aurait-il fallu les allouer) ?
• A quel niveau un investissement supplémentaire peut-il (ou aurait-il permis de) améliorer nettement le résultat d'une intervention ?

.

POURQUOI ET QUAND UTILISER L'ANALYSE COÛT EFFICACITE?

.

Quels sont les usages possible de l'analyse coût efficacité en évaluation?

Dans le cadre de l'évaluation de politique de coopération, l'analyse coût-efficacité peut être utilisée comme un outil d'évaluation de projet, de programme ou d'évaluation sectorielle lorsque la politique s'y prête. C'est un instrument d'analyse économique des objectifs opérationnels à ces différents niveaux. En revanche, il n'est pas adapté à l'analyse de la stratégie pays, sauf ci celle-ci était concentrée sur un objectif unique dont la réalisation s'appuierait sur un résultat principal clairement identifiable. Il n'est en ce sens qu'un outil de contribution à l'analyse de la cohérence de l'aide.

Schéma de l'utilisation possible de l'analyse coût-efficacité selon l'évaluation

En début d'évaluation

Il peut être utile de choisir en début d'évaluation des programmes ou projets qui pourront faire l'objet d'une analyse coût-efficacité. Cette sélection de programmes, correspondant aux objectifs prioritaires de coopération et dont les effets sont mesurables en unités homogènes, peut en effet constituer un garde-fou précieux pour éviter aux évaluateurs de se perdre ensuite dans des analyses d'efficacité et d'impact " digressives ".

Cette sélection, réunissant les conditions nécessaires à la mise en œuvre de l'analyse coût-efficacité, conduit les responsables à identifier un résultat prioritaire attendu auquel correspond un indicateur simple et quantifiable. De ce fait, cette sélection constitue un moyen de focaliser l'évaluation sur des grandes questions et enjeux prioritaires de la stratégie de coopération.

Le fait d'analyser sous l'angle " coût-efficacité " implique de préciser au préalable quelles sont les problématiques prioritaires des stratégies de coopération et de cerner les programmes pour lesquels il est possible de mesurer des résultats quantitatifs précis.

Pour évaluer les choix d'allocation des ressources

L'élaboration et la négociation de stratégies de coopération nationale nécessitent de répartir des ressources forcément limitées entre les programmes. De nombreux facteurs interviennent pour orienter l'allocation des ressources, notamment les questions de sensibilité, d'acceptabilité, d'équité et d'efficacité.

Dans ce contexte, l'analyse coût-efficacité constitue un outil utile à la comparaison des stratégies d'allocation des ressources, en comparant les coûts et les résultats des principales interventions qui les caractérisent.

Pour définir des priorités de planification stratégique

L'analyse coût-efficacité constitue un instrument précieux pour définir des priorités de planification stratégique. Elle permet aux décideurs de fixer des priorités en fonction des coûts et des conséquences (en termes de résultats quantitatifs simples) de différentes initiatives possibles pour atteindre un objectif pré-défini.

Pour animer un débat complexe

L'exercice de priorisation des résultats attendus, ainsi que de quantification et d'homogénéisation des indicateurs de résultat constituent des étapes nécessaires dans le cadre d'une évaluation pays.

En utilisant la méthode coût-efficacité pour mettre en exergue des résultats prioritaires attendu quantifiables et mesurables, les évaluateurs peuvent débattre avec les décideurs, mais aussi avec d'autres interlocuteurs concernés, de priorités des stratégies d'intervention et des impacts déterminants recherchés ou obtenus.

En évaluation pays, le processus de débat avec les responsables suscité par la mise en œuvre de l'analyse coût-efficacité s'avère parfois aussi utile que les conclusions que cette analyse permet de tirer.

Dans quel type d'évaluation peut-on utiliser l'analyse coût efficacité?

La conduite d'une analyse coût-efficacité dans les contextes, ex-ante, intermédiaire et ex-post, soulève des difficultés méthodologiques différentes et une collecte d'information plus complexe dès que l'intervention est en phase de réalisation.

En évaluation ex ante

L'analyse coût-efficacité est en premier lieu destinée à l'aide à la décision. Elle permet de juger du bien fondé économique de la décision de réaliser une intervention, ou dans le cas où un choix entre plusieurs interventions doit être fait, de connaître l'intervention économiquement la plus efficace. C'est donc d'abord dans les évaluations ex-ante, afin de juger de la pertinence économique d'une mesure à prendre, que cette analyse trouve sa place.

En évaluation ex post

L'analyse peut être mise en œuvre dans le contexte d'évaluation ex-post, où elle peut contribuer à juger a posteriori de l'efficacité économique d'une intervention. Pour une même intervention l'analyse ex-post peut donner des résultats sensiblement différents de l'ex-ante, notamment du fait que des coûts non prévus à l'origine se soient avérés nécessaires pour sa réalisation ou encore que les résultats observés s'avèrent différents des résultats escomptés.

En évaluation intermédiaire

L'analyse peut s'avérer très utile dans le cadre d'une évaluation intermédiaire, notamment pour actualiser les résultats ex-ante et le cas échéant effectuer des choix entre diverses options de poursuite d'une intervention.

Quels sont les avantages et les limites de l'analyse coût efficacité?

Quels sont ses avantages ?

Un outil de l'évaluation ex ante

L'analyse coût-efficacité constitue un bon outil, simple et efficace pour comparer différentes mesures ou programmes aux objectifs identiques. Elle constitue un outil appréciable d'évaluation ex ante pour faciliter le choix entre différentes interventions au regard de leur coût.

Un outil pédagogique et de communication

L'analyse coût-efficacité ramène les résultats obtenus à un indicateur quantifiable unique. Elle oblige donc à exprimer un seul objectif prioritaire d'une intervention de façon simple et concrète. Aussi présente-t-elle une valeur pédagogique et de communication importante.

Visibilité de l'efficacité d'une intervention

L'analyse coût-efficacité permet de rendre simplement compte aux bénéficiaires et aux décideurs du coût des résultats attendus d'une intervention. Les décideurs s'avèrent donc souvent très intéressés par cette expression concrète et simple des objectifs d'une intervention.

Quelles sont ses limites ?

Une analyse des résultats directs et simples

L'analyse coût-efficacité est focalisée sur le résultat direct principal de l'intervention. La focalisation sur l'effet principal se traduit notamment par l'absence de prise en compte des effets indirects. L'analyse coût-efficacité compare les coûts à des résultats immédiats, en négligeant les effets à plus long terme.

Cette méthode n'est donc utilisable que pour comparer ou évaluer des programmes aux résultats " simples ", c'est-à-dire relativement homogènes, obéissant à une priorité claire et quantifiable. Or les programmes ou interventions centrés sur un effet direct prioritaire et simple s'avèrent relativement rares.

Dans le cas où une intervention entraîne des résultats secondaires et/ou indirects, l'utilisation d'une analyse coût efficacité peut s'avérer inopportune, voire malencontreuse. Le fait de négliger ces effets peut en effet conclure à la sous estimation des coûts engendrés par ces effets, sous-estimation qui peut s'avérer importante et de nature à favoriser une mauvaise appréciation de la situation.

Une analyse de l'efficacité et non de la pertinence

L'analyse coût-efficacité permet de juger si une intervention est économiquement efficace, et plus particulièrement si comparativement à d'autres interventions elle est plus efficiente. En revanche, elle ne permet pas de statuer sur la pertinence ou sur l'intérêt qu'il y a à mettre en place et poursuivre cette intervention. 

Difficultés de l'évaluation ex-post

Dans le cadre d'une évaluation ex post, mener une analyse coût-efficacité suppose de disposer de données fiables sur les coûts réels de l'intervention et sur les résultats effectivement obtenus.

Selon la diversité des ressources mobilisées pour une intervention, il peut se révéler très lourd, voire impossible, de recueillir les données permettant d'apprécier l'ensemble des coûts qui ont été mobilisés pour la réalisation d'une intervention. De même si l'observation des résultats attendus n'a pas été prévue et effectuée de façon régulière, dans le cadre d'une mesure de suivi de la mise en œuvre du programme, la collecte de ces données peut s'avérer complexe ou approximative.

En tout état de cause, la démarche s'avère plus lourde et plus complexe dans un cadre ex-post que dans une situation ex-ante, du fait que la mise en œuvre d'une intervention induit des coûts et des effets non prévus à son origine. La collecte des données relatives aux effets et aux coûts non prévus impose souvent un exercice difficile.

Avec quels outils peut on combiner l'analyse coût efficacité?

Analyse coût-avantages

L'analyse des résultats ne se limite pas aux seuls résultats positifs directement obtenus. L'évaluateur gagne à quantifier aussi les effets négatifs, ainsi que les effets indirects et les effets multiplicateurs. Il est difficile de mesurer ces derniers avec exactitude, mais l'évaluateur a intérêt à les estimer afin de donner une image plus exacte des résultats effectivement obtenus. Ces estimations peuvent être réalisées par une analyse coût-avantages.

Analyse multicritère

Pour évaluer des programmes ou des stratégies de coopération nationales ou régionales aux objectifs et aux effets nombreux et complexes (directs et indirects, positifs et négatifs), l'évaluateur doit utiliser des méthodes de pondération des résultats. Il peut être préférable de combiner ou d'avoir uniquement recours à d'autres méthodes qui intègrent cette complexité comme notamment l'analyse multicritère. L'analyse coût efficacité peut alors constituer un préalable utile à une analyse multicritère.

.

COMMENT METTRE EN OEUVRE L'ANALYSE COÛT - EFFICACITE?

.

Etape 1: définir les conditions de mise en oeuvre de l'analyse coût-efficacité

Conditions de mise en oeuvre de l'analyse coût-efficacité

Vérifier la pertinence de l'analyse au regard des objectifs du programme

Cette première étape permet de vérifier si l'analyse coût-efficacité constitue effectivement un outil pertinent d'analyse pour le programme en question.

S'il n'est pas possible d'exprimer l'effet attendu du programme sous la forme d'un résultat prioritaire précis ou si cette priorité ne peut pas s'exprimer sous la forme d'unités quantifiables homogènes, il est préférable de ne pas avoir recours à l'analyse coût-efficacité.

Identifier l'accessibilité et la fiabilité des données

Une autre précaution est indispensable avant de commencer l'analyse coût-efficacité : il convient de vérifier l'accessibilité et la fiabilité des données sur les coûts comme sur l'indicateur quantitatif de résultat obtenu ou escompté. En effet, pour réaliser une analyse coût-efficacité, l'évaluateur a besoin de disposer de données fiables, c'est-à-dire :

• en évaluation ex-post, une quantification possible des résultats obtenus,
• en évaluation ex-ante, une modélisation possible, sur des bases rigoureuses, des résultats effectivement susceptible d'être atteints.

Déterminer le critère d'efficacité et élaborer l'indicateur pertinent

Choix du critère d'efficacité

Une fois confirmée la faisabilité de l'analyse coût-efficacité, le choix du critère sur lequel sera mesurée l'efficacité est en relation directe avec l'objectif principal de l'intervention.

Dans le cas d'intervention dont l'objectif est clairement identifié, l'identification du critère d'efficacité ne doit pas présenter de difficulté particulière. En revanche, pour une intervention dont l'objectif est assez large - par exemple une intervention visant à améliorer l'efficacité de l'enseignement fondamental - ce choix peut justifier des débats visant à identifier l'objectif principal de l'intervention - par exemple réduire le nombre d'illettrés ou plutôt accroître le niveau moyen des connaissances fondamentales acquises au cours de la scolarité dans le primaire ou encore accroître le nombre d'enfants fréquentant l'enseignement primaire-.

Le choix du critère conditionne la qualité du jugement produit par l'analyse coût-efficacité. Dans les cas où cela s'avère nécessaire, ce choix peut être fait dans le cadre d'un atelier de type " focus group " réunissant les acteurs impliqués et compétents de l'intervention. Pour un programme d'ampleur national, le choix du critère d'efficacité peut être élaboré dans le cadre d'un " panel d'experts ", auprès de spécialistes de la question.

Exemple du choix du critère d'efficacité

D'après : " Cost-effectiveness analysis ", 2000, p.110.

Choix de l'indicateur pertinent

L'élaboration de l'indicateur dépend de plusieurs facteurs. Dans de nombreux pays, la rareté et la fiabilité réduite des sources statistiques limitent les possibilités de choix. Il peut donc s'avérer indispensable de se doter de moyens d'observation nécessaires à la production de l'indicateur.

Dans le cas, par exemple, d'une intervention visant à améliorer l'efficacité de l'enseignement fondamental, le critère d'efficacité retenu peut être l'accroissement du niveau moyen des connaissances fondamentales acquises au cours du cycle primaire. La mesure de cet accroissement peut résulter d'une observation de l'évolution des notes obtenues par les élèves dans l'ensemble des matières, ou plutôt dans les deux matières jugées les plus importantes (lecture/écriture et mathématiques), ou encore résulter d'un test identique appliqué à tous les élèves issus de l'enseignement primaire, etc.

Dans la plupart des interventions, le choix de l'indicateur peut influer de façon déterminante sur les conclusions de l'analyse. Il est donc recommandé d'effectuer ce choix dans le cadre d'un " focus group ", voire si nécessaire d'un panel d'experts, similaire à celui du choix du critère d'efficacité.

Si, dans les cas les plus simples un seul " focus group " suffit à déterminer le critère et l'indicateur, dans les cas plus complexes, il peut être souhaitable de laisser un laps de temps pour arrêter le choix du critère et donc d'organiser une seconde séance de travail pour le choix de l'indicateur.

Etape 2 : évaluer le coût total du programme

Additionner les coûts directs

Dans le cadre d'analyse d'intervention de l'aide publique au développement, la méthode la plus simple et la plus couramment utilisée consiste à additionner toutes le ressources publiques utilisées pour le programme. Dans ce mode de calcul, seuls les coûts directs investis dans l'intervention sont pris en compte. Il s'agit le plus souvent de coûts financiers : subventions, transferts financiers, diminutions de taxes, financements de projets ou d'activités, etc.

Exemple de calcul des coûts directs

Prendre en compte des coûts indirects

La prise en considération des coûts indirects, comme par exemple les coûts des ressources humaines mobilisées pour la maîtrise d'ouvrage des programmes correspondent à la valorisation du travail des fonctionnaires en charge de la supervision et au suivi du programme ou de l'intervention. Cette prise en compte des coûts indirects s'avère nécessaire lorsque ceux-ci représentent une part significative des ressources mobilisées par l'intervention.

Cependant cette prise en compte peut se révéler complexe, il convient donc en premier lieu d'apprécier l'importance relative de ces coûts par rapport aux coûts directs de l'intervention, afin de décider si leur prise en compte est déterminante dans l'analyse.

Exemple de calcul des coûts indirects

Prendre en compte d'autres types de coûts

Il peut s'avérer nécessaire d'ajouter un niveau de complexité dans le calcul des coûts en prenant en compte le manque de gains ou bénéfices provoqué par le fait de ne pas avoir utilisé à d'autres fins ces financements publics (c'est le coût de perte d'opportunité). 

Cette méthode d'estimation des coûts est justifiée dans la mesure où des alternatives à l'utilisation des ressources sont clairement identifiées, ce qui de fait est rarement le cas.

Exemple de calcul d'autres coûts

Etape 3 : mesurer les effets du programme

Il s'agit de l'étape la plus complexe.

Condition préalable : la nature des informations

La façon dont l'évaluateur mesure les effets d'un programme dépend de la nature des informations dont il dispose.

Evaluation ex ante

Dans le cas d'évaluation ex-ante, l'évaluateur doit prévoir de façon rigoureuse les résultats quantitatifs prévisibles de la mesure. Selon la complexité de l'intervention, le recours à une méthode de simulation peut s'avérer nécessaire. 

Evaluation ex post

En évaluation ex-post, l'évaluateur peut utiliser des techniques empiriques s'il dispose de données primaires suffisamment nombreuses et fiables. Lorsque ce n'est pas le cas, il lui faut estimer les résultats quantitatifs effectivement obtenus à partir de données secondaires.

L'analyse peut nécessiter de procéder de manière suivante :

• effectuer des pondérations pour tenir compte de différents effets ou variables secondaires,
• définir des critères et méthodes pour quantifier certains éléments qualitatifs. A priori seuls des éléments quantitatifs sont utilisables pour réaliser une analyse coût-efficacité, mais il peut parfois être nécessaire et judicieux de quantifier des variables à priori qualitatives : quantification de résultats de politiques environnementales par exemple,
• ramener à une unité quantitative unique et homogène des données quantitatives de nature diverse.

Exemples

Exemple de mesure des effets

Etape 4: mettre en rapport les coûts avec l'efficacité

Comparaison

L'analyse nécessite de disposer d'éléments stables sur lesquels repose la comparaison :

• entre différentes interventions aux objectifs similaires dans un même pays,
• entre des interventions de même nature dans des contextes similaires,
• des résultats obtenus avec une situation sans intervention, etc.

Comparaison de programmes aux résultats identiques

Lorsqu'il s'agit de comparer des programmes différents aux résultats identiques, l'analyse est assez simple puisque c'est le critère de coût comparatif qui est utilisé comme paramètre. 

Comparaison de programmes aux coûts identiques

Lorsqu'on compare, pour un même objectif, différents types d'interventions au coût identique, l'analyse peut devenir plus délicate.

La comparaison entre des indicateurs de résultats quantitatifs différents repose en partie sur des éléments qualitatifs. Par exemple, lorsqu'il s'agit de comparer le nombre de personnes soignées dans un cas et le nombre de malades évités dans l'autre, en vue d'évaluer le coût-efficacité relatif de mesures curatives et préventives dans le domaine sanitaire.

Décision

La décision est alors politique. Le rôle de l'évaluateur est d'utiliser l'outil " coût-efficacité " comme un moyen d'aide à la décision, pour l'éclairer et la faciliter. 

Elaborer et animer la réflexion

Selon les cas, l'outil peut servir :

• pour animer la réflexion préalable à la décision des décideurs,
• pour faire élaborer des préférences à des groupes représentant différentes catégories de bénéficiaires ou d'acteurs impliqués dans les secteurs où l'intervention est envisagée.

Compléter avec l'analyse multicritère

Pour animer un débat entre des acteurs représentants des catégories différentes d'intérêt et les aider à progresser ensemble dans le choix de priorités, l'analyse coût-efficacité ne peut suffire, elle est alors combiner avec l'analyse multicritères. L'analyse coût-efficacité constitue dans ce cas une première étape de l'analyse multicritère.

Exemple

Exemple d'un rapport coût-efficacité

.

EXEMPLES

.

• Exemples

.

BIBLIOGRAPHIE

.

• " Analyse coût-efficacité et VIH/SIDA ", ONUSIDA, collection Meilleures Pratiques, Août 1998.
  
  
• Levin H. M., McEwan P.J., " Cost-effectiveness analysis ", 2nd edition, Methods and Applications, Sage Publications, Londres, New Delhi, 2000.
  
  
• Macmillan D. et Morrison R., " Analyse coût-efficacité de la création d'un écosystème de terres boisées ", XIè Congrès forestier mondial, octobre 1997, Turquie.
  
  
• " Méthodologie de l'évaluation économique des programmes de santé ", site de MEDCOST.