Evaluation methodological approach

La raison d'être d'une intervention est de traiter des besoins, des problèmes ou des enjeux qui sont considérés comme prioritaires dans un contexte donné et qui ne peuvent pas être traités plus efficacement par une option alternative.

C'est au stade de la programmation qu'il faut justifier la raison d'être de l'intervention. Au stade de l'évaluation, il convient d'en rappeler les principaux éléments ou de les reconstruire si les documents de programmation sont imprécis.

L'évaluation identifie les raisons pour lesquelles les priorités ont été choisies, par exemple : priorités de la politique dans laquelle l'intervention prend place, urgence des besoins à satisfaire, avantages comparatifs par rapport à des options alternatives.

Pourquoi s'en préoccuper ?

• Pour aider à définir les critères de la famille de la pertinence.
• Pour présenter l'intervention dans le rapport d'évaluation.

Comment la clarifier ?-Examen des problèmes et des réponses

Le rapport d'évaluation expose succinctement les éléments suivants :

• Contexte de l'intervention au moment où elle a été initiée
• Principaux problèmes (besoins, enjeux) diagnostiqués
• Pourquoi l'institution responsable de l'intervention, et ses partenaires le cas échéant, sont-ils les mieux placés pour résoudre les problèmes diagnostiqués ?
• Pourquoi certaines options stratégiques ont-elles été choisies plutôt que d'autres ?.

L'équipe d'évaluation recherche ces éléments dans les documents officiels qui ont institué l'intervention et dans les travaux de conception préparatoires. Elle complète sa compréhension par des entretiens avec des informateurs clés.
Certaines questions d'évaluation peuvent porter sur les problèmes traités par l'intervention, par exemple :

• Y avait-il des options alternatives pour résoudre les problèmes identifiés ?
• Les problèmes qui ont justifié l'intervention ont-ils changé de nature ?
• Quelle est l'ampleur précise des besoins qui justifient l'intervention ?

-Examen de la raison d'être

Lorsque cela est pertinent, le rapport d'évaluation met en lumière les éléments suivants :

• Justification du fait que les besoins, problèmes et enjeux ne peuvent pas se résoudre spontanément par des initiatives privées.
• Justification du fait qu'ils ne peuvent pas se résoudre de façon plus efficace par d'autres initiatives publiques.

L'équipe d'évaluation recherche ces éléments dans les documents officiels qui ont institué l'intervention. Elle complète sa compréhension de la raison d'être par des entretiens avec des informateurs clés.
Certaines questions d'évaluation peuvent porter sur la raison d'être de l'intervention, par exemple :

• L'institution qui a initié l'intervention aurait-elle pu s'allier à d'autres pour traiter ces problèmes ?
• L'intervention aurait-elle été plus efficace sous la conduite d'autres institutions publiques ?

Recommandations

• Les documents officiels privilégient souvent les options stratégiques qui ont été retenues in fine. Si l'on cherche à comprendre quelles étaient les alternatives, il peut être utile de procéder à des entretiens avec des informateurs clés, tout en étant attentif aux risques de biais.

.

.

Qu'est-ce que c'est ?

Il s'agit de l'ensemble des activités mise en œuvre des effets attendus (réalisations, résultats et impacts) ainsi que des hypothèses qui expliquent comment les activités vont conduire aux effets dans le contexte de l'intervention.

La logique d'intervention peut être " fidèle " aux documents de programmation et aux documents fondateurs de la politique dans laquelle s'inscrit l'intervention. Dans ce cas, les effets attendus sont déduits des objectifs affichés dans les documents officiels. Lorsque l'on reconstruit la logique d'intervention au moment de l'évaluation, on peut prendre en compte des effets qui sont implicitement attendus mais qui n'étaient pas évoqués dans les documents initiaux. On s'écarte alors de la logique " fidèle " et cela doit être précisé. L'approche " fidèle " est pertinente quand les objectifs sont exprimés assez précisément et d'une manière vérifiable. S'ils sont trop vagues ou ambigus, l'autre option est préférable.
Il est fréquent que la logique d'une intervention évolue dans le temps. Le cas échéant, cela justifie de reconstruire plusieurs logiques correspondant à des périodes successives.
La logique d'intervention est une simplification utile de la réalité, mais il faut toujours rester conscient de la complexité du monde réel. En plus de la reconstruction de la logique d'intervention, il est donc utile d'identifier les principaux facteurs externes qui conditionnent ou qui contraignent la mise en œuvre et les effets. Il faut aussi garder en mémoire le fait que les explications causales réelles se révèlent souvent plus complexes que les hypothèses faites au départ.

Pour quoi s'en préoccuper ?

• Pour aider à clarifier les objectifs et à les traduire en une hiérarchie d'effets attendus de façon à permettre leur évaluation
• Pour suggérer des questions d'évaluation à propos de ces effets
• Pour aider à juger la cohérence interne de l'intervention.

• Collecter les documents officiels fondateurs de l'intervention et lui affectant des ressources
• Identifier les principales activités
• Identifier les objectifs
• Traduire les objectifs sous forme de résultats et impacts attendus
• Connecter les activités aux impacts attendus en reconstituant des relations de cause à effet logiques (si… alors…)
• Vérifier que les relations de cause à effet sont logiques, c'est-à-dire qu'elles peuvent être considérées comme plausibles à la lumière des connaissances disponibles
• Discuter la logique reconstruite avec quelques informateurs clés (concepteurs et gestionnaires) et avec des experts du domaine / pays concerné
• Présenter et discuter la logique d'intervention en réunion de groupe de référence

Cette technique consiste à produire une présentation sous la forme d'une matrice qui spécifie les objectifs (première colonne), comment ils devront être vérifiés (deuxième colonne : indicateurs et troisième colonne : sources), et les principales hypothèses sur les facteurs externes (quatrième colonne).
Les lignes du cadre logique reprennent une présentation simplifiée de la logique d'intervention, en seulement quatre lignes: activités, résultats, finalité (purpose = avantage direct pour le public visé) et objectif global.
Cette représentation convient pour une intervention simple, comme un projet ou un programme bien ciblé. En revanche, cette représentation ne peut saisir correctement la complexité d'une intervention hétérogène comme un programme de développement rural intégré, une stratégie pays ou l'appui à une politique sectorielle.
En raison de sa simplicité, le cadre logique permet de détailler les indicateurs qui devront être utilisés à chaque ligne, ainsi que les facteurs externes.

Diagramme des objectifs

Cette technique procède par identification des objectifs officiellement affichés et une présentation graphique montrant les enchaînements logiques entre objectifs, depuis les plus opérationnels jusqu'aux plus globaux. La logique d'intervention est représentée sous forme de boîtes et de flèches.
Une forme particulière de représentation est l'arbre d'objectifs. Elle s'applique dans le cas où chaque objectif de rang inférieur contribue à un seul objectif de rang supérieur.
Contrairement au cadre logique, le diagramme peut avoir des chaînes d'objectifs aussi longues que nécessaire. Il permet aussi de mettre en évidence des synergies et des relations complexes entre objectifs (sauf dans le cas de l'arbre d'objectifs).
Cette représentation convient bien pour des interventions complexes comme les programmes intégrés, les stratégies pays ou les politiques sectorielles.

Diagramme des effets attendus

Cette technique est proche du diagramme des objectifs. Elle procède également par identification des objectifs officiellement affichés, mais les objectifs sont traduits sous forme d'effets attendus avant d'être présentés sous forme de diagramme. La traduction des objectifs en effets attendus permet de travailler avec des concepts plus concrets et plus facilement vérifiables.

• Toujours réexaminer la logique d'intervention. Dans un monde idéal, la logique d'intervention devrait faire partie de la conception de l'intervention, et devrait être disponible au moment de l'évaluation sous la forme d'un cadre ou d'un diagramme. Dans le monde réel ces points méritent d'être vérifiés.
• Dans le cas d'intervention complexes (et particulièrement les évaluations au niveau des pays), il est utile de produire plusieurs diagrammes détaillés et un diagramme de synthèse. En effet, un diagramme très complexe n'est pas utilisable.
• Prendre garde au risque de rationalisation ex-post. Pour réduire ce risque, expliquer clairement le processus de reconstruction et les options choisies.

.

.

Qu'est-ce que c'est ?

Les objectifs sont un affichage initial et formel des changements que l'intervention doit produire. Les objectifs peuvent concerner les réalisations, les résultats ou les impacts.
Ils peuvent être exprimés de façon vérifiable, précisant clairement les changements attendus. Ils peuvent aussi être exprimés d'une façon plus politique ou rhétorique, sans connexion claire avec un changement spécifique.
Le processus d'évaluation peut révéler des objectifs implicites, c'est-à-dire des hypothèses causales qui sont nécessaires pour expliquer comment un objectif peut être atteint.

Pourquoi s'en préoccuper ?

L'identification et la clarification des objectifs est une étape nécessaire pour :

• Reconstruire la logique d'intervention
• Poser des questions et définir des critères de la famille de la pertinence et de l'efficacité.
• Juger la cohérence interne.

Comment les clarifier ?Examen de la clarté des objectifs

L'évaluation identifie les objectifs et, pour chacun d'eux, expose les éléments suivants :

• Enoncé de l'objectif
• Ambiguïtés éventuelles dans certains termes et clarifications proposées
• Moyens proposés pour vérifier l'atteinte de l'objectif
• Echéance à laquelle l'objectif devrait être atteint

L'équipe d'évaluation recherche les objectifs dans les documents officiels qui ont institué l'intervention et dans les documents qui encadrent l'intervention à un niveau politique ou stratégique plus global.
Lorsque l'énoncé d'un objectif comporte des ambiguïtés, l'équipe d'évaluation propose des clarifications en s'appuyant sur ses entretiens avec les informateurs clés.

Examen de la hiérarchie des objectifs

L'évaluation classe les objectifs de l'intervention par niveau hiérarchique :

• Les objectifs globaux correspondent à la raison d'être de l'intervention,
• les objectifs opérationnels correspondent aux produits et services délivrés par l'intervention (réalisations),
• un ou plusieurs niveaux d'objectifs intermédiaires peuvent être identifiés.

La reconstruction de la logique de l'intervention aide à différencier les niveaux d'objectifs ainsi que les effets, résultats directs et impacts qui leur correspondent.
Certaines questions d'évaluation peuvent porter sur l'articulation des objectifs, par exemple :

• Y a-t-il une bonne cohérence interne entre les objectifs opérationnels et les objectifs plus globaux ?

Si l'intervention est encadrée par de nombreux documents de niveau politique ou stratégique, et que ces documents contiennent eux même de nombreux objectifs, l'équipe d'évaluation est confrontée à une surabondance d'objectifs. Plutôt que d'en faire une présentation complète, elle mentionne cet état de fait et les risques que cela implique, puis elle se concentre sur les objectifs qui apparaissent comme les plus importants dans le contexte de l'intervention évaluée.
Il y a un continuum entre les objectifs plus ou moins explicites :

• Objectif clairement affiché dans les textes officiels
• Objectif ambigu clarifié avec l'aide des parties prenantes
• Effet intermédiaire qui doit être obtenu pour qu'un objectif soit atteint (objectif implicite)
• Effet attendu par les parties prenantes mais qui n'était pas prévu au départ, même implicitement

Tous ces éléments méritent d'être expliqués dans le rapport, mais le statut de chacun doit être précisé.

.

.

Qu'est-ce que c'est ?

Il s'agit d'identifier les principales interventions connexes et de situer l'intervention évaluée par rapport à elles.

Pourquoi s'en préoccuper ?

• Pour aider à choisir les questions appartenant aux familles de la cohérence/complémentarité externe et de la pertinence.
• Si nécessaire, pour examiner la qualité de la conception de l'intervention, et notamment le fait que les objectifs sont complémentaires avec ceux des autres politiques connexes.

Comment procéder ?

Le rapport d'évaluation expose succinctement les éléments suivants :

• Principaux organismes nationaux et internationaux intervenant dans le même territoire, dans le même secteur et/ou en direction du même public.
• Principales politiques mises en oeuvre par ces organismes dans le même territoire, dans le même secteur et/ou en direction du même public.

Cette analyse permet de donner un aperçu des principales politiques connexes, si possible avec leur dates de début et de fin, les instruments utilisés, les publics et objectifs visés et les ressources allouées.
Certaines questions d'évaluation peuvent porter sur les politiques connexes pour permettre d'aller plus en profondeur, par exemple :

• L'intervention est-elle cohérente et complémentaire avec les politiques et les priorités du pays partenaire ? … avec les autres politiques communautaires ?
• La mise en œuvre a-t-elle fait l'objet d'une coordination avec les actions des autres bailleurs de fonds et la complémentarité en a-t-elle été améliorée ?
• Dans quelle mesure y a-t-il eu une valeur ajoutée à conduire l'intervention au niveau de la CE plutôt qu'à celui des Etats membres ?