Evaluation methodological approach

.

Pourquoi utiliser cet outil d'évaluation?

Le diagramme des objectifs présente la hiérarchie des objectifs, de l'objectif global aux projets et programmes envisagés pour le mettre concrètement en œuvre.

Le diagramme des effets présente la hiérarchie des réalisations, des résultats et des impacts qui sont attendus de la poursuite du système des objectifs.

Ces diagrammes guident la recherche d'informations et la conduite d'entretiens visant à approfondir la connaissance du programme ou de la stratégie à évaluer. Les résultats directs et les effets observables sont rapportés aux objectifs et aux effets attendus du programme. La construction des diagrammes devrait constituer l'une des toutes premières tâches de l'évaluation.

Quels usages peut-on faire du diagramme des objectifs et du diagramme des effets ?
Les diagrammes constituent un moyen pédagogique d'introduire des commentaires sur :

• la cohérence interne,
• la pertinence des objectifs ou des effets au regard du contexte : stratégie globale de l'Union Européenne en matière d'aide aux pays tiers, situation des pays, thèmes ou secteurs et objectifs des acteurs majeurs, champ d'intervention et objectifs des autres donneurs,
• le caractère approprié des moyens affectés à la poursuite des objectifs ou à la réalisation des effets.

Le diagramme des objectifs et le diagramme des effets contribuent utilement à la formulation de questions d'évaluation. Ils donnent une vision synthétique de la stratégie proposée par les documents officiels. Lorsque l'évaluation porte sur une période couverte par deux ou plusieurs documents stratégiques (géographiques) ou politiques (sectoriels, thématiques), il convient d'établir des diagrammes pour chacun des documents (à moins qu'il y ait continuité totale de ligne stratégique ou politique).

Le diagramme des objectifs affichés permet une première appréciation de la qualité de la pensée stratégique. Un diagramme confus, incomplet, incohérent augure mal de la pertinence de la programmation à venir ou de sa fidélité au système initial des objectifs.

Une cohérence en trompe-l'œil
Les diagrammes établissent des liens logiques entre des objectifs ou des effets. Tout objectif ou effet s'y présente comme logiquement déduit de ceux du rang supérieur. Les réalisations produites par les actions réalisées ou envisagées dans le cadre du programme apparaissent ainsi comme des contributions à la réalisation de l'objectif/impact global donnant une cohérence généralement forte au système des objectifs et des impacts.

Il est rare qu'une stratégie ou un programme couvre la totalité du champ correspondant à son objectif global. Les diagrammes des objectifs et des effets n'exposent pas les choix effectués pour déployer chaque objectif ou chaque effet qui de fait en limitent le champ. Pour juger de la cohérence et de la pertinence des systèmes d'objectifs et d'effets, l'évaluation doit répondre à une série de questions :

• Les choix opérés sont-ils les seuls possibles ?
• Sont-ils les plus pertinents au regard de rang x ?
• Quels sont les facteurs externes qui ont conduit à leur choix ?
• Quelles raisons ont conduit à leur élimination ?

Comment mettre en oeuvre?

Après avoir précisé la délimitation du champ de l'évaluation, les évaluateurs construisent un premier diagramme reflétant les objectifs énoncés dans les documents de stratégie et de programmation. Sur cette base, ils élaborent le diagramme des objectifs.

Parfois les documents de stratégie mélangent les objectifs et les effets attendus, il faut alors traduire les effets attendus en objectifs. Le diagramme des effets résulte de la relation entre les objectifs et les effets attendus,

Si le programme a été établi à l'aide d'un cadre logique, celui-ci présente clairement les objectifs à atteindre. Le cadre logique sert alors naturellement de référentiel à l'évaluation, qui dispose ipso facto des éléments constitutifs du diagramme des objectifs. L'établissement de cadres logiques axés sur les résultats n'est pas encore généralisé, mais le diagramme des effets peut être déduit du cadre logique des objectifs.

La situation est différente lorsque l'évaluation porte sur un ensemble d'interventions (projets et programmes) qui ne trouvent pas de justification explicite dans un cadre logique, ce qui est un cas très fréquent pour les politiques ou stratégies complexes. L'évaluateur dispose rarement d'une présentation explicite et logiquement structurée des objectifs poursuivis ou effets attendus par le donneur. Pourtant, l'évaluation ne se justifie que si elle est en mesure de répondre à l'interrogation essentielle : les objectifs ou impacts attendus de la politique ou de la stratégie évaluées sont-ils atteints ?

Les étapes de préparation des diagrammes
Etape 1 : délimiter le champ de l'évaluation

Les termes de référence de l'évaluation précisent la période et les instruments financiers à évaluer. Toutefois, au cours de cette période, sont exécutés des projets ou programmes trouvant leur origine et justification dans des documents antérieurs.

Deux cas sont à considérer suivant que les documents de stratégie et de programmation entrant dans la période sont en continuité ou en rupture avec les précédents.

Etape 2 : identifier les objectifs et les effets

Collecter les documents nécessaires à l'établissement des diagrammes. Ces documents comprennent :

• des documents de base présentant les politiques, les stratégies et les programmes,
• des documents complémentaires à caractère officiel.

Il est suggéré de faire une analyse générale des points de rupture de la stratégie globale et de ne pas inclure les objectifs des projets et programmes en cours relevant d'une stratégie différente de celle de la période évaluée.

Établir une liste des objectifs relevés dans ces documents.

Etape 3 : établir le diagramme des objectifs affichés 

Un premier classement des objectifs selon les rangs pourra être effectué en distinguant trois grandes strates d'objectifs :

• objectifs globaux,
• objectifs intermédiaires à court-moyen terme,
• objectifs opérationnels

La définition des relations logiques occupe une place centrale dans le classement. Elle est avant tout affaire d'expérience.

L'équipe d'évaluation est ainsi conduite à considérer qu'une relation entre deux objectifs est logique lorsqu'elle est reconnue comme telle par les experts du domaine concerné et par les responsables de l'exécution de la stratégie ou de la politique évaluées.

Etape 4 : passer du diagramme des objectifs affichés au diagramme raisonné des objectifs

Les diagrammes des objectifs affichés dévoilent un certain nombre de déficiences logiques de construction sur la base des documents stratégiques ou politiques, tels que :

• des documents stratégiques ou politiques faisant état d'une multitude d'objectifs sans indications suffisantes permettant de les hiérarchiser.
• l'absence de formulation d'un objectif global,
• une faible pertinence des liaisons causales entre les objectifs,
• des objectifs d'un rang donné ne renvoyant à aucun objectif situé à un rang supérieur ou sans lien avec des objectifs de rang inférieur,

L'équipe d'évaluation s'attachera à reconstituer un diagramme des objectifs complet et cohérent en s'aidant de la documentation disponible, de son expertise propre et, si besoin, de celles de spécialistes. Cet exercice de reconstruction devra être totalement transparent : autant qu'il se pourra, il mettra en évidence graphiquement les reclassements et déplacements d'objectifs, les modifications de liens entre objectifs, l'introduction d'objectifs intermédiaires manquants. Chacune des opérations de rationalisation sera en outre justifiée par une note technique.

Etape 5 : Construire le diagramme des effets

Diagrammes d'objectifs et diagrammes des effets attendus obéissent aux mêmes règles générales de construction. La construction du diagramme des effets s'opère pratiquement par transformation de chacun des objectifs en effet attendu correspondant :

• à l'objectif global correspond l'impact global,
• aux objectifs intermédiaires, correspondent des impacts intermédiaires ou des résultats,
• aux objectifs opérationnels correspondent les réalisations.

Outils informatiques

La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint.

Comment restituer les résultats ?

Les diagrammes des objectifs sont établis au cours de la phase de structuration et sont donc présentés dans les notes et rapports produits au cours de cette phase. A ce stade, la construction des diagrammes doit être décrite avec précision.

Dans le cas du diagramme des objectifs affichés, les sources précises des objectifs ou effets (citations exactes, références des documents d'origine) doivent être fournies. Leur place dans le diagramme doit être justifiée par des références à des documents, des entretiens, des expertises. Les hypothèses auxquelles la construction du diagramme a dû cependant recourir doivent être explicitées.

Il en est de même du diagramme des effets. La manière dont il a été extrait du diagramme des objectifs doit notamment être clairement expliquée.

Présentations orales

L'équipe d'évaluation est amenée à présenter ses travaux (méthode et résultats) à différentes audiences (groupe de référence de l'évaluation, ateliers de restitution). Le diagramme des objectifs ou celui des effets se révèlent être un moyen très efficace de communication sous la condition qu'il soit immédiatement lisible sans être excessivement simplificateur.

La solution réside dans la construction d'un diagramme principal et de sous-diagrammes mettant sous la loupe les sections essentielles du diagramme principal. Chacun de ces diagrammes ne devrait pas comprendre plus d'une vingtaine de boites.

Quelles sont les ressources nécessaires ?

Quels sont les avantages et les limites de l'outil?

.