Evaluation methodological approach

.

Pourquoi utiliser cet outil en evaluation ?

Les stratégies sont conçues à l'issue d'un processus intégrant des objectifs globaux, des éléments de contexte et des orientations des partenaires. Le diagramme des décisions représente le processus de conception, la prise en compte des informations clés, l'intervention des parties prenantes et la gestion du calendrier. Il visualise les choix effectués au cours de l'élaboration de la stratégie et leurs conséquences que les objectifs retenus et les impacts attendus. Le diagramme des décisions constitue un complément utile aux diagrammes des objectifs et des effets.

Les documents qui présentent les stratégies de coopération exposent en général un ensemble d'objectifs parmi lesquels peuvent être distingués un ou plusieurs objectifs globaux, des objectifs opérationnels relatifs aux projets concrets d'aide et un ensemble d'objectifs intermédiaires situés à divers niveaux. Les choix faits par les auteurs des documents de stratégie et de programmation prennent en compte notamment :

• les recommandations des instances dirigeantes de l'Union Européenne (Conseil, Parlement, Commission),
• l'analyse de faits extérieurs (évènements majeurs, situation du pays),
• l'intervention d'acteurs extérieurs (gouvernement partenaire, États Membres ou autres donneurs),
• les enseignements de programmes ou projets antérieurs.

Ce sont précisément les effets de ces orientations, données contextuelles et analyses qui sont décrits dans le diagramme des décisions. Chaque cellule de la colonne centrale du diagramme représente les choix opérés (objectifs retenus, objectifs non retenus), alors que les cellules latérales représentent les flux de ressources qui sont les justifications externes de ces choix.

Quels usages peut-on faire du diagramme des décisions ?

Le diagramme des décisions rend visible :

• l'ensemble des options possibles dans l'établissement du système des objectifs (objectif global, objectifs intermédiaires retenus et écartés, etc.)
• les incidences externes ayant conduit aux choix.

Le diagramme des décisions contribue à l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).

Lorsque les termes de référence de l'évaluation mettent l'accent sur l'examen du partenariat, le diagramme permet de visualiser l'intervention des principaux partenaires (gouvernement, États Membres et autres donneurs) dans la conception de la stratégie, l'établissement des programmes et la sélection des projets.

Il en est de même pour l'examen des 3C (Cohérence, Coordination, Complémentarité).

Comment réaliser le diagramme des décisions ?

La démarche d'élaboration d'un diagramme des décisions à des fins d'évaluation repose sur deux piliers :

• l'identification des moments de décision (choix des objectifs),
• le repérage, la collecte et le traitement des informations correspondantes.

Les étapes de réalisation du diagramme de décisionEtape 1 : identifier les moments de décision

Dans la plupart des cas, l'établissement du diagramme des décisions fait suite à la construction du diagramme des objectifs. Le diagramme des objectifs est l'outil de base pour identifier les moments de choix. Hormis le moment de définition de l'objectif global, les autres moments de choix se situent à chacun des embranchements du diagramme. C'est là précisément que se pose la question : Pourquoi ces objectifs ont-ils été retenus ? Pourquoi pas d'autres ?

Etape 2 : formuler les questions

Comment identifier les questions qui visent à justifier les choix des objectifs ? Notons que l'identification des objectifs non retenus contribue à les préciser. Pour chacun des moments de choix, quatre possibilités peuvent se présenter :

• Les documents de stratégie et de programmation explicitent les objectifs non retenus et fournissent alors les raisons qui ont conduit à les écarter.
• Les documents de travail (versions provisoires, notes et correspondances diverses) permettent de les repérer et parfois justifient les choix qui ont été faits (ce qui est en principe toujours le cas s'agissant des réactions des États Membres et des réponses qu'elles entraînent).
• Aucun des documents disponibles n'explicite les choix opérés, mais les entretiens avec les responsables impliqués dans ces choix apportent des éclairages pertinents.
• Les évaluateurs n'ont collecté aucune information écrite ou orale permettant d'expliquer les choix effectivement faits.

Dans les trois premier cas, les évaluateurs retiendront en première hypothèse les informations fournies sur les objectifs envisagés et non retenus, ainsi que les raisons pour lesquelles ils n'ont pas été retenus. Dans le dernier cas, il conviendra d'identifier les objectifs théoriquement envisageables.

Etape 3 : la collecte des informations utiles

Préalablement à la construction du diagramme, il est nécessaire d'apprécier la fiabilité des sources d'information. Si elle se révèle insuffisante, il est recommandé de renoncer.

D'une manière générale les informations écrites doivent être recherchées dans quatre catégories principales de documents :

• le document stratégique et le programme peuvent apporter des informations sur les enseignements des réalisations passées, le contexte politique, économique, social, l'intervention des États Membres et des principaux autres donneurs,
• tout document préparatoire (comptes rendus de réunions, notes de fin de missions préparatoires, correspondances et notes internes ou entre services) peuvent éclairer le choix des priorités,
• des évaluations peuvent rendre compte d'expériences porteuses d'enseignements,
• les documents plus généraux du Conseil et de la Commission (conclusions, recommandations, rapports), ainsi que les traités et accords présentent souvent des éléments de situation, des enseignements et des priorités que les auteurs des stratégies et programmes ont forcément en tête.

C'est à l'équipe d'évaluation qu'il appartient de porter un jugement préalable sur la qualité des sources, en termes d'abondance, de pertinence, de fiabilité et d'accessibilité. Ce jugement fortement étayé sera porté à la connaissance des responsables de l'évaluation, qui statueront.

Etape 4 : établir le diagramme provisoire

Sur la base du diagramme des objectifs, une première sélection des informations pertinentes est opérée. Elle passe par :

• L'établissement d'un ou plusieurs chronogrammes qui décrivent la succession des évènements et/ou informations intervenant dans le processus d'élaboration de la stratégie et du programme ;
• La sélection dans les documents collectés de textes relatifs au choix des objectifs et des modalités d'aide prévues ou aux facteurs influençant ces choix ;
• Le classement et l'indexation des textes.

Des réponses provisoires aux questions seront formulées sur la base des informations recueillies. Certaines questions peuvent demeurer sans réponse. Le diagramme des objectifs sert de base à la chaîne des décisions. Il identifie quatre (parfois cinq) moments de choix concernant :

• l'objectif global,
• les objectifs intermédiaires à court et moyen terme,
• les objectifs opérationnels.

L'élaboration des stratégies et programmes est rarement exclusivement guidée par une telle logique. Les auteurs partent, explicitement ou implicitement, d'un objectif global. Ils examinent ensuite par quels moyens concrets à sa disposition la Commission européenne peut poursuivre cet objectif. La succession des choix se ramène alors à deux moments :

• choix de l'objectif global,
• choix des domaines et modalités d'intervention.

Le diagramme d'ensemble en arête de poisson doit complété de diagrammes détaillés correspondant à chacun des moments de choix. Une loupe à gauche du schéma permet d'expliciter les résultats du choix, notamment les objectifs retenus et ceux qui ne l'ont pas été.

Etape 5 : tester le diagramme provisoire

Les choix opérés et leur explication doivent être testés auprès des acteurs principaux de l'élaboration stratégique et de la programmation, dont idéalement les services de la Commission (Siège et Délégation), les représentants des autres parties prenantes (États Membres, ONG, etc.), les interlocuteurs habituels au sein des pays et/ou les Gouvernements bénéficiaires.

Etape 6 : établir le diagramme définitif

Il peut arriver que le test débouche sur une remise en cause d'une partie du diagramme provisoire, notamment lorsque les justifications apportées ne sont majoritairement pas considérées comme traduisant la réalité de la démarche d'élaboration stratégique et de programmation.

Dans ce cas, un retraitement de l'information, voire une collecte complémentaire peut s'imposer. Le diagramme définitif prend la même forme que le diagramme provisoire (diagramme principal et représentation des moments de choix). Il est accompagné du tableau explicatif du traitement de l'information collectée.

Quelles sont les ressources nécessaires?

Quels sont les avantages et les inconvénients de l'analyse multicritère?