Evaluation methodological approach

.

Que représente le diagramme des décisions?
Définition générale

Le diagramme des décisions décrit le processus par lequel les objectifs stratégiques ou politiques généraux exprimés par les plus hautes instances de l'Union Européenne en matière de coopération avec les pays tiers en général sont traduits en décisions de coopération bilatérale à moyen terme et à court terme.

Il présente l'enchaînement des décisions, formelles ou informelles, qui conduisent à la programmation de l'aide.

Les facteurs de décision

Les facteurs de décision sont a priori de deux types :

• des facteurs internes au processus, chaque objectif retenu justifiant les objectifs de rang inférieur,
• des facteurs externes influant sur le choix.

Ces facteurs externes interviennent dans la prise de décision sous forme de flux d'informations en provenance soit des institutions de l'Union Européenne, soit d'autres provenances (conjoncture stratégique, situation du pays concerné, politique gouvernementale, position des états membres et des autres donneurs, etc.). Ils sont dénommés ressources.

La prise de décision est un thème important de la théorie du management. Divers outils ont été proposés dans la définition des politiques publiques (dans le domaine de la défense notamment), dans la décision médicale et les décisions d'entreprise. Ils prescrivent en général une succession de choix pour des solutions alternatives. Ils sont donc complétés par des outils de rationalisation des choix (par exemple, l'analyse coût-efficacité).

L'utilisation d'outils de ce type dans l'analyse rétrospective d'un processus de prise de décision stratégique a été proposée, sauf erreur, pour la première fois sous une forme simplifiée dans l'évaluation de la stratégie de coopération de la Commission Européenne avec l'Égypte, sans qu'il ait été cependant effectivement utilisé dans la conduite de cette évaluation.

Les raisons de son utilisation

En management, il vise à rationaliser le processus de décision, à le rendre plus efficace compte tenu des problèmes à résoudre et des objectifs à atteindre. Il répond à la question suivante :

Quels éléments doivent être pris en compte pour parvenir à la décision opérationnelle
la plus pertinente, au regard des objectifs recherchés et des moyens mobilisables ?

Cet outil peut prendre appui sur l'un des nombreux logiciels (Outils informatiques) offrant de guider le preneur de décision dans la conduite du processus. Il est donc normatif et par nature simplificateur.

L'évaluateur, quant à lui, a besoin d'un outil pouvant décrire un processus complexe, à la rationalité parfois opaque et mettant en jeu des acteurs multiples aux finalités différentes. De tels processus sont guidés par la recherche du compromis plus que par celle de l'efficacité et n'obéissent le plus souvent à aucun modèle formalisé de rationalisation de la prise de décision.

Peut-on le combiner avec d'autres outils ?

Le diagramme des décisions se combine parfaitement avec le diagramme des objectifs et des effets (et donc, indirectement, avec celui des problèmes). C'est même pour pallier les insuffisances du diagramme des objectifs qu'il a été conçu, même s'il peut présenter une utilité par lui-même.

Sa construction peut s'appuyer sur une analyse SWOT et/ou sur une analyse culturelle et sociale dans lesquels on trouvera des informations de contexte relatif aux sociétés concernées par la stratégie.

La forme en arête de poisson peut être utilisée pour transcrire les trois catégories majeures de constituants du processus de prise de décision. Ainsi, dans un diagramme théorique des décisions de la Commission Européenne en matière d'aide aux pays tiers seront représentés :

• dans l'axe du diagramme (colonne centrale), la chaîne des décisions de planification, qui va des orientations les plus générales aux décisions les plus concrètes, en passant par les décisions stratégiques et politiques à moyen terme et les décisions opérationnelles,
• dans la partie gauche, les flux de ressources provenant des instances de l'Union Européenne (Conseil, Parlement, Commission), telles que les décisions, les positions, les communications, les directives, les enseignements tirés de l'exécution de stratégies et les programmes antérieurs, revue des projets en cours ou en portefeuille, etc.,
• dans la partie droite, les flux de ressources d'autres provenances, c'est-à-dire les informations se rapportant à des événements et tournants majeurs de la situation mondiale ou régionale, à l'évolution et besoins des partenaires et aux positions et interventions des autres donneurs.

Diagramme des décisions simplifié (en arête de poisson) 

Le diagramme permet ainsi de représenter rétrospectivement les étapes de la prise de décision et les principaux flux d'information d'origine externe intervenant dans la formulation de la décision stratégique ou politique.

.

.

Dans quel cas l'outil gagne-t-il à être utilisé?
Au stade de la conception des stratégies

Les stratégies d'intervention extérieure de la Commission Européenne sont conçues à l'issue d'un processus complexe intégrant aussi bien des éléments de contexte que des positions de parties prenantes.

Ce processus est généralement empirique et plutôt opaque. Tout effort de rationalisation et d'explicitation conduirait à des décisions (choix de priorités, adoption de programmes) mieux justifiées et aurait ainsi une influence positive sur l'appropriation des stratégies par les partenaires de la Commission Européenne (État bénéficiaire et États Membres en particulier).

Le recours à un outil de prise de décision tels que le diagramme des décisions permettrait d'organiser le processus de conception, notamment pour ce qui concerne la prise en compte des informations clés, l'intervention des parties prenantes et la gestion du calendrier.

L'objet de cette méthode concerne toutefois l'utilisation de l'outil à des fins d'évaluation (dans la phase de structuration). Son utilisation au stade de la conception des stratégies exigerait une adaptation.

Au stade de l'évaluation des stratégiesLa représentation des choix explicités

Les stratégies de coopération et les politiques d'intervention des donneurs nationaux ou multinationaux obéissent à des visées explicites ou implicites. Les documents qui les présentent exposent en général un ensemble d'objectifs plus ou moins hiérarchisés (voir la forme complexe du diagramme des objectifs), parmi lesquels peuvent être distingués un ou (plus rarement) plusieurs objectifs globaux, des objectifs opérationnels relatifs aux projets concrets d'aide et un ensemble d'objectifs intermédiaires situés à divers niveaux.

Ainsi, les constituants opérationnels d'un programme (projets envisagées et/ou engagés) trouvent leur justification dans le système des objectifs que présentent les documents stratégiques ou politiques dont ils relèvent.

Dans un diagramme des objectifs, le choix de l'objectif global, sa décomposition en un certain nombre d'objectifs intermédiaires et ainsi de suite jusqu'aux objectifs opérationnels, procèdent en effet de choix souvent non explicités.

Sauf à supposer des décisions purement arbitraires, les choix faits par les auteurs des documents de stratégie et de programmation prennent en compte notamment :

• les recommandations des instances dirigeantes de l'Union Européenne (Conseil, Parlement, Commission),
• l'analyse de faits extérieurs (évènements majeurs, situation du pays),
• l'intervention d'acteurs extérieurs (gouvernement partenaire, États Membres ou autres donneurs),
• les enseignements de programmes ou projets antérieurs.

C'est précisément l'incidence de tels flux d'information sur les choix successifs et donc sur l'élimination d'options alternatives qui est décrite dans le diagramme des décisions. Chacune des boites de la colonne centrale du diagramme représente en effet les choix opérés (objectifs retenus, objectifs non retenus), alors que les boites latérales représentent les flux de ressources qui sont les justifications externes de ces choix.

Les documents de stratégie sont désormais établis pour chaque période budgétaire de sept ans. Les informations qui les affectent concernent des événements, orientations ou changements à l'impact profond et durable, mondial (par exemple, les attentats du 11 septembre 2001) ou régional (le déclenchement de la deuxième Intifada en 2000, ou l'invasion militaire de l'Irak en 2003). Si de tels évènements surviennent au cours de la période stratégique, ils peuvent justifier une révision du document stratégique (à l'issue de la révision à mi-parcours, notamment). En règle générale, ces documents restent inchangés jusqu'au terme des périodes pour lesquels ils ont été conçus.

Les programmes sont parfois de plus courte durée (deux à trois ans). Ils peuvent être affectés par des changements substantiels dans les orientations politiques du gouvernement partenaire, par des catastrophes affectant sensiblement la situation du pays (typhon, sécheresse), par la signature d'accords d'association ou de coopération, par des changements de politique des donneurs majeurs, etc. Leur révision ou l'élaboration de nouveaux programmes marquant une réorientation sensible sont des actes habituels de l'activité de programmation en cours de période budgétaire.

Tout en conservant une présentation résumée de l'ensemble du processus de prise de décision (représenté par un diagramme résumé), il est donc logique, à des fins d'évaluation, de scinder en deux le diagramme théorique (diagramme des décisions simplifié).

Il en résultera d'une part un diagramme des décisions stratégiques et d'autre part un diagramme des décisions opérationnelles.

Diagramme simplifié des décisions stratégiques

Diagramme simplifié des décisions opérationnelles

Une telle scission présente en outre l'intérêt secondaire de limiter le nombre de boites de chacun des diagrammes et d'améliorer ainsi leur lisibilité.

L'élaboration des documents de stratégie et de programmation est en principe partenariale. Ces documents sont négociés avec les gouvernements partenaires dans la région ACP.

Dans les autres zones géographiques, seuls les programmes font l'objet d'un accord entre les deux partenaires, tandis que les stratégies sont l'occasion d'une communication pour information.

Avec les États Membres, la consultation de tous les documents de stratégie et de programmation est obligatoire pour tous les pays. L'expérience montre que l'approche partenariale se traduit diversement et revêt parfois un aspect assez formel.

Il est donc concevable que la Commission souhaite un examen approfondi du processus de décision, soit comme partie d'une évaluation pays, soit comme évaluation thématique en soi. Dans les deux cas, le diagramme des décisions devrait se révéler un outil très intéressant.

Le diagramme des décisions rend visible :

• l'ensemble des options possibles dans l'établissement du système des objectifs (objectif global, objectifs intermédiaires retenus et écartés, etc.)
• les incidences externes ayant conduit aux choix.

Complétant ainsi le diagramme des objectifs, le diagramme des décisions facilite l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).

Une visualisation des interventions des principaux partenaires et de
l'examen des 3 C
Lorsque les termes de référence de l'évaluation mettent l'accent sur l'examen du partenariat, le diagramme permet de visualiser l'intervention des principaux partenaires (gouvernement, États Membres et autres donneurs) dans la conception de la stratégie, l'établissement des programmes et la sélection des projets.

Il en est de même pour l'examen des 3C (Cohérence, Coordination, Complémentarité).

Quelles sont ses limites ?

Les limites majeures de l'utilisation de l'instrument sont de deux ordres :

• disponibilité de l'information (étape 3),
• incertitudes sur les causalités.

Information de base

Les informations directes sur les facteurs intervenant dans le processus de formulation stratégique et de programmation sont parfois peu abondantes dans les documents officiels présentant stratégies et programmes. D'autres documents publics, tels que les évaluations, peuvent fournir des indications, mais leur apport reste limité. Les documents non publics (études, notes, correspondances) sont en principe plus riches. Malheureusement ils peuvent être soit indisponibles soit d'accès malaisé.

Les informations orales sont sujettes aux mêmes limites de disponibilité et d'accessibilité des informateurs.

Interprétation causale

Même lorsque des éléments potentiellement explicatifs sont fournis (intervention des autres donneurs, priorités du gouvernement, par exemple), les relations de causalité ne sont pas toujours explicites. Une interprétation est parfois nécessaire, avec les risques d'erreur qu'elle comporte notamment lorsque les choix peuvent trouver leur justification dans la conjonction de plusieurs causes.

L'usage du diagramme des décisions est soumis à trois importantes conditions.

L'existence d'un diagramme d'objectifs

L'existence d'un diagramme d'objectifs dans les documents de stratégie ou de programmes est une condition préalable à la construction du diagramme des décisions. Si tel n'est pas le cas, l'évaluateur devra construire un diagramme d'objectifs.

L'existence et la pertinence des informations

La disponibilité et la mise à disposition d'informations (étape3) écrites ou orales fiables, c'est-à-dire abondantes et vérifiables, sont également une condition nécessaire.

Une collaboration étroite avec les services de la Commission Européenne

Une collaboration confiante entre les évaluateurs et les services de la Commission Européenne (Services compétents des DG Développement et Relations extérieures, Délégations) garantit l'accès à l'information et son interprétation.

.

.

Après avoir réunit toutes les conditions de faisabilité, la démarche d'élaboration d'un diagramme des décisions à des fins d'évaluation repose sur deux piliers :

• l'identification des moments de décision (choix des objectifs),
• le repérage, la collecte et le traitement des informations correspondantes.

Dans la mesure où les informations utiles ne sont pas contenues dans un ou plusieurs documents identifiables, la démarche ne peut pas partir du rassemblement de documents. Elle doit reposer sur une définition préalable du type de document où l'on cherchera l'information.

L'identification des objectifs aux différents niveaux (global, intermédiaire et opérationnel) renvoie à des choix, lesquels peuvent se traduire en questions : pourquoi tel objectif ? pourquoi pas tel autre ?

C'est donc la formulation des questions qui oriente la quête d'informations susceptibles d'apporter des réponses. La pertinence de ces réponses fait l'objet d'une vérification, qui peut conduire à la recherche de nouvelles informations (écrites ou orales), voire à la reformulation des questions, notamment sur les objectifs non retenus.

Le diagramme des décisions (existant ou à construire) identifie les moments où, explicitement ou implicitement, ont été opérés les choix des objectifs.

Mais tandis que le diagramme des objectifs permet d'évaluer la cohérence interne du système des objectifs, le diagramme des décisions représente pour chacun des moments de choix les facteurs externes qui conduisent à retenir tels objectifs plutôt que tels autres.

Identification des moments de choix des objectifs

Dans la plupart des cas, l'établissement du diagramme des décisions fait suite à la construction du diagramme des objectifs. Si tel n'est pas le cas, il convient de procéder tout d'abord à cette construction en utilisant l'outil conçu à cet effet.

Le diagramme des objectifs est l'outil de base pour identifier les moments de choix. Hormis le moment de définition de l'objectif global, les autres moments de choix se situent à chacun des embranchements du diagramme. Dans le diagramme des objectifs par exemple, trois embranchements sont ainsi représentés. C'est là précisément que se pose la question suivante:

Pourquoi ces objectifs ont-ils été retenus ? Et pourquoi pas d'autres ?

Les choix que mérite d'interroger le diagramme des décisions sont :

• le choix initial de l'objectif global,
• les choix ultérieurs des objectifs intermédiaires et opérationnels.

On ne doit pas se cacher toutefois que l'exercice de planification est à la fois stratégique (mise en place des meilleurs moyens pour atteindre les objectifs de différent niveau) et empirique (utilisation des moyens connus justifiable par la poursuite de certains objectifs). Quelle que soit la démarche, elle implique des choix que le diagramme des objectifs permet d'identifier.

Il est recommandé de doter chacun des moments d'un code d'identification (qui peut inclure une indication chronologique) permettant de faciliter son report dans les tableaux d'analyse (voir l'étape 3).

Les questions concernent la justification du choix des objectifs. Elles gagnent à être précises grâce à l'identification des objectifs non retenus. Comment les identifier ? Pour chacun des moments de choix, quatre possibilités peuvent se présenter :

• Les documents de stratégie et de programmation explicitent les objectifs non retenus et fournissent alors les raisons qui ont conduit à les écarter.
• Les documents de travail (versions provisoires, notes et correspondances diverses) permettent de les repérer et parfois justifient les choix qui ont été faits (ce qui est en principe toujours le cas s'agissant des réactions des États Membres et des réponses qu'elles entraînent).
• Aucun des documents disponibles n'explicite les choix opérés, mais les entretiens avec les responsables impliqués dans ces choix apportent des éclairages pertinents.
• Les évaluateurs n'ont collecté aucune information écrite ou orale permettant d'expliquer les choix effectivement faits.

Dans les trois premier cas, les évaluateurs retiendront en première hypothèse les informations fournies sur les objectifs envisagés et non retenus, ainsi que les raisons pour lesquelles ils n'ont pas été retenus.

Dans le dernier cas, il conviendra d'identifier les objectifs théoriquement envisageables par recours à la compétence propre à l'équipe d'évaluation ou à l'expertise externe. Les propositions ainsi faites pourront s'appuyer notamment :

• sur les informations et analyses présentées dans les documents disponibles (par exemple sur la situation du pays partenaire ou sur les engagements des autres donneurs),
• sur le cas de pays relativement analogues.

Formulation des questions

Dans tous les cas, le résultat sera la question suivante :

Pourquoi tel objectif possible n'a pas été retenu ?

Chacun des moments de choix peut justifier plusieurs questions de ce type.

Préalablement à la construction du diagramme, une appréciation des sources d'information doit être opérée par les responsables de l'évaluation ou à défaut par l'équipe d'évaluation. Si elle révèle la pauvreté ou la faible fiabilité de ces sources, il est recommandé de renoncer.

Quelles sont les informations utiles ?

Les informations utiles, écrites ou orales, ne peuvent faire l'objet d'une identification ni limitative ni exhaustive. Une identification valable pour tous les types d'évaluation ne peut être que générale.

Informations écrites

D'une manière générale les informations écrites doivent être recherchées dans quatre catégories principales de documents :

• le document stratégique et le programme peuvent apporter des informations sur les enseignements des réalisations passées, le contexte politique, économique, social, l'intervention des États Membres et des principaux autres donneurs,
• tout document préparatoire (comptes rendus de réunions, notes de fin de missions préparatoires, correspondances et notes internes ou entre services) peuvent éclairer le choix des priorités,
• les évaluations pays, thématiques ou sectorielles, ainsi que les évaluations de projets peuvent rendre compte d'expériences porteuses d'enseignements,
• les documents plus généraux du Conseil et de la Commission (conclusions, recommandations, rapports), ainsi que les traités et accords présentent souvent des éléments de situation, des enseignements et des priorités que les auteurs des stratégies et programmes ont forcément en tête.

Informations orales

En outre, s'ils sont accessibles, les auteurs et contributeurs des documents principaux (documents de stratégie et programmes) doivent pouvoir fournir des explications sur les choix opérés.

Quelles sont les informations spécifiques à l'évaluation pays ?

Pour les raisons formulées ci-dessus, les informations utiles ne peuvent faire l'objet d'une identification ni limitative ni exhaustive. 

Informations écrites

La liste suivante est indicative tant par la nature des documents utilisables que par le type d'information qu'ils contiennent :

• La version définitive du document stratégique pays donne les priorités et la programmation définitive ; elle explicite parfois les enseignements des réalisations passées, les problèmes économiques et sociaux du pays et les priorités du gouvernement partenaire ; elle contient presque systématiquement les engagements de coopération des États Membres et des principaux autres donneurs. Les versions successives de ce document peuvent présenter les priorités et la programmation envisagées et finalement non retenues.
• Les comptes-rendus de réunions et notes de fin de missions préparatoires peuvent fournir des justifications aux choix de priorité et de programmation.
• Les correspondances et notes internes ou entre services, produites au cours de l'élaboration des documents, peuvent fournir des précisions et explications sur les choix de priorité et de programmation.
• Les documents relatant les réactions des États Membres aux projets sur les choix opérés et leurs demandes d'explications montrent les types de questionnements qu'ils se posent.
• La réponse de la Commission aux États Membres, obligatoire, présente les justifications correspondant aux choix contestés.
• Les documents rassemblant les réactions du gouvernement partenaire aux projets explicitent parfois les priorités gouvernementales.
• Les évaluations thématiques ou sectorielles, ainsi que les évaluations de projets peuvent exposer des enseignements et recommandations justifiant les choix ultérieurs.
• Les révisions à mi-parcours sont censées réexaminer les analyses sur lesquels ont été fondés les choix de priorités et la programmation.
• Les accords bilatéraux ou multilatéraux particuliers (de coopération, d'association) et les comptes-rendus des organes communs de suivi précisent les orientations communes ou particulières des deux partenaires.

L'existence de la plupart de ces documents est avérée pour les stratégies établies postérieurement à 2001. Pour les périodes antérieures, cette existence est plus problématique. Même avec une relation de confiance entre les évaluateurs et les services de la Commission, l'accessibilité des documents est loin d'être assurée. 

Informations orales

A défaut ou en complément des informations écrites, les auteurs et contributeurs des documents principaux (documents de stratégie et programmes), ainsi que les responsables du choix des projets effectivement engagés, peuvent être des informateurs extrêmement précieux. Cela suppose qu'ils soient accessibles ou qu'ils aient quelque ancienneté dans le poste qu'ils occupent au siège (DG Développement et Relations extérieures, EuropeAid) ou en Délégation.

Comment collecter les informations utiles ?Collecte de l'information écrite

Elle sera avant tout cherchée auprès des services de la Commission, à savoir les unités géographiques compétentes (pays et région) des DG Relations extérieures et Développement, ainsi que la Délégation de la Commission Européenne dans le pays concerné. 

Collecte de l'information orale

Ce sont les responsables des mêmes services qui sont les principaux interlocuteurs. Le cas échéant, la recherche pourra aussi inclure d'anciens responsables s'ils sont faciles à rencontrer ou à contacter.

Les informations sont-elles suffisantes ?

Si aucun inventaire des sources d'information n'a été opérée par les responsables de l'évaluation, c'est à l'équipe d'évaluation qu'il appartient de porter un jugement préalable sur la qualité de ces sources, en termes d'abondance, de pertinence, de fiabilité et d'accessibilité. Ce jugement fortement étayé sera porté à la connaissance des responsables de l'évaluation, qui statueront.

Sur la base du diagramme des objectifs, une première sélection des informations pertinentes est opérée. Elle passe par :

• L'établissement d'un ou plusieurs chronogrammes qui décrivent la succession des évènements et/ou informations intervenant dans le processus d'élaboration de la stratégie et du programme ;
• La sélection dans les documents collectées de textes relatifs au choix des objectifs et des modalités d'aide prévues ou aux facteurs influençant ces choix ;
• Le classement et l'indexation des textes.

L'analyse des textes peut conduire soit à une sélection complémentaire d'information dans les documents déjà collectés, soit à la recherche de nouveaux documents (démarche aux résultats incertains).

Formulation des explications

Sur la base des informations recueillies seront formulées des réponses provisoires aux questions. Il ne peut être exclu que certaines questions demeurent sans réponse.

Les résultats du traitement de l'information pourront être reportés sur un tableau des questions, qui pourra prendre la forme suivante:

Tableau A : résultats du traitement de l'information collectée

Dans ce tableau A, les colonnes collectent les données suivantes :

• Moment du choix: il y a un avantage à l'identifier par un code rendant compte de l'enchaînement des choix et de la place des moments successifs dans cet enchaînement. Ce code peut être la date du choix.
• Question relative à la justification du choix: à chaque moment correspondent en général plusieurs questions sur les objectifs retenus et non retenus.
• Réponse aux questions: permet d'apporter la justification des choix opérés par les stratégies et programmes.
• Identification des textes sources : se réfère aux textes précédemment sélectionnés et indexés.

Établissement d'un diagramme provisoire

Le diagramme des objectifs sert de base à la chaîne des décisions. Il identifie quatre (parfois cinq) moments de choix concernant :

• l'objectif global,
• les objectifs intermédiaires de premier rang,
• les objectifs intermédiaires de second rang,
• les objectifs opérationnels.

Bien souvent, cependant, l'élaboration des stratégies et programmes n'est pas strictement et exclusivement guidée par une telle logique et intègre en fait une bonne dose d'empirisme. Les auteurs partent, explicitement ou implicitement, d'un objectif global. Ils examinent ensuite par quels moyens concrets à sa disposition la Commission européenne peut poursuivre cet objectif. La succession des choix se ramène alors à deux moments :

• choix de l'objectif global,
• choix des domaines et modalités d'intervention.

Précédant chacun de ces moments sont placés de part et d'autre de la chaîne des décisions les flux de ressources identifiés par traitement de l'information écrite et orale collectée.

Une loupe à gauche du schéma permet d'expliciter les résultats du choix :

• objectifs retenus,
• objectifs non retenus.

Le diagramme d'ensemble en arête de poisson est ainsi complété de diagrammes détaillés correspondant à chacun des moments de choix.

Représentation des moments de choix : cas des objectifs intermédiaires de premier rang

Les choix opérés et leur explication doivent être testés auprès des acteurs principaux de l'élaboration stratégique et de la programmation, dont idéalement les services de la Commission (Siège et Délégation), les représentants des autres parties prenantes (États Membres, ONG, etc.), les interlocuteurs habituels au sein des pays et/ou les Gouvernements bénéficiaires.

Les observations des responsables consultés peuvent être consignées dans le tableau suivant :

Tableau B : résultats du test du diagramme provisoire

Dans ce tableau B, les colonnes collectent les données suivantes :

• Moment du choix : identifié sa place dans l'enchaînement des choix (code identique à celui du tableau A, colonne 1).
• Choix opéré selon le diagramme provisoire: à savoir l'identification des objectifs retenus et des objectifs non retenus, qui ont fait l'objet des questions présentées dans la colonne 2 du tableau A.
• Justification selon le diagramme provisoire: telle qu'elle, il résulte des réponses aux questions apportant la justification des choix opérés par les stratégies et programmes (colonne 3 du tableau A).
• Observations des responsables consultés : c'est-à-dire approuvant avec ou sans réserves, ou rejetant les choix opérés et leur justification.

Si les observations des responsables consultés sont mineures, le diagramme provisoire est amendé pour faire place à leurs observations. Il en résulte un diagramme définitif.

Il peut arriver que le test débouche sur une remise en cause d'une partie du diagramme provisoire, notamment lorsque les justifications apportées ne sont majoritairement pas considérées comme traduisant la réalité de la démarche d'élaboration stratégique et de programmation.

Dans ce cas, un retraitement de l'information, voire une collecte complémentaire pourraient s'imposer. Les évaluateurs et les gestionnaires de l'évaluation devront apprécier la nécessité de construire un nouveau diagramme provisoire et de le tester. Il se peut en effet que les observations recueillies lors du test effectué soient suffisamment précises pour qu'un nouveau test puisse être évité et que le diagramme définitif puisse être établi.

Le diagramme définitif prend la même forme que le diagramme provisoire (diagramme principal et représentation des moments de choix). Il est accompagné du tableau explicatif du traitement de l'information collectée.

.

.

Combien de diagrammes faut-il établir?
Diagramme des décisions stratégiques

On doit en principe construire autant de diagrammes que de documents stratégiques produits au cours de la période d'évaluation.

Il se peut néanmoins que les évaluateurs et les gestionnaires de l'évaluation s'accordent sur le fait que l'ancienneté des premiers documents ne garantisse pas la disponibilité des documents et informateurs à même de permettre la construction d'un diagramme des décisions. Dans ce cas, seul le dernier document ferait l'objet d'un tel diagramme.

Il est à recommander quoi qu'il en soit que les révisions stratégiques éventuellement consécutives à une révision à mi-parcours fassent l'objet d'un diagramme des décisions.

Diagramme des décisions opérationnelles

Un diagramme de ce type doit normalement être établi pour chacun des programmes d'aide.

Or, un document de stratégie peut correspondre à plusieurs programmes. Une période d'évaluation d'une dizaine d'années peut donc comprendre quatre ou cinq programmes.

La construction d'un aussi grand nombre de diagrammes représente cependant une charge de travail et un coût élevés avec des résultats aléatoires du fait des incertitudes sur la disponibilité des informations (documents et informateurs). Les évaluateurs et responsables de l'évaluation peuvent estimer raisonnable de s'en tenir aux programmes correspondant au dernier document de stratégie.

L'ensemble des analyses et propositions faites dans cet outil concernant l'utilisation du diagramme des décisions s'appliquent pleinement au cas des évaluations pays. Elles sont d'ailleurs basées sur l'expérience de ce type d'évaluations.

La construction d'un diagramme des décisions devrait s'imposer chaque fois que l'évaluation vise à vérifier dans quelle mesure les objectifs poursuivis étaient pertinents au regard des finalités de l'Union Européenne, de la situation du pays et du contexte plus général.

L'expérience montre en effet, hors cas extrêmes, que les objectifs et les interventions présentent une cohérence convenable, sans pour autant que l'opportunité des choix puisse être démontrée de manière irréfutable. C'est précisément cette insuffisance des évaluations que prétend surmonter le diagramme des décisions.

L'utilisation du diagramme des décisions dans les évaluations thématiques et sectorielles paraît envisageable, mais reste sujette à vérification et, sans doute à adaptation.

Évaluation de la pertinence de la stratégie et de la programmation

Les explications et justifications des choix recueillies dans les documents et auprès des informateurs compétents méritent d'être évaluées.

Il est suggéré que dans un premier temps, sur la base des compétences des informateurs ou par recours à l'expertise externe, les évaluateurs émettent alors un jugement sur la pertinence des explications recueillies pour chacun des choix. Le jugement considère dans quelle mesure le rejet de tel objectif apparaît justifié.

La justification du choix de l'objectif global (par rejet d'autres objectifs globaux possibles) sera examinée au regard des finalités stratégiques formulées par les institutions de l'Union Européenne (Conseil, Parlement, Commission). La justification des autres objectifs sera vue au regard d'une part de l'objectif global ou de ceux qui en découlent, d'autre part des intrants de la chaîne de décisions.

Évaluation du partenariat

Le partenariat avec les autorités du pays tiers et les représentants des États Membres peut être évalué en considérant certains des flux d'intrants.

Il est ainsi possible d'émettre un jugement sur la prise en compte dans le processus de décision stratégique et programmatique des facteurs suivants :

• stratégies, programmes et engagements des États Membres,
• positions des Etats membres sur l'intervention de la Commission Européenne,
• priorités et engagements du gouvernement partenaire,
• souhaits du gouvernement partenaire relatifs à l'intervention de la Commission Européenne.

Évaluation des 3C

De la même manière peuvent être analysées :

• la cohérence de la stratégie d'aide avec les autres politiques de l'Union Européenne (migrations, commerce, agriculture, etc.),
• la coordination entre la politique de coopération de la Commission et celle des États Membres,
• la complémentarité de la programmation de la Commission avec celle des autres donneurs (y compris la BEI).

Outils complémentaires

Ces outils peuvent être utilisés lorsque les facteurs de décision ne sont pas explicités dans les documents collectés ou lorsque leur interprétation prête à hésitation.

En règle générale ils sont réservés aux évaluations dont les termes de référence incluent explicitement l'analyse de la prise de décision (cas des évaluations thématiques sur les processus de prise de décision en particulier).

Les évaluateurs exposent leur jugements successifs dans une série de tableaux constituant des outils complémentaires du diagramme.

Validation du diagramme par les responsables consultés lors du test

Tableau C : évaluation proposée de choix d'objectifs

Dans ce tableau C, les colonnes collectent les données suivantes :

• Moment du choix : identifié sa place dans l'enchaînement des choix (code identique à celui du tableau A, (étape 4) (colonne 1).
• Choix opéré selon le diagramme définitif : à savoir identification des objectifs retenus et des objectifs non retenus.
• Justification selon le diagramme définitif : prenant en compte les résultats du test tels que consignés dans le tableau B (étape 5) (colonne 4).
• Observations des responsables consultés : c'est-à-dire approuvant avec ou sans réserves, ou rejetant les choix opérés et leur justification.
• Jugement porté par les évaluateurs : c'est-à-dire prenant à leur compte avec ou sans réserves, ou rejetant les observations des responsables consultés.

Validation du diagramme par un panel d'officiels de la Commission et d'experts indépendants

Cette évaluation pourrait être ensuite soumise à un panel composé de représentants des services de la Commission (unité géographique, délégation) et d'experts indépendants et reconnus. Les résultats seraient alors consignés dans un tableau tel que :

Tableau D : évaluation définitive des choix d'objectifs

Dans ce tableau D, les colonnes collectent les données suivantes :

• Moment du choix : identifié sa place dans l'enchaînement des choix (code identique à celui du tableau A (étape 4), colonne 1).
• Choix opéré selon le diagramme définitif : à savoir identification des objectifs retenus et des objectifs non retenus (colonne 2 du tableau C).
• Opinions favorables : concernant le diagramme définitif par les membres du panel.
• Opinions défavorables sur le diagramme définitif : par les membres du panel.
• Jugement des évaluateurs : c'est-à-dire retenant (en totalité ou partiellement) ou rejetant les opinions des membres du panel.

Les documents intermédiaires sont adressés aux gestionnaires et au groupe de référence de l'évaluation. Ils doivent présenter dans le détail les graphes et les tableaux.

Rapport final

Le rapport final est destiné à un large public, en général davantage intéressé par les résultats que par la méthode de l'évaluation.

Il est conseillé de regrouper dans une annexe les graphes et les tableaux d'analyse et de présenter dans le rapport principal une synthèse des résultats sous les trois rubriques ci-dessous :

• pertinence des choix stratégiques et programmatiques,
• pratique du partenariat avec les États Membres et le Gouvernement bénéficiaire,
• cohérence, coordination, complémentarité (les 3 C).

Un diagramme simplifié des décisions stratégiques et opérationnelles peut toutefois être utilement inclus dans le rapport principal.

Restitutions

Le diagramme simplifié mérite en outre d'être projeté lors des présentations des résultats de l'évaluation.

Capacité de travail pour la réalisation d'un diagramme des décisions (cas général)

Déplacements

Jusqu'à présent, les documents stratégiques ont été établis sous la responsabilité des Directions Générales de la Commission (Relations extérieures ou Développement). Ces derniers jouent également un rôle essentiel dans la programmation.

Quant à EuropeAid, il continue à être très actif dans la conception des projets.

Il en résulte que la grande majorité des documents utiles (la totalité des documents de base) sont disponibles à Bruxelles. Cette situation a récemment évolué et les Délégations sont intervenues dans l'élaboration des documents les plus récents et devraient voir leurs responsabilités s'accroître.

En outre, les responsables des pays ACP bénéficiaires de l'aide sont en théorie partie prenantes de l'élaboration des stratégies et programmes dont ils sont co-signataires.

Outils informatiques

Des logiciels existent pour l'aide à la prise de décision. À première vue leur pertinence pour l'évaluation n'est pas évidente. Mieux vaut s'en tenir aux logiciels généralistes tels que PowerPoint ou Excel.

.

.

• Exemples

.

.

• Carluer F. et Richard A., " Analyse stratégique de la décision ", 2002.
• Cox et Jacobson, " The anatomy of influence : decision making in international organization", 1973.
• Muller P. et Y. Surel. " L'analyse des politiques publiques ", 1998.
• Muller P. et Y. Surel (eds), " Les approches cognitives des politiques publiques ", Revue française de science politique, avril 2000.
• Simon H. A., " Administration et processus de décision ", 1983.