Evaluation methodological approach

.

Que représentent-ils ?
Objectifs et effets: Définitions

L'aide au développement (traduite en projet, programme ou stratégie) se donne en général une ambition qui peut être présentée soit comme un objectif à atteindre, soit comme un effet attendu. L'objectif s'exprime en terme d'action et l'impact à atteindre en terme d'état, conséquence de l'action

La grande proximité des deux termes se trouve confirmée par les définitions proposées par les glossaires d'évaluation, par exemple par celui de l'OCDE (Glossaire des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats ).

L'objectif de l'aide recouvre des réalités d'ampleur variable, à savoir aussi bien des actions très concrètes (routes, formations…) que des changements macro-économiques ou sociétaux. En revanche, le terme impact est utilisé, en évaluation, pour traduire un effet à grande échelle et à long terme, les effets à moyen terme étant, par convention, dénommés résultats et les effets immédiats des activités réalisations. Pour englober l'ensemble des conséquences de l'aide (réalisations, résultats, impacts) on utilisera le terme effets.
Lorsque le diagramme est utilisé comme outil de structuration les effets représentés sont les effets attendus de l'aide. Le diagramme peut également être utilisé comme outil d'analyse des résultats de l'évaluation. Les effets représentés sont alors les effets observés.
Au stade de la planification, l'ambition poursuivie par l'aide est à l'heure actuelle plus couramment exprimée en objectifs. Au stade de l'évaluation, les concepts d'objectif et d'effets peuvent être l'un et l'autre utilisés selon les cas.

Le diagramme dans la planificationLe système des objectifs

Même simple, un objectif stratégique global à long terme - qualifié par hypothèse d'objectif de premier rang - est atteint par la réalisation de plusieurs objectifs de second rang, chacun d'eux pouvant dépendre de la réalisation de plusieurs objectifs de troisième rang et ainsi de suite, jusqu'aux objectifs tout à fait concrets que sont les projets d'action.

La plupart du temps, donc, ce que l'on nomme objectif est en réalité l'un des moyens de réaliser un objectif de rang supérieur, en même temps qu'il dépend pour sa réalisation de la mise en œuvre d'un certain nombre de moyens (ou objectifs) subordonnés.

Le système des objectifs représente l'ensemble des objectifs de tous rangs et des liens les unissant.

Le système des effets

Les conséquences de l'exécution d'un projet, d'un programme, d'une stratégie d'aide sont des réalisations qui leur sont directement attribuables, les résultats à court terme liés à ces réalisations et les impacts (directs ou indirects) à plus long terme. Ces conséquences peuvent être regroupées sous le terme 'effets' et sont liées entre elles par un ensemble de relations de causalité ou de synergie constituant le système des effets.

L'arbre des objectifs

C'est dans les procédures d'élaboration de programmes et de projets relevant de la planification par objectif qu'est apparu la nécessité de hiérarchiser de manière logique l'ensemble des objectifs. concourant à la réalisation d'un objectif de rang supérieur. Le système des objectifs est alors classiquement représentée par une arborescence dénommée arbre des objectifs.
Cette représentation en arborescence est soumise à un certain nombre de règles de principe ou de construction :

• il ne peut y avoir qu'un seul objectif de premier rang ou objectif global,
• tout objectif d'un certain rang se rattache à un objectif (et un seul) d'un rang immédiatement supérieur,
• les interactions entre objectifs de même rang et des boucles de rétroaction (les effets devenant des causes et inversement) ne sont pas représentées.

Le niveau d'un objectif exprime sa place dans le système des causes et effets. La représentation graphique traduit le niveau en rang.

Arbre des objectifs (forme classique)

Les arbres des objectifs soumis à ces contraintes sont donc des représentations très simplifiées du système des objectifs défini dans l'élaboration d'une stratégie (ou d'un programme).

Dans le contexte de l'aide de la Commission Européenne, ils décrivent la hiérarchisation des objectifs à mettre en œuvre dans la réalisation d'une stratégie qu'elle soit géographique (région, pays), sectorielle ou thématique, de l'objectif global à long terme de l'Union Européenne jusqu'aux actions entreprises dans le cadre des programmes d'exécution.

L'expérience des évaluations, quelles soient thématiques, sectorielles ou géographiques, montre une réalité plus complexe des systèmes d'objectifs ou d'effets mis en œuvre. En effet, les stratégies et programmes soumis à évaluation ne résultent pas toujours d'une procédure de planification par objectifs et, lorsque c'est le cas, l'énoncé et la hiérarchisation des objectifs y procèdent parfois moins de la rationalisation de choix fondamentaux que de la mise en forme de choix circonstanciels.

Il peut en résulter en particulier :

• une pluralité (deux ou davantage) d'objectifs de premier rang non réductibles à un objectif global unique,
• des objectifs d'un certain rang liés à plusieurs objectifs de rang immédiatement supérieur,
• des objectifs d'un certain rang se rattachant à un objectif situé deux rang au dessus,
• des objectifs de même rang à forte interaction.

Utiliser la forme d'arborescence simple dans le cadre d'une évaluation reviendrait à présupposer une rationalisation très poussée de la définition des objectifs dans un champ stratégique lui-même réductible à des représentations simplifiées.

C'est pourquoi à l'arbre classique des objectifs, très strictement codifié, est préféré une forme plus souple à laquelle est donnée le nom de diagramme des objectifs.

Le diagramme des effets

L'aide publique au développement tend à l'heure actuelle à passer progressivement de la planification et de la gestion par objectifs à la planification et à la gestion axées sur les résultats. De ce fait, l'évaluation est amenée à prendre en compte et à structurer le système des effets liés au programme ou à la stratégie à évaluer. Le terme diagramme des effets sera utilisé pour désigner la structuration figurée du système des effets (réalisations, résultats à court terme et impacts intermédiaires) conduisant à l'impact global attendu.

Le diagramme des effets présente la hiérarchie des réalisations, des résultats et des impacts qui peuvent être attendus de la poursuite du système des objectifs, il se présente comme une arborescence conduisant des activités concrètes envisagées et des réalisations auxquelles elles doivent donner lieu aux résultats directs, aux impacts intermédiaires à moyen-long terme et à l'impact global attendu à long terme. Une lecture inverse peut aussi en être faite, l'impact global attendu étant atteint dans l'enchaînement des impacts intermédiaires, résultats, réalisations et activités

Apparaît d'abord le diagramme des objectifs, qui trouve son origine dans le courant du management par objectifs qui s'est développé au cours des années soixante dans les milieux économiques américains d'abord, puis l'ensemble du monde occidental.

Il a été adapté pour les besoins du Département américain de la Défense, puis transposé à la gestion de l'aide aux pays tiers par l'USAID à la fin des années soixante, en tant que composante du cadre logique.

Les premières utilisations connues, notamment celle de l'USAID, sont liées à la construction des cadres logiques.

Représentation schématique du cadre logique

Il est intégré dans un ensemble d'outils de décision d'aide aux pays tiers, associé notamment à l'arbre des problèmes, dans la planification de projet par objectifs (ZOPP).

Au début des années 1980, le GTZ procède à une révision de la méthode de planification par objectifs (ZOPP). Dans un souci pédagogique, il fixe les étapes de la démarche participative conduisant au cadre logique.

La séquence type est la suivante :

Analyse des problèmes dans la séquence simplifiée du cycle de projet

Il présente alors des caractéristiques marquées :

• il est utilisé dans la conception des projets,
• il est partie intégrante d'une méthode de planification, dans lequel il se déduit de l'arbre des problèmes et débouche sur le cadre logique,
• il est un outil de décision participative à laquelle sont associées les principales parties prenantes du projet, dont l'identification elle-même fait l'objet de la première étape du processus.

À la suite du GTZ, nombre de donneurs publics et d'opérateurs (agences et ONG) ont adopté l'arbre des problèmes comme élément de planification ou gestion des projets.

Son utilisation comme outil de participation et d'appropriation n'a cependant pas toujours le caractère fondamental que lui ont donné les concepteurs du ZOPP. L'insuffisance d'analyse des parties prenantes et/ou la ritualisation des procédures de participation l'ont transformé en exercice en chambre, voire en manipulation. Elles ont réduit le cadre logique au rôle de procédure rigide de gestion des projets et programmes oubliant qu'il est d'abord un outil d'apprentissage et de négociation. Elles ont fait alors ressortir le simplisme des formulations sans la justification de la finalité pédagogique.

La critique la plus profonde porte sur l'hypothèse qu'un consensus peut être atteint entre les parties prenantes (donneur, opérateurs et bénéficiaires) sur les objectifs du développement et la manière de le conduire.

Les insuffisances et déviations apparues au stade de la conception des programmes ne peuvent être ignorées au stade de l'évaluation. Celle-ci doit en particulier s'interroger sur la procédure d'élaboration du système des objectifs et écarter les outils exigeant ou produisant une représentation simpliste de ce système.

L'arbre des objectifs représente un arbre classique des objectifs. Il répond pleinement aux contraintes du genre :

• un seul objectif global (rang 1),
• décomposition de chacun des objectifs d'un rang donné en deux ou plusieurs objectifs de rang inférieur (niveau 2),
• rattachement d'un objectif donné à un (et un seul) des objectifs de rang supérieur (niveau 3),
• absence de relations horizontales,
• absence de boucles de rétroaction (les effets devenant des causes et inversement).

Lorsque ces arbres sont produits dans le cadre de la planification par objectif, l'objectif de rang 1 est habituellement dénommé objectif global. Les objectifs de rang inférieur ont reçu des dénominations diverses auxquelles sera préféré le terme d'objectifs intermédiaires. Il peut y avoir plusieurs rangs d'objectifs intermédiaires. Quant aux objectifs situés à la base de l'arborescence, ils sont qualifiés d'objectifs opérationnels.

Le diagramme des objectifs ci-après représenté est un système d'objectifs sensiblement plus complexe :

• l'un des objectifs de rang intermédiaire (2) se rattache directement à l'objectif global et non à un objectif intermédiaire (1),
• une interrelation est établie entre deux objectifs de rang intermédiaire (3),
• l'un de ces mêmes objectifs se rattache à deux objectifs de rang supérieur (intermédiaire 2),
• le rang des objectifs intermédiaires (2) apparaît incomplet.

Diagramme des objectifs (forme complexe)

Des systèmes d'objectifs encore plus complexes peuvent se présenter, notamment avec deux objectifs globaux et réticulation des objectifs intermédiaires. Toutefois, les diagrammes des objectifs ne permettent pas de traduire visuellement les liens de type boucle de rétroaction.
D'apparition plus récente la représentation structurée du système des effets a, dès son origine, pris en compte les insuffisances de la forme arbre et adopté celle plus souple de diagramme. Les systèmes de réalisations, résultats et impact peuvent en effet avoir le même degré de complexité que le système des objectifs et se traduire en diagrammes de forme analogue.

Diagramme des effets

Diagramme vertical ou horizontal

La disposition des diagrammes peut être verticale ou horizontale.

Dans la disposition verticale, les diagrammes se lisent du haut vers le bas ou du bas vers le haut. En général l'objectif global occupe le niveau supérieur du diagramme.

Dans la disposition horizontale, le diagramme se lit de droite à gauche ou de gauche à droite.

Les objectifs et les effets représentés dans le diagramme sont reliés entre eux par des liens horizontaux ou verticaux. Ces liens sont logiques lorsqu'ils expriment une relation d'inférence (induction ou déduction) validée par l'expérience. Ils manifestent ainsi le fait que :

• l'adoption d'un objectif/effet d'un certain rang induit l'adoption d'objectifs/effets subordonnés,
• un objectif/effet d'un certain rang se déduit d'un objectif/effet de rang (immédiatement ou non) supérieur,
• deux objectifs/effets de même rang ont entre eux une relation de synergie.

Le caractère logique des liens entre objectifs ou effets se fonde pour l'essentiel sur l'expérience et sur les éventuelles théories du développement qui en sont issues. Expérience et théories sont généralement en mesure de définir dans quels objectifs/effets subordonnés un objectif/effet d'un certain rang doit se concrétiser pour pouvoir être atteint dans de bonnes conditions.
Toutefois, en matière de développement, les observations expérimentales ne convergent pas toujours et la portée des théories est plus ou moins universelle. Cela tient, par exemple, à ce que les relations entre objectifs ou effets dépendent de facteurs nombreux et parfois mal connus.
Ainsi, par exemple, même lorsqu'ils sont d'accord sur la pertinence d'un objectif global, les experts peuvent diverger sur la définition des objectifs intermédiaires et, à plus forte raison, des objectifs opérationnels. C'est que le contenu même des grands objectifs, par exemple la réduction de la pauvreté, est matière à débat et évolue avec le temps.

Vérification du caractère logique

Dans la pratique, le caractère logique d'un lien entre objectifs ou effets et donc d'un diagramme d'objectifs ou d'effets se vérifie en faisant appel simultanément à deux types d'expérience:

• celles d'experts reconnus ayant opéré dans des pays divers et des conditions différentes,
• des responsables de la conception et de la mise en œuvre des programmes entrant dans le champ de l'évaluation.

Le caractère logique peut alors être validé unanimement ou partiellement par les deux groupes.

L'évaluation doit exposer clairement le processus de validation et son résultat.

.

.

Dans quelles conditions l'outil gagne-t-il a être utilisé?

Les trois éléments de base des programmes d'aide au développement

Un programme d'aide peut être considéré de divers points de vue : résultats, procédures internes, partenariats, etc. Lorsqu'il est évalué en termes d'efficacité, ce qui est le cas le plus général, ses résultats directs et/ou impacts qu'il a produit sont rapportés aux objectifs ou impacts attendus de tous ordres qu'il s'est fixé. Cela suppose que ces objectifs soient d'une part identifiés ou identifiables et d'autre part hiérarchisés ou hiérarchisables.

Cas des programmes établis sur la base du cadre logique

Lorsque le programme à évaluer a été établi à l'aide d'un cadre logique, celui-ci présente clairement les objectifs de différent rang que le programme entend atteindre. Le cadre logique sert alors naturellement de référentiel à l'évaluation, qui dispose ipso facto des éléments constitutifs du diagramme des objectifs de ce programme. L'établissement de cadres logiques axés sur les résultats ne s'est pas encore généralisé, mais le diagramme des effets peut généralement être déduit du cadre logique des objectifs. L'évaluation a intérêt à reproduire le diagramme des objectifs s'il est présenté par le programme ou, si cela n'est pas le cas, à le reconstituer à partir de la première colonne du cadre logique et à le convertir, s'il y a lieu, en diagramme des effets.

Cas des politiques et stratégies plus complexes

La situation est différente lorsque l'évaluation porte sur un ensemble d'interventions (projets et programmes) qui ne trouvent pas de justification explicite dans un cadre logique, ce qui est un cas très fréquent pour les politiques ou stratégies complexes. Bien souvent, l'évaluateur ne dispose pas d'une présentation explicite et logiquement structurée des objectifs poursuivis ou effets attendus par le donneur. Pourtant, l'évaluation ne se justifie que si elle est en mesure de répondre aux interrogations essentielles suivantes :

• Les objectifs ou impacts attendus de la politique ou de la stratégie évaluées sont-ils atteints ?
• Dans quelle mesure ces objectifs ou effets attendus ont-ils été atteints ?

Pour ce faire, l'évaluateur doit identifier et hiérarchiser les objectifs ou les effets de cette stratégie ou de cette politique. Les diagrammes des objectifs et impacts s'avèrent en général de bons outils de reconstruction et de représentation du système des objectif et/ou du système des effets.

Dans les deux cas, la construction des diagrammes des objectifs et impacts devrait constituer l'une des toutes premières tâches de l'évaluation. Il permet de guider le premier cycle de recherche d'informations et de conduite d'entretiens visant à approfondir la connaissance du programme (de la politique, de la stratégie) à évaluer.

Le diagramme présente de manière explicite les objectifs/effets et les différents rangs auxquels ils se situent, de l'objectif global à plus ou moins long terme à l'ensemble des actions entreprises ou prévues pour sa réalisation.

Il révèle les liens logiques entre ces objectifs/effets ou, au contraire, les faiblesses logiques de ces liens.

Définition des questions d'évaluation

Il permet de formuler les questions que l'évaluation doit affronter pour répondre à l'interrogation essentielle :

Dans quelle mesure les objectifs poursuivis ou les effets attendus ont-ils été atteints ?

Présentation de la stratégie

Bien construit et clairement présenté, il est un outil pédagogique très précieux de présentation et de compréhension de la stratégie.

L'abandon de la représentation en arbre (arbre des objectifs) au profit du diagramme permet de lever la plupart des contraintes de construction et des limites qu'elles induisent (à l'exception notoire de la non représentation des boucles de rétroaction).

Représentation simplifiée de la réalité

Toutefois, comme tout graphe, il est une représentation simplifiée de la réalité et son efficacité pédagogique dépend de l'adoption d'un degré raisonnable de simplification.

Il est d'ailleurs possible d'éviter le simplisme en jouant d'effets de loupe, des sous-diagrammes développant des sections du diagramme principal.

Une cohérence en trompe-l'œil

Le diagramme établit le lien logique entre un objectif et un autre objectif de rang supérieur ou entre un effet et un autre effet de rang supérieur. Tout objectif s'y présente comme logiquement déduit d'un objectif de rang supérieur et tout effet s'y présente comme logiquement déduit d'un effet de rang supérieur. Les réalisations produites par les actions réalisées ou envisagées dans le cadre du programme apparaissent ainsi comme des contributions à la réalisation de l'objectif/impact global donnant une cohérence généralement forte au système des objectifs et des impacts.

Les diagrammes des objectifs et des effets, qu'ils soient tirés du cadre logique du programme ou qu'ils aient été reconstruits à partir des documents justificatifs du programme, masque toutefois une série de choix. Chacun des objectifs ou effets d'un rang donné x se met en effet en œuvre par l'intermédiaire d'objectifs ou effets subordonnés dont le choix doit être justifié. Il est en effet rare qu'une stratégie ou un programme veuille couvrir la totalité du champ correspondant à son objectif global. Ils limitent donc leur champ par des choix opérés à tous les rangs d'objectifs ou d'effets. À défaut de justification explicite des choix par les documents stratégiques, l'évaluation doit répondre à une série de questions :

• Les choix opérés sont-ils les seuls possibles ?
• Sont-ils les plus pertinents au regard de rang x ?
• Quels sont les facteurs externes qui ont conduit à leur choix ?
• Quelles raisons ont conduit à leur élimination ?

Objectifs retenus, objectifs non retenus

Effets retenus, effets non retenus

Faute d'envisager ces questions, l'évaluation va présenter le programme ou la stratégie avec une pertinence et une cohérence qui est plus formelle que réelle.

Le diagramme des objectifs est fréquemment, mais pas toujours, déduit de l'arbre des problèmes. 

Les diagrammes des problèmes donnent une vision synthétique des aspects de la situation que doit, au moins partiellement, améliorer la stratégie. Les objectifs hiérarchisés que se donne la stratégie doivent pouvoir en être déduits.

En planification, la transposition n'est pas forcément automatique. En effet, il peut arriver que, pour des raisons diverses, tous les problèmes inscrits dans le diagramme ne peuvent être affrontés avec la même priorité.

Conversion du diagramme des problèmes en diagramme des objectifs

En évaluation, la reconstitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Dès lors, le diagramme qui en résulte doit pouvoir être transposé intégralement en diagramme des objectifs : au problème central correspond l'objectif global et à chaque niveau de problèmes un niveau équivalent d'objectifs.

Cadre logique

Dans les documents de stratégie ou de programmation, le diagramme des objectifs est en général associé au développement du cadre logique, dont il fournit la colonne de gauche en même temps que l'ossature.

Le diagramme des décisions

L'analyse du processus d'élaboration du programme (diagramme des décisions) peut être utilisée pour expliquer les partis pris dans le choix des objectifs des différents rangs, notamment des rangs supérieurs.

Dans les évaluations intermédiaires de programme, il peut être demandé à l'évaluateur de reconstituer tel ou tel de ces outils, outre le diagramme d'objectifs lui-même.

Lorsque le diagramme des objectifs ou des effets existe dans les documents initiaux du programme ou qu'il se déduit directement d'un cadre logique, il est indispensable d'accompagner sa présentation d'un examen des choix qui ont permis sa construction. Cela suppose la consultation des documents qui ont permis sa construction ainsi que l'interrogation des acteurs directement impliqués dans son élaboration.

En évaluation sectorielle, les documents de base sont les documents de stratégie sectorielle tant au niveau de la Commission Européenne (Communications, lignes directrices, manuels, etc.) que du gouvernement partenaire ainsi que des autres bailleurs de fonds.

Il faut y ajouter les autres documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation, ainsi que les accords bilatéraux tels que Accord d'Association, Accord de Coopération et leurs documents de suivi.

En l'absence des acteurs impliqués et des documents

Si ni les documents ni les acteurs ne sont disponibles ou accessibles l'évaluateur pourra émettre un jugement sur la pertinence du système d'objectifs présenté par le diagramme après, au besoin, consultation de spécialistes.

Dans ce cas, l'équipe d'évaluation devra en tout cas :

• s'assurer de la validité de ces documents et, au besoin, les compléter
• tester la validité des liens hiérarchiques et interrelations qu'elle met en évidence par recherche documentaire et/ou entretiens.

Si les documents d'archives et les acteurs concernés ne sont pas accessibles, l'équipe d'évaluation devra expliciter les hypothèses qu'elle a faites pour construire le diagramme. Elle fournira au lecteur les indications précises relatives aux sources (citations et références complètes des documents) sur lesquelles elles se fondent.

En règle générale, il existe un cadre logique pour tous les projets. L'analyse devra se concentrer sur ce cadre logique tout en appréciant la cohérence verticale et horizontale par rapport au contexte donné. Au cas où aucun cadre logique n'existe, l'évaluation essaiera de reconstituer la logique d'intervention en se basant sur les documents de projets (voir Etape 2 : identifier les objectifs et les effets).

Parfois, le délai entre la préparation du projet et son démarrage peut être important. Dans ce cas, il devient nécessaire de vérifier que le document est toujours valable au démarrage du projet.

Les autres interventions dans la zone du projet doivent être prises en compte afin d'apprécier la cohérence des interventions dans la zone du projet.

Quels objectifs doivent être pris en compte?

L'évaluation portera sur les objectifs mentionnés dans le cadre logique, ou dans le cadre logique reconstitué.

Il est important d'apprécier dans quelle mesure les différents types d'acteurs se sont appropriés les différents objectifs du projet. Cet aspect sera particulièrement important dans le cas d'une évaluation participative.

Une fois reconstitué, le diagramme raisonné des objectifs débouche sur deux démarches parallèles concourant à l'évaluation du projet :

• L'analyse des critères de qualité de projet (pertinence, efficience, efficacité et durabilité) en fonction des différents niveaux d'intervention (activités, résultats, objectifs spécifique),
• la cohérence interne de la stratégie du projet (cohérence verticale) et sa pertinence au regard des objectifs généraux de l'Union Européenne, de la politique de l'État partenaire et de la position de la communauté des donneurs.

.

.

L'évaluation a pour objet premier la mise en évidence des résultats de l'aide et leur comparaison avec les objectifs qu'elle s'est fixée. La phase de structuration requiert que soient analysés les objectifs et qu'en soient déduits les effets attendus.
Après avoir précisé la délimitation du champ de l'évaluation, les évaluateurs construiront un diagramme des objectifs affichés par les documents de stratégie et de programmation, puis ils en tireront successivement un diagramme raisonné des objectifs et pour finir un diagramme des effets (attendus).

Etape 1: Délimiter le champ de l'évaluation

Habituellement, le champ est très précisément délimité par les termes de référence de l'évaluation, qui précisent la période et les instruments financiers à évaluer.

Dans tous les cas, aussi bien pour la période que pour les instruments financiers, l'équipe d'évaluation doit obtenir de l'autorité responsable de l'évaluation une définition extrêmement précise du champ. Cela ne doit cependant pas l'empêcher d'attirer l'attention de cette autorité sur les conséquences d'une délimitation restrictive.

Période d'évaluation

La période soumise à évaluation correspond en totalité ou partie à celle couverte par un ou plusieurs documents de stratégie et/ou de programmation. Toutefois, au cours de cette période, sont exécutés des projets ou programmes trouvant leur origine et justification dans des documents antérieurs.

Quelle part faut-il accorder à leurs objectifs ou effets ?

Deux cas sont à considérer suivant que les documents de stratégie et de programmation entrant dans la période sont en continuité ou en rupture avec les précédents. 

Lorsqu'il y a rupture entre les documents

Il est suggéré de faire une analyse générale des points de rupture pour ce qui concerne à la fois la stratégie globale et le type d'intervention (projets et programmes) et de ne pas inclure les objectifs propres (ou effets) de ces projets et programmes dans l'analyse.

Lorsqu'il y a continuité entre les documents

Les objectifs propres (ou effets) des programmes et projets exécutés durant la période soumise à évaluation doivent alors être inclus dans l'analyse des objectifs.

Instruments financiersDes termes de références explicites

Les termes de référence peuvent préciser que l'évaluation s'applique aux interventions conduites par une institution spécifique (une Direction Générale de la Commission) avec un instrument financier spécifique. Le champ apparaît alors clairement délimité. L'équipe d'évaluation doit cependant inclure les autres institutions dans la catégorie des "Autres bailleurs" et rechercher dans leurs interventions les éléments de cohérence qui font éventuellement défaut au système des objectifs ou effets de l'institution soumise à évaluation.

Elle doit également examiner les modalités de coordination entre les interventions entrant dans le champ de l'évaluation et les autres et porter un jugement sur les conséquences possibles d'une coordination insuffisante.

Des termes de références non explicites

Lorsque les termes de référence ne précisent pas les limites de l'évaluation, l'analyse des objectifs et effets doit s'étendre à l'ensemble des interventions de la Commission quelle que soit l'institution particulière dont elles relèvent et l'instrument financier qui les finance.

La première étape consiste à collecter les documents nécessaires à l'établissement des diagrammes. Ils sont en général disponibles auprès de l'unité concernée des Directions Générales des Relations extérieures ou du Développement.
Ces documents comprennent :

• des documents de base présentant les politiques, les stratégies et les programmes,
• des documents complémentaires à caractère officiel.

Ils varient toutefois selon qu'il s'agit d'évaluations pays, sectorielles ou thématiques.

Relever les références aux objectifs dans les documents de base

Le travail commence par une lecture attentive des documents de base. Elle donne lieu à un relevé (citation exacte, source précise) de toute référence faite à un objectif, c'est-à-dire à ce qui est visé par l'intervention de la Commission Européenne, ainsi qu'aux liens explicitement mentionnés entre cet objectif et d'autres objectifs. 

Attention ! Les documents n'annoncent pas toujours : " ceci est un objectif ". Ils se contentent en général de les introduire par des conjonctions telles que : " pour ", " afin de ", " de sorte que ", etc. Les objectifs eux mêmes peuvent être qualifiés de " priorités ", " domaines d'intervention ", voire " secteurs de concentration " ou autres.

Un tableau précis de ce relevé doit être établi.

Distinguer les objectifs stratégiques des objectifs d'arrière-plan

Les citations relevées dans les documents de référence sont traduites en objectifs. Chacun des objectifs est assorti d'un numéro d'identification renvoyant aux citations.
Parmi les objectifs, les documents identifient ceux auxquels l'intervention est sensée répondre. Les autres seront considérés comme constituant l'arrière-plan.

L'équipe d'évaluation proposera, en annexe des rapports (Comment restituer les résultats ?) concernés, la liste de tous les objectifs pris en considération répartis entre les deux catégories : objet de l'intervention et arrière-plan.

Plusieurs situations sont à considérer :

• le rang est explicité ; c'est assez souvent le cas de l'objectif de rang 1, qualifié de global ou à long terme,
• la relation de cause à effet avec un autre objectif est explicitée ; on peut donc les situer l'un par rapport à l'autre,
• aucune indication n'est donnée sur le rang (absolu ou relatif) de l'objectif ; il convient alors de se référer aux documents complémentaires ou autres documents pour repérer d'éventuels liens de cause à effet ; en leur absence, l'équipe d'évaluation devra faire preuve de logique et/ou recourir à l'expertise d'un spécialiste dans les domaines pour lesquels il considère n'avoir pas toute la compétence (Les ressources humaines et le temps de travail) voulue.

Chacun des classements en rangs devra être justifié, au besoin par des interprétations prenant la forme d'hypothèses explicites.
Un premier classement pourra être effectué en distinguant trois grandes strates d'objectifs :

• objectifs globaux,
• objectifs intermédiaires à court-moyen terme,
• objectifs opérationnels.

La définition des relations logiques occupe une place centrale dans le classement. Elle est avant tout affaire d'expérience. L'équipe d'évaluation est ainsi conduite à considérer qu'une relation entre deux phénomènes est logique lorsqu'elle est reconnue comme telle par les experts du domaine concerné et par les responsables de l'exécution de la stratégie ou de la politique évaluées.

Établir un diagramme provisoire

A partir du premier classement en rangs, un premier diagramme des objectifs affichés peut être établi. Celui-ci pourra faire apparaître des incohérences qui devront être corrigées. Les corrections résultent alors d'interprétations et doivent être clairement désignées comme telles.

Faut-il commencer la construction à partir de l'objectif global ou des objectifs
opérationnels (i.e. objectifs qui définissent les résultats attendus) ?

La pratique montre que ces deux types d'objectifs sont les mieux identifiables, alors que les objectifs intermédiaires sont plus difficiles à identifier et davantage encore à hiérarchiser. Il est donc recommandé de commencer simultanément par les deux extrémités.
Dans le diagramme chaque objectif est représenté par une boite portant son énoncé résumé. Il est recommandé d'y inscrire également un numéro d'identification renvoyant à la liste des citations. Il est en outre pratique de donner aux boites une couleur correspondant à la strate à laquelle il appartient.
Il est également utile de référer chacun des liens à une ou plusieurs citations (grâce au numéro d'identification).
Le diagramme est complété par la mention des moyens spécifiques (financiers et non financiers) mobilisés pour la réalisation de chacun des objectifs opérationnels.

Identifier les auteurs de la formulation des objectifs

Avant de procéder au test du diagramme provisoire, il convient d'identifier les acteurs qui ont, à titre principal ou secondaire, contribué à la formulation des objectifs (rédaction du chapitre, apports sectoriels, participation à des réunions d'élaboration, etc.).

Il est alors utile de vérifier quel rôle cette formulation a joué dans la définition des objectifs opérationnels des programmations.

Tester le diagramme provisoire

Le diagramme doit être testé auprès des auteurs des documents de base et des documents complémentaires afin de valider les classements en rang et les liens entre objectifs. Il s'agit de vérifier que les interprétations de l'évaluateur reflètent correctement les intentions des auteurs. À défaut ou à côté des auteurs, toute autre personne ayant contribué à l'élaboration (rédaction, discussion) des documents peut apporter un témoignage utile.

C'est en général possible pour les documents les plus récents dont les auteurs (ou contributeurs) peuvent être toujours en poste ou joignable dans un service du Siège. C'est beaucoup plus problématique pour les documents les plus anciens dont les auteurs peuvent être difficiles à identifier et en encore plus à joindre.

Il ne sera en outre malheureusement pas toujours possible, à l'issue d'entretiens, de faire le tri entre la reconstitution fidèle de la démarche d'élaboration des documents et les tentations plus ou moins conscientes de justification a posteriori.

Établir la version définitive du diagramme des objectifs affichés

Cette version tient compte des avis recueillis lors du test de la version provisoire.

Elle sera dès lors considérée comme rendant compte fidèlement des intentions initiales de la Commission Européenne telles que manifestées dans les documents officiels.

Il existe des diagrammes d'objectifs affichés qui présentent une forte cohérence interne : à l'exception de l'objectif ou impact attendu global, tout objectif x renvoie à un objectif (immédiatement ou non) supérieur et se trouve développé par un ou plusieurs objectifs subordonnés.
C'est notamment le cas lorsque ces diagrammes des objectifs affichés sont extraits d'un cadre logique et que celui-ci a été établi dans les règles de l'art. Ils peuvent être considérés comme pleinement logiques et tiennent lieu de diagramme raisonné des objectifs.

Liens logiques d'un objectif donné x (cas des diagrammes d'objectifs)

Dans le cas idéal où le système d'objectifs présenté par les documents de stratégie et de programmation est décrit de manière complète et cohérente, il n'est bien entendu pas nécessaire d'établir un diagramme raisonné.

Les limites du diagramme des objectifs affichés

Cependant, les diagrammes des objectifs affichés dévoilent un certain nombre de déficiences logiques de construction sur la base des documents stratégiques ou politiques, tels que :

• l'absence de formulation d'un objectif global,
• une faible pertinence des liaisons causales entre les objectifs,
• des objectifs d'un rang donné ne renvoyant à aucun objectif situé à un rang supérieur ou sans lien avec des objectifs de rang inférieur prévoyant les modalités de mise en œuvre,
• des documents stratégiques ou politiques faisant état d'une multitude d'objectifs sans indications suffisantes permettant de les hiérarchiser.

Dans ces cas, l'équipe d'évaluation sera bien en peine de définir précisément le champ thématique de l'évaluation et de proposer les questions d'évaluation sur lesquelles elle estime souhaitable de se concentrer. Elle sera dès lors amené à construire un diagramme raisonné.

Constitution du diagramme raisonné des objectifs

L'équipe d'évaluation s'attachera à reconstituer un diagramme des objectifs complet et cohérent en s'aidant de la documentation disponible, de son expertise propre et, si besoin, de celles de spécialistes. Cet exercice de reconstruction devra être totalement transparent (Comment restituer les résultats ?) : autant qu'il se pourra, il mettra en évidence graphiquement les reclassements et déplacements d'objectifs, les modifications de liens entre objectifs, l'introduction d'objectifs intermédiaires manquants. Chacune des opérations de rationalisation sera en outre justifiée par une note technique.

Diagrammes d'objectifs et diagrammes des effet attendus obéissent aux mêmes règles générales de construction.
La construction du diagramme des effets s'opère pratiquement par transformation de chacun des objectifs figurés dans le diagramme dans l'effet attendu correspondant.

.

.

Fau-il utiliser les diagrammes des objectifs et des effets ?

Tout donneur se doit de justifier, explicitement ou implicitement, l'aide qu'il attribue à un pays ou une région au cours d'une période donnée. A cet effet, il définit les objectifs qu'il poursuit ou des effets qu'il souhaite voir intervenir en attribuant cette aide. Il établit donc périodiquement des documents présentant ses objectifs généraux ainsi que ses priorités pour la période. De tels documents peuvent soit présenter des orientations, soit un programme précis, soit encore une combinaison des deux.

Ces documents peuvent présenter des programmes définis conjointement par le donneur et le bénéficiaire. Dans ce cas les activités prévues prises en compte sont d'une part celles de la Commission européenne et d'autre part celles du pays partenaire. Les résultats et impacts attendus sont alors la conséquence de la mise en œuvre de ces deux types d'activités.

Concernant les programmes nationaux

Les programmes nationaux (PIN) peuvent être inscrits dans un cadre logique unique ou dans un cadre logique pour chacun des principaux secteurs d'intervention. Il est alors naturel que l'évaluation adopte les cadres logiques (objectifs et indicateurs de concrétisation) comme base des critères d'efficacité référentiel, et qu'elle se donne pour objet de vérifier dans quelle mesure le système d'objectifs et d'effets initiaux ont été atteints par la mise en œuvre du programme.

Concernant les stratégies pays

Les stratégies pays (DSP) ne s'appuient généralement pas sur un cadre logique d'ensemble, car elles sont valables pour une longue période et sont mises en œuvre par plusieurs programmes successifs pouvant chacun d'eux s'appuyer sur un cadre logique. Dans ce dernier cas, l'évaluation sera conduite à reconstituer le système d'objectifs et d'effets et à construire un diagramme le représentant pour chacun des programmes.

Dans les stratégies et les programmes complexes d'aide bilatérale, le donneur est la Commission Européenne, tandis que ses partenaires sont en général des États ou institutions publiques nationales. Commission et États partenaires ont chacun leurs objectifs globaux correspondant à leurs problèmes propres. Dans une certaine mesure, toutefois, et à un certain degré de détail, les objectifs deviennent communs. Dans un accord d'assistance bilatérale entrent donc en jeu trois systèmes d'objectifs ou d'effets :

• un système propre à la Commission, correspondant aux problèmes stratégiques que le donneur espère résoudre par l'aide (par exemple, instabilité régionale, faible capacité d'absorption du marché local, immigration incontrôlée),
• un système propre au partenaire, relatif aux problèmes politiques majeurs auxquels l'État se trouve confronté (déséquilibres macroéconomiques, instabilité sociale, faible rythme de croissance, disparités sociales ou pays, etc.),
• un système commun à la Commission et à son partenaire, correspondant à certaines causes communes aux problèmes de chacun des deux et relatives aux domaines entrant dans le champ de l'assistance (santé, PME, irrigation, environnement, par exemple).

Sauf cas d'évaluation participative, l'équipe d'évaluation s'intéressera prioritairement au premier et au troisième groupe d'objectifs.

Une fois reconstitué, le diagramme raisonné des objectifs puis celui des effets débouchent sur deux démarches parallèles concourant à l'évaluation de la stratégie pays :

• la formulation de questions d'évaluation portant d'une manière générale sur l'efficacité et l'impact de la mise en œuvre et donc aussi sur l'efficience et indirectement sur la durabilité des réalisations et impacts,
• la cohérence interne de la stratégie et sa pertinence au regard des objectifs généraux de l'Union Européenne, de la politique de l'État partenaire et de la position de la communauté des donneurs.

Les deux démarches sont figurées sur le tableau ci-après. À partir du tronc commun d'élaboration du diagramme raisonné des objectifs, le graphe se scinde en deux branches : la branche de droite se rapporte aux questions d'évaluation, tandis que celle de gauche concerne l'analyse globale de la stratégie.

Place des diagrammes d'objectifs dans la conduite d'une évaluation axée sur les questions d'évaluation

Remarque

La pertinence est examinée sous deux aspects principaux :

• (a) : relativement aux objectifs généraux de l'Union européenne et de la Commission européenne,
• (b) : relativement aux besoins et/ou demandes du(des) bénéficiaire(s)

Les questions mettent en regard les effets attendus (réalisations, résultats, impacts secondaires) avec les moyens spécifiques et généraux mobilisés pour les mettre en œuvre.

L'analyse générale interroge la construction de la stratégie, c'est à dire :

• le choix de l'impact attendu,
• le choix des réalisations, résultats, impacts secondaires
• leur pertinence au regard de la situation du pays et de la politique des acteurs majeurs,
• la recherche de complémentarités et de synergies avec les autres donneurs.

Les évaluateurs disposent pour établir le référentiel des évaluations dont ils ont la charge de deux types de diagramme décrivant les objectifs du programme ou de la stratégie à évaluer.

Le diagramme des objectifs affichés

Le diagramme des objectifs affichés présente deux utilités :

• Il reproduit strictement le système des objectifs des cadres logiques lorsqu'il y en a. Il traduit aussi fidèlement que possible le système des objectifs plus ou moins explicite dans les documents ne présentant pas de cadre logique. Il est en cela une étape indispensable dans la construction du diagramme raisonné.
• Il met en évidence, s'il y a lieu, les limites de la cohérence (Les limites du diagramme des objectifs affichés) du système des objectifs. Il se présente comme une contribution à une évaluation ex ante qui n'a pas eu lieu et participe donc d'une pédagogie à l'usage des auteurs de documents de stratégie et de programmation.
• Il se présente comme la transposition graphique fidèle des déclarations contenues dans les documents de stratégie (DSP, DSR) et de programmation (PIN, PIR) relatives aux objectifs poursuivis et aux liens entre ces différents objectifs.

Le diagramme raisonné des objectifs

Le diagramme raisonné des objectifs définit le champ thématique de l'évaluation.

Il établit la hiérarchie raisonnée du système des objectifs tels qu'ils sont présentés dans les cadres logiques ou ont été reconstitués dans le diagramme des objectifs affichés. Il est également la reconstitution logique de la hiérarchie des objectifs proposés par les documents de stratégie (DSP, DSR) et de programmation (PIN, PIR).

Il contribue à l'identification des points forts ou faibles sur lesquels sera mis l'accent par le biais des questions d'évaluation :

• pertinence du choix des objectifs,
• qualité des formulations,
• liens logiques entre rangs, etc.

Il est d'autant plus indispensable que les documents stratégiques ou d'orientation de l'aide pays ne comprennent pas d'exposé systématique (avec ou sans diagramme) du système des objectifs.

Il doit être présenté, au moins sous une forme simplifiée, dans le rapport final d'évaluation et intégralement inclus dans les annexes.

Remarques

Il convient de noter que les diagrammes ne sont pas les seuls outils utilisables pour l'analyse des objectifs ou des effets. D'autres outils, de type matriciel, sont fréquemment employés.

Si l'analyse de la situation ne change pas radicalement au cours de la période et si l'intervention se concentre sur un impact attendu global unique, un seul diagramme suffit.

Plusieurs diagrammes selon les situations

Il est d'autres cas cependant où les stratégies marquent des évolutions sensibles, il y a lieu de reconstituer autant de diagrammes des effets qu'il y a de stratégies différentes de la Commission Européenne. Dans le cas où l'évaluateur ne parvient pas à identifier un impact global unique, et où chacun des impacts globaux relève d'un système d'effets relativement indépendant, il peut être justifié d'établir autant de diagrammes que d'impacts globaux.

Diagrammes intermédiaires

Afin de construire le diagramme des objectifs ou des effets affiché, il peut être opportun d'établir des diagrammes intermédiaires correspondant à chacune des priorités (ou secteurs de concentration) de l'aide au cours de la (ou des) période(s) couvertes par l'évaluation. C'est en particulier le cas lorsque les programmes présentent un cadre logique pour chacune des priorités.
Ces diagrammes peuvent être utiles pour définir et justifier les questions d'évaluation.

Diagrammes loupes

Lorsque les diagrammes d'ensemble sont très complexes, leur lisibilité et leur qualité pédagogique risquent d'en souffrir. Il est conseillé d'en tirer d'une part un diagramme d'ensemble simplifié et des diagrammes de détail offrant un effet de loupe sur certaines zones du diagramme d'ensemble.

Les documents de base sont les documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation.

Il faut y ajouter les accords bilatéraux tels que Accord d'Association, Accord de Coopération et leurs documents de suivi, ainsi que les accords multilatéraux (Accord de Lomé et Cotonou, par exemple) et les documents assimilés (Déclaration de Barcelone, par exemple).

Ils sont en général fournis à l'évaluateur dès le début de la mission.

Toutefois celui-ci doit veiller à deux points :

• tous les programmes successifs, y compris les modifications ultérieures éventuelles, lui sont remis,
• les versions des documents remises sont les versions définitives.

Documents complémentaires

Trois types de document complémentaire doivent être obtenus :

• les documents de stratégie et de programmation relatifs aux interventions de la Commission au niveau régional (DSR et PIR) dans le cas des évaluations pays,
• les documents officiels relatifs aux autres ressources budgétaires non pays mobilisables pour l'aide pays (lignes budgétaires dites horizontales, autres contributions),
• les documents d'orientation spécifiques relatifs aux principaux domaines de l'aide (secteurs dits de concentration ou assimilés).

Autres documents d'information

D'autres documents peuvent être utiles. Il s'agit notamment des versions successives des documents de base (on s'assurera de leur datation exacte) ainsi que des diverses contributions et réactions dont ils ont fait l'objet de la part de services de la Commission, des partenaires nationaux et d'autres donneurs (États Membres en particulier). Ils peuvent être précieux, mais ne sont pas faciles à identifier ni toujours disponibles ou accessibles.

.

.

• Exemples

.

.

Le cadre logique et l'arbre des objectifs

• Manuel de Gestion du cycle du projet, Commission Européenne, EuropeAid, mars 2001.
• Guide récapitulatif des Formations - Gestion du Cycle de Projet, Commission Européenne, EuropeAid, Itad Ltd, Particip GmbH. version 1.1, février 2001.
• " Logical framework analysis", BOND Guidance Notes No 4, March 2003. [EN]
• "The Logical Framework Approach (LFA) ", A summary of the theory behind the LFA method, Sida - Swedish International Development Co-operation Agency, Draft, June 2002.
• "The Logical Framework Approach", Handbook for Objectives-oriented Planning, NORAD, 4th edition, January 1999.
• " The logical framework approach ", Australian agency for international aid (AusAid), AusGuide, AusGuidelines, 2000. [EN]
• " A critical assessment, logical frameworks gasper ", working paper # 264, Institute of Social Studies, the Hague, December 1997.

Utilisation du cadre logique dans l'évaluation

• " Project appraisal 2(4) ", Logical Framework Approach to the Monitoring and Evaluation of Agricultural and Rural Development Projects, Coleman G., 1987, p. 251-259.

Les autres approches

• Program Theory in Evaluation : Challenges and Opportunities, New Directions for Evaluation, a publication of the American Evaluation Association, Fall 2000.

.