Evaluation methodological approach

.

Que représente le diagramme des problèmes?Qu'appelle-t-on un problème ?

Dans un domaine et une situation donnés, les projets et programmes d'aide ont pour objet de satisfaire des besoins jugés prioritaires ou répondre à un enjeu et pour cela résoudre un certain nombre de problèmes faisant obstacle. Plus globalement, la réussite d'une politique ou d'une stratégie implique la solution de problèmes qui affectent plus ou moins gravement les partenaires et bénéficiaires potentiels de cette politique ou stratégie.
Les problèmes sont en général multiples. Ils sont le plus souvent reliés entre eux par des relations de cause à effet, constituant en cela un système qui peut être, sous certaines conditions, représenté par un diagramme plus ou moins arborescent.
Les problèmes présentent en outre des degrés variables de gravité. Il est donc théoriquement possible d'identifier un problème principal (ou central) et d'articuler autour de lui un ensemble de causes et d'effets.

Présentation du diagramme des problèmes

Dans ce cas le diagramme prend la forme d'un arbre complet avec un tronc (le problème principal), un système radiculaire (l'arborescence des causes) et une ramure (les conséquences ou effets).
Il est en effet d'usage de disposer l'ensemble des causes et celui des conséquences en prenant le problème principal comme axe virtuel, les causes étant disposées dans la partie basse du diagramme et les conséquences dans la partie haute. Le diagramme se lit alors du bas vers le haut.

Exemple type : diagramme des problèmes à double arborescence

Une stratégie, un programme, un projet auront d'autant plus d'efficacité qu'ils s'attaqueront aux causes les plus profondes du ou des problèmes qu'ils ont pour finalité de résoudre. C'est pourquoi, une fois le problème principal identifié, les diagrammes ne représentent parfois que le système des causes et apparaissent comme des arbres inversés.

Le diagramme ci-dessous propose un cas simple dans lequel trois niveau de problèmes ont été identifiés : les causes profondes, les causes intermédiaires et le problème principal.

Diagramme des problèmes à arborescence simple

Dans le contexte de l'aide de la Commission Européenne, le diagramme des problèmes décrit donc le problème principal et ses causes immédiates et profondes, ainsi que le cas échéant ses principales conséquences, auxquels doit répondre la stratégie d'aide, telle qu'elle est formulée principalement dans les documents stratégiques ou politiques et les programmes correspondants.

Le diagramme des problèmes trouve son origine directe ou indirecte dans le courant du management par objectifs qui s'est développé au cours des années soixante dans les milieux économiques américains d'abord, puis dans l'ensemble du monde occidental.
Sous le nom de diagramme des causes et effets (ou de causes à effet), il est utilisé dans des domaines très divers tels que le diagnostic clinique, la prévention et la recherche des causes des accidents ou la politique de qualité totale.
Il apparaît comme outil de décision d'aide aux pays tiers associé à l'arbre des objectifs, dans la planification de projet par objectifs (ZOPP), forme révisée du cadre logique élaborée par le GTZ au début des années 1980.
Sous le nom d'arbre des problèmes, il présente alors les caractéristiques suivantes:

• il est utilisé dans la formulation des projets,
• il est partie intégrante d'une méthode de planification, dans lequel il débouche sur l'arbre des objectifs et, par là, sur le cadre logique,
• il est un outil de décision participative à laquelle sont associées les principales parties prenantes du projet, dont l'identification elle-même fait l'objet de la première phase du processus.

À la suite du GTZ, nombre de donneurs publics et d'opérateurs (agences et ONG) adoptent l'arbre des problèmes comme élément de planification ou de gestion des projets. Son utilisation comme outil de participation et d'appropriation n'a cependant pas toujours le caractère fondamental que lui ont donné les concepteurs du ZOPP.

Les schémas à arborescence simple et complexe présentent des arbres classiques des problèmes. Il répondent pleinement aux contraintes du genre :

• identification d'un seul problème principal,
• décomposition de chacun des problèmes d'un rang donné en deux ou plus problèmes de rang inférieur,
• rattachement d'un problème donné à un (et un seul) des problèmes de rang supérieur,
• absence de relations horizontales, absence de boucles de rétroaction (les effets devenant des causes et inversement).

Ce parti pris de simplification relativement compréhensible dans un processus de planification participative par objectifs devient un handicap en évaluation. Il ne permet pas de rendre compte de la complexité de la réalité ni des défauts de rationalité des documents stratégiques et de programmation. C'est pourquoi la forme classique en arbre a été abandonné et au terme " arbre " a été préféré le terme diagramme.

Diagramme des problèmes (forme complexe)

Le diagramme ci-dessus représente un système de problèmes sensiblement plus complexe :

• l'une des causes intermédiaires de rang 2 se rattache directement au problème principal et non à une cause intermédiaire de rang 1,
• une interrelation est établie entre deux causes intermédiaires de rang 3,
• l'une de ces mêmes causes se rattache à deux causes de rang supérieur (intermédiaire de rang 2).

Des systèmes de problèmes encore plus complexes peuvent se présenter, notamment avec deux problèmes principaux et réticulation des causes intermédiaires. Toutefois, les diagrammes des problèmes ne permettent pas de traduire visuellement les liens de type boucle de rétroaction (les effets devenant des causes et inversement).

Diagramme vertical ou horizontal

La disposition des diagrammes peut être verticale ou horizontale.
Dans la disposition verticale, les diagrammes se lisent du haut vers le bas ou du bas vers le haut. En général, le problème central occupe le niveau supérieur du diagramme.
Dans la disposition horizontale, le diagramme se lit de droite à gauche ou de gauche à droite.

Autre forme

D'autres formes ont été développées. C'est le cas du diagramme en arête de poisson (dit diagramme d'Ishikawa). Outil de recherche des causes d'un effet constaté, il est notamment utilisé en contrôle qualité, en diagnostic clinique et en prévention des accidents.

Les problèmes et les causes représentés dans le diagramme sont reliés entre eux par des liens horizontaux ou verticaux. Ces liens sont logiques lorsqu'ils expriment une relation d'inférence (induction ou déduction) validée par l'expérience. Ils manifestent ainsi le fait que :

• l'adoption d'un problème ou cause d'un certain rang induit l'adoption de problèmes ou causes plus profonds,
• un problème (une cause) d'un certain rang explique l'existence d'un problème (une cause) de rang (immédiatement ou non) supérieur,
• deux problèmes (causes) de même rang ont entre eux une relation de renforcement mutuel.

Le caractère logique des liens entre problèmes (causes) se fonde pour l'essentiel sur l'expérience et sur les éventuelles théories du développement qui en sont issues. Les Expérience et les théories sont généralement en mesure de définir dans quels problèmes (causes) subordonnés un problème ou cause d'un certain rang trouve habituellement son origine.
Toutefois, en matière de développement, les observations expérimentales ne convergent pas toujours et la portée des théories est plus ou moins universelle. Cela tient, par exemple, à ce que les relations entre problèmes ou causes dépendent de facteurs nombreux et parfois mal connus. Même lorsqu'ils sont d'accord sur la pertinence d'un problème central, les experts peuvent diverger sur ses causes intermédiaires et profondes. C'est que la définition de problèmes centraux, tels que par exemple la pauvreté, est matière à débat et évolue avec le temps.

Vérification du caractère logique

Dans la pratique, le caractère logique d'un lien entre problèmes ou causes et donc d'un diagramme de problèmes se vérifie en faisant appel simultanément à deux types d'expérience :

• celles d'experts reconnus ayant opéré dans des pays et dans des conditions différents,
• des responsables de la conception et de la mise en œuvre des programmes entrant dans le champ de l'évaluation.

Ce caractère peut alors être validé unanimement ou partiellement par les deux groupes.
Peut donc être, a contrario, qualifié d'illogique un lien contredit par l'expérience aussi bien des experts, que des opérateurs. La limite entre le logique et l'illogique se situe dans l'espace où il y a doute, lorsque l'expérience délivre des leçons contradictoires ou ambiguës.

.

.

Dans quelles conditions l'outil gagne-t-il a être utilisé?
Evaluation de projets et de programmes simples

Dans la mesure où un programme se donne des objectifs visant à résoudre un certain nombre de problèmes affectant les bénéficiaires potentiels (individuels ou collectifs), il apparaît utile que l'évaluation se préoccupe de la validité de l'analyse qui en a été faite. Lorsque le programme à évaluer a été établi à l'aide d'une méthode fondée sur le cadre logique (ZOPP, PCM), il a dû intégrer une analyse des problèmes dans sa préparation. L'évaluation se doit alors de vérifier :

• La validité de la démarche : comment les problèmes ont-ils été identifiés et hiérarchisés ?
• La cohérence apparente de leur articulation: les liens de causalité sont-ils pertinents ?

L'évaluation de l'analyse des problèmes et du diagramme les représentant est alors un moyen de juger la validité du système des objectifs et du diagramme qui en est fait.
Si le programme ne semble pas avoir établi un diagramme logique des problèmes, il a forcément procédé à une analyse des problèmes que le programme vise à résoudre. Il peut alors être utile, par l'étude des documents de définition et de programmation, de reconstituer un diagramme en donnant une représentation raisonnée.

Evaluation de stratégies ou de programmes complexes

La situation est différente lorsque l'évaluation porte sur un ensemble d'interventions (projets et programmes) qui ne trouvent pas de justification explicite dans un cadre logique, ce qui est un cas très fréquent pour les politiques ou stratégies complexes. L'équipe d'évaluation peut alors ne pas disposer d'une présentation explicite et logiquement structurée des objectifs poursuivis par le donneur et encore moins d'une analyse systématique des difficultés auxquelles ces objectifs sont censés répondre.
Les documents ne sont pas toujours très explicites sur la manière dont les différents types de problème sont pris en compte. L'équipe d'évaluation doit dès lors se poser un certain nombre de questions :

• Est-ce au titre du contexte?
• Ou est-ce dû au préoccupation prioritaire de la stratégie?
• Les raisons de ce choix ne sont souvent pas exprimées clairement.

En outre la méthode utilisée pour l'analyse de la situation et pour le choix des problèmes mériterait d'être présentée, ce qui n'est pas toujours le cas :

• S'agit-il d'un travail en chambre par compilation documentaire?
• Ou bien a-t-il donné lieu à des ateliers ou à des séminaires?
• A-t-il été réalisé par un unique rédacteur?
• Ou bien s'agit-il d'un travail d'équipe?
• L'auteur ou les auteurs de l'analyse sont-ils les mêmes que les rédacteurs des orientations stratégiques et du programme d'intervention ?

La réponse à ces questions est objet d'évaluation.

Evaluation de l'analyse de la situation initiale

Les programmes et stratégies reposent sur une analyse de situation au moment de la conception de la stratégie ou du programme, présentant les données initiales relatives aux problèmes qu'ils sont sensés couvrir ainsi que des informations sur le contexte (économique, social, culturel, institutionnel, environnemental) dans lequel ils vont être mis en œuvre. Cette analyse est déterminante car elle doit identifier :

• les problèmes auxquels doivent prioritairement s'attaquer les interventions,
• les facteurs positifs sur les quels les interventions peuvent s'appuyer,
• les acteurs que les interventions doivent mobiliser,
• les contraintes structurelles ou dynamiques pouvant faire obstacle au succès des interventions.

Il peut donc être explicitement demandé à l'équipe d'évaluation de se prononcer sur la qualité de l'analyse et sur la correspondance entre l'analyse de la situation d'une part et la stratégie / le programme de l'autre. Le diagramme des problèmes, en tant que construction, rétrospective, peut alors être un outil parmi d'autres permettant vérifier la cohérence et la pertinence de l'analyse au regard des problèmes tant prioritaires que contextuels.
L'équipe d'évaluation ne doit pas sous-estimer l'ampleur de la tâche, ni le niveau et la diversité des compétences (Quelles sont les tâches et compétences nécessaires ?) requises pour le construire, notamment s'il s'agit non de la simple mise en diagramme des problèmes présentés dans les documents, mais d'établir le diagramme des problèmes sur lequel aurait dû se fonder la construction du diagramme des objectifs et donc la stratégie.

La littérature spécialisée situe le diagramme des problèmes avant le diagramme des objectifsdans le processus de la planification ou de gestion des projets (ZOPP, PCM). La séquence type est alors la suivante:

L'analyse des problèmes dans la séquence simplifiée du cycle du projet

La place respective de l'analyse des parties prenantes et de l'analyse des problèmes est parfois intervertie. Mais l'analyse des problèmes précède toujours l'analyse des objectifs. Autrement dit, dans le cycle des projets, les objectifs se déduisent de l'analyse des problèmes et non l'inverse.

Dans le cycle des stratégies

L'élaboration de l'intervention d'un donneur dans une relation bilatérale ne découle pas forcément d'une analyse des problèmes. Elle répond par contre toujours à un ou des objectifs généraux (stratégiques, philosophiques), exprimés ou non dans les documents. C'est à partir de ces objectifs que seul ou en partenariat le donneur définit le(s) champ(s) prioritaire(s) de l'assistance.
Le schéma ci-après présente la place logique de l'analyse des problèmes dans le cycle de la stratégie, notamment par rapport à la prise en compte des objectifs.

L'analyse des problèmes dans la séquence simplifiée du cycle de la stratégie

L'évaluation doit prendre en compte cette situation. L'analyse des problèmes et le diagramme qui a pu ou peut en être tiré dérivent de la définition du champ d'intervention et donc des objectifs généraux du donneur (la Commission Européenne) tout en préparant la définition des objectifs spécifiques de l'assistance concrète qui doit être fournie au cours de la période couverte par la stratégie.

Le diagramme présente de manière explicite les problèmes et les différents niveaux auxquels ils se situent par rapport au problème principal. Il révèle les liens logiques de causalité entre ces problèmes ou, au contraire, les faiblesses logiques de ces liens.

Problèmes prioritaires et problèmes de contexte

Il conduit à distinguer dans l'analyse de la situation d'une part ce qui relève du contexte de l'intervention et d'autre part les problèmes auxquels la stratégie et la programmation sont censées apporter des solutions. Il amène donc à mettre à jour les priorités de l'assistance et à justifier pourquoi un certain nombre de problèmes ont été considérés comme prioritaires et d'autres non.

Définition des objectifs

Le diagramme des problèmes permet :

• de dévoiler les objectifs non explicités de la stratégie ou du programme,
• de vérifier le bien-fondé des objectifs qui sont présentés dans les documents de stratégie et de programmation.

Il contribue à l'organisation de l'évaluation pour répondre à l'interrogation essentielle de toute évaluation :

Dans quelle mesure les objectifs ont-ils été atteints ?Quelles sont ses limites ?

Le diagramme organise logiquement les difficultés reconnues comme prioritaires sur la base de l'analyse de la situation. D'où plusieurs séries de limites :

Accès à l'information

L'insuffisance de données ou les difficultés d'accès à l'information peuvent affecter la qualité de l'analyse de la situation. Il convient en la matière de s'interroger :

• Est-elle suffisamment exhaustive et envisage-t-elle les principaux aspects de la réalité ?
• Est-elle actuelle, c'est à dire basée sur des données (Sur quels documents travailler ?)?
• Est-elle dynamique, c'est-à-dire prend-elle en compte aussi bien les mouvements observables que les tendances profondes de la société ?

Qualité de l'analyse

La méthode d'analyse ne garantit pas une haute qualité des données. Ou encore, ni la méthode utilisée, ni les sources d'information ne sont citées dans les documents stratégiques/ politiques et de programmation. L'évaluateur doit donc systématiquement étendre son examen à l'origine de l'analyse produite par ces documents, s'interroger sur la méthode utilisée, les sources principales d'information et en identifier les rédacteurs.

Problème prioritaire / problème de contexte

La définition des priorités relatives aux problèmes aboutit de facto à leur classement en deux catégories : les problèmes de contexte et les problèmes retenus comme prioritaires. Deux questions se posent alors:

• Le choix de ces priorités est-il explicitement justifié ?
• Les données disponibles permettent-elles d'estimer la pertinence des justifications ?

Choix du problème principal

Le choix du problème principal, essentiel pour la construction du diagramme des problèmes, est particulièrement ardu lorsque les objectifs de l'intervention sont généraux et que l'ensemble des problèmes du pays (de la région) sont à considérer. Il ne peut en outre être exclu que les documents désignent deux problèmes principaux, sans lien direct entre eux, ou qu'ils ne permettent pas de désigner un seul problème central.

Représentation en arborescence

L'organisation classique des difficultés en arborescence définit une hiérarchisation simple (Quels diagrammes de problèmes doit-on utiliser en évaluation pays ?) qui ne rend pas forcément compte de la complexité de la réalité et des interactions entre difficultés. La construction des diagrammes repose en effet sur des conventions graphiques, notamment:

• la non représentation des interactions entre problèmes situés au même rang,
• l'ignorance des boucles de rétroaction (les effets devenant des causes et inversement),
• la représentation multiple d'un facteur agissant comme cause de plusieurs problèmes.

C'est pourquoi les représentations plus sophistiquées doivent être préférées.

Connaissance de la situation du pays ou de la région

L'équipe d'évaluation ne dispose généralement pas d'une connaissance suffisante de la situation du pays ou de la région pour estimer le degré de pertinence de l'analyse qui en est faite, du caractère prioritaire attribué à certains problèmes, du choix du problème principal et de l'organisation logique des problèmes prioritaires.

Lorsqu'il est utilisé, le diagramme des problèmes est en général associé à l'analyse des objectifs (et donc au diagramme des objectifs) et au développement du cadre logique.

Il sert à la construction du diagramme des objectifs, souvent par simple transposition.

Le diagramme des décisions

L'analyse du processus d'élaboration du programme (diagramme des décisions) peut également être utilisée pour expliquer les partis pris dans le choix des problèmes prioritaires et du problème principal.
Dans les évaluations intermédiaires de programmes, il peut être demandé à l'équipe d'évaluation de reconstituer tel ou tel de ces outils, outre le diagramme des problèmes lui-même.

Le diagramme d'impacts réels

Dans une évaluation ex post ou à composante ex post, l'analyse initiale de la situation et le choix des problèmes prioritaires et du problème central peuvent être comparés à l'analyse de la situation en fin de période et confrontés à un diagramme des impacts réels résultant de la mise en œuvre de la stratégie afin d'apprécier la contribution de l'assistance à la solution des problèmes.

Autres outils d'analyse

Particulièrement dans la reconstruction rétrospective, le diagramme des problèmes peut s'appuyer sur d'autres outils d'analyse de la situation tels que :

• l'analyse SWOT,
• l'analyse socio-culturelle.

Lorsque le diagramme des problèmes existe dans les documents initiaux du programme ou qu'il se déduit directement d'un cadre logique, il est indispensable d'accompagner sa présentation d'un examen des choix qui ont permis sa construction. Cela suppose la consultation des documents qui ont permis sa construction ainsi que l'interrogation des acteurs directement impliqués dans son élaboration.

En l'absence de documents et d'acteurs

L'évaluateur pourra émettre un jugement sur la pertinence du système des problèmes présenté par le diagramme après, au besoin, consultation de spécialistes.
Lorsque le diagramme a été reconstitué par l'évaluateur sur la base des documents mis à sa disposition, l'évaluateur devra:

• s'assurer de la validité de ces documents et, au besoin, étendre l'analyse à des documents complémentaires,
• tester la validité des liens hiérarchiques et interrelations qu'il met en évidence par recherche documentaire et/ou entretiens.

Si les documents d'archives et les acteurs concernés ne sont pas accessibles, l'évaluateur devra expliciter les hypothèses qu'il a faites pour construire le diagramme. Il fournira au lecteur les sources précises (citations et références complètes des documents) sur lesquelles elles se fondent.

.

.

Etape 1: comment identifier les problèmes?Relever les références aux problèmes dans les documentsRelevés des références dans les documents

Les problèmes sont reconnus par le repérage de citations prises dans les documents de base de l'évaluation. Ils n'y sont pas forcément décrits en tant que tels.

Ils n'apparaissent parfois que sous la forme d'objectifs de l'aide ou d'effets qui en sont attendus.

Il faut donc identifier les problèmes en tant que :

• problèmes (exprimés comme tels),
• objectifs visant à résoudre explicitement ou implicitement un problème,
• effets attendus de l'aide que prévoit le CSP.

L'analyse préliminaire des citations révèle :

• de nombreuses répétitions, notamment du fait de la pluralité des présentations (résumé, stratégie, programme, annexe),
• des imprécisions terminologiques (par exemple, développement économique et social, qui mériterait d'être explicité).

Un toilettage doit donc être opéré.

Distinguer les problèmes de contexte des problèmes prioritaires

Parmi les problèmes, les documents identifient assez souvent ceux auxquels l'intervention est sensée répondre. L'équipe d'évaluation doit alors repérer dans l'analyse de la situation les problèmes qui sont liés à l'intervention afin de les intégrer dans le diagramme. Les autres seront considérés comme relevant du contexte.
Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Les problèmes prioritaires et de contexte sont alors confondus, ce qui rend la construction du diagramme difficile. Ce n'est qu'à l'issue de celle-ci que l'évaluateur pourra distinguer les différents types de problèmes.
Quel que soit le cas de figure, l'évaluateur proposera en annexe la liste de tous les problèmes pris en considération répartis entre les deux catégories :

• le contexte de l'intervention,
• l'objet de l'intervention.

L'identification du problème principal parmi les nombreux problèmes identifiés est l'étape cruciale du processus. Trois situations peuvent se présenter :

Le problème principal est désigné dans les documents
Il s'agit en général d'un problème vaste et consensuel, la pauvreté structurelle par exemple, ou la reconstruction après un conflit ou une catastrophe naturelle.

Le problème principal n'est pas clairement désigné mais l'objectif global l'est
L'évaluateur peut alors déduire le problème principal de l'objectif global.
Il n'y a pas lieu de s'étendre sur ces deux premières situations. L'évaluateur adopte le problème principal explicitement ou implicitement désigné par les documents quelle que soit son opinion sur ce choix.

Ni le problème principal, ni l'objectif global ne sont explicitement désignés
L'évaluateur se trouve alors dans la position initiale du planificateur. Il doit choisir un des problèmes pour en faire le problème principal. Il peut :

• opérer personnellement le choix qui lui paraît le plus logique,
• ou procéder par consultation individuelle de spécialistes ou par discussion dans le cadre d'une réunion des spécialistes.

Quelle que soit la procédure adoptée, le choix du problème central est indissociable du classement des problèmes selon les niveaux. C'est en effet dans la cohérence de l'ensemble du diagramme que le choix du problème central trouve sa justification.

Procéder à un premier classement des problèmes selon les rangs

Plusieurs situations sont à considérer :

• le rang est explicité,
• la relation de cause à effet avec un autre problème est explicitée ; on peut donc les situer l'un par rapport à l'autre,
• aucune indication n'est donnée sur le rang (absolu ou relatif) du problème ; l'équipe d'évaluation devra faire preuve de logique et/ou recourir à l'expertise d'un spécialiste dans les domaines dans lesquels elle considère n'avoir pas toute la compétence voulue.

Chacun des classements par rang devra être justifié, au besoin par des interprétations prenant la forme d'hypothèses explicites.

L'une des principales difficultés dans la représentation graphique du système des problèmes est la distinction entre les raccourcis et les incohérences.

Dans le raccourci, l'enchaînement de plusieurs causalités est ramené au lien causal entre le premier et le dernier problème de la chaîne.

Prenons l'exemple de la chaîne exprimant l'incidence des insuffisances du réseau routier sur la pauvreté :

On trouve dans le même document des citations que l'on peut traduire par :

ou par :

Il ne s'agit pas d'incohérences mais de raccourci de nature strictement stylistique.

Le diagramme provisoire peut refléter le système des problèmes tel qu'il est décrit dans les documents stratégiques et de programmation, avec des déficiences logiques de construction. Si la construction d'un diagramme affiché n'est pas explicitement stipulée, les évaluateurs peuvent considérer le diagramme provisoire comme une étape dans la construction d'un diagramme raisonné des problèmes.

Les étapes à suivre pour élaborer un premier diagramme

Faut-il commencer la construction à partir du problème principal ou des causes profondes ?

La pratique montre que ces deux types de problèmes / causes sont les mieux identifiables, alors que les causes intermédiaires sont plus difficiles à identifier et davantage encore à hiérarchiser. Il est donc recommandé de commencer simultanément par les deux extrémités.

Identifier les auteurs de l'analyse des problèmes

Avant de procéder au test du diagramme provisoire, il convient d'identifier les acteurs qui ont à titre principal ou secondaire contribué à l'analyse de la situation (rédaction du chapitre, apport sectoriel, participation à des réunions d'élaboration, etc.).
Il est alors utile de vérifier le rôle que cette analyse a joué dans la définition des objectifs opérationnels de la stratégie et des programmations.

Tester le diagramme provisoire

Il est indispensable de tester le diagramme auprès des auteurs des documents utilisés afin de valider les classements par rangs et les liens entre problèmes. Il s'agit de vérifier que les interprétations de l'équipe d'évaluation reflètent correctement les intentions des auteurs. À défaut ou à côté des auteurs, tout autre personne ayant contribué à l'élaboration (rédaction, discussion) des documents peut apporter un témoignage utile.
C'est en général possible pour les documents les plus récents dont les auteurs (ou contributeurs) peuvent être encore en poste ou joignables dans un service du Siège. C'est beaucoup plus problématique pour les documents les plus anciens dont les auteurs peuvent être difficiles à identifier et encore plus à joindre.

Établir la version définitive du diagramme des problèmes

Cette version tient compte des avis recueillis lors du test de la version provisoire. Elle sera dès lors considérée comme rendant compte fidèlement des analyses initiales de la Commission Européenne telles que manifestées dans les documents officiels.

Si l'analyse de la situation ne change pas radicalement au cours de la période et si l'intervention se concentre sur un problème central unique alors un seul diagramme suffit.

Plusieurs diagrammes

• Si la situation du pays (sa situation propre ou son contexte stratégique) a changé au cours de la période d'évaluation et où les analyses reflètent substantiellement les changements
• Dans le cas où l'équipe d'évaluation ne parvient pas à identifier un problème central unique et ou les différents problèmes centraux procèdent d'un système de causes relativement indépendant, la même nécessité s'impose d'établir autant de diagrammes que de problèmes centraux. Bien entendu, toutes les procédures de vérification seront utilisées pour justifier cette pluralité. En effet, l'équipe d'évaluation sera conduite à conclure à l'existence d'une pluralité d'objectifs globaux.
• On peut en outre envisager, si l'information est suffisante, d'établir un diagramme pour chacune des priorités ou secteurs de concentration de l'aide.

Les diagrammes des problèmes sont des instruments essentiels de la phase de structuration de l'évaluation lorsqu'il n'est pas possible d'établir directement des diagrammes d'objectifs. Leur contribution est alors double.

Transposition en diagramme des objectifs

Les diagrammes des problèmes donnent une vision synthétique des aspects de la situation que doit, au moins partiellement, améliorer la stratégie. Les objectifs hiérarchisés que se donne la stratégie doivent pouvoir en être déduits.

Phase de planification

Lorsque le diagramme des problèmes est utilisé dans la phase de planification (projet ou programme), sa transposition en diagramme des objectifs n'est pas forcément automatique. En effet, il peut arriver que, pour des raisons diverses, tous les problèmes inscrits dans le diagramme ne peuvent être affrontés avec la même priorité.

Phase d'évaluation

Dans la phase d'évaluation, la reconstitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Dès lors, le diagramme qui en résulte doit pouvoir être transposé intégralement en diagramme des objectifs : au problème central correspond l'objectif global et à chaque rang de problèmes un rang équivalent d'objectifs.

Conversion du diagramme des problèmes en diagramme des objectifs
Extrait de : "A summary of the theory behind the LFA method", The Logical Framework Approach (LFA), SIDA - Swedish International Development Co-operation Agency, Draft, June 2002.

Le diagramme des objectifs présente la hiérarchie des objectifs, de l'objectif stratégique global aux projets et programmes envisagés pour le mettre concrètement en œuvre. Il peut susciter des commentaires sur :

• sa cohérence interne,
• la pertinence des objectifs au regard du contexte général (stratégie globale de l'Union Européenne en matière d'aide aux pays tiers, la situation des pays éligibles et les objectifs des acteurs majeurs, le champ d'intervention et objectifs des autres donneurs),
• le caractère approprié des moyens affectés à la poursuite des objectifs.

Ces commentaires doivent être présentées dans les rapports et notes de la phase l'évaluation consacrée à la structuration. Ils apparaissent également sous une forme plus résumée dans le rapport final.

Définition des thèmes des questions d'évaluation

Les analyses précédentes suscitent des interrogations portant notamment sur :

• la fidélité de la stratégie aux objectifs globaux de l'Union Européenne en matière d'aide aux pays tiers,
• la pertinence de la stratégie au regard de la situation des pays éligibles et de la politique des acteurs majeurs (gouvernements en particulier),
• la recherche de complémentarités et de synergies avec les autres donneurs,
• les conséquences des éventuels défauts de cohérence du système des objectifs,
• la pertinence des moyens mobilisés en rapport avec les objectifs.

Ces interrogations permettent de définir un ensemble de thèmes pouvant donner lieu à des approfondissements dans les phases suivantes de l'évaluation, en particulier par le biais de questions d'évaluation.
Cependant les questions d'évaluation ne sauraient se déduire automatiquement de ces analyses. D'autres interrogations peuvent surgir au cours de la phase de structuration, formulées par les principaux responsables de la mise en œuvre de la stratégie et donc davantage reliées aux difficultés rencontrées aux stades de la programmation et de la réalisation. Le nombre de questions auxquelles une évaluation classique peut répondre est limité et il est donc nécessaire de procéder à un choix.

Les diagrammes des problèmes sont établis au cours de la phase de structuration et sont donc présentés dans les notes et rapports produits au cours de cette phase. A ce stade, la construction des diagrammes doit être décrite avec précision.
Les sources précises des problèmes (citations exactes, références des documents d'origine) doivent être fournies. La place des problèmes dans le diagramme doit être justifiée par des références à des documents, des entretiens, des expertises. Les hypothèses auxquelles la construction du diagramme a dû cependant recourir doivent être explicitées.

Le rapport final

Dans la mesure où les diagrammes des problèmes ne sont pas de simples étapes dans lae formulation des questions, mais où ils conduisent à l'analyse de la stratégie et à l'évaluation qui peut en être faite, ils doivent faire l'objet d'une référence dans le rapport final.
Il peut en être fait une présentation succincte dans le rapport proprement dit et ils doivent faire l'objet d'une annexe permettant de saisir leurs tenants et aboutissants.

Les présentations orales

L'équipe d'évaluation est amenée à présenter ses travaux (méthode et résultats) à différentes audiences (groupe de référence de l'évaluation, ateliers de restitution). Le diagramme des problèmes se révèle être un moyen très efficace de communication à la condition qu'il soit immédiatement lisible sans être excessivement simplificateur.
La solution réside dans la construction d'un diagramme principal et de sous-diagrammes mettant sous la loupe les sections essentielles du diagramme principal. Chacun de ces diagrammes ne devrait pas comprendre plus d'une vingtaine de boites.

Les besoins en moyens humains varient notablement suivant qu'il s'agit de reconstituer le diagramme des problèmes à partir de l'analyse de la situation présentée dans les documents ou de la construction rétrospective d'un diagramme des problèmes tel qu'il aurait dû être établi pour donner sa pleine pertinence à la stratégie ou au programme évalués.
Le tableau ci-dessous présente donc en colonne de droite une fourchette très ouverte de jours de travail.

Relation entre les compétences nécessaires, le personnel approprié et le nombre de jours de travail (Cas général)

Quels sont les déplacements à envisager ?

Jusqu'à présent, les documents stratégiques ont été établis sous la responsabilité des services du Siège (Relations extérieures ou Développement). Ces derniers jouent également un rôle essentiel dans la programmation. Quant à EuropeAid, il continue à être très actif dans la conception des projets. Il en résulte que la grande majorité des documents utiles (la totalité des documents de base) sont disponibles à Bruxelles. Cette situation sera amenée à évoluer et les Délégations devraient voir leurs responsabilités s'accroîtrent.
Dans le cas d'évaluation pays, l'exercice de construction rétrospective, toutefois, ne saurait faire l'économie d'une mission de 5 à 10 jours de 2 à 3 experts dans le pays concerné.

Quels sont les outils informatiques utilisables ?

La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint. On peut aussi tester les logiciels conçus comme des outils d'aide à la décision, tels MS Visio, TeamUP-PCM for Windows, Palisade PrecisionTree.

.

.

Quand faut-il utiliser le diagramme des problèmes en évaluation pays?

Tout donneur se doit de justifier, explicitement ou implicitement, l'aide qu'il attribue à un pays ou une région au cours d'une période donnée. A cet effet, il définit les objectifs qu'il poursuit en attribuant cette aide et qui visent à résoudre un certain nombre de problèmes, qu'ils soient les siens propres ou ceux du bénéficiaire de l'aide.
L'évaluation n'a pas pour objet de procéder à une analyse des problèmes et d'établir le diagramme qui la traduit, mais de reconstituer l'analyse qui a été faite et de la traduire en diagramme.

À cet égard, en évaluation pays, le recours au diagramme des problèmes se justifie dans deux cas :

Analyse détaillée des problèmes dans les documents

Sa transposition (Etape 2 : comment établir le diagramme des problèmes ?) en un diagramme peut permettre de vérifier la cohérence de l'analyse et la pertinence des objectifs au regard de cette analyse. Il convient alors de reconstruire le(s) diagramme(s) des problèmes et celui des objectifs, (Comment utiliser les diagrammes ?) puis de confronter les deux.

Analyse des problèmes non explicitée dans les documents

Il peut être utile de se pencher sur l'analyse qui est faite de la situation et de dresser à partir de là un diagramme des problèmes auxquels l'aide est sensée faire face. Par ce moyen il doit être possible sinon de reconstituer directement le diagramme des objectifs, du moins de valider l'ébauche de diagramme établi à partir des documents.

Dans une stratégie d'aide bilatérale, le donneur est la Commission Européenne et son partenaire est en général un État ou des institutions publiques nationales. La Commission et ses partenaires ont chacun leurs objectifs globaux correspondant à leurs propres problèmes. Dans une certaine mesure, toutefois, et à un certain degré de détail, les problèmes deviennent communs.
Dans un accord d'assistance bilatérale entrent en effet en jeu trois systèmes de problèmes.

Un système propre au donneur

Ce système correspond aux problèmes stratégiques que le donneur espère résoudre par l'aide (exemples : instabilité régionale, faible capacité d'absorption du marché local, immigration incontrôlée).

Un système propre au partenaire

Ce système est relatif aux problèmes politiques majeurs auxquels l'État se trouve confronté (exemples : déséquilibres macroéconomiques, instabilité sociale, faible rythme de croissance, disparités sociales ou pays, etc.)

Un système commun au donneur et à son partenaire

Ce système correspond à certaines causes communes aux problèmes de chacun des deux et relatives aux domaines entrant dans le champ de l'assistance (exemples : santé, PME, irrigation, environnement,).
Sauf dans le cas de l'évaluation participative, l'équipe d'évaluation s'intéressera prioritairement au premier et au troisième système de problèmes, qui concernent directement le donneur.

Les problèmes à long terme auxquels la Commission cherche une solution au moins partielle dans la mise en œuvre de sa stratégie ne sont pas toujours explicités dans les documents stratégiques (DSP) produits par la Commission Européenne. Ils sont parfois exprimés dans la présentation des objectifs de la stratégie et parfois seulement repérables dans des documents politiques du Conseil exprimant ses préoccupations vis à vis de la situation du pays. 

Concernant les programmes d'aide:

Les problèmes auxquels doivent s'attaquer les projets et programmes d'aide sont quant à eux présentés à titre principal dans le chapitre " Analyse de la situation des DSP ".Toutefois, ce chapitre n'opère parfois pas la distinction entre d'une part les problèmes entrant dans le contexte des projets et programmes et d'autre part les problèmes qui sont la raison d'être de ces projets et programmes.
L'établissement d'un diagramme des problèmes exige donc au préalable que soit opérée la distinction entre problèmes contextuels et problèmes prioritaires (Distinguer les problèmes de contexte des problèmes prioritaires).

Sur quels documents ?

Pour un document donné (stratégie ou programme), l'analyse de la situation fait rarement l'objet de plusieurs versions successives. L'équipe d'évaluation travaillera sur la version définitive du document, tout en s'assurant que les versions précédentes n'ont pas présenté des analyses plus fouillées et pleinement valides.
Les documents de base sont les documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation. Ils sont en général fournis à l'équipe d'évaluation dès le début de la mission.
Bien entendu, la période d'évaluation, telle qu'elle est définie par les termes de référence, est généralement couverte par plusieurs documents de stratégie et de programmation, chacun d'eux pouvant comprendre des analyses ou des informations sur la situation du pays, de certains secteurs, ou de certaines régions.
La situation et les problèmes sont analysés en début de période couverte par la stratégie et/ou les programmes à évaluer. L'analyse se heurte cependant aux difficultés d'information :

• retard dans la publication des données,
• accès difficile à l'information,
• qualité médiocre ou incertaine des données.

Ces difficultés peuvent parfois affecter la pertinence même des objectifs. Elles doivent être considérées par l'évaluation.

Utilisé dans la planification participative, le diagramme à double arborescence permet de disposer les problèmes identifiés par les parties prenantes de part et d'autre du problème principal.

Le diagramme à arborescence simple

Seule la partie basse du diagramme présente un intérêt pour l'évaluation dans le cadre de projets ayant pour objet de s'attaquer aux problèmes causes.

Le diagramme à arborescence complexe

En règle générale l'équipe d'évaluation se contentera donc de tenter la reconstitution d'un diagramme à arborescence unique (simple ou complexe, suivant les cas) dérivant du problème principal.

Le diagramme en réseau

Ce type de diagramme rend plus fidèlement compte de la complexité d'une situation concrète. Le reconstituer exige de l'équipe d'évaluation qu'elle dispose d'une information abondante, rarement disponible. En outre, sa transposition en diagramme d'objectifs ne va pas de soi.

.

• Exemples

.

.

Le cadre logique (et l'arbre des problèmes) en planification

• Manuel de Gestion du cycle du projet, Commission Européenne, EuropeAid, mars 2001.
• Gestion du Cycle de Projet - Guide récapitulatif des Formations, Commission Européenne, EuropeAid, préparé par Itad Ltd, mis à jour par Particip GmbH, version 1.1, février 2001.
• 'Logical Framework Analysis, BOND Guidance, notes n° 4, March 2003. [EN]
• "The Logical Framework Approach (LFA)", A summary of the theory behind the LFA method, Sida - Swedish International Development Co-operation Agency, Draft, June 2002.
• "The Logical Framework Approach", Handbook for Objectives-oriented Planning, NORAD, 4th edition, January 1999.
• "The logical framework approach", AusGuide, AusGuidelines : 1, Australian Agency for International Aid (AusAid), 2000.
• "Logical frameworks: a critical assessment", Working Paper # 264, Gasper, Institute of Social Studies, The Hague, December 1997.

Utilisation du cadre logique dans l'évaluation

• 'Using the Engendered Logframe for Monitoring and Evaluation', Helen Hambly Odame, ISNAR, August 2001.
• "Project Appraisal 2(4)", Logical Framework Approach to the Monitoring and Evaluation of Agricultural and Rural Development Projects, Coleman G., 1987, p. 251-259.

Les autres approches

• "Program Theory in Evaluation : Challenges and Opportunities", New Directions for Evaluation, a publication of the American Evaluation Association, Fall 2000.

.