Evaluation methodological approach

Group
public
46
 Members
3
 Discussions
211
 Library items

Table of contents

Diagramme des problèmes

.

RESUME

.
Pourquoi utiliser cet outil en evaluation ?

L'analyse des problèmes est un moyen de juger la validité des objectifs d'un projet, d'un programme ou d'une stratégie. Dans la mesure où un programme se donne des objectifs visant à résoudre un certain nombre de problèmes, il est utile que l'évaluation valide l'analyse qui en a été faite. L'évaluation se doit alors de vérifier :

  • La validité de la démarche : comment les problèmes ont-ils été identifiés et hiérarchisés ?
  • La cohérence apparente de leur articulation : les liens de causalité sont-ils pertinents?
Encadré 1 - l'analyse des problèmes dans le cycle de projet et le cycle de la stratégie

Les programmes et stratégies reposent sur une analyse de situation au moment de la conception de la stratégie ou du programme. Il peut être explicitement demandé à l'équipe d'évaluation de se prononcer sur la qualité de l'analyse et sur la correspondance entre l'analyse de la situation d'une part et la stratégie / le programme de l'autre. Le diagramme des problèmes, en tant que construction rétrospective permet de vérifier la cohérence et la pertinence de l'analyse au regard des problèmes tant prioritaires que contextuels. Il permet notamment de valider la pertinence de stratégie présentée dans les diagrammes des objectifs et des effets.

Quels usages peut-on faire du diagramme des problèmes ?

Le diagramme des problèmes est un instrument de la phase de structuration de l'évaluation, particulièrement utile lorsqu'il n'est pas possible d'établir directement un diagramme d'objectifs. Il donne une vision synthétique des aspects de la situation que doit, au moins partiellement, améliorer la stratégie. Les objectifs hiérarchisés que se donne la stratégie doivent pouvoir en être déduits.

Encadré 2 - Les objecifs déduits des problèmes

La constitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Le diagramme qui en résulte doit pouvoir être transposé intégralement en diagramme des objectifs : au problème central correspond l'objectif global et à chaque rang de problèmes un rang équivalent d'objectifs.

Comment réaliser le diagramme des problèmes?Etape 1 : Comment identifier les problèmes ?

Relever les références aux problèmes dans les documents de base de l'évaluation : le document stratégique et le programme, tout document préparatoire (comptes rendus de réunions, notes de fin de missions préparatoires, correspondances et notes internes ou entre services) peuvent mentionner les problèmes auxquels la stratégie s'adresse.

Ils n'apparaissent parfois que sous la forme d'objectifs de l'aide ou d'effets qui en sont attendus. Il faut donc identifier les problèmes en tant que :

  • problèmes (exprimés comme tels),
  • objectifs visant à résoudre explicitement ou implicitement un problème,
  • effets attendus de l'aide que prévoit le document stratégique de la Commission.

Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Les problèmes prioritaires et de contexte sont souvent confondus, ce qui rend la construction du diagramme difficile. Ce n'est qu'à l'issue de celle-ci que l'évaluateur pourra distinguer les différents types de problèmes.

L'identification du problème principal parmi les nombreux problèmes identifiés est l'étape cruciale du processus. Trois situations sont possibles:

  • Le problème principal est désigné dans les documents
  • Le problème principal n'est pas clairement désigné mais l'objectif global l'est. L'évaluateur peut alors déduire le problème principal de l'objectif global.
  • Ni le problème principal, ni l'objectif global ne sont explicitement désignés

Dans ce dernier cas, l'évaluateur doit choisir un des problèmes pour en faire le problème principal. Il peut :

  • opérer personnellement le choix qui lui paraît le plus logique,
  • ou procéder par consultation individuelle de spécialistes ou par discussion dans le cadre d'une réunion des spécialistes.

Le choix du problème central est indissociable du classement des problèmes. Il trouve sa justification dans la cohérence de l'ensemble du diagramme. Ce choix étant fait, l'évaluateur doit procéder à un premier classement des problèmes selon les rangs

Etape 2 : Établir le diagramme

Encadré 3 - Les étapes de l'élaboration du diagramme

La pratique montre que les problèmes principaux et les causes profondes sont ceux qui sont les mieux identifiés. En revanche, les causes intermédiaires sont plus difficiles à identifier et davantage encore à hiérarchiser. Il est donc recommandé de commencer simultanément par les deux extrémités.

Encadré 4 - Le diagramme des problèmes affichés du secteur transport en Tanzanie

Tester le diagramme provisoire

Il est indispensable de tester le diagramme auprès des auteurs des documents utilisés afin de valider les classements par rangs et les liens entre problèmes. Il s'agit de vérifier que les interprétations de l'équipe d'évaluation reflètent correctement les intentions des auteurs. À défaut ou à côté des auteurs, toute autre personne ayant contribué à l'élaboration (rédaction, discussion) des documents peut apporter un témoignage utile.


Établir la version définitive du diagramme des problèmes

Cette version tient compte des avis recueillis lors du test de la version provisoire. Elle sera dès lors considérée comme rendant compte fidèlement des analyses initiales de la Commission Européenne telles que manifestées dans les documents officiels.

Quelles sont les ressources nécessaires ?

Les besoins en moyens humains varient notablement suivant qu'il s'agit d'établir le diagramme des problèmes à partir de l'analyse de la situation présentée dans les documents ou de la construction rétrospective d'un diagramme des problèmes tel qu'il aurait dû être établi pour donner sa pleine pertinence à la stratégie ou au programme évalués.

Le tableau ci-dessous présente donc dans la colonne de droite une fourchette très ouverte de jours de travail.

Encadré 5 - Les ressources nécessaires
En temps Collecte et examen des documents : 5 à 10 jours
Analyse et construction du diagramme : 5 à 10 jours
Test : 0,5 à 5 jours
Humaines Connaissance des procédures d'élaboration des stratégies et programmes en usage à la Commission Européenne
Maîtrise des outils informatiques
Rigueur logique
Expérience dans les domaines couverts par les stratégies et les programmes
Connaissance du pays, secteur ou thème concernés
Financières Un budget de moins de 5 000 € est nécessaire, ce budget permettant en partie de réaliser les diagrammes des objectifs, des effets et des décisions.

La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint.

On peut aussi tester les logiciels conçus comme des outils d'aide à la décision, tels MS Visio, TeamUP-PCM for Windows, Palisade PrecisionTree.

Quels sont les avantages et les limitations de l'analyse multicritère?

Encadré 6 - Les avantages et les limites
Avantages Présentation des problèmes
Le diagramme présente de manière explicite les problèmes et les différents niveaux auxquels ils se situent par rapport au problème principal. Il révèle les liens logiques de causalité entre ces problèmes ou, au contraire, les faiblesses logiques de ces liens.

Problèmes prioritaires et problèmes de contexte
Le diagramme conduit à distinguer dans l'analyse de la situation d'une part ce qui relève du contexte de l'intervention et d'autre part les problèmes auxquels la stratégie et la programmation sont censées apporter des solutions. Il amène donc à mettre à jour les priorités de l'assistance et à justifier pourquoi un certain nombre de problèmes ont été considérés comme prioritaires et d'autres non.

Définition des objectifs Le diagramme des problèmes permet :

  • de dévoiler les objectifs non explicités de la stratégie ou du programme,
  • de vérifier le bien-fondé des objectifs qui sont présentés dans les documents de stratégie et de programmation.

Il contribue à l'organisation de l'évaluation pour répondre à l'interrogation essentielle de toute évaluation : Dans quelle mesure les objectifs ont-ils été atteints ?
Limites Qualité de l'analyse
La méthode d'analyse ne garantit pas une haute qualité des données. L'évaluateur doit donc systématiquement étendre son examen à l'origine de l'analyse produite par ces documents, s'interroger sur la méthode utilisée, les sources principales d'information et en identifier les rédacteurs.

Choix du problème principal
Le choix du problème principal, essentiel pour la construction du diagramme des problèmes, est particulièrement délicat lorsque l'ensemble des problèmes du pays (de la région) sont à considérer. Il arrive que les documents désignent deux problèmes principaux, sans lien direct entre eux, ou qu'ils ne permettent pas de désigner un seul problème central.

Connaissance du contexte
L'équipe d'évaluation ne dispose généralement pas d'une connaissance suffisante de la situation du pays ou de la région pour estimer le degré de pertinence de l'analyse qui en est faite, du caractère prioritaire attribué à certains problèmes, du choix du problème principal et de l'organisation logique des problèmes prioritaires.

.