 |
Le responsable d'évaluation |
 |
L'équipe d'évaluation |
|
La phase de démarrage débute dès que l'équipe d'évaluation est recrutée, et sa durée est limitée à quelques semaines.
|
|
Collecter les documents de base
|
|
Un des membres de l'équipe collecte un ensemble de documents de base tels que :
- Les documents de programmation (par ex. fiche projet), et leurs modifications substantielles s'il y a lieu.
- L'évaluation ex ante.
- Les documents de la CE fournissant le cadre politique dans lequel le projet/programme prend place (Politique de développement et relations extérieurs de la CE, politique extérieure de l'UE, document de stratégie pays).
- Le document de Stratégie du Gouvernement (DSRP).
|
|
Logique du projet/programme
|
|
L'équipe d'évaluation étudie le cadre logique préparé au début du cycle du projet/programme. En l'absence d'un tel document, il doit être reconstruit par le gestionnaire du programme rétrospectivement. Autant que nécessaire, l'équipe d'évaluation identifie les points qui nécessitent une clarification et/ou une actualisation. Toute clarification ou actualisation est rapportée de manière transparente.
L'analyse de la logique du projet/programme couvre :
- Le contexte dans lequel le projet/programme a été lancé, les opportunités et les contraintes.
- Les besoins devant être couverts, les problèmes à résoudre et les difficultés à surmonter.
- Les justifications du fait que les besoins, problèmes ou difficultés ne pouvaient pas être mieux pris en compte dans un autre cadre.
- Les objectifs.
- La nature des ressources et des activités.
Les différents niveaux d'objectifs et leur traduction en différents niveaux d'effets attendus sont particulièrement importants :
- Objectifs opérationnels exprimés en termes de résultats à court terme pour les bénéficiaires directs et/ou réalisations (produits tangibles ou services)
- Objectifs spécifiques (finalité du projet) exprimés en termes d'avantages durables pour les groupes cibles.
- Objectifs globaux exprimés en termes d'effets plus globaux.
Une fois l'analyse réalisée sur la base des documents officiels, l'équipe d'évaluation commence à interagir avec les informateurs clés au sein de la gestion du projet/programme et des services de la CE. Des commentaires sur la logique du projet/programme sont alors collectés.
|
|
Délimiter le champ
|
|
Le champ de l'évaluation comprend toutes les ressources mobilisées et les activités mises en œuvre dans le cadre du projet/programme (champ central).
De plus, l'équipe d'évaluation délimite un périmètre élargi (champ élargi) comprenant les principales actions connexes comme :
- Les autres politiques, programmes ou projets de la CE et les politiques de l'UE.
- La stratégie du pays partenaire (DSRP), sa politique sectorielle ou son programme.
- Les interventions des autres donneurs.
Une action est comprise dans le périmètre dans la mesure où elle atteint les mêmes groupes que le projet/programme évalué.
|
|
Documents de gestion
|
|
L'équipe d'évaluation consulte tous les documents/ bases de données en matière de gestion et de suivi de manière à acquérir une connaissance approfondie du projet/programme couvrant les points suivants :
- Identification complète.
- Ressources programmées, engagées, utilisées.
- Avancement des réalisations.
- Coordonnées des principaux informateurs.
- Appréciations portées dans le cadre du " suivi orienté vers les résultats " (ROM)
- Disponibilité des rapports d'avancement et des rapports d'évaluation.
|
|
Questions d'évaluation
|
|
L'équipe d'évaluation établit la liste des questions d'évaluation en s'appuyant sur les éléments suivants :
- Thèmes à étudier, comme indiqué dans les TdR.
- Cadre logique.
- Couverture raisonnable des sept critères d'évaluation.
|
|
Critères d'évaluation
|
|
Les critères d'évaluation suivants correspondent aux standards des pratiques d'évaluation de l'aide au développement formalisés par l'OCDE-CAD (les cinq premier critères), et propres aux attentes spécifiques de la CE (les deux derniers critères).
|
Critères d'évaluation
Pertinence:
- Mesure selon laquelle les objectifs de l'action de développement correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds.
Efficacité:
- Mesure selon laquelle les objectifs de l'action de développement ont été atteints, ou sont en train de l'être, compte tenu de leur importance relative.
Efficience:
- Mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en résultats de façon économe.
Durabilité:
- Continuation des bénéfices résultant d'une action de développement après la fin de l'intervention. Probabilité d'obtenir des bénéfices sur le long terme. Situation par laquelle les avantages nets sont susceptibles de résister aux risques.
Impact:
- Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non.
Cohérence:
- Ce critère peut avoir plusieurs dimensions :
1) Cohérence à l'intérieur du programme de développement de la Commission.
2) Cohérence/complémentarité avec les politiques du pays partenaire et complémentarité avec les interventions des autres bailleurs de fonds
3) Cohérence/complémentarité avec les autres politiques communautaires
Valeur ajoutée communautaire
- Dans quelle mesure les avantages apportés par l'action de développement s'ajoutent à ceux qui auraient résulté de la seule intervention des Etats membres dans le pays partenaire?
|
|
|
Chaque question fait l'objet d'un commentaire relatif aux points suivants :
- Origine de la question et utilité potentielle de la réponse
- Clarification des termes employés
- Conception méthodologique indicative (actualisée), difficultés prévisibles, et problèmes de faisabilité s'il y en a.
Ce site propose une liste de questions types associées aux différents critères d'évaluation.
|
 |
Réunion de démarrage
|
|
Quelques semaines après le démarrage des travaux, et après une revue des documents de base complétée par quelques entretiens, l'équipe d'évaluation définit son approche d'ensemble.
L'approche est présentée lors d'une réunion avec le gestionnaire de l'évaluation et les membres du groupe de référence. Les sujets à discuter comprennent :
- Cadre logique.
- Questions d'évaluation, soit celles issues des TdR, soit celles proposées par l'équipe d'évaluation.
- Conception méthodologique indicative.
- Accès aux informateurs et aux documents et les difficultés anticipées.
La présentation est accompagnée d'une série de transparents et par une liste de questions d'évaluation commentée. Si cela s'avère pertinent, la réunion peut être complétée par une consultation par email.
|
Situations spécifiques dans le cas de :
Dans le cas d'un programme multi-pays, l'évaluation se construit avec un certain nombre d'études de cas par pays qui doivent être sélectionnées le plus tôt possible et de préférence avant la fin de la phase de démarrage.
-
Evaluation participative:
L'équipe d'évaluation étend ses entretiens de démarrage dans le but de comprendre les attentes des bénéficiaires et d'autres parties prenantes extérieures.
Une analyse des parties prenantes est réalisée et discutée lors de la réunion de démarrage.
|
|
Rapport de démarrage
|
|
L'équipe d'évaluation prépare le rapport de démarrage qui rappelle et formalise toutes les étapes déjà mises en œuvre, y compris la liste de questions actualisée au regard des commentaires reçus.
Chaque question est ensuite développée en :
- Indicateurs à utiliser pour répondre à la question et sources d'informations correspondantes
- Stratégie d'analyse
- Sous-questions
|
| Indicateurs
Le cadre logique comprend de préférence des " Indicateurs objectivement vérifiables (IOV)" et les " sources d'informations " qui sont utiles pour structurer le travail des évaluateurs. Dans la mesure où les IOV ont effectivement fait l'objet d'un suivi, intégrant des informations sur le point zéro, ils deviennent un élément majeur de la base factuelle de l'évaluation.
Les indicateurs peuvent aussi être disponibles grâce à un cadre de mesure de la performance, si le projet/programme est concerné par un tel cadre.
Les indicateurs peuvent également être développés au cours de l'évaluation dans le cadre d'une enquête par questionnaire, de l'analyse d'une base de données de gestion, ou de l'analyse d'une série statistique.
Les indicateurs peuvent être quantitatifs ou qualitatifs.
|
| Stratégie d'analyse
Les indicateurs et les autres types de données doivent être analysées pour répondre aux questions d'évaluation.
Quatre stratégies d'analyse peuvent être considérées :
- Analyse du changement, qui compare les indicateurs au fil du temps et / ou à des niveaux cibles
- Méta-analyse, qui extrapole les constats d'autres évaluations et études, après avoir vérifié attentivement leur validité et leur transférabilité
- Analyse d'attribution, qui compare les changements observés avec un scénario " sans intervention ", également appelé contrefactuel
- Analyse de contribution, qui confirme ou infirme les hypothèses de causalité sur la base d'une chaîne de raisonnement.
La première stratégie est la plus légère et convient à virtuellement tous les types de questions. Les trois dernières stratégies sont plus à même de répondre aux questions portant sur les relations de cause à effet.
|
|
|
Les indicateurs, les sources d'informations et les sous-questions demeurent provisoires à ce stade du processus. Cependant, le rapport de démarrage inclut un plan de travail détaillé pour l'étape suivante. La validation formelle du rapport est nécessaire pour passer à l'étape suivante.
|
|
Le gestionnaire de l'évaluation reçoit un rapport de démarrage qui finalise les questions d'évaluation et décrit les grandes lignes de la conception méthodologique comprenant les indicateurs à utiliser, la stratégie d'analyse, et un plan de travail détaillé pour la phase suivante.
|
