Evaluation methodological approach

Structure de la section:

• Collecte des documents de base
• Analyse de la raison d'être de l'intervention
• Analyse de la logique d'intervention
• Délimitation du champ élargi
• Consultation des bases de données
• Mission pilote
• Proposition de questions d'évaluation
• Réunion de démarrage (inception)
• Finalisation et validation des questions
• Rapport de démarrage (inception)
• Check-list

Chaque étape de la phase de documentation est décrite selon le rôle respectif de:

	Le responsable d'évaluation
	L'équipe d'évaluation
	Collecte des documents de base
La première analyse de l'intervention est faite sur la base des documents officiels uniquement, sans interférence avec les services de la Commission. Documents analysés : Documents de conception et de programmation de l'intervention évaluée Documents de base des politiques dans lesquelles s'inscrit l'intervention (politique de développement, de coopération ou politique extérieure) Documents pertinents sur la stratégie du (des) pays partenaire(s)
	Analyse de la raison d'être de l'intervention
Reconstruction de la raison d'être de l'intervention: Contexte dans lequel l'intervention a été décidée, opportunités et contraintes Besoins à satisfaire, problèmes à résoudre, enjeux à traiter Justification que les besoins, problèmes ou enjeux ne peuvent pas être traités plus efficacement dans un autre cadre (raison d'être).
	Analyse de la logique d'intervention
Reconstruction de la logique d'intervention: Priorités politiques dans lesquelles prend place l'intervention. Objectifs, principes, priorités. Catégories d'activités mises en oeuvre. Traduction des objectifs sous forme de réalisations, résultats ou impacts attendus. Présentation des activités et des effets attendus et des hypothèses causales déduites des documents analysés. Commentaires sur la logique d'intervention et analyse de sa cohérence interne. Proposition de reconstruction des hypothèses causales manquantes si nécessaire
	Délimitation du champ élargi
Identification des politiques connexes : Conduites par la CE. Conduites par les autres bailleurs. Conduites par le(s) pays partenaire(s).
	Consultation des bases de données
Consultation des bases de données de la Commission et recueil des informations disponibles pour chacune des aides allouées au titre de l'intervention : Identification de l'aide. Données budgétaires. Données sur l'avancement des réalisations. Coordonnées des informateurs potentiels. Appréciations portées dans le cadre du "suivi orienté vers les résultats" (ROM). Disponibilité des rapports d'avancement et des rapports d'évaluation.
	Mission pilote
A ce stade, et si la nature de l'évaluation s'y prête, le leader de l'équipe d'évaluation peut conduire une série d'entretiens dans le pays partenaire (ou la région) pour : Etablir les relations de travail avec les consultants nationaux/régionaux. Compléter le recueil des documents de base. Préparer les questions d'évaluation.
	Proposition de questions d'évaluation
L'équipe d'évaluation prépare une première version des questions d'évaluation en s'appuyant sur l'un ou l'autre des éléments suivants : Analyse de la stratégie d'intervention (questions de pertinence et de cohérence principalement) Analyse de la logique d'intervention (questions d'efficacité et de durabilité principalement) Attentes des personnes rencontrées Ce site précise comment dériver une question à partir de la logique d'intervention et comment rédiger des questions correspondant aux différents critères d'évaluation. A ce stade, les questions proposées peuvent être en nombre supérieur au maximum indiqué dans les termes de référence. Les questions proposées tiennent compte de : La finalité de l'évaluation, telle que décrite dans les termes de référence. La nécessité d'aboutir à un jugement d'ensemble de l'intervention évaluée. La nécessité de ne pas oublier les questions d'efficience et de durabilité qui ont tendance à être négligées. Chaque question fait l'objet d'un commentaire explicatif traitant de tout ou partie des points suivants : Champ de la question. Clarification des termes employés. Modalités de traitement incluant éventuellement les sous-questions que l'équipe d'évaluation envisage de traiter. Utilité potentielle de la réponse.
	Réunion de démarrage (inception)
La première étape aboutit à une discussion des premiers travaux de l'équipe externe d'évaluation lors de la réunion de démarrage du groupe de référence. Les éléments suivants sont présentés grâce à des diapositives pour support visuel : Objectifs, principes, priorités et enjeux Traduction des objectifs en effets escomptés et présentation de la logique d'intervention sous forme de diagramme des effets attendus Analyse de la logique d'intervention et de sa cohérence interne, proposition de reconstruction des hypothèses causales manquantes Liste de questions d'évaluation proposées et commentaires explicatifs sur chacune des questions Le gestionnaire envoie copie de la présentation aux membres du groupe, y compris les membres associés à distance. Les membres du groupe de référence disposent d'une semaine pour valider les éléments qui leur ont été présentés. Le gestionnaire transmet les commentaires reçus à l'équipe d'évaluation qui les prend en compte et finalise la liste des questions. Les membres du groupe de référence valident la liste des questions d'évaluation, qui devient une annexe des termes de référence.
Situation spécifique Evaluation au niveau pays Lorsque cela a été prévu au moment de l'engagement de l'équipe d'évaluation, le gestionnaire contacte la délégation pour faciliter une visite pilote de quelques jours du leader de l'équipe d'évaluation dans le pays partenaire. La visite peut intervenir immédiatement après la réunion de démarrage.
	Finalisation et validation des questions
Une seconde version de la liste de questions est préparée sous forme de note, sur la base des éléments suivants : Commentaires reçus pendant et après la réunion de démarrage Entretiens avec quelques personnes clés au siège de la Commission et/ou dans le(s) pays partenaire(s) A ce stade, le nombre de questions respecte le maximum indiqué dans les termes de référence. Les questions sont validées par les membres du groupe de référence, puis deviennent une annexe aux termes de référence.
	Rapport de démarrage (inception)

L'équipe dévaluation

L'équipe d'évaluation poursuit ses entretiens et analyses documentaires et approfondit ses premiers travaux concernant :

• Le contexte et la stratégie de l'intervention
• La logique d'intervention
• Les autres politiques de la C.E., des autres bailleurs et du (des) pays partenaire(s)

Chacune des questions validées est développée selon les points suivants :

• La question et son commentaire explicatif
• Le ou les critères de jugement (aussi appelés critères d'appréciation raisonnée) relatifs à la question
• Les indicateurs envisageables pour chaque critère
• La méthode envisagée pour répondre à la question

Ce guide explique et illustre la démarche à suivre pour passer d'une question à un ou plusieurs critères de jugement puis à un ou plusieurs indicateurs.

A ce stade, l'équipe affine également sa méthode et notamment :

• Hypothèses sur la possibilité de répondre à chaque question en se fondant sur :
  • Le traitement d'éventuelles sous-questions
  • Les documents et l'expertise disponible
  • Une collecte d'information spécifique à l'aide d'outils appropriés
• Stratégie d'ensemble envisagée pour la collecte d'information et d'analyse, et vérification que cette stratégie permettra de :
  • Croiser plusieurs types de données pour la réponse à chaque question selon le principe de la triangulation
  • Formuler un jugement d'ensemble au-delà de la réponse à chaque question
  • Respecter le budget et le calendrier prévus
• Plan de travail détaillé pour la collecte des informations disponibles à la Commission lors de l'étape suivante
• Pays à visiter si l'évaluation couvre plusieurs pays
• Ebauche de la liste des actions à étudier de façon plus approfondie lors des étapes suivantes

Une première version du rapport de démarrage est rédigée avec le contenu requis et soumise pour contrôle qualité à un expert extérieur à l'équipe d'évaluation.

Une version finale est préparée pour tenir compte des commentaires reçus

Le gestionnaire d'évaluation

Au cours de la deuxième étape, l'équipe d'évaluation achève la production de son rapport de démarrage. Un courrier officiel est préparé afin de faciliter les contacts de l'équipe d'évaluation au sein de la Commission et auprès des autres institutions européennes devant être contactées.

Le rapport de démarrage reprend les éléments déjà validés, auxquels s'ajoutent :

• Rappel du contexte dans lequel l'évaluation est entreprise, avec notamment un état des politiques connexes
• Rappel des questions d'évaluation
• Le ou les critères de jugement relatifs à chaque question (aussi appelés "appréciation raisonnée")
• Les indicateurs envisageables relatifs à chaque critère de jugement
• La méthode et le plan de travail pour la collecte des informations disponibles
• La stratégie prévue pour la collecte d'information et son analyse
• En annexe, la construction du diagramme des effets attendus et la méthode pour l'élaboration des questions, critères de jugement et indicateurs

Le gestionnaire de l'évaluation vérifie que le contenu du rapport est correct et que son niveau de qualité est bon.

Il envoie le rapport aux membres du groupe de référence pour validation. La validation intervient par échange de courrier électronique ou au cours d'une réunion si nécessaire au plus tard une semaine après réception du rapport.

Le gestionnaire transmet les commentaires reçus à l'équipe d'évaluation et précise ses demandes de modification. L'équipe d'évaluation dispose alors d'une semaine supplémentaire pour produire la version finale du rapport.



Le rapport est formellement approuvé par un courrier officiel qui autorise la poursuite du travail.

Si les pays à visiter n'ont pas été précisés dans le cahier des charges, le choix de ceux-ci, validé par le groupe de référence, doit être fait le plus rapidement possible, au plus tard au début de la phase de collecte des données au siège.

Situation spécifique

Si les pays à visiter n'ont pas été précisés dans les termes de référence, le choix des pays est fait le plus rapidement possible, au plus tard au début de la collecte des informations disponibles à la Commission, et de préférence dans le cadre du rapport de démarrage.

Réunion de démarrage

C'est généralement la première réunion du groupe de référence

Ordre du jour

• Présentation du cadre réglementaire de l'évaluation, de son contexte, des principaux utilisateurs et utilisations attendues
• Explication du rôle du groupe de référence, du choix des services invités, des règles de fonctionnement du groupe, des relations avec les membres associés à distance.
• Présentation des premiers travaux de l'équipe d'évaluation externe à l'aide de transparents :
  • Champ central de l'évaluation
  • Champ élargi aux politiques connexes
  • Logique de l'intervention d'après les documents officiels (" logique fidèle ")
  • Questions susceptibles d'être traitées par l'évaluation et critères de jugement correspondants
• Discussion et propositions de questions et critères de jugement par les membres du groupe de référence. Les questions d'évaluation sont alors validées par les membres du groupe.
• Débat sur les questions prioritaires

Rapport de démarrage

>Introduction

• Origine de l'évaluation
• Délimitation du champ central de l'évaluation
• Attentes exprimées dans les termes de référence
• Processus d'évaluation

>Corps du rapport

• Objectifs, principes, priorités et enjeux
• Traduction des objectifs en impacts escomptés et présentation de la logique d'intervention sous forme de diagramme des effets attendus
• Analyse de la logique d'intervention et de sa cohérence interne, reconstruction des hypothèses causales manquantes
• Questions d'évaluation et commentaires explicatifs sur chacune des questions
• Critères de jugement relatifs à chaque question
• Indicateurs envisageables pour chaque critère
• Méthode et le plan de travail pour la collecte des informations disponibles à la Commission
• Stratégie prévue pour la collecte d'information de terrain et son analyse

>Annexes

(indicatif)

• Documents utilisés
• Termes de référence
• Acronymes et abréviations
• etc..

Qualité du rapport de démarrage

1. Satisfaction des besoins

Le rapport exprime de façon claire et suffisamment complète la façon dont l'équipe d'évaluation comprend les points ci-après :

• Les demandes figurant dans le cadre réglementaire de l'évaluation, notamment en termes de redevabilité (accountability)
• Les attentes exprimées dans les termes de référence
• Les demandes exprimées par les membres du groupe de référence

Les questions d'évaluation proposées et les critères de jugement correspondants reflètent les demandes identifiées et l'utilité potentielle de l'évaluation.



Sur ces différents points, le rapport signale les points restant à clarifier si nécessaire.

2. Pertinence du champ

Le rapport présente le champ central de l'évaluation et justifie les choix effectués pour le délimiter. Il précise quelles sont les interférences avec les politiques connexes qui vont être étudiées et il justifie ce choix.



Les questions d'évaluation proposées et les critères de jugement correspondants reflètent :

• Les résultats et impacts identifiés lors de la reconstruction de la logique de l'intervention
• Les différents secteurs, thèmes et instruments
• Les critères d'évaluation du CAD, sans oublier l'efficience et la durabilité, ainsi que la cohérence et la valeur ajoutée communautaire

3. Justification de la méthode

Le rapport décrit la méthode de collecte et d'analyse des données qui va être appliquée lors de la phase documentaire, ainsi que la stratégie de collecte et d'analyse envisagée pour la phase de terrain.



Il montre comment cette méthode va permettre de traiter de façon adéquate l'ensemble des questions d'évaluation, puis d'en faire une synthèse pour porter un jugement d'ensemble. Les choix sont discutés et défendus par rapport à d'autres options.

Recommandation

L'expérience montre qu'on a tendance à utiliser certains termes clés pour définir les objectifs, rédiger des questions ou délimiter le champ sans s'assurer qu'ils sont compris par tous de la même façon (par exemple : environnement favorable à la production, éducation de base, ...).



Les malentendus peuvent rester cachés pendant les phases suivantes et apparaître au moment de la discussion du rapport final, avec des effets dévastateurs sur la qualité de l'évaluation. A ce stade, il convient donc de s'assurer que les termes clés sont très précisément définis.