Evaluation methodological approach

Chaque étape de la phase de synthèse est décrite selon le rôle respectif de:

La phase de terrain se déroule dans un ou plusieurs pays. Sauf mention contraire, les points suivants s'appliquent à chacun des pays concernés.

Le leader de l'équipe d'évaluation organise les travaux :

• Répartition des tâches de collecte d'information et des responsabilités correspondantes
• Définition des documents à délivrer et niveau de qualité requis
• Calendrier des différentes tâches et agenda (ou agendas par pays) transmis pour information au gestionnaire de l'évaluation
• Finalisation des contrats avec les consultants nationaux/régionaux si cela reste à faire

Le leader de l'équipe d'évaluation fait un briefing aux responsables de tâches :

• Principaux risques prévisibles dans le travail de collecte et conduite à tenir en cas d'apparition d'un problème
• Nécessité d'orienter la collecte d'information vers la réponse aux questions et de rechercher en priorité les informations relatives aux critères de jugement (aussi appelés critères d'appréciation raisonnée) et aux indicateurs sélectionnés

Le gestionnaire reçoit un agenda détaillé préparé par l'équipe d'évaluation externe avant le début de la (des) mission(s) de collecte d'information de terrain.

Dans cette situation, la première mission peut être considérée comme pilote et utilisée pour tester le plan de collecte d'information et les outils.

Le programme de collecte d'information peut inclure un questionnaire envoyé à toutes les délégations de la région. Dans ce cas, le gestionnaire prépare une lettre d'introduction signée par son chef de service.

L'équipe d'évaluation propose une réunion d'information à la Délégation dans les premiers jours de la collecte d'information de terrain dans le pays concerné. Cette réunion traite des points suivants :

• Présentation et discussion du plan de travail
• Modalités d'accès aux données et aux informateurs clés dans l'administration nationale et chez les autres bailleurs
• Modalités de traitement et de résolution des problèmes éventuels

Dans certains cas, ces points ont déjà été traités lors d'une précédente visite du leader de l'équipe d'évaluation à la Délégation, par exemple lors d'une mission pilote à l'étape du rapport de démarrage.

L'équipe d'évaluation met en œuvre son plan de collecte d'information de terrain. Ce guide propose des conseils détaillées pour la mise en œuvre des principaux outils de collecte d'information : Entretiens, Focus groups, Questionnaire et Etudes de cas.
Le leader de l'équipe d'évaluation s'assure que les outils ont été correctement testés et il co-ordonne leur mise en œuvre.
Il est informé en cas de problème et veille à ce que les problèmes rencontrés ne compromettent pas la réponse ultérieure aux questions d'évaluation. Si cela est pertinent, il sollicite la Délégation pour aider à la résolution du problème. Si la résolution d'un problème nécessite d'adapter le plan de travail, il informe le gestionnaire de l'évaluation.
Une ou plusieurs réunions sont conduites au sein de l'équipe d'évaluation pour :

• Suivre et coordonner l'avancement des travaux
• Identifier d'éventuels effets ou facteurs imprévus
• Faire émerger des éléments de réponse aux questions
• Commencer le croisement des informations

L'équipe d'évaluation rassemble les documents contenant les informations collectées et leur première analyse. Ces documents peuvent être :

• Compte rendus et synthèse d'entretiens
• Compte rendus et synthèse de focus groups
• Réponses à un questionnaire et tableaux d'analyse
• Minutes et monographie d'étude de cas

A cette étape, les analyses effectuées sont à la fois exploratoires (par exemple pour rechercher des effets imprévus ou des facteurs externes) et confirmatoires (par exemple pour tester les hypothèses formulées à la fin de la phase précédente).

Le gestionnaire se tient prêt à interagir rapidement à la demande de l'équipe d'évaluation si celle-ci rencontre un problèmeau cours de sa mission (ou d'une de ses missions) et si ce problème ne peut pas être résolu avec l'aide de la délégation concernée.

Pour chaque mission, le gestionnaire reçoit une note pays. Il ne s'agit en aucun cas d'une évaluation de l'intervention dans le pays. La note pays comprend les points suivants:

• Méthode de collecte d'information employée et limites de fiabilité
• Description rapide du contexte du pays visité (éléments pertinents par rapport aux questions d'évaluation)
• Eléments factuels pertinents par rapport aux questions d'évaluation (sans analyse ni jugement)
• Synthèse couvrant les principaux aspects de l'information collectée dans le pays (pour la délégation)
• Eléments de nature à confirmer/infirmer les hypothèses à tester en vue de nourrir les analyses globales et le rapport de synthèse

Le leader de l'équipe vérifie la qualité des documents produits, notamment selon les critères de qualité suivants :

• Présentation détaillée de la méthode effectivement mise en œuvre
• Conformité au plan de travail et/ou justification des adaptations
• Respect des règles de confidentialité
• Auto-appréciation de la fiabilité des données et des biais

La qualité des travaux est vérifiée par un expert qui ne fait pas partie de l'équipe d'évaluation.
Ce site propose des instructions détaillées pour le contrôle qualité des principaux outils de collecte d'information: entretiens, focus groups, questionnaire, étude de cas.

L'équipe d'évaluation propose une réunion finale à la Délégation dans les derniers jours de la collecte d'information de terrain dans le pays concerné. Si cette réunion est tenue, elle traite des points suivants :

• Etat des travaux effectués, des problèmes rencontrés et des solutions adoptées
• Eléments factuels les plus significatifs dans le contexte du pays partenaire
• Préparation d'un séminaire de discussion du projet de rapport final si cela est envisagé

Le cas échéant, cette étape concerne l'ensemble des pays visités. A la fin de la phase de terrain, le gestionnaire organise une réunion de débriefing avec le groupe de référence et l'équipe d'évaluation.

Le gestionnaire demande à l'équipe d'évaluation de faire un compte rendu des travaux de collecte, de présenter les problèmes rencontrés et les solutions trouvées, de faire le point sur la fiabilité des données collectées et d'exposer ses principaux constats. 

Sa présentation est faite sur la base de transparents (powerpoint) et il n'y a pas de compte rendu ni d'approbation. La présentation traite les points suivants :

• Compte rendu des travaux de collecte
• Problèmes rencontrés et les solutions trouvées
• Auto-appréciation de la fiabilité des données collectées
• Faits et constats particulièrement significatifs par rapport aux questions posées
• Prochaines étapes d'analyse et de jugement

• Contexte de l'évaluation
• Objectifs de la note
• Raisons du choix du pays pour l'étude de cas

Partie principale

• Détail de la méthode utilisée pour la collecte et l'analyse des données.
• Commentaires sur les limites méthodologiques et les contraintes éventuellement rencontrées.
• Courte description du secteur dans le pays.
• Constats concernant le secteur (en insistant sur les faits plutôt que sur leur analyse).

Conclusions à deux niveaux :

• Concernant les principaux sujets relatifs au secteur dans le contexte du pays (pour la Délégation), et;
• Concernant les éléments confirmant ou infirmant les hypothèses issues de la première phase (desk) (pour alimenter le rapport de synthèse).

Annexes (indicatif)

• Liste des personnes interviewées
• Liste des documents consultés
• Liste des projets et des programmes étudiés
• Fiches d'analyse de tous les projets
• Détail des outils utilisés, par exemple questionnaires, guides d'interview, comptes-rendus de focus groups etc.
• Acronymes et abréviations
• etc.

Recommandations

Longueur : maximum 20 pages (hors annexes)
La note de pays inclut le texte suivant :

• Cette note pays ne peut pas être considérée par elle-même comme évaluation du secteur dans le pays.
• L'évaluation est basée en partie sur un certain nombre d'études de cas portant sur différents pays. Ces études de cas ont permis à l'équipe d'évaluation de rassembler des informations sur l'aide de la CE au niveau de chaque pays (par secteur/thème/région). En s'ajoutant aux résultats de la phase documentaire, elles visent à alimenter l'appréciation d'ensemble qui sera formulée dans le rapport de synthèse. Cette note est requise pour des raisons de transparence, c'est-à-dire pour rendre compte clairement des bases de l'évaluation. Elle doit également permettre à la Délégation et aux autres parties prenantes de vérifier les faits mentionnés.
• Ce rapport doit être considéré comme une des pierres permettant de construire l'évaluation. C'est un document à faire circuler au sein du groupe de référence et de la Délégation concernée. A la fin de l'évaluation, les notes pays seront publiées, en tant qu'éléments de l'évaluation, en annexe du rapport de synthèse (sa mise en forme doit donc être vérifiée). Ces notes doivent être préparées après les missions dans les pays, selon la structure ci-dessus. Elles doivent aller plus loin que les restitutions orales effectuées en fin de mission.
• Par ailleurs, le rapport doit répondre aux questions d'évaluation de façon globale, sur la base d'une synthèse des informations collectées et analysées lors de la phase documentaire et des études de cas pays. On ne doit donc pas répondre aux questions d'évaluation au niveau de chacune des notes pays.

C'est généralement la troisième réunion du groupe de référence

Ordre du jour

• Rappel du plan de collecte et d'analyse de l'information
• Compte rendu de la collecte effectivement réalisée, présentation par l'équipe d'évaluation à l'aide de transparents :
  • problèmes rencontrés et solutions choisies,
  • appréciation de l'étendue et de la fiabilité des informations collectées,
• Discussion en vue de vérifier que l'information sera suffisante pour répondre aux questions
• Présentation des constats les plus marquants par l'équipe d'évaluation
• Principaux travaux de vérification et d'analyse à effectuer lors de la prochaine étape