Evaluation methodological approach

Chaque étape de la phase de documentation est décrite selon le rôle respectif de:

.

A cette étape, l'équipe d'évaluation poursuit la consultation des documents disponibles ainsi que ses entretiens avec les gestionnaires de l'aide au siège de la Commission et dans le(s) pays partenaire(s). Il ne s'agit en aucun cas de rassembler et d'explorer toute l'information disponible. Au contraire, l'équipe d'évaluation oriente en permanence sa recherche d'information dans la perspective de répondre aux questions, au moins d'une façon préliminaire et partielle

Les tâches de cette étape sont réalisées par les personnes ayant l'expertise adaptée aux questions traitées.
Cette étape permet aussi de finaliser la conception méthodologique et le développement des outils envisagés pour la phase de terrain.

.

.

.

Consultation des documents disponibles relatifs à l'intervention dans son ensemble ou à ses principales composantes:

• Documents pertinents émanant du Conseil et du Parlement.
• Documents préparatoires, évaluation ex ante.
• Documents de programmation (en plus des documents déjà examinés aux étapes précédentes).
• Décisions portant sur la mise en œuvre et/ou la modification.
• Bilans (reviews), rapports d'audit, rapports d'évaluation.

Consultation des documents relatifs au contexte de l'intervention :

• Indicateurs de contexte concernant le ou les pays partenaires.
• Documents sur la (les) stratégie(s) de développement du (des) pays partenaire(s).
• Données statistiques de l'OCDE sur l'aide reçue par le(s) pays partenaire(s).
• Documents relatifs aux interventions des autres bailleurs et des institutions internationales concernant le(s) pays partenaire(s).
• Résumés des rapports d'évaluation des différents bailleurs pour le(s) pays partenaire(s).

Consultation des documents sur les actions à étudier de façon plus approfondie. Ces documents sont identifiés par le biais des bases de données ou grâce aux entretiens. Pour chaque action étudiée, les documents à collecter concernent:

• La conception et la décision
• La mise en œuvre et le suivi
• L'évaluation

.

.

Les entretiens visent à :

• Approfondir les analyses faites dans le rapport de démarrage
• Identifier les informations disponibles, estimer leur fiabilité et y accéder
• Repérer les éléments de réponse qui peuvent être apportés aux questions et identifier les hypothèses restant à tester dans le cadre de la phase de terrain

Les personnes rencontrées sont celles qui ont participé à la conception de l'intervention, ont contribué à sa mise en œuvre ou sont susceptibles d'utiliser le rapport d'évaluation. Il s'agit de personnes travaillant au siège de la Commission, dans la (les) délégation(s) concernée(s) et au sein de l'administration centrale du(des) pays partenaire(s).

.

.

La conception méthodologique envisagée dans le rapport de démarrage (inception) est finalisée. L'équipe d'évaluation précise son approche pour chaque question sous forme d'un tableau de conception incluant les sous-questions à traiter. Les outils à développer pour la phase de terrain sont alors listés, afin de fournir au moins une, et de préférence plusieurs, sources d'information pour traiter chaque sous-question.
Les outils d'évaluation sont développés et testés pour autant que cela est possible. Le travail peut comprendre:

• Préparation d'une ou plusieurs séries d'entretiens et les guides d'entretiens correspondants.
• Termes de référence d'un ou plusieurs focus groups
• Préparation et test d'un questionnaire et d'une méthode d'échantillonnage
• Sélection d'une ou plusieurs études de cas et développement du ou des plans de travail

Cette étape mobilise les membres nationaux / régionaux membres de l'équipe d'évaluation. Elle est plus ou moins développée selon la disponibilité et la capacité de ces consultants.

.

.

Le rapport de première phase reprend les points traités dans le rapport de démarrage et les approfondit autant que de besoin. Il ajoute les éléments suivants :

• Indicateurs finaux proposés pour chaque critère de jugement
• Etat de la collecte des informations disponibles à la Commission : méthode de collecte employée, limites, biais et risques, problèmes restant à résoudre lors de la phase de terrain
• Première analyse des informations en lien avec les questions d'évaluation et premiers éléments de réponse, hypothèses (plusieurs si nécessaire par question) restant à tester lors de la phase de terrain
• Présentation des informations permettant de clarifier la problématique globale de l'évaluation au-delà de chacune des questions d'évaluation, dans la perspective de jugement d'ensemble
• Stratégie de collecte d'information et d'analyse pour les phases suivantes,
  • Principaux problèmes de collecte d'information à résoudre compte tenu des données déjà disponibles
  • Plan de travail de la phase de terrain
  • Les outils de collecte à utiliser et les risques ou limites associés. Les croisement de données prévus. La manière dont l'harmonisation de la collecte de données sera assurée, notamment lorsqu'il y aura plusieurs pays à visiter.
• La stratégie d'analyse qui sera appliquée sur le terrain ainsi que les outils que seront utilisés (avec les limites et analyse du risque)

Le gestionnaire de l'évaluation vérifie que le contenu du rapport est correct et que son niveau de qualité est suffisant. Il envoie le rapport aux membres du groupe de référence pour commentaires. Il convoque et préside une réunion si nécessaire. Il synthétise les commentaires reçus et précise les modifications à apporter au rapport. Il reçoit et valide la version finale du rapport et autorise le lancement de la phase de terrain.

Le rapport indique la manière dont l'harmonisation de la collecte des données sera assurée entre les différents pays.

Si l'engagement de l'équipe d'évaluation a été fait sur la base d'un budget limité à la phase de documentation, alors le rapport de première phase est accompagné d'une proposition financière pour les phases de terrain et de synthèse.

.

.

.

Contenu du rapport de première phase (desk)
Introduction

• Origine de l'évaluation
• Délimitation du champ central de l'évaluation
• Attentes exprimées dans les termes de référence
• Processus d'évaluation
• Rappel du contexte dans lequel l'évaluation est entreprise

Corps du rapport

• Questions d'évaluation et commentaires explicatifs sur chacune des questions
• Critère(s) de jugement relatif(s) à chaque question
• Indicateur(s) proposé(s) pour chaque critère
• Etat de la collecte des informations disponibles au siège de la Commission, en délégation (et à l'ambassade du pays partenaire lorsque cela est pertinent) : méthode de collecte employée, limites, biais et risques, problèmes restant à résoudre lors de la phase de terrain
• Première analyse des informations en lien avec les questions d'évaluation et premiers éléments de réponse, hypothèses restant à tester lors de la phase de terrain
• Première analyse des informations dans la perspective d'un jugement d'ensemble
• Stratégie de collecte d'information et d'analyse pour les phases suivantes, plan de travail, outils de collecte à utiliser, étapes de test des outils, risques et limites éventuelles, croisements de données à effectuer

Annexes (indicatif)

• Présentation et analyse de la logique d'intervention sous forme de diagramme des effets attendus et démarche suivie pour l'élaboration des questions, critères et indicateurs
• Termes de référence
• Informateurs rencontrés
• Documents utilisés
• Données statistiques et indicateurs de contexte
• Liste des projets et programmes concernés
• Acronymes et abbréviations
• etc..

Qualité du rapport de première phase

Les critères intègrent et complètent ceux de l'étape précédente (rapport de démarrage).

1. Satisfaction des besoins

Le rapport exprime de façon claire et suffisamment complète la façon dont l'équipe d'évaluation comprend les points ci-après :

• Les demandes figurant dans le cadre réglementaire de l'évaluation, notamment en termes de redevabilité (accountability)
• Les attentes exprimées dans les termes de référence
• Les demandes exprimées par les membres du groupe de référence

Le rapport replace l'évaluation dans son contexte, en liaison avec les bases de la politique de développement, de coopération ou de la politique extérieure et de toute autre politique communautaire ou nationale. 

Les questions d'évaluation proposées et les critères de jugement correspondants reflètent les demandes identifiées et l'utilité potentielle de l'évaluation. Elles ne comportent aucune ambiguïté. 

Le rapport apporte des premiers éléments de réponses aux questions d'évaluation et ces apports reflètent les demandes identifiées.

2. Pertinence du champ

Le rapport délimite le champ central de l'évaluation dans ses dimensions temporelle, géographique et réglementaire. Il justifie les choix effectués pour le délimiter. Il comporte une analyse des interférences avec les politiques connexes et justifie le choix des interférences étudiées. 

Les thèmes étudiés ainsi que les questions d'évaluation et les critères de jugement correspondants reflètent :

• Les résultats et impacts identifiés lors de la reconstruction de la logique d'intervention
• Les différents secteurs, thèmes et instruments
• Les critères d'évaluation du CAD, sans oublier l'efficience et la durabilité, ainsi que la cohérence/complémentarité et la valeur ajoutée communautaire

3. Justification de la méthode

Le rapport décrit la méthode de collecte et d'analyse des données qui a été appliquée dans la phase documentaire. Il rend compte des problèmes rencontrés et des limites éventuelles. 

Le rapport décrit la méthode de collecte et d'analyse à appliquer pour la phase de terrain. Il montre comment cette méthode va permettre de traiter de façon adéquate l'ensemble des questions d'évaluation, puis de porter un jugement d'ensemble. Les choix sont discutés et défendus par rapport à d'autres options. 

La méthode est faisable dans le contexte de l'évaluation. Les risques et les limites sont clairement précisés. Le rapport indique les risques qui seraient encourus si d'autres options méthodologiques étaient prises.

4. Fiabilité des données

Les sources de données quantitatives et qualitatives sont identifiées. La fiabilité des données est discutée par l'équipe d'évaluation et les limites de validité sont clairement exposées.

5. Solidité de l'analyse

Le rapport contient une première analyse des données disponibles pour répondre aux questions d'évaluation et en déduit des hypothèses à tester sur le terrain. Les raisonnements sont explicites et fondés.

Réunion de première phase (desk)

C'est généralement la seconde réunion du groupe de référence

Ordre du jour

• Rappel du champ de l'évaluation, de la logique d'intervention et des questions définies à l'étape précédente
• Présentation du rapport de première phase (desk) par l'équipe d'évaluation externe, point sur les données existantes, réponses (avancées) aux questions sur la base des données existantes
• Discussion des critères de jugement (également appelés " critères d'appréciation raisonnée ") et des indicateurs proposés
• Discussion de la collecte d'information de la phase documentaire
• Discussion des hypothèses à tester lors de la phase de terrain.
• Discussion du plan de travail de collecte d'information de terrain.

.