|
Chaque étape de la phase de documentation est décrite selon le rôle respectif de:
|
|
Le responsable d'évaluation |
|
L'équipe d'évaluation |
|
Cette étape peut être plus ou moins longue en fonction de la quantité de documents à analyser.
.
|
|
Préparation
|
|
.
Le leader de l'équipe d'évaluation prépare le plan de travail en précisant les tâches devant être mises en œuvre, les responsabilités, le calendrier, les modalités de compte rendu et les exigences de qualité.
|
|
Le plan de travail demeure suffisamment souple pour permettre de s'adapter aux difficultés de dernière minute sur le terrain.
L'équipe d'évaluation informe les principales parties prenantes dans le pays à propos de la liste des personnes à interviewer, des enquêtes à réaliser, des itinéraires et des noms des personnes en charge au sein de l'équipe d'évaluation.
| Entretiens et enquêtes auprès de personnes extérieures
Un problème méthodologique clé est de savoir dans quelle mesure les objectifs du projet/programme ont été réalisés en terme d'avantages pour les groupes cibles et d'impact au sens large. L'atteinte des objectifs doit alors être jugée du point de vue des bénéficiaires des avantages obtenus et selon leurs perceptions, plutôt qu'avec le point de vue des gestionnaires sur les réalisations et les résultats obtenus. Par conséquent, les entretiens et enquêtes doivent se concentrer sur les personnes extérieures (bénéficiaires et autres groupes atteints au-delà des bénéficiaires) autant que sur les personnes impliquées (gestionnaires, partenaires, opérateurs de terrain). Le plan de travail doit clairement établir la proportion des personnes consultées en interne et en externe dans le cadre des entretiens et enquêtes.
Enquêter sur les personnes extérieures peut nécessiter de surmonter les obstacles linguistiques et/ou culturels.
|
.
|
|
Le gestionnaire de l'évaluation vérifie que:
|
|
.
- Les autorités publiques dans le(s) pays partenaire(s) sont informées du travail de terrain à venir par le canal approprié.
- La direction du projet/programme reçoit une liste indicative des personnes qui seront interviewées, les dates de visite, l'itinéraire et les noms des membres de l'équipe.
- Les questions logistiques sont réglées à l'avance.
Le plan de travail reste suffisamment flexible pour être adapté aux circonstances rencontrées sur le terrain.
|
|
Situations spécifiques :
Dans le cas d'un programme multi-pays, les études de cas par pays permettent à l'équipe d'évaluation de collecter de l'information sur le programme au niveau des pays. Avec la phase de documentation, les constats des études de cas pays vont nourrir l'appréciation globale formulée par l'équipe d'évaluation. Le plan de travail doit préciser que les études de cas pays ne doivent pas être considérées comme des évaluations à part entière.
Si le calendrier le permet, la première étude de cas pays peut servir à tester la méthodologie.
-
Evaluation participative:
Dans le cas d'une évaluation participative, le plan de travail comprend une série d'ateliers ou de focus groups permettant aux bénéficiaires de prendre connaissance des données qui sont collectées. |
|
.
|
|
Réunion initiale
|
|
.
Dans la mesure où cela est pertinent, l'équipe d'évaluation propose de tenir une réunion d'information dans le pays / la zone lors des premiers jours du travail de terrain. Les points suivants sont alors abordés :
- Présentation et discussion du plan de travail.
- Comment accéder aux données et aux informateurs clés.
- Comment traiter et résoudre les problèmes potentiels.
.
|
|
Collecte et analyse des données
|
|
.
L'équipe d'évaluation met en œuvre son plan de collecte de données sur le terrain. Les difficultés émergentes sont immédiatement discutées au sein de l'équipe. Autant que de besoin, les solutions sont discutées avec le gestionnaire de l'évaluation.
| Comportement éthique et collecte de données
L'équipe d'évaluation n'a pas seulement une responsabilité vis-à-vis du commanditaire mais également vis-à-vis des groupes et individus impliqués dans l'évaluation ou touchés par,elle, ce qui signifie que les problèmes suivants doivent être considérés avec attention :
- Les enquêteurs doivent s'assurer qu'ils sont suffisamment familiers et respectueux des croyances, mœurs et traditions des personnes interrogées.
- Les enquêteurs doivent respecter le droit des personnes à fournir de l'information confidentielle et s'assurer que les sources fournissant des informations sensibles ne pourront pas être identifiées.
- Les membres locaux de l'évaluation doivent être libres d'endosser ou non le rapport. Dans le dernier cas, leur rôle restreint est clairement décrit dans le rapport.
- L'équipe d'évaluation doit minimiser ses demandes en terme de temps d'entretien.
- Bien que les membres de l'équipe d'évaluation doivent respecter les autres cultures, ils doivent également être avertis des valeurs européennes, en particulier en ce qui concerne les minorités et les groupes spécifiques comme les femmes. En la matière, la déclaration universelle des droits de l'Homme des Nations Unis (1948) sert de référence.
- Les membres de l'équipe d'évaluation ont la responsabilité de mettre en lumière les problèmes et constats qui relèvent indirectement des termes de référence.
- Les évaluations mettent parfois à jour des dysfonctionnements. La question de savoir s'il faut les rapporter, comment et à qui, doit être discutée attentivement avec le gestionnaire de l'évaluation.
|
Il doit être clair pour l'ensemble des membres de l'équipe que l'évaluation n'est ni un sondage d'opinion, ni une opportunité d'exprimer ses propres idées préconçues. Le travail de terrain est destiné à collecter des éléments de preuve, c'est-à-dire :
- Une observation directe de faits comprenant des traces écrites, des photographies, etc. (le plus fort).
- Des affirmations venant d'informateurs personnellement impliqués.
- Des observations indirectes (proxies) permettant d'inférer l'existence d'un fait particulier
- Des affirmations indirectes sur des faits dans lesquels les informateurs n'ont pas été impliqués personnellement (le plus faible).
| Prévenir et corriger les biais
Les membres de l'équipe d'évaluation sont constamment attentifs aux biais potentiels tels que :
- Le biais de confirmation, c'est-à-dire la tendance à rechercher des éléments de preuve qui confirment les effets attendus, plutôt que de rechercher des éléments de preuve qui les infirment.
- Le biais d'empathie, c'est-à-dire la tendance à créer une atmosphère sympathique (empathique), au moins dans le but d'obtenir un bon taux de réponses et un avancement rapide des entretiens, avec pour conséquence que les interviewés formulent des affirmations trop optimistes sur le projet/programme.
- L'autocensure, c'est-à-dire la réticence des interviewés à s'exprimer librement et s'écarter des vues de leur institutions ou hiérarchie, simplement parce qu'ils perçoivent un risque.
- La stratégie des interlocuteurs, qui peuvent répondre de façon délibérément distordue dans le but d'attirer les conclusions de l'évaluation vers leur propore point de vue.
- Les questions induisant les réponses, c'est-à-dire influençant les réponses par la manière dont elles sont posées les questions ou par les réactions de l'enquêteur aux réponses.
L'équipe d'évaluation renforce la fiabilité des données en :
- Posant des questions ouvertes, ce qui permet de prévenir le biais de confirmation.
- Mélangeant les questions positives et négatives, ce qui permet de prévenir le biais d'empathie et les questions induisant les réponses.
- Se concentrant constamment sur des faits, ce qui permet un croisement des données par la sujte et évite le biais résultant de la stratégie de l'interviewé.
- Garantissant l'anonymat (et en tenant ses promesses), ce qui permet de prévenir l'autocensure de l'interviewé.
|
.
|
|
Suivi
|
|
.
Le gestionnaire de l'évaluation facilite les entretiens et les études par tous les moyens appropriés comme les lettres de mandat ou des contacts informels au sein du Gouvernement.
Le gestionnaire est près à répondre rapidement aux demandes de l'équipe d'évaluation si elle rencontre un problème sur le terrain qu'elle ne peut résoudre.
|
|
Situation spécifique :
cas d'un programme multi-pays:
En cas de programme multi-pays, l'équipe d'évaluation tient une réunion d'information dans chaque pays visité avec la participation de la délégation ou en relation avec elle.
|
|
.
|
|
Contrôle qualité
|
|
.
Le leader de l'équipe d'évaluation vérifie la qualité des données et des analyses, à partir de critères de qualité prévus pour chaque outil, et de principes généraux comme :
- Présentation détaillée de la méthode effectivement mise en oeuvre
- Conformité au plan de travail et/ou justification des adaptations
- Respect des règles de confidentialité
- Auto-appréciation de la fiabilité des données et des biais.
.
.
|
|
Débriefing
|
|
.
Une ou plusieurs réunions de débriefing sont organisée(s) afin d'apprécier la fiabilité et l'exhaustivité de la collecte d'informations, et de discuter les constats significatifs. Au moins une de ces réunions est organisée avec le groupe de référence.
L'équipe d'évaluation présente une série de transparents relatifs à la fiabilité de la collecte de données, au champ couvert et à ses premières analyses et constats. Les réunion(s) sont une occasion de renforcer les bases factuelles de l'évaluation. Il n'y a pas de rapport soumis à l'avance ni de compte-rendu produit par la suite.
L'équipe d'évaluation tient une réunion de débriefing à la fin de la phase de terrain. Elle réalise une revue des données et des analyses, pour croiser les sources d'information, pour apprécier la force de la base factuelle, et pour identifier les constats les plus significatifs.
Une autre réunion de débriefing est tenue avec le groupe de référence dans le but de discuter la fiabilité et l'amplitude de l'information collectée ainsi que les constats significatifs.
L'équipe d'évaluation présente une série de transparents portant sur la fiabilité et l'amplitude de l'information collectée et ses premières analyses et constats. La réunion offre l'opportunité de renforcer la base factuelle de l'évaluation. Aucun rapport n'est soumis à l'avance, et aucun compte-rendu n'est fourni par la suite.
.
|
|
Situations spécifiques :
Dans le cas d'un programme multi-pays, l'équipe d'évaluation tient une réunion de débriefing dans chaque pays visité en liaison avec la Délégation ou avec sa participation. Une note pays est rédigée et circule auprès des acteurs locaux afin d'obtenir un contrôle factuel.
-
Evaluation participative:
Dans le cas d'une évaluation participative, l'équipe d'évaluation peut organiser des ateliers de débriefing impliquant les bénéficiaires et les autres parties prenantes extérieures, avec pour objet de renforcer la qualité des données collectées, d'aider à interpréter les données avec le point de vue des acteurs de terrain, et de renforcer les capacités des organisations de la société civile locale. |
| |
| |
|
Check lists
|
|
Voir pour inspiration les Check lists pour les Evaluations géographiques et thématiques.
|
