Evaluation methodological approach

.

Pourquoi utiliser cet outil en evaluation ?

Faire une ou plusieurs études de cas consiste à utiliser un ou plusieurs exemples réels afin d'obtenir une connaissance approfondie du sujet étudié et si possible d'en tirer des enseignements pour l'ensemble de l'évaluation.

L'étude de cas vise, dans les situations complexes, à répondre aux questions "Comment" et "Pourquoi" à partir d'exemples concrets, judicieusement choisis en fonction des objectifs de l'évaluation. Cet outil fournit une information empirique et donc souvent plus crédible, dans les situations où l'information de base fait défaut (cas fréquent en évaluation géographique).

Elle peut inclure l'examen de documents, de données statistiques ou de mise en oeuvre, mais elle inclut surtout l'observation directe du phénomène à étudier et des entretiens auprès de personnes directement concernées en tant qu'acteurs institutionnels ou bénéficiaires.

Comment mettre en oeuvre un étude de cas ?Quelles sont les conditions d'emploi de l'étude de cas?

Pour que l'étude de cas soit crédible et donne des résultats satisfaisants, le contexte spécifique de l'évaluation géographique requiert de :

• trouver un partenaire local efficace, neutre par rapport à la chose à évaluer, et compétent sur les sujets à étudier et les méthodes d'évaluation,
• mettre en place les procédures de supervision du travail des équipes locales et internationales,
• garder la maîtrise de la sélection des personnes à rencontrer,
• veiller à l'équilibre entre entretiens avec des institutionnels et avec des représentants des bénéficiaires.

Comment choisir les unités d'observation ?

Le choix des unités d'observation est primordial pour la qualité de l'évaluation et pour tenter la généralisation des résultats obtenus.

Le United States Gouvernment Accountability Office (USGAO) propose trois clés possibles de sélection des unités d'observation:

• La commodité (convenience) : la facilité de réalisation des études.
• L'échantillonnage selon le but recherché.
• La recherche de représentativité statistique.

Exemple de critères de sélection de pays pour l'évaluation de l'aide européenne dans le secteur de l'eau :

1. Etre un pays faisant parti des principaux bénéficiaires de l'aide de la CE dans le secteur de l'eau
2. Avoir un représentant de chaque région du monde
3. Avoir l'eau comme principal secteur d'intervention
4. Ne pas avoir été concerné par les dernières évaluations conduites par l'Unité d'évaluation.

Comment planifier l'étude de cas ?

Un protocole de conduite de l'étude ou des études de cas est toujours nécessaire.

Faire une étude de cas pilote permet, entre autres, de :

• valider la méthode de conduite des études en la mettant à l'épreuve du terrain,
• affiner la liste des catégories de personnes à rencontrer et la bibliographie de base,
• finaliser les guides d'entretien et les questionnaires d'enquête,
• revoir les questions posées aux évaluateurs, les critères et les indicateurs, au vu de ce qui est réellement disponible sur le terrain,
• faire un rapport type, à suivre par les autres évaluateurs.

Comment collecter les données ?

Afin que les résultats de l'étude de cas soient fiables, il convient de s'assurer lors de cette collecte d'un certain nombre de points fondamentaux :

• La collecte des données doit concerner des données "longitudinales" c'est-à-dire qui couvrent une période suffisamment étendue pour éviter qu'une situation momentanée ne soit prise comme référence.
• Elle doit être basée sur le principe de la vérification de l'information par triangulation, systématiquement adopté en évaluation.
• L'évaluateur doit également s'assurer que ces informations sont exploitées au maximum, notamment en cas de divergence d'avis entre des personnes rencontrées.
• Par définition, l'étude de cas reste ouverte aux éventuelles découvertes en cours de réalisation. L'évaluateur doit savoir identifier les points clés durant la réalisation de l'étude de cas et les approfondit, quitte à sortir du plan prévu.
• Enfin, la phase de terrain permet des observations directes sur ce qui se passe. Il est important pour l'évaluateur de les noter avec précision.

Comment analyser et interpréter les résultats ?

C'est la phase la plus délicate de l'étude de cas. Son but est de traiter les données recueillies lors de la phase de terrain et de relier au maximum les effets aux causes des choses observées. Cette analyse est moins encadrée par des méthodes contrairement aux phases de conception et de collecte. C'est ce qui en fait sa relative difficulté.

L'analyse se déroule, pour partie, en même temps que la phase de collecte, surtout pour les études de cas où :

• L'étude est suffisamment étendue pour que les premiers résultats obtenus permettent en temps réel à l'évaluateur d'affiner la suite de la collecte.
• La phase de collecte comprend un test d'hypothèses préétablies qui nécessite de modifier en partie le contenu de l'étude au fur et à mesure de son avancement.

Quelles sont les ressources nécessaires?

Quels sont les avantage et les limites de l'outil?

.