Evaluation methodological approach

.

Quelle définition donner à l'étude de cas?

L'étude de cas est probablement un des outils d'évaluation les plus multiformes et dont les objectifs et le contenu peuvent être aussi variables, si bien que les experts ont parfois du mal à s'accorder sur ce qui est ou non une étude de cas.

En matière d'évaluation, deux définitions sont présentées ici :
Selon l'United States General Accounting Office (USGAO), qui est l'une des principales institutions d'évaluation à avoir utilisé et rationalisé l'usage de l'étude de cas en évaluation : "Une étude de cas est une méthode d'apprentissage partant d'un exemple complexe, considéré comme un tout dans son contexte, basée sur une compréhension d'ensemble de cet exemple, obtenue par une description et une analyse très détaillée de celui-ci".

Selon R. YIN dans son ouvrage "Case Study reseach. Design and Methods", plus centré sur la recherche appliquée en sciences sociales, "Une étude de cas est une investigation empirique d'un phénomène contemporain, pris dans son contexte, spécialement quand les limites entre phénomène et contexte ne sont pas évidentes".

Dans la méthode issue de la recherche, le choix d'une hypothèse est souvent retenu comme point de départ, que l'étude de cas va chercher à confirmer ou infirmer. Dans le cas d'une évaluation, l'étude de cas est avant tout un moyen d'étudier dans le détail un exemple, sans avoir obligatoirement d'a priori.

Faire une ou plusieurs études de cas consiste donc avant tout à partir d'un ou de plusieurs exemples réels, afin d'obtenir une connaissance approfondie du sujet étudié et si possible d'en tirer des enseignements pour l'ensemble de l'évaluation.

Les objectifs assignés à l'étude de cas visent, dans les situations complexes, à tenter de répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets, judicieusement choisis en fonction des objectifs de l'évaluation. Cet outil sert à fournir une information imagée et donc souvent plus crédible, dans les situations où l'information de base fait défaut (cas fréquent en évaluation pays).

Elle peut inclure l'examen de documents, de données statistiques ou de mise en oeuvre, mais elle inclut surtout l'observation directe du phénomène à étudier et l'interview de personnes directement impliquées dans sa mise en œuvre ou ses effets. Ceci sous entend donc la présence de l'évaluateur sur le terrain au contact même de la réalité, ce qui est un des points fondamentaux de l'étude de cas.

Du fait de la diversité de ses usages, l'étude de cas s'avère un outil utile à toute étape de l'évaluation : collecte, observation, analyse, et même formation du jugement.

L'étude de cas vient clairement du monde de la recherche et n'a été utilisé que plus tard en évaluation. L'outil a été surtout développé à partir des années 50. Parmi les méthodes de recherche en sciences sociales (enquête, expérimentation, analyse d'archives…), l'étude de cas s'est imposée comme un outil à part entière pouvant être utilisé dans des situations spécifiques, là où les autres étaient moins performants.

Ceci ne signifie d'ailleurs pas qu'il se soit développé sans difficulté, les outils fournissant des données quantitatives (enquêtes, outils mathématiques, etc.) lui étant très souvent opposés. C'est donc tout naturellement que les usagers de cet outil et ses défenseurs, ont dû établir des méthodes rigoureuses permettant d'obtenir des résultats fiables. Les domaines dans lesquels l'outil a été utilisé sont très variés. A titre d'exemple peuvent être cités les sciences sociales et politiques, la psychologie, la médecine, le management, les relations internationales, etc.

En évaluation proprement dite, l'usage des études de cas a également couvert de très nombreux sujets. Les premières études de cas, proches de celles de la recherche, étaient souvent faites par un seul évaluateur et étaient essentiellement descriptives. Elles avaient pour but principal d'illustrer la mise en oeuvre d'un programme et ses résultats, à partir d'exemples concrets. Elles étaient souvent basées sur des méthodes empiriques.

Depuis, les méthodes se sont formalisées pour aboutir à des pratiques nettement plus structurées. Toutefois, une part d' "opportunisme" est autorisée à l'évaluateur pour adapter l'outil à ce qu'il observe, en développant plus avant un aspect lui semblant important à creuser (ex : investiguer les raisons qui font que deux groupes ont des avis divergents sur un sujet).

Cette structuration des pratiques a, entre autres, donné lieu à la distinction de différentes catégories ou formes d'études de cas.

.

.

Selon l'USGAO, il existe en évaluation six principales catégories d'études de cas, étant entendu que la combinaison entre elles est souvent possible, en fonction du contexte.

La manière de conduire concrètement les études de cas diffère un peu selon les types, mais fait malgré tout référence à des standards applicables à toutes (ou presque) exposés dans la partie " comment réaliser l'étude de cas? ".

A ces catégories d'étude de cas, s'ajoute le choix d'en réaliser une ou plusieurs dans une même évaluation. On parle alors d'étude de cas multiple. Lorsqu'elles concernent plusieurs sites, on les désigne comme étant des études de cas multisites.

Cette forme d'étude de cas a pour but de décrire concrètement un ou un nombre très limité d'exemples. Elle peut être comparée à un effet de zoom focalisant sur un point précis de l'ensemble. Elle est très descriptive et permet dans une évaluation, d'approfondir et d'apporter des éléments concrets de terrain qui augmentent la crédibilité de l'argumentation.

Cet apport du terrain basé sur l'examen de la réalité permet également au lecteur de l'évaluation de mieux comprendre le contexte de mise en œuvre et les écarts entre ce qui s'est passé vraiment et ce qui aurait dû se passer.

Basée sur une analyse des données disponibles mais aussi sur une série d'entretiens, elle peut avoir pour but selon les cas, de recueillir :

• des faits et des vérifications de faits,
• des opinions et des points de vue,
• des propositions,
• et/ou des réactions à des premières hypothèses et conclusions des évaluateurs.

A partir de ce recueil d'information, elle aide à une meilleure compréhension des phénomènes, nécessaire à l'analyse finale développée dans le rapport d'évaluation. Comme toutes les études de cas, elle se concentre toujours sur les questions comment et pourquoi. Toutefois, le nombre très limité de cas rend difficile une généralisation des résultats obtenus.

C'est probablement une des voies de développement possible de l'étude de cas en évaluation pays. En effet, ce type d'étude de cas a pour fonction principale de clarifier une situation dans laquelle manque l'information avant de commencer l'évaluation. Ce qui peut être le cas en évaluation pays. Elle permet aux évaluateurs de mieux apprécier les contextes locaux, la réalité de la mise en œuvre des programmes évalués, éventuellement leurs résultats ou la difficulté de les mesurer. En apportant cette information clé, l'étude de cas exploratoire fournit les bases au développement du questionnement et des méthodes d'investigation à mettre en oeuvre par la suite (ex : quelle question poser, comment et à qui ?).

Ce type d'étude exploratoire peut comporter une ou plusieurs études de cas selon la variété des contextes. N'ayant pas pour but de conduire aux conclusions de l'étude, mais d'éclairer et de préparer la suite du travail d'évaluation, les études de cas exploratoires diffèrent des autres types par:

• leur niveau moins approfondi d'investigation (comparée à une étude de cas descriptive notamment) et de mise en évidence des chaînes de preuves,
• la forme plus légère de sa restitution.

Les études de cas exploratoires participent plus de la méthode de structuration de l'évaluation que de l'accumulations de preuves.

C'est d'ailleurs un des travers possibles de ce type de travail, d'arriver à des conclusions trop hâtives par manque d'approfondissement du sujet. Il revient aux évaluateurs de bien connaître l'usage et les limites de ce type d'étude de cas et de ne pas:

• en tirer des conclusions hâtives par manque d'approfondissement,
• en rester aux résultats obtenus de cette façon, sans développer ensuite un travail complet d'évaluation, sur les bases de ces études de cas, et non à partir de leurs résultats proprement dit.

Ces études de cas ont pour but, sur un nombre très limité de cas, de se concentrer sur un ou deux sujets (ex : les projets à problème). Elles sont conçues pour examiner en détail les relations de cause à effet et pour valider ou invalider un certain nombre d'hypothèses existantes avant l'étude de cas.

Elles se focalisent sur les cas aux caractéristiques extrêmement spécifiques. Trop précises en ce sens, elles ont peu de chance d'être utilisées en évaluation pays. Elles sont donc mentionnées ici pour mémoire.
Toutefois, leur usage en évaluation pays n'est pas totalement exclu, lorsqu'elles ont une portée générale. Cette condition étant rarement remplie, il est préférable d'utiliser l'étude de cas illustrative ou descriptive, si le but recherché est d'apporter du réalisme à l'évaluation.

Couplées avec les études de cas d'analyse des effets d'un programme, les études de cas d'analyse de la mise en œuvre sont probablement celles qui peuvent être les plus réalisées en évaluation pays. Leurs objectifs peuvent être d'examiner si la mise en œuvre des programmes:

• est conforme aux règles (application des textes de référence, lesquels, à quelle fréquence ont-ils changé, règles de suivi-contrôle, …),
• est conforme aux attentes (mode d'information des bénéficiaires, intérêt des bénéficiaires pour le programme, difficulté de compréhension de la documentation, retards dans la mise en œuvre, …),
• donne lieu à d'importantes variations entre sites (règles appliquées de manière différente, écarts entre les mesures mises en œuvre d'un site à un autre, …),
• pose ou non des problèmes en lien avec les résultats du programme et pourquoi.

Elles sont conçues pour répondre aux questions d'évaluation relatives à la mise en œuvre (efficacité et efficience en particulier). Elles doivent être conduites en vue d'une généralisation possibles de leurs résultats. En évaluation pays, la réalisation d'études multisites est donc une quasi nécessité. Il convient donc, dans ce cas, de choisir avec soin les sites qui serviront de base aux investigations.

C'est le type d'études de cas le mieux adapté à l'évaluation pays au niveau de l'analyse des effets des programmes et des stratégies. Elles ont pour but d'étudier les effets observés (bons ou mauvais, attendus ou non) et de voir s'ils sont liés au(x) programme(s) ou stratégies mis en œuvre. Elles comprennent souvent une partie initiale (correspondant au contenu des études de cas) d'analyse de la mise en œuvre qui est un préalable quasi indispensable à la bonne compréhension des contextes. Elles s'intéressent ensuite aux résultats de cette mise en œuvre et tentent de démontrer en quoi les changements observés sont liés au programme développé (ou non) et pourquoi.

Comme pour les études de la mise en œuvre, les études de cas d'analyse des effets ont souvent pour but d'obtenir une information généralisable. De ce fait les études de cas multisites sont quasi incontournables.

Afin de donner plus de crédibilité aux résultats de ces études, il est parfois intéressant de les coupler avec des enquêtes auprès des bénéficiaires, qui, même si elles n'ont pas toujours de validité statistique, apportent tout de même un éclairage très intéressant à l'évaluation.

Ces études se concentrent donc sur l'étude des effets observés, en les comparant entre sites et autant que possible sur la mise en évidence des liens et des causes entre les changements observés et les programmes évalués.

Le principe est d'utiliser les résultats d'études de cas, ou d'études plus générales intervenues sur un même site ou une série de sites, à différentes époques. Ces études peuvent présenter un grand intérêt, mais la difficulté est souvent de trouver le matériau ancien permettant de construire les bases de l'étude de cas cumulative. De ce fait, celles-ci ont fort peu de chance d'être utilisées en évaluation pays et sont mentionnées ici pour mémoire.

.

.

Dans quelles conditions l'outil gagne-t-il a être utilisé?

L'étude de cas est un outil d'approche des situations complexes, qui s'avère performant lorsque :

• les données quantitatives font défaut,
• où l'appréciation du "pourquoi" et du "comment" est aussi, voire plus importante, que l'analyse de données elles-mêmes.

Les études ce cas peuvent être utilisées dans tous les types d'évaluation ex ante, intermédiaires ou ex post. Toutefois, même si leur usage est théoriquement possible en évaluation ex ante, la rapidité avec laquelle ces évaluations doivent généralement être conduites rend difficile leur usage. Seules les études de cas exploratoires pourraient dans ce cas être adaptées à ce contexte.

Les études de cas multiples permettent d'observer et d'analyser, selon le choix des évaluateurs, les situations intéressant spécifiquement l'évaluation (ex : les cas les plus problématiques, les plus réussies, etc.). Cet outil permet de répondre au plus près aux questions d'évaluation, en choisissant les cas les plus adaptés aux besoins demandés.

Paradoxalement certains avantages de l'étude de cas sont souvent les défauts qui lui ont été reprochés par ses détracteurs :

• La richesse apportée par une information qualitative détaillée présentant clairement des contextes de mise en œuvre et donc, selon certains, moins abrupte que l'information quantitative habituelle.
• Une relative simplicité d'usage, pour les évaluateurs maîtrisant déjà les techniques d'entretien, de triangulation, d'observation, d'analyse de donnée.
• Une souplesse permettant de s'adapter en temps réel aux situations.
• Des délais de mise en œuvre compatibles avec une utilisation en évaluation pays (quelques mois) et qui peuvent être courts dans certains contextes (ex : étude de cas exploratoire).
• La possibilité d'appréhender les informations de façon suffisamment approfondie et notamment de cerner les logiques d'action des différents acteurs en présence et leurs représentations, des enjeux, problèmes, acquis, difficultés, etc. liés à la politique ou au programme à évaluer..
• Un des rares outils permettant d'aborder et de comprendre des situations complexes.

Les limites

Bien que présentant beaucoup d'avantages, cet outil a aussi, bien entendu, ses limites, au delà desquelles il n'est pas prudent de l'utiliser. Outre les limites propres à chaque catégorie d'étude de cas, certaines limites leurs sont communes :

• la difficulté, accentuée en évaluation pays, d'identifier les bons interlocuteurs et donc le risque de biais dans la collecte et le traitement de l'information,
• la difficulté d'identifier les cas et leurs contours (ex : zone pays, type de population, etc.) et de les relier à des problématiques aussi vastes que celles traitées dans les évaluations pays (ex : lutte contre la pauvreté, développement économique au sens large, etc.),
• la difficulté de fixer le nombre de cas nécessaires pour tenter une généralisation,
• les difficultés relatives à la généralisation au niveau global (ex : un pays) de thématiques étudiées à un niveau très local,
• pour les études nécessitant la revue de données sur une période de temps significative, la difficulté qu'il y a s'assurer de la disponibilité des données,
• le coût de l'outil, notamment pour l'évaluation pays multisite. Dans ce dernier contexte, il est particulièrement recommandé d'utiliser l'outil après avoir identifié une vraie valeur ajoutée de son usage dans ce cas précis (ex : études de cas dans plusieurs pays pour l'évaluation d'une stratégie régionale),
• le fait que l'outil ne permet que rarement une interprétation statistique des données, même si dans chacune des études, une enquête fiable peut être réalisée,
• enfin, il s'agit d'un outil basé sur le jugement d'un ou plusieurs évaluateurs. En cela il peut malgré les précautions d'usage comporter une certaine partialité.

Compte tenu de sa souplesse de mise en œuvre, l'étude de cas laisse la liberté aux évaluateurs d'y intégrer une grande panoplie d'outils ou de méthodes. Certains font partie intégrante de l'étude de cas :

• les entretiens individuels,
• les outils d'analyse des données de base (par exemples : données de mise en œuvre fournies par le client).

D'autres peuvent ne concerner que certaines études comme :

• la reconstitution de faits historiques pour les études cumulatives,
• l'usage d'outils spécifiques au traitement des données des études multisites (ex : matrice de catégorie, table de fréquence, etc.),

Enfin il peut être décidé d'ajouter des outils à l'étude, comme :

• des enquêtes, en particulier auprès des bénéficiaires,
• des entretiens de groupe auprès des bénéficiaires ou de personnes travaillant dans une même filière ou secteur.

En matière d'évaluation, l'étude de cas peut être redondante avec certaines enquêtes, si les contextes sont proches, mais en règle générale, cet outil a un usage si spécifique qu'il ne peut être redondant qu'avec les entretiens individuels ou de groupe déjà menés dans la même évaluation.

La préparation des études de cas peut être assez longue en particulier pour identifier les sites, finaliser le contenu et préparer la logistique. Dans une période de 2 à 3 mois, il faut prévoir de 15 à 30 jours de travail pour finaliser cette préparation, dans le cas d'une étude multisite.

La conduite des études de cas peut varier d'une étude à une autre, il faut au moins :

• 3 à 4 jours pour la visite de terrain, pouvant aller jusqu'à 10 jours et beaucoup plus si couplée avec une enquête,
• autant pour l'analyse des données (hors dépouillement d'enquête) et le rapport.

Le temps faisant souvent défaut dans une évaluation, il est parfois nécessaire de multiplier les évaluateurs de terrain. Dans ce cas, il faut prévoir un temps de formation de 1 à 2 jours pour ceux-ci.
Pour les études de cas multisites, une étude de cas pilote faite avant les autres pour finaliser la méthode est préférable. Sa durée est en général un peu plus longue que les autres. La synthèse des études de cas multiples, peut prendre de 10 à 30 jours selon la complexité des cas et leur nombre.

Les ressources humaines

Les études de cas doivent être réalisées par des personnes qualifiées qui :

• maîtrisent bien la problématique étudiée dans l'évaluation concernée,
• disposent d'une bonne maîtrise des techniques d'entretien,
• parlent la langue des personnes interrogées.

Les ressources financières

Les coûts de réalisation d'études de cas sont par définition très variables en fonction notamment de :

• la complexité du sujet à étudier,
• le nombre de personnes à rencontrer,
• l'éloignement des sites à visiter,
• le nombre de sites.

Un budget minimal de 15 000 € est à prévoir pour la phase de préparation des études de cas multisites.

Ensuite un budget par étude de cas est à prévoir d'au moins de 5000 à 7 000 €, hors coût de transport longue distance, et s'il n'y a pas d'enquête.

Les études de cas peuvent avoir leur place en évaluation projet principalement à trois niveaux :

• les études de cas exploratoires pour affiner un questionnement en début d'évaluation ou pour élaborer un outil (questionnaire par exemple). Les résultats, issus de cette étude plus simple qu'une véritable étude de cas, ne sont pas automatiquement généralisables (importance de la validation continue des hypothèses lors des autres études de cas).
• les études de cas illustratives pour réaliser une étude en profondeur touchant toutes les catégories d'acteurs jusqu'aux bénéficiaires finaux, sans ambition de généralisation, mais apportant des éléments concrets permettant d'apprécier la qualité du projet. Ces études de cas peuvent être organisées lors de la phase principale de terrain de l'évaluation.
• les études de cas sur les effets et impact du projet auprès de différentes catégories d'acteurs.

.

.

A quelle fin utiliser les études de cas en évaluation géographique?Le rôle des études de cas en évaluation pays

Les études de cas peuvent avoir leur place en évaluation pays principalement à quatre niveaux :

• les études de cas exploratoires pour affiner un questionnement en début d'évaluation,
• les études de cas illustratives pour réaliser une étude en profondeur jusqu'aux bénéficiaires finaux, sans ambition de généralisation, mais apportant des éléments concrets,
• les études de cas de la mise en œuvre et /ou des effets sur une série de programmes au sein de l'évaluation d'un pays,
• les études de cas de la mise en œuvre et /ou des effets sur une série de pays au sein de l'évaluation d'un programme ou d'une stratégie régionale.

Les conditions d'emploi spécifiques

Pour que l'étude de cas soit crédible et donne des résultats satisfaisants, le contexte spécifique de l'évaluation pays requiert de :

• trouver un partenaire local efficace, neutre par rapport à la chose à évaluer, et compétent sur les sujets à étudier et les méthodes d'évaluation,
• mettre en place les procédures de supervision du travail des équipes locales et internationales de telle sorte que l'éloignement ne soit pas une difficulté insurmontable pour les évaluateurs,
• garder la maîtrise de la sélection des personnes à rencontrer et ne pas se précipiter sur une longue liste de rendez-vous proposée à l'avance,
• veiller à l'équilibre entre entretiens avec des institutionnels et avec des représentants des bénéficiaires.

Par ailleurs, dans une évaluation pays, la question complexe est souvent de déterminer quelles informations précises chercher et auprès de qui dans un temps relativement réduit et sur une question très vaste.
L'étude de cas en évaluation pays/région n'échappe pas à ces difficultés, notamment pour déterminer de façon fine les catégories d'acteurs qui auront été effectivement impliqués ou touchés, d'une façon ou d'une autre, par la politique mise en place, et pour analyser les stratégies et les logiques déployées par ces différents groupes d'acteurs.
Le processus de ciblage et de sélection des interlocuteurs, comme l'élaboration de la grille de questionnement sont donc déterminants.

Les 6 types d'étude de cas et leur usage possible en évaluation pays

.

.

Quelles sont les étapes de la réalisation?Etape 1: préparationStructuration de la méthode

La question de la structuration de la méthode concerne l'argumentaire, la place de l'étude, la conception générale, les sources d'information.
Cinq phases sont nécessaires lors de la structuration de la méthode d'évaluation avant de décider du type et du nombre d'étude de cas à réaliser:

-1^ère phase

-2^ème phase

Définir la place des études de cas dans le processus d'évaluation (pour structurer la méthode, fournir les données sur la mise en œuvre, etc.).

-3^ème phase

Définir les grandes lignes de la conception générale de l'étude. Préciser les hypothèses de base s'il y en a, les unités d'analyse choisies (ex : régions), quels types d'informations à recueillir, etc. Ces grandes lignes doivent suivre un protocole rigoureux, surtout lorsque des études multisites sont envisagées. La finalisation de cette conception et du protocole d'étude de cas se feront dans la phase pré-opératoire, une fois que les informations seront suffisamment abondantes pour pouvoir le faire.

-4^ème phase

Proposer les sources pressenties pour collecter chaque type d'information.

La documentation :

Elle peut être extrêmement variée et comprendre par exemple:

• des données sur le pays, la région, les programmes évalués et leur mise en œuvre dans la zone objet de l'étude de cas,
• des rapports d'études précédentes,
• des comptes-rendus d'activité des opérateurs et de suivi des programmes,
• des données de monitoring des projets et programmes,
• des cartes,
• des statistiques,
• des articles de journaux,
• des contrats, etc.

Cette documentation peut être collectée sur place mais également avant le départ auprès de l'administration ou d'opérateurs en Europe et/ou dans le pays où a lieu l'évaluation. Une partie peut également être disponible sur Internet (ex : évaluations conduites par d'autres bailleurs).

Les entretiens:

C'est la plus importante source d'information en étude de cas et celle qui doit être privilégiée. Toutefois, en évaluation pays, une des principales difficultés concerne le choix des personnes à rencontrer. Si certaines sont évidentes, d'autres le sont moins. Cette liste devra presque toujours être complétée une fois sur place, après quelques entretiens préliminaires, pour ne pas en rester aux seuls entretiens officiels proposés par les autorités locales. Des entretiens de groupe pourront également être conduits, principalement avec des bénéficiaires.

L'observation:

C'est une nécessité "sine qua non" de l'étude de cas, l'évaluateur devant avoir une perception directe des phénomènes qu'il étudie. La plupart du temps, elle comporte:

• un examen simple des lieux (ex : entreprises aidées, travaux en cours, salles de classe, dispensaires, etc.°) et des situations des personnes (ex : niveau de vie, de santé, de scolarisation… ainsi que des relations entre les parties prenantes (partenaires, autorités, etc.).
• si nécessaire, des mesures physiques basées sur des protocoles rigoureux.
• un certain nombre d'entretiens, en particulier avec les bénéficiaires.

Les autres sources d'information:

Il existe de nombreuses autres sources d'information possibles dans les études de cas, créées ou non par l'évaluateur. Une des plus courantes est la réalisation simultanée d'enquêtes, en général auprès des bénéficiaires, ceci dans le but d'ajouter des données quantitatives, aux qualitatives. Les études de cas souffrant, dans certains milieux, d'à priori défavorable liés à l'excès de données qualitatives, non corroborées par des quantitatives ; l'ajout d'une enquête dans l'étude de cas, limite considérablement cette critique et apporte dans tous les cas aux évaluateurs une meilleure perception des phénomènes observés.

Le choix des sites est primordial pour la qualité de l'évaluation et pour tenter la généralisation des résultats obtenus. Si les études de cas multiples sont prévues, la méthode retenue pour choisir les sites et pour conduire ces études, doit être détaillée.
L'USGAO propose trois clés possibles de sélection des cas et des sites:

• La commodité (convenience)
• L'échantillonnage selon le but recherché
• La recherche de représentativité

Les choix varient aussi en fonction de la combinaison des 3 clés et du nombre d'études.

La commodité (convenience)

Par cette clé, l'accent est mis sur la facilité de réalisation des études (ex : proche de la capitale où se passe l'essentiel de la mission de terrain ou taille limitée permettant une mission courte, etc.).
Bien que cette clé ne soit pas la meilleure pour assurer une certaine représentativité, elle peut toutefois permettre une approche correcte pour quelques études de cas illustratives, dans un contexte budgétaire difficile.

L'échantillonnage selon le but recherché

Ce second critère, le plus couramment utilisé, est lui-même divisé en plusieurs choix possibles selon les buts de l'évaluation:

• L'examen des extrêmes: L'évaluation cherche à expliquer pourquoi des différences importantes existent entre plusieurs situations qui pourraient être identiques. Les études vont alors se focaliser sur les cas extrêmes, à choisir selon ce qui est recherché : écarts de coûts de mise en œuvre, de résultats obtenus, etc.
• L'examen des meilleurs cas et/ou les pires cas: Les études de cas vont cibler les projets ou programmes regroupant les succès et les échecs intéressants pour l'évaluation.
• L'examen de cas parmi des blocs homogènes: Alors que des différences existent entre projets ou programmes, certains d'entre eux font néanmoins partie de sous catégories homogènes (ex : projets à l'intérieur d'un même pays dans un programme régional, programmes menés par deux opérateurs différents dans un même pays, etc.). Le choix peut alors se porter sur quelques uns de ces cas, en les répartissant dans des catégories pertinentes à étudier (ex : les programmes menés par tel opérateur sont-ils mieux conduits que ceux menés par tel autre ?).
• L'examen de cas représentatifs d'une problématique particulière ou de cas typiques: Ce choix va se focaliser sur une ou plusieurs caractéristiques intéressantes pour l'évaluation (ex: les gros programmes, les projets de santé, etc.).
• L'examen de cas spécifiques, identifiés ou désignés comme tels par une source extérieure à l'équipe d'évaluation. Par exemple, les termes de référence de l'évaluation stipulent précisément que tel programme doit être pris comme étude de cas car des dysfonctionnements graves y ont été constatés.

La recherche de représentativité

Selon ce critère, les cas sont choisis parmi une liste selon les règles habituelles d'échantillonnage statistique avec une chance égale pour chaque cas d'être retenus. Ce modèle n'est pas le plus couramment appliqué, souvent parce que le nombre total de cas parmi lesquels le choix doit se faire, est faible et donc se prête mal à un échantillonnage représentatif, et surtout parce que par définition les études de cas sont orientées vers des problématiques particulières.

Combinaison des 3 clés

Des combinaisons peuvent exister entre ces différentes catégories. Par exemple, une certaine recherche de représentativité peut être couplée avec le choix d'extrêmes ou de quelques cas spécifiques.

Nombre d'études

Il n'y a pas de nombre d'études de cas minimum, toutefois plus il est élevé plus il permet à la fois une analyse détaillée et une généralisation. Comme les études de cas ne permettent pas, par construction, de faire d'analyses statistiques, il convient de ne pas multiplier les cas à l'extrême. Cinq à dix études pour une évaluation paraissent une fourchette satisfaisante pour tenter une généralisation. Ce nombre peut toutefois être augmenté jusqu'à une quinzaine si une série de problématiques distinctes doit être étudiée dans des études de cas différentes. Mais ceci est rare.

Il est fondamental avant d'arrêter définitivement la liste des études de cas à réaliser, de vérifier auprès des autorités de gestion des programmes, que ces cas n'ont pas déjà été l'objet de multiples études de cas lors d'autres évaluations, car la lassitude des personnes rencontrées peut alors altérer la qualité de l'étude.

Une fois la décision prise de réaliser des études de cas et une fois les grandes lignes de leur contenu définies, ce travail doit être affiné avant la phase opérationnelle par différents points.

Finalisation du protocole

Un protocole de conduite de l'étude ou des études de cas est toujours nécessaire. Il fait partie de la structuration de la méthode d'évaluation et va au delà en englobant des aspects opérationnels proprement dits. Si ce protocole peut être relativement "succinct" pour une seule étude de cas menée par l'évaluateur lui-même, il doit en revanche être extrêmement détaillé pour des études de cas multiples menées simultanément par différents évaluateurs.
Le protocole contient :

• Des données permettant aux évaluateurs de comprendre parfaitement le contexte de leur travail : les objectifs de l'évaluation et des études de cas, le cadre logique des programmes ou projets à évaluer, les principales données de mise en œuvre, la méthode et les raisons des choix des différents cas étudiés, le calendrier de l'évaluation et celui des études de cas (détaillé par phase).
• Les méthodes de collecte des données: définition de la zone d'étude, de la période étudiée, des personnes à rencontrer, des données à collecter (documentation, entretiens individuels, ou collectifs, observation, enquêtes, etc.) avant ou pendant la phase de terrain de l'étude de cas, du temps à consacrer à chaque phase. Cette méthode doit toujours être basée sur un système de chaîne de preuves à constituer, c'est à dire sur des liens explicites qui doivent exister entre les questions évaluatives, les questions qu'il pose à son tour, les données qu'il collecte et l'argumentaire qu'il doit produire pour arriver aux conclusions.
• Les éléments concrets de méthode sur lesquels s'appuyer : guide d'entretien par catégorie d'acteurs, questionnaire d'enquête et protocole de mesures sur le terrain si opportuns, etc.
• Les questions auxquelles l'étude de cas doit répondre avec leur interprétation possible, les méthodes pour y répondre, les critères d'évaluation, les indicateurs recherchés. Pour que les études multisites soient exploitables, sous la forme d'une synthèse générale, il est en effet fondamental que chaque étude réponde à une série identique de questions que l'évaluateur principal reprendra pour en faire une synthèse englobant tous les sites.
• Le plan du rapport d'étude de cas et sa forme (feuille de style notamment), y compris le mode de présentation des résultats et le contenu des annexes. La réalisation d'une étude de cas pilote a l'avantage de pouvoir servir d'exemple aux autres évaluateurs pour le format et le contenu du rapport. La standardisation des rapports d'études de cas permet un gain de temps précieux pour la synthèse des résultats.
• Le nom et les coordonnées de la personne ressource pouvant être sollicitée pour apporter, à tout moment, des éclaircissements à l'évaluateur.

Simultanément à la phase de finalisation du protocole et si cela n'a pas déjà été fait dans la réponse à l'appel des offres des consultants, il faut arrêter avec le client, la liste des évaluateurs et de leur assistants (ex : enquêteurs), chargés de conduire les études de cas.
A ce stade, il faut s'assurer que deux exigences fondamentales, pour réaliser concrètement ces études, sont bien remplies:

• Les personnes choisies ont bien la compétence requise pour les différentes tâches retenues. Les études de cas doivent toujours être dirigées par un des évaluateurs de l'équipe (national ou international).
• Elles parlent la langue du pays ou de la zone concernée. L'usage d'un interprète est toujours possible, mais il ne doit être q'une solution de dernier recours.

Une fois cette liste arrêtée, les consultants demandent au client de leur fournir des lettres de mission, décrivant le but de leur intervention et demandant aux personnes qu'ils vont rencontrer de bien vouloir les assister autant que faire se peut.
Dans certains cas, des chargés d'étude peuvent réaliser tout ou partie de l'étude de cas, sous la responsabilité de l'évaluateur. Il reste cependant préférable de limiter ces prestations à des recueils d'informations simples (ex : statistiques, bibliographie…). En particulier, les entretiens avec les bénéficiaires, et les autorités en charge de la mise en œuvre doivent être faits au maximum par l'évaluateur lui-même.

Planification de l'étude de cas

Planifier une étude de cas est une opération méticuleuse et qui doit être faite suffisamment à l'avance pour permettre d'obtenir les rendez-vous escomptés sur place. En évaluation pays, l'assistance d'un bureau local est quasi indispensable pour:

• trouver les coordonnées des personnes à rencontrer,
• leur transmettre les demandes de rendez-vous, la copie des guides d'entretien, la lettre de recommandation du commanditaire, éventuellement la documentation de base,
• organiser les entretiens et les réunions sur place (réservation de véhicules, de salles sur place, de lieux d'hébergement, etc.),
• prêter assistance pour d'éventuelles traductions ou pour la conduite de certaines parties de l'étude (ex : enquêtes).

Si possible, faire une étude pilote

Bien des raisons incitent à réaliser une étude de cas pilote, avant le lancement d'une série multisite. Cette pratique prudente permet entre autres, de:

• valider la méthode de conduite des études en la mettant à l'épreuve du terrain,
• affiner la liste des catégories de personnes à rencontrer et de la bibliographie de base,
• finaliser les guides d'entretien et les questionnaires d'enquête,
• revoir les questions posées aux évaluateurs, les critères et les indicateurs, au vu de ce qui est réellement disponible sur le terrain,
• faire un rapport type, à suivre par les autres évaluateurs qui est souvent plus compréhensible et parlant qu'un guide de rédaction d'étude.

Le choix du site pilote peut être fait à partir de critères de simplicité d'accès et de disponibilité des données ou des interlocuteurs. Toutefois, comme cette étude est souvent menée par celui qui pilotera l'ensemble des études de cas, pour profiter de cette expérience, il est souvent plus astucieux de choisir cette étude pilote sur des bases plus utiles pour la suite. Les critères de choix peuvent être:

• Une étude rassemblant un large éventail des problématiques que les autres études auront à traiter (et donc pouvant servir plus facilement d'exemple de référence aux autres).
• L'étude la plus complexe ou la plus difficile à réaliser au point de vue logistique, afin d'anticiper sur la faisabilité réelle des autres.

Former les opérateurs

Pour des questions de délais, l'ensemble des études de cas doit souvent être réalisé par plusieurs évaluateurs, ce qui peut se ressentir dans la conduite de l'étude et l'interprétation des résultats. Il convient de maîtriser au mieux cet "effet évaluateur".
Pour cela, outre la standardisation des méthodes évoquée à l'étape précédente, le minimum à faire est une formation de l'ensemble des futurs évaluateurs par le responsable des études de cas. Le but est que tous s'accordent sur les objectifs, les méthodes, les rendus des études de cas, et la restitution des résultats, et que chacun connaisse le contenu précis de sa prestation.
Cette formation doit être accompagnée d'un suivi permanent, chaque évaluateur devant pouvoir contacter rapidement le responsable des études de cas pour toute précision utile à leur conduite ou à leur restitution. Si les études doivent être réalisées dans plusieurs langues (ex : évaluations régionales avec des études de cas choisies dans plusieurs pays), ces demandes de précisions peuvent notamment concerner la signification de certains concepts, dont la traduction peut être ambiguë.

Cette phase qui peut commencer avant la phase de terrain par la collecte bibliographique ou quelques rencontres préliminaires, est surtout capitale lors du déplacement effectif de l'évaluateur sur le terrain.

Afin que les résultats de l'étude de cas soient fiables, il convient de s'assurer lors de cette collecte d'un certain nombre de points fondamentaux:

• La collecte des données doit concerner des données "longitudinales" c'est-à-dire qui couvrent une période suffisamment étendue pour éviter qu'une situation momentanée ne soit prise comme référence.
• Elle doit être basée sur le principe de la vérification de l'information par triangulation, systématiquement adopté en évaluation. C'est-à-dire de la collecte d'informations auprès de plusieurs sources différentes (ex : entretiens, données de mise en œuvre et enquêtes ou plusieurs sources d'entretien comme les gestionnaires du programme d'une part et les bénéficiaires d'autre part).
• L'évaluateur devra rester attentif à collecter puis présenter dans son argumentaire les preuves qu'il apporte. Pour faire une analogie avec le domaine de la justice, ces preuves peuvent être :
  • des faits observés par lui-même,
  • des faits incontestables constatés par des personnes ou institutions au-dessus de tout soupçon (ex : statistiques publiques),
  • des documents écrits dont la valeur en terme de preuve peut être très variable (ex : comptes-rendus de réunions),
  • la reconnaissance par certaines institutions ou personnes d'erreurs commises (ex : dans la mise en œuvre du programme),
  • des témoignages à charge ou à décharge, mais dans le cas d'une évaluation, il conviendra de vérifier par triangulation la véracité de ces témoignages,
  • des avis d'experts,
  • d'autres preuves matérielles comme des casettes vidéo ou sonores, etc.
• L'évaluateur doit s'assurer que toutes les sources d'information sont bien exploitées : données statistiques de contexte, données de mise en œuvre, rapports existants, entretiens avec les bonnes personnes en mélangeant les catégories (administrations, contrôle, opérateurs, recherche, ONG, bénéficiaires, etc.), et enquêtes.
• L'évaluateur doit également s'assurer que ces informations sont exploitées au maximum, notamment en cas de divergence d'avis entre des personnes rencontrées. Il faut alors leur demander des argumentations, des exemples, des preuves, permettant de conforter la validité des données recueillies et au final, de reconstituer la chaîne de preuves utilisée dans la phase.
• Par définition, l'étude de cas reste ouverte aux éventuelles découvertes en cours de réalisation. L'évaluateur doit savoir identifier les points clés durant la réalisation de l'étude de cas et les approfondit, quitte à sortir du plan prévu. En particulier, il est important de profiter de la phase de collecte pour avancer dans l'analyse et tester auprès de certaines personnes rencontrées les interprétations alternatives possibles, pouvant expliquer une situation.
• La restitution des résultats de l'étude est un point fondamental qui augmente la crédibilité de ce qui a été trouvé. L'évaluateur doit donc noter très précisément les informations recueillies, en particulier tout ce qui concerne le contexte, les relations entre acteurs, les raisons de succès ou d'échec. Pour cela, il est très important de distinguer clairement au cours des entretiens le recueil d'informations (faits vérifiables) du recueil de points de vue, d'analyses et d'opinions, afin de les restituer tels quels dans le rapport.
• Enfin, la phase de terrain permet des observations directes sur ce qui se passe. Il est important pour l'évaluateur de les noter avec précision.

La langue dans laquelle peut s'effectuer l'étude est un point délicat. L'évaluateur peut donc être recruté localement ou bien assisté par un interprète pour toute ou partie de l'étude, (ex : dialogue avec les bénéficiaires).

C'est la phase la plus délicate de l'étude de cas. Son but est de traiter les données recueillies lors de la phase de terrain et de relier au maximum les effets aux causes des choses observées. Cette analyse est moins encadrée par des méthodes contrairement aux phases de conception et de collecte, ce qui en fait sa relative difficulté.

Les deux grands modèles d'analyse

Il existe deux principaux modèles d'analyse liés à la conception de l'étude de cas.

• Soit l'étude a été conçue pour vérifier une hypothèse. Dans ce cas, l'analyse va être orientée vers la recherche de ce qui confirme ou infirme cette hypothèse. Ce type d'étude de cas est plus utilisé en recherche qu'en évaluation.
• Soit l'étude ne part de rien et c'est au cours de sa réalisation que vont progressivement être bâtis les raisonnements qui expliquent les résultats trouvés, attendus ou non. C'est la constitution de la chaîne de preuves.

Déroulement et imbrication avec les autres étapes

L'analyse se déroule pour partie, en même temps que la phase de collecte, surtout pour les études de cas où:

• L'étude est suffisamment étendue pour que les premiers résultats obtenus permettent en temps réel à l'évaluateur d'affiner la suite de la collecte.
• La phase de collecte comprend un test d'hypothèses préétablies qui nécessite de modifier en partie le contenu de l'étude au fur et à mesure de son avancement.

Elle peut faire appel à d'autres outils, utilisés une fois de retour de terrain (ex : traitement d'enquête, benchmarking, etc.) pour traiter ou comparer les données, mais l'analyse est toujours basée sur la constitution d'une chaîne de preuves.
La phase d'analyse doit suivre un certain nombre d'étapes, pour partie communes avec la phase de collecte:

• La première action commune à la collecte et à l'analyse est la constitution d'une base de données sur l'étude de cas.
• Le processus doit toujours être itératif, c'est à dire qu'il est basé sur la recherche suffisante d'information jusqu'à l'obtention de la chaîne de preuves.
• L'analyse doit tester les différentes explications possibles d'une situation pour ne conserver que les définitives et éliminer les autres après justification.
• L'analyse doit s'assurer de la reproductibilité des conclusions, c'est-à-dire avoir la certitude que n'importe quel autre évaluateur, en présence des mêmes informations aurait conclu la même chose.
• Pour les évaluations multisites, la généralisation est un des principaux buts recherchés qui ne peut être atteint que si les étapes précédentes ont bien été remplies, ce qui donne aux résultats la consistance et la crédibilité requises pour affirmer les conclusions.

Le cas particulier des études multisites

Les méthodes d'analyse des études multisites utilisent différents outils permettant de simplifier la gestion de multiples données qualitatives. Parmi ces techniques figurent:

• Les matrices de catégories qui reportent dans un tableau des éléments comparables d'un site à un autre (ex : types de gestionnaires des programmes ou nombre de programmes d'éducation par site, etc.). Pour pouvoir utiliser cette technique, il faut que les méthodes de collecte de données aient été standardisées au préalable.
• Les tables de données qui font apparaître les fréquences d'apparition de tel ou tel phénomène. Ces tables sont particulièrement adaptées lorsque des enquêtes ont eu lieu lors des études de cas. Elles permettent alors de comparer les résultats de ces enquêtes dans les différentes zones étudiées. Toutefois, les études de cas ne réunissant, par construction, pratiquement jamais les conditions pour rendre une comparaison statistique possible entre plusieurs cas, il convient de trouver des moyens de comparer ces données sans avoir recours à des représentations statistiques classiques comme la moyenne, l'écart type ou la variance.
• Les représentations graphiques de données utilisant ou non des programmes informatisés. Ces techniques lorsqu'elles sont complètement formalisées, impliquent une réunion des évaluateurs ayant conduit les études de cas pour valider ou invalider les hypothèses retenues par sujet (présentées sur les graphiques) et avancer ainsi vers les conclusions. L'usage de vidéo-conférences ou d'échanges par mail pour un nombre limité d'évaluateurs est une solution alternative économique à ces réunions.
• Les séries temporelles qui comparent par site l'ordre d'apparition des évènements afin d'en tirer des enseignements. Ces séries peuvent permettre d'expliquer pourquoi telle série conduit au succès des programmes alors que d'autres n'y parviennent pas.

Cette liste n'est pas exhaustive. Chaque évaluateur doit pouvoir se sentir libre de présenter les résultats de plusieurs études de cas selon les axes qui lui permettent d'aboutir à la chaîne de preuves qui doit toujours être recherchée. Grâce aux études sur plusieurs sites, ces chaînes de preuves peuvent être renforcées par la constatation de l'apparition simultanée d'effets sur plusieurs sites à la fois.

Cette étape est capitale, car il faut que le lecteur puisse avoir la même compréhension de la chose évaluée que l'évaluateur. Il ne faut donc pas sous-estimer cette partie de l'étude de cas. Concernant la présentation, le rapport doit contenir :

• " les objectifs de l'évaluation et ceux des études de cas,
• " si l'étude est multisite, les sites retenus et les raisons des choix,
• " les méthodes de collecte et d'analyse utilisées avec leurs limites,
• " les données de base (statistiques, données de mise en œuvre, résultats d'enquête, …) de chaque étude de cas et les différentes sources d'information.
• " les descriptions factuelles développées, en particulier sur toute la mise en œuvre, permettant une compréhension aisée du lecteur,
• " les réponses aux questions contenant :
  • Les comparaisons entre les divers sites, objets d'études de cas, synthétisées de façon lisible,
  • Les chaînes de preuves conduisant aux conclusions argumentées.
• " les conclusions, construites pour permettre autant que possible une généralisation (surtout pour les études de mise en oeuvre et les études des effets).

Idéalement, pour éviter les biais d'empathie, on peut distinguer le verbatim du cas de la monographie elle-même, et avoir un rédacteur de la monographie distinct du chargé d'étude qui a préparé les minutes. Cet idéal sera toutefois difficile à atteindre en évaluation pays, du fait des contraintes de temps et de budget.
Le style de rédaction des rapports d'étude de cas dépend beaucoup du rôle que les évaluateurs veulent faire jouer à ces études. Ce rôle doit bien sûr être défini à l'avance. Par exemple, dans le cas:

• d'une étude unique illustrative. La description détaillée des phénomènes observés sera recherchée pour apporter du concret à l'évaluation.
• d'une étude multisite avec de nombreux sites. Pour être lisible, le rapport de synthèse ne pourra pas être aussi détaillé. La comparaison entre les sites sera privilégiée, les rapports de chaque étude de cas étant reportés en annexe.

Le public cible, destinataire des résultats de l'étude de cas, doit également être identifié. Dans le cas d'une évaluation pays, il s'agira le plus souvent des utilisateurs de l'évaluation. La rédaction sera donc essentiellement orientée vers la réponse aux questions d'évaluation et vers des conclusions -recommandations en lien direct avec la gestion des programmes.
Si l'étude de cas doit s'adresser à un public moins spécialisé, sa restitution pourra prendre une forme moins technique. Le recours à un résumé non technique au début du document est également une solution.

La conception générale de l'étude doit toujours permettre de répondre à la question "comment ?" et en tout ou partie, à la question "pourquoi ?". Sa validité doit être testée dès le stade de la conception qui intègre :

• les questions que l'on se pose,
• les unités d'analyses spatiales et temporelles choisies,
• le protocole de collecte et d'analyse des données, lié aux questions que l'on se pose,
• les critères d'interprétation des résultats et le mode de restitution de ceux-ci.

Si un seul de ces points est mal conçu, c'est l'ensemble de l'étude de cas qui est remis en cause. Il convient donc de vérifier si :

• Les questions que l'on se pose sont bien en lien direct avec les questions générales de l'évaluation et permettent d'apporter tout ou partie des réponses à ces questions d'évaluation.
• Les unités choisies permettent de couvrir correctement la problématique (ex : la période retenue est-elle suffisante ? La zone à étudier permet-elle de couvrir suffisamment la problématique étudiée ? …).
• La méthode couvre-t-elle toutes les parties de l'étude, de la collecte au rapport ? Permet-elle de réunir la chaîne de preuves que l'on recherche ? Sa conception est-elle vraiment itérative et est-il prévu de valider - invalider les interprétations alternatives ?
• Les critères d'interprétation des résultats sont-ils suffisamment explicites et argumentés ?

Il est important de se rappeler que dans un domaine aussi difficile que l'évaluation pays:

• Prévoir dans la conception de l'étude de cas, plusieurs études est une sécurité importante, car une seule étude peut conduire à des biais.
• Sauf argumentation contraire, les études multisites devraient toutes être faites selon la même méthode pour permettre les comparaisons de résultats entre sites et aider ainsi à une certaine généralisation.
• Malgré la rigueur requise pour la mise en œuvre des études de cas, la conception de l'étude doit malgré tout, toujours laisser la possibilité à l'évaluateur d' "explorer" un domaine, si cela lui paraît justifié. Ce point particulier lorsqu'il se produit, peut éventuellement être validé avec le responsable de l'ensemble des études de cas.

La fiche "préparation des études de cas" détaille les différentes possibilités pour choisir les sites afin d'y réaliser des études de cas.
Une attention toute particulière doit donc être portée à ces choix, qui doivent faire l'objet :

• d'un argumentaire détaillé dans un rapport intermédiaire présentant les différentes possibilités et les choix proposés, en lien direct avec les questions d'évaluation (ex : pourquoi une étude des extrêmes ou des mauvais cas ? Pourquoi 5 sites plutôt que 3 ou 7 ? etc.),
• d'une procédure de discussion - validation avec le client incluant si possible une consultation du niveau local (délégation, pays hôte, etc.) afin de valider que les sites proposés conviennent bien et ne présentent pas de problème spécifique (ex : site visité par toutes les évaluations ou au contraire site dangereux, etc.),
• de la production d'un document final intégrant ces différentes phases et arrêtant les choix.

La justification même de l'étude de cas est un étude en profondeur. Si celle-ci est superficielle alors ses conclusions ne sont pas opposables et l'étude ne sert à rien. Il doit y avoir une recherche systématique d'exhaustivité et de qualité dans la façon de concevoir et réaliser une étude de cas. Les phases de collecte et d'analyse détaillent les points qu'il convient d'observer pour tendre vers ce but.
Si la conception de l'évaluation a été bonne, il y a peu de chance de tomber dans ce travers mais quelques précautions peuvent améliorer le contenu des études de cas comme:

• la mise en place de critères pour assurer une bonne validité des données (choix des sources d'information, complémentarité entre elles, etc.),
• la mise en place par l'évaluateur responsable des études de cas d'une procédure d'assurance qualité pour vérifier, entre autres, l'exactitude et la crédibilité des résultats des études de cas multisites réalisées par d'autres évaluateurs.

Démarrer la phase de rédaction des parties du rapport qui peuvent l'être dès la phase de collecte, est une excellente façon d'identifier les manques d'information et donc d'éviter par la suite des argumentaires peu étayés, lors de la phase d'analyse.

La principale erreur à éviter en matière d'étude de cas en évaluation est d'affirmer sans preuve.
Les phases d'analyse et de rédaction doivent toujours viser une impartialité totale, seule garante de la crédibilité des résultats. Cette impartialité est une exigence absolue car dans les études de cas, c'est le jugement de l'évaluateur qui est pris comme donnée finale, sa validité doit donc être totale. Cette validité peut être mise à l'épreuve, en particulier en soumettant, pour avis, le rapport d'étude de cas à la lecture des principales personnes ayant fourni les données. Ceci permet de:

• vérifier l'exactitude des données mentionnées dans le rapport (ex : présence d'erreurs factuelles),
• corriger les éventuelles assertions subjectives,
• limiter les biais éventuels de l'analyse.

La généralisation des résultats de l'étude de cas est évidemment un des points souvent recherchés en évaluation. C'est aussi un des points faibles des études de cas quand elles sont mal conduites. Cette faiblesse prend toujours pour référence les outils statistiques habituels beaucoup plus difficiles à remettre en cause car basés sur des pratiques mathématiques incontestables. Généraliser à partir d'études de cas nécessite donc d'apporter suffisamment de preuves pour être convaincants.
Cette généralisation excessive est souvent liée aux autres points suivants:

• une mauvaise conception (qui rend les résultats inexploitables par exemple),
• un mauvais choix de site (qui ne montre pas ce que l'on cherche),
• un argumentaire trop faible (qui n'apporte pas de preuves suffisantes pour conclure et donc encore moins pour généraliser).

Globalement, la généralisation repose sur le fait que l'étude de cas a une validité externe, comme peut l'avoir une enquête par exemple, sous réserve que l'échantillon soit représentatif. Cette validité externe est presque toujours plus facile à atteindre à partir de plusieurs études de cas qu'à partir d'une seule. Elle peut également ne concerner que certains points de l'étude et pas tous (ex : les conclusions sur les problèmes de mise en œuvre sont généralisables mais pas celles sur les impacts du programme).

Le piège à éviter en matière de généralisation est de vouloir "imiter" des enquêtes en réalisant des études de cas. La généralisation en étude de cas (comme dans une expérimentation d'ailleurs) est avant tout analytique et non statistique. Elle ne peut exister que si la sélection des études de cas et leur conduite permettent cette généralisation. En particulier, sur des études de cas multiples, elle est souvent le résultat de l'analyse comparée des sites, de laquelle émergent des conclusions communes.

Pour tester si une généralisation est possible, les praticiens ont recours, comme en expérimentation scientifique, à la technique de la réplication qui teste sur un second site ou une seconde série de sites, si cette réplication est possible et si la théorie se vérifie.

.

.

• Exemples

.

.

• Case study Evaluation, November 1990. GAO/PEMD-91-10.1.9.
• Case study research. Design and methods. Third Edition. Robert K Yin. Vol 5. 2003. www.sagepublications.com
• Embedded case study Methods. Integrating quantitative and qualitative knowledge. Roland W. Scholz - Olaf Tiedje. 2001. www.sagepublications.com
• Cahiers MEANS Volume 3 "Principales techniques et outils d'évaluation". Commission Européenne. 1999. Office des publications officielles des Communautés Européennes.