Evaluation methodological approach

.

Une analyse est nécessaire pour convertir les données en constats, qui font eux-mêmes l'objet d'un jugement pour être convertis en conclusions. L'analyse est effectuée question par question, dans le cadre d'une conception d'ensemble englobant toutes les questions.

Données, éléments de preuve et constats

Toute information qualitative ou quantitative collectée par l'équipe d'évaluation est appelée données, par exemple:

• Le document X indique que le nombre d'élèves s'est développé plus rapidement que le nombre de professeurs dans les zones rurales pauvres (donnée)

Une information est qualifiée d'élément de preuve dès lors que l'équipe d'évaluation la considère comme suffisamment fiable, par exemple :

• Le document X, citant les données du Ministère de l'Education considérées comme fiables, indique que le nombre d'élèves s'est développé plus rapidement que le nombre de professeurs dans les zones rurales pauvres (élément de preuve)

Un constat établit un fait dérivé d'éléments de preuve, grâce à une analyse, par exemple :

• La qualité de l'éducation primaire a diminué dans les zones rurales pauvres (constat)

Certains constats sont spécifiques en ce qu'ils comportent des énoncés relatifs à la causalité, par exemple :

• La CE n'a pas contribué de façon significative à empêcher la baisse de la qualité de l'éducation primaire dans les zones rurales pauvres (constat relatif à la causalité)

Les constats n'incluent pas de jugements de valeur, lesquels sont intégrés seulement dans les conclusions, comme indiqué ci dessous :

• La CE a contribué significativement à augmenter la capacité du système éducatif à recruter des élèves provenant de groupes défavorisés, mais cela s'est fait au dépend de la qualité (conclusion).

Quatre stratégies peuvent être considérées :

• L'analyse du changement, qui compare des indicateurs mesurés et/ou qualifiés sur une période de temps, et/ou par rapport à des niveaux cibles
• La méta-analyse, qui extrapole les constats d'autres évaluations et études, après avoir soigneusement vérifié leur validité et leur transférabilité
• L'analyse d'attribution, qui compare les changements observés avec un scénario "sans intervention", appelé également contrefactuel
• L'analyse de contribution qui confirme ou infirme les hypothèses causales sur la base d'une chaîne de raisonnements.

La première stratégie est la plus légère et peut convenir pour virtuellement tous les types de questions, par exemple :

• Dans quelle mesure les priorités de la CE sont-elles toujours en lien avec les enjeux identifiés?
• Dans quelle mesure l'aide a t-elle pris en compte les interactions potentielles et les conflits avec d'autres politiques de la CE ?
• Dans quelle mesure la CE a-t-elle intégré un aspect tranversal donné dans la mise en œuvre de ses interventions ?

Les trois dernières stratégies conviennent mieux pour répondre à des questions de causalité, par exemple :

• Dans quelle mesure la CE a-t-elle contribué à obtenir l'effet X ?
• Dans quelle mesure la CE a-t-elle contribué à obtenir l'effet X durablement ?
• Dans quelle mesure la CE a t-elle contribué à obtenirl'effet X à un coût raisonnable ?

Le choix de la stratégie d'analyse fait partie de la conception méthodologique. Il dépend des problèmes de faisabilité soulevés ou non par la question. Il est explicité dans la table de conception. Une fois que la stratégie a été choisie et que les données ont été collectées, l'analyse suit tout ou partie des quatre stades suivants : traitement des données, exploration, explication, confirmation.

Le premier stade de l'analyse consiste à traiter l'information en vue de mesurer ou de qualifier un indicateur, ou de répondre à une sous-question. Les données sont traitées au moyen d'opérations telles que le croisement, la comparaison, le regroupement, le listage, etc.

• Le croisement est l'utilisation de plusieurs sources ou types de données en vue établir un fait. Un croisement systématique d'au moins deux sources est la règle, bien que la triangulation (trois sources) soit préférable. Le croisement doit concerner des sources indépendantes. Un document qui cite un autre document n'est pas une source indépendante. Deux personnes interrogées ne sont pas des sources indépendantes si elles ont le même profil.
• La comparaison procède par construction de tableaux, de graphiques, de cartes et/ou de classements. Les données peuvent être comparées selon une ou plusieurs dimensions comme le temps, les territoires, les catégories administratives, les catégories socio-économiques, les bénéficiaires et non-bénéficiaires, etc. Le plus souvent, l'équipe d'évaluation mesure le changement en comparant des indicateurs quantitatifs sur une période de temps. Les comparaisons peuvent aussi être qualitatives, ex : classer les besoins de la population selon leur perception par les personnes interrogées.
• Le regroupement fonctionne en agrégeant les données selon des typologies prédéfinies, ex : aide de la CE par secteur, par bénéficiaires, par niveau de revenu.
• Le listage fonctionne en identifiant les différentes dimensions d'un élément, par exemple les différents besoins du groupe cible qui sont ressortis d'une réunion participative, les différents effets d'un projet indiqués par les acteurs de terrain, les différentes forces et faiblesses de la CE indiquées lors des entretiens dans les missions des autres bailleurs de fonds …

Les constats provisoires émergent à ce stade de l'analyse. Les stades suivants ont pour but d'approfondir et de renforcer les constats.

L'analyse exploratoire a pour but d'améliorer la compréhension de tout ou partie de ce qui est évalué, principalement lorsque la connaissance est insuffisante et que l'expertise est faible ou lorsque des éléments de preuve surprenants ne s'accordent pas avec les explications disponibles.
L'analyse exploratoire creuse d'avantage et plus systématiquement les données collectées afin de découvrir de nouvelles explications plausibles :

• Nouvelles catégories / typologies
• Facteurs explicatifs non prévus
• Facteurs favorisant / contraignant la durabilité
• Effets fortuits
• Nouvelles hypothèses de causalité.

Le stade de l'exploration peut ne pas être nécessaire pour toutes les questions. Quand ce type d'analyse est effectué, les techniques de brainstorming sont appropriées. L'idée est de développer de nouvelles explications plausibles, pas de les établir.

A ce nouveau stade, on s'assure d'avoir atteint une compréhension suffisante en termes de :

• Concepts, catégories et typologies définis avec précision
• Explications de causalité plausibles
• Identification des facteurs externes clés et des explications alternatives

Selon le contexte et la question, l'explication est construite sur une ou plusieurs des bases suivantes :

• Diagramme des effets attendus
• Explications de causalité plausibles
• Identification des facteurs externes clés et des explications alternatives

L'explication (aussi appelée modèle explicatif) doit être suffisante pour l'analyse puisse être finalisée.

A ce dernièr stade, on s'efforce de confirmer les constats provisoires à travers une chaîne d'arguments valide et crédible. Ceci est le rôle de l'analyse confirmatoire.
Afin de confirmer un constat, on réalise une auto-critique systématique par tous les moyens possibles, ex : tests statistiques, recherche de biais dans les données et l'analyse, examen des contradictions entre les sources et les analyses.
Les critiques externes provenant des experts ou des parties prenantes sont également prises en compte.

.

.

Analyse de causalitéDe quoi s'agit-il ?

Approche par laquelle l'équipe d'évaluation établit l'existence d'un lien de cause à effet, et / ou l'importance d'un effet.

L'analyse d'attribution a pour objet d'apprécier la proportion des changements observés qui sont effectivement attribuables à l'intervention évaluée. Elle implique la construction d'un scénario contrefactuel.

L'analyse de contribution vise à démontrer si l'intervention évaluée est une des causes des changements observés ou non. Elle peut également classer l'intervention évaluée parmi les différents facteurs explicatifs des changements observés. L'analyse de contribution repose sur des chaînes d'arguments logiques qui sont vérifiés grâce à une analyse confirmatoire attentive. Elle comprend les étapes successives suivantes :

• Raffiner les liens de cause à effet qui mettent en relation la conception et la mise en œuvre d'une part, et l'effet évalué d'autre part. Cette étape se fonde sur les explications disponibles concernant le domaine évalué. Ces explications dérivent du diagramme des effets escomptés réalisé lors de la première phase de l'évaluation, ou de l'expertise de l'équipe d'évaluation, ou encore des analyses exploratoires.
• Rassembler des éléments de preuves relatifs à chaque lien de cause à effet, parmi lesquels les constats d'études similaires, les relations causales énoncées par les interviewés, et les éléments de preuves issus d'enquêtes approfondies.
• Rassembler des éléments de preuves relatifs aux explications alternatives (autres interventions, facteurs externes).
• Développer une chaîne d'argument pas à pas établissant que l'intervention a (ou n'a pas) apporté une contribution, et éventuellement classer l'intervention parmi les autres contributions.
• Soumettre le raisonnement à une critique systématique jusqu'à ce qu'elle soit suffisamment robuste.

L'approche est résumée dans le diagramme ci-dessous :

La ligne "avec politique" montre les changements observés, mesurés avec un indicateur d'impact, entre le début de la période évaluée (point zéro) et la date de l'évaluation. Par exemple : l'emploi local a augmenté, l'illettrisme a reculé. L'impact représente uniquement la part du changement qui est attribuable à l'intervention.

La ligne "sans politique", également appelée contrefactuel est une estimation de ce qui se serait passé sans l'intervention. Elle peut être obtenu avec des approches appropriées comme les groupes de comparaison ou les techniques de modélisation. L'impact est apprécié à partir de l'indicateur "avec politique" tel qu'il a été observé, en soustrayant l'estimation de l'évolution "sans politique".

Puisqu'elle est dérivée d'une estimation du contrefactuel, l'appréciation d'impact est elle-même une estimation. En d'autres termes, les impacts ne peuvent pas être mesurés directement. Ils peuvent juste être dérivé d'une analyse des indicateurs d'impact.
Seul un contrefactuel peut fournir une estimation quantitative de l'impact. Quand elle réussit, cette approche dispose d'un fort potentiel d'apprentissage et de rétroaction. Elle est cependant très exigeante en termes de données et de ressources humaines ce qui en fait une pratique plutôt inhabituelle dans la pratique d'évaluation des pays en développement.

Une autre approche analytique repose sur les études de cas. Elle se construit sur la base d'une enquête approfondie sur un ou plusieurs cas réels sélectionnés dans le but de tirer des enseignements à l'échelle de l'ensemble de l'intervention. Chaque monographie d'étude de cas décrit les changements observés en détails. Une bonne monographie d'étude de cas décrit également le contexte de façon fine, ainsi que tous les facteurs significatifs qui peuvent expliquer pourquoi les changements ont eu lieu ou non.

Dans une telle approche, l'équipe d'évaluation analyse l'ensemble des faits et des énoncés collectés et vérifie s'ils sont compatibles avec des affirmations telles que : "le changement peut être attribué à l'intervention", le changement peut-être attribué à une autre cause, l'absence de changement peut être attribué à l'intervention", etc.

Une seule étude de cas peut pleinement démontrer que l'intervention ne fonctionne pas comme prévu et apporter une explication convaincante de ce fait. Cependant, il est préférable de confirmer un tel constat par une ou deux autres études de cas.

D'autre part, démontrer que l'intervention a réussi demande un plus grand nombre d'études de cas parce que toutes les explications alternatives doivent être rigoureusement recherchées et rejetées.

Si elle est mise en œuvre avec professionnalisme, l'étude de cas fournit une analyse de contribution hautement crédible et conclusive. L'approche est cependant très contraignante en terme de temps et de ressources humaines qualifiées.

-Enoncés causaux

L'approche est construite sur la base de documents, d'entretiens, de questionnaires et / ou de focus groups. Elle consiste à collecter les points de vue des parties prenantes sur les causes et les effets. Les points de vue des différentes catégories d'acteurs sont ensuite croisés (triangulés) jusqu'à ce qu'une interprétation satisfaisante soit obtenue. Un panel d'experts peut être un appui utile dans ce processus.

Une manière particulière de mettre en oeuvre cette approche consiste à collecter les points de vue des bénéficiaires sur les impacts ou les résultats directs. Typiquement, on pose à un échantillon de bénéficiaires une question du type : "D'après vous, combine d'emplois ont été créés/supprimés grâce à l'aide que vous avez reçu ?" ou "Dans quelle mesure votre situation/comportement actuel est-il liée à votre participation à l'intervention ?". Dans cette approche, il est demandé à l'interviwé d'estimer lui-même le scénario "sans politique".

Les équipes d'évaluation ont tendance à privilégier cette approche qui est nettement plus faisable, mais l'on ne doit pas oublier que la difficulté revient au répondant. Le plus souvent, les interviewés n'ont pas une vision claire du scénario "sans politique". Ils essaient de s'en faire une idée en quelques secondes au moment de l'entretien et à ce moment, ils sont sujets à toutes sortes de biais.

Quand elle interroge des bénéficiaires, l'équipe d'évaluation doit souvent faire face à la difficile question des effets d'aubaine (deadweight), liée au fait que les interviewés ont tendance à exagérer l'influence de l'intervention sur leur propre comportement ou situation. En d'autres termes, ils ont reçu une aide et lui attribuent le mérite de changements qui auraient eu lieu de toutes façons. Cela entraîne un biais appelé effet d'aubaine (deadweignt).
Dans le but d'éviter ce biais, l'équipe d'évaluation ne doit jamais poser de question naïve telle que " Combien d'emploi ont été créés grâce au soutien reçu ? " ou " Comment votre revenu a évolué suite au projet ? ". Au contraire, plusieurs questions triangulées peuvent permettre à l'équipe d'évaluation d'apprécier et de réduire le biais. Les énoncés des bénéficiaires sont qualifiées d' " effets brut " (comprenant le biais) tandis que l'estimation de l'équipe d'évaluation est appelée " effet net " (corrigée du biais).

Cette approche est construite sur les documents disponibles, par exemple :

• Travaux précédents relatifs à l'intervention évaluée dans son ensemble (rapport de monitoring, audit, bilan…)
• Rapports récents relatifs à une partie de l'intervention, comme un projet, un secteur, une question transversale (rapport d'évaluation mais aussi rapport de suivi, audit, bilan…)
• Enseignements tirés d'autres interventions et qui peuvent être utilisées pour répondre à la question posée.

Lorsqu'elle réalise une méta-analyse, l'équipe d'évaluation a besoin (1) d'apprécier la qualité de l'information fournie par les documents examinés, et (2) d'apprécier sa transférabilité dans le contexte de l'évaluation menée.

Les deux premières approches (contrefactuel et étude de cas) ont le meilleur potentiel pour aboutir à des constats généralisables (voir validité externe), bien que de manière différente.
Les constats peuvent être généralisables quand les principaux facteurs externes sont connus et que leur rôle est compris. Les approches contrefactuelles sont construites à partir d'hypothèses sur les principaux facteurs externes, et tendent à contrôler ces facteurs au travers de comparaisons statistiques impliquant de grands échantillons. Les études de cas tendent à contrôler ces facteurs externes au moyen d'une compréhension approfondie des mécanismes de cause à effet.

L'équipe d'évaluation doit être libre de choisir sa stratégie d'analyse et son approche analytique.

Les questions de causalité concernent les effets de l'intervention évaluée. Elles sont écrites de la manière suivante :

• Dans quelle mesure [l'intervention] contribue t-elle au [changement attendu]?
• Jusqu'à quel point [l'intervention] a t-elle permis d'obtenir le [changement attendu]?

Ces questions appellent à une observation du changement puis à une attribution du changement observé à l'intervention ou à une analyse de la contribution de l'intervention au changement observé.
Il est facile de répondre aux questions qui concernent les effets directs et à court terme. Les effet plus lointains (ex : réduction de la pauvreté) soulèvent des problèmes de faisabilité.

Les questions d'efficacité et d'impact tendent à être des questions causales dans la mesure où elles relient l'intervention évaluée (la cause) et ses effets. Les questions d'efficience et de durabilité sont également des questions causales puisque des effets réels doivent d'abord être analysés avant d'être qualifiés d'efficients ou de durables.
D'une manière générale, la pertinence et les questions de cohérence ne sont pas des questions causales. Des exemples typiques sont :

• Jusqu'à quel point les objectifs de la CE sont-ils conformes aux besoins perçus par la population ?
• Dans quel mesure les effets de l'intervention et les effets d'autres politiques de la CE sont-ils susceptibles de se renforcer mutuellement ?

Le dernier exemple implique une relation de causalité, mais seulement d'une manière logique et prospective. Il n'est pas attendu de l'équipe d'évaluation qu'elle établisse l'existence de relations causales et/ou qu'elle estime l'ampleur des effets réels.
Exceptionnellement, certaines questions de pertinence peuvent avoir une dimension de causalité, par exemple :

• Jusqu'à quel point l'implication des acteurs non gouvernementaux dans la conception de la stratégie de la CE a-t-elle contribué à un meilleur ajustement des priorités aux besoins perçus par la population ?

Les questions qui concernent la valeur ajoutée de la CE peuvent être des questions causales si l'équipe d'évaluation tente d'établir l'existence ou l'importance d'un impact additionnel dû au fait que l'intervention a été conduite au niveau européen.

Attention !

Les questions qui ne nécessitent pas d'analyse de causalité impliquent, néanmoins une véritable analyse, couvrant tout ou partie du traitement des données, de l'exploration, de l'explication et de la confirmation.

Le contrefactuel ou scénario contrefactuel, est une estimation de ce qui se serait produit en l'absence de l'intervention évaluée.
Les principales approches pour construire des scénarios contrefactuels sont ?

• Groupe de comparaison
• Modélisation

En soustrayant le contrefactuel du changement observé (" factuel "), l'équipe d'évaluation peut estimer l'effet de l'intervention, ex : effet sur l'illetrisme, effet sur le revenu individuel, effet sur la croissance économique, etc.

Une des principales approches pour construire des scénarios contrefactuels consiste à identifier un groupe de comparaison qui ressemble à celui des bénéficiaires en tous points, excepté le fait qu'il n'est pas touché par l'intervention. La qualité du scénario contrefactuel dépend fortement de la comparabilité des bénéficiaires et non-bénéficiaires. Quatre approches peuvent être considérées à cette fin.

Groupe de contrôle aléatoire

Cette approche, également appelée expérimentale, consiste à recruter et examiner deux groupes statistiquement comparables. Plusieurs centaines de participants potentiels sont identifiées et sont appelés à participer ou à ne pas participer à l'intervention, sur une base aléatoire. L'approche est très exigeante en termes de conditions préalables, de temps et des ressources humaines. Lorsque cette approche est réalisable et correctement mise en oeuvre, la plupart des facteurs externes (idéalement tous) sont neutralisés grâces aux règles statistiques, et la seule différence restante est la participation à l'intervention.

Dans cette approche, un groupe de non participants est recruté et enquêté, par exemple des personnes qui ont demandé à participer mais qui ont été rejetés pour une raison ou pour une autre. Cette approche est également appelée " quasi-expérimentale ".
Afin d'obtenir une comparaison appropriée, la structure du groupe de comparaison doit être ajustée jusqu'à ce qu'elle soit suffisamment semblable à celle des participants au regard des facteurs clés comme l'âge, le revenu, le genre. De tels facteurs sont identifiés à l'avance dans un modèle explicatif. La structure du groupe de comparaison (par exemple par âge, revenu et genre) est ajusté en pondérant à la hausse ou à la baisse les membres appropriés jusqu'à ce que les deux structures soient semblables.

Dans cette approche, un échantillon de non participants est associé à un groupe de bénéficiaires sur une base individuelle. Pour chaque bénéficiaire (par exemple un fermier aidé), un pair non participant est choisi avec un profil semblable selon des facteurs clés qui doivent être contrôlés (par exemple l'âge, la taille de la ferme, le type de culture). Cette approche a souvent la plus faisable et peut être envisagée lorsque d'autres approches sont impossibles.

Le scénario contrefactuel peut être construit en employant des bases de données statistiques. L'équipe d'évaluation commence par une observation d'un groupe de participants. Pour chaque participant, le changement observé est comparé à ce qui se serait produit pour un individu "moyen" ayant le même profil, grâce à une estimation tirée d'une analyse des bases de données statistiques, le plus souvent au niveau national.

Différentes formes de comparaison existent, chacune avec des avantages et inconvénients, et des degrés variables de validité :

• une comparaison "après seulement" implique une analyse des différences entre les deux groupes (des participants et non des participants) après que les participants aient reçu une subvention ou un service. Cette approche est facile à mettre en application mais elle néglige les différences qui ont pu exister au début entre les deux groupes.
• la comparaison "avant-après" porte sur l'évolution des deux groupes dans le temps. Elle exige de connaître le point zéro (baseline) (ex : à travers les données de suivi ou sous forme de statistiques, ou à grâce à une évaluation ex ante), ce qui n'est pas toujours possible. Le point zéro peut être reconstruit rétrospectivement, mais cela entraîne des risques pour la fiabilité.

Un groupe de comparaison bien conçu fournit une estimation convaincante du scénario contrefactuel et par conséquent une base crédible pour l'attribution d'une part des changements observés à l'intervention.
Une limite à cette approche provient de la nécessité d'identifier les principaux facteurs externes à contrôler. L'analyse peut être totalement faussée si un facteur externe important a été négligé ou ignoré.
Un autre inconvénient est la nécessité de travailler avec des échantillons assez grands afin d'assurer la validité statistique. Il n'est pas toujours facile de prévoir la dimension de l'échantillon qui assurera la validité, et il se peut qu'après plusieurs semaines d'une coûteuse enquête, on s'aperçoive qu' est impossible de conclure.

Le principe est de faire fonctionner un modèle qui simule correctement ce qui s'est passé dans la réalité (le changement observé) et puis de le faire tourner une autre fois avec une série d'hypothèse représentant un scénario "sans intervention".
Afin d'être utilisé dans une évaluation, un modèle doit inclure toutes les causes et les effets qui doivent être analysés, c'est à dire au moins les suivants :

• Plusieurs causes incluant l'intervention elle-même et les autres facteurs explicatifs.
• L'effet à évaluer.
• Une relation mathématique entre les causes et les effets incluant des paramètres d'ajustement.

Les modèles complexes (par exemple macro-économiques) peuvent inclure des centaines de causes, des centaines d'effets, des centaines de relations mathématiques, des centaines de paramètres d'ajustement, et des mécanismes de causalité complexes comme des relations causales en boucle.
Lorsque un modèle est utilisé, l'équipe d'évaluation procède en trois étapes :

• Une première simulation est réalisée avec des données issues de la réalité. Les paramètres sont ajustés jusqu'à ce que le modèle reflète correctement tous les changements observés.
• L'équipe d'évaluation identifie les " impacts primaires " de l'intervention, ex : augmentation des ressources budgétaires du gouvernement, réduction de la dette publique, réduction des taux d'intérêt, etc. Une série d'hypothèses est élaborée afin de simuler le scénario " sans intervention ", qui est un scénario sans " impact primaire ".
• Le modèle est utilisé une nouvelle fois pour simuler le scénario "sans intervention" (contrefactuel). L'impact est alors estimé par différence entre les deux simulations.

Les techniques de modélisation sont relativement demandeuses en terme de données et d'expertise. La charge de travail nécessaire pour construire un modèle n'est généralement pas proportionnée aux ressources disponibles à une évaluation. La conséquence est que l'approche par modélisation est réalisable seulement quand un modèle approprié préexiste, ainsi que l'expertise correspondante.

.

.

Qui sont-ils ?

Facteurs intégrés dans le contexte de l'intervention qui entravent ou amplifient les changements attendus tout en étant indépendant de l'intervention elle-même.
Des facteurs externes s'appellent également contextuels, exogènes ou facteurs concurrents.

Pourquoi sont-ils importants ?

• Comprendre leur influence afin d'isoler les effets de l'intervention d'autres effets.
• Identifier les facteurs contextuels pouvant empêcher la transferrabilité des leçons apprises.
• Ajuster les échantillons des participants et non-participants afin de les rendre comparables et de réaliser la validité interne.

• Les candidats potentiels sont (ne sont pas) familiers avec l'agence mise en place.
• Ils appartiennent (n'appartiennent pas) à un club de bénéficiaires.
• Ils ont (n'ont pas) un comportement systématique de recherche de subventions
• Ils ont (n'ont pas) des difficultés sociales ou économiques qui les empêchent d'avoir accès à des subventions/prêts

Facteurs expliquant la réalisation d'impacts spécifiques :

• Les stagiaires avaient un niveau élevé (faible) d'éducation, avant de faire partie du programme. En plus de l'intervention, ce facteur explique en partie les compétences demandées.
• Le public cible avait un niveau élevé (faible) de connaissance avant d'avoir été atteint par la campagne de sensibilisation. En plus de l'intervention, ce facteur explique en partie leur niveau actuel de prise de conscience.
• Les entreprises bénéficiaires étaient grandes (petites), jeunes (anciennes), en croissance (en récession), quand elles ont reçu des aides. En plus de l'intervention, ces facteurs expliquent en partie leur niveau actuel de compétitivité.

Facteurs expliquant l'impact global

• L'agriculture locale a bénéficié d'un climat exceptionnellement favorable pendant la période du programme (ou l'inverse). En plus de l'intervention, ce facteur explique en partie le changement dans le revenu des fermiers.
• Les tendances économiques internationales étaient exceptionnellement favorables pendant la période du programme (ou l'inverse). En plus de l'intervention, ce facteur explique en partie l'évolution des exportations.

Lorsque l'évaluation implique de tels facteurs externes, il peut être intéressant de consulter les indicateurs de contexte qui sont disponibles sur Internet.

Dans une évaluation donnée, les facteurs externes sont potentiellement nombreux et il est crucial de mettre en lumière ceux qui sont les plus importants. Les approches suivantes peuvent aider :

• Expliciter la logique d'intervention et mettre en lumière des hypothèses implicites de causalité
• Analyser les travaux de recherche et d'évaluation précédents.
• Recueillir l'avis des experts
• Engager des enquêtes qualitatives

L'identification des facteurs externes est un des principaux objectifs de l'analyse exploratoire.

Ne pas essayer d'identifier tous les facteurs externes possibles lors de la phase de structuration de l'évaluation et de la clarification de la logique d'intervention. Ils sont simplement trop nombreux. Cette tâche ne devrait être entreprise que dans le cas d'une question évaluative donnée et seulement si la question implique une analyse causale.

.

.

Analyse exploratoireDe quoi s'agit-il ?

Si nécessaire, l'équipe d'évaluation examine les données collectées afin de découvrir de nouvelles explications plausibles comme :

• de nouvelles catégories / typologies
• des facteurs explicatifs
• de nouvelles hypothèses de causalité
• des facteurs favorisant / contraignant la durabilité

Quelle est la finalité ?

• Améliorer la compréhension de tout ou partie du domaine étudié, particulièrement lorsque la connaissance et l'et l'expertise existantes sont faibles
• Développer ou affiner les hypothèses explicatives

Comment mener l'analyse exploratoire ?

L'analyse examine l'ensemble des données (quantitatives et qualitatives) afin d'identifier des structures, des différences, des contrastes, des similitudes et/ou des corrélations. Par exemple, l'équipe d'évaluation effectue :

• L'analyse transversale de plusieurs études de cas
• Des comparaisons statistiques recoupant des bases de données de gestion, des bases de données statistiques, et/ou les résultats d'une enquête par questionnaires.
• Des comparaisons entre des entretiens et des documents.

L'approche est systématique et ouverte. Les techniques de brainstorming sont indiquées.
Les idées émergent dès les premières analyses documentaires, les premiers entretiens, et les premières réunions. L'analyse exploratoire peut continuer pendant la phase de terrain.

Des constats provisoires émergent progressivement pendant les premières phases du travail de l'équipe d'évaluation. Ils doivent être confirmés par des contrôles crédibles et de bonne qualité. C'est le rôle de l'analyse confirmatoire.
Dans le cas particulier des questions de causalité, l'analyse doit démêler plusieurs causes (l'intervention et les facteurs externes) afin de démontrer l'existence et/ou évaluer l'importance de l'effet.

Quelle est la finalité ?

• Assurer que les résultats sont de bonne qualité et qu'ils peuvent résister à n'importe quelle critique quand le rapport est édité
• Assurer la crédibilité des résultats du point de vue des utilisateurs finaux
• Distinguer, dans le cas particulier des questions de causalité, les effets réels du changement observé

Comment l'analyse confirmatoire est-elle réalisée ?

Pour qu'un constat soit confirmé, il y a lieu de le soumettre à la critique par tous les moyens possibles, ex :

• Si le constat provient d'une analyse statistique, les tests de validité sont-ils concluants ?
• Si le constat a été suggéré par une étude de cas, est-il contredit par une autre étude de cas ?
• Si le constat provient d'une enquête, peut-il être expliqué par un biais dans cette enquête ?
• Si le constat est basé sur une source d'information, est-il contredit par une autre source ?
• Le constat est-il relatif à un changement qui peut être expliqué par des facteurs externes qui auraient été oubliés par l'équipe d'évaluation ?
• Le constat contredit-il les opinions des experts ou les leçons apprises ailleurs ? Si oui, cela peut-il être expliqué?
• Les membres du groupe de référence de l'évaluation ont-ils des arguments qui contredisent le constat ? Si oui, ces arguments sont-ils justifiés ?

• Consacrer des interactions relativement longues à la discussion du rapport final afin de permettre une analyse confirmatoire minutieuse. S'assurer que l'équipe d'évaluation a réservé des ressources suffisantes dans ce but.
• Tous les constats n'exigent pas le même niveau de confirmation. Concentrer les efforts sur les constats qui soutiennent les conclusions les plus contestées, les leçons qui sont les plus susceptibles d'être transférées, ou les recommandations les plus difficiles à accepter.
• Afin d'augmenter la crédibilité de l'évaluation, il est intéressant de présenter en annexe les critiques auxquelles les constats ont résisté pendant l'analyse confirmatoire.

.

.

De quoi s'agit-il ?

La validité est atteinte lorsque :

• Les conclusions et leçons sont tirées de résultats de manière à assurer la transférabilité (validité externe)
• Les résultats sont tirés de données objectives (validité interne)
• Les données collectées reflètent les changements ou les besoins qui doivent être évalués de façon objective (validité de construction)

Quelle est la finalité ?

Un manque de validité peut exposer l'évaluation à de sévères critiques de la part des parties prenantes qui ne sont pas satisfaites des conclusions et recommandations et qui mettront en lumière toutes les faiblesses trouvées dans le raisonnement.
La validité fait partie des critères de qualité. Un niveau d'attention plus élevé doit lui être apporté lorsque les utilisateurs attendus incluent des parties prenantes externes dont les intérêts sont en conflit.

Validité externe

Qualité d'une méthode d'évaluation qui permet d'obtenir d'arriver à des constats généralisables à d'autres groupes, zones, périodes, etc. La validité externe est complètement atteinte lorsque l'équipe d'évaluation peut montrer qu'une intervention similaire dans un autre contexte aurait eu les mêmes effets, selon des conditions données.
Seule une validité externe forte permet un transfert des leçons apprises. La validité externe est recherchée lorsque l'évaluation a pour but d'identifier et de valider les bonnes pratiques.
La validité externe est menacée lorsque l'analyse n'a pas su identifier des facteurs externes clés qui sont influents dans le contexte de l'intervention évaluée mais qui auraient une influence différente dans un autre contexte. Les facteurs externes ne doivent pas seulement être identifiés ; l'ampleur de leurs conséquences doit également être estimée. Dans le cas d'une enquête, cela implique des échantillons plus larges et diversifiés. Dans le cas d'études de cas, cela implique de multiplier les cas.

Qualité d'une méthode d'évaluation qui limite autant que possible les biais imputables à la collecte et au traitement des données. La validité interne est complètement obtenue lorsque l'équipe d'évaluation fournit des arguments indiscutables montrant que les résultats dérivent de faits et des témoignages.
La validité interne est un point important dans le cas particulier des questions causales. Lorsque l'équipe d'évaluation s'efforce de démontrer l'existence et/ou d'apprécier l'ampleur d'un effet, elle s'expose à des risques comme :

• Ignorer des mécanismes de causalité qui contredisent les hypothèses initiales.
• Estimer des impacts sur la base d'une comparaison d'échantillons (ex : participants et non participants) qui ne sont pas suffisamment similaires.
• Enoncer des constats qui ne résistent pas aux tests statistiques dans le cas d'un échantillon trop petit.

Qualité d'une méthode d'évaluation qui reflète fidèlement les changements ou les besoins que l'on cherche à évaluer. La validité de construction est pleinement obtenue lorsque les concepts clés sont clairement définis et lorsque les indicateurs reflètent ce qu'ils sont censés refléter.
La validité de construction est menacée si l'équipe d'évaluation ne maîtrise pas pleinement le processus du passage des questions aux indicateurs. La validité de construction est également menacée lorsque l'équipe d'évaluation utilise des éléments de preuve indirects et des approximations.

• Ne jamais débuter le traitement des données sans avoir une compréhension approfondie du contexte. Porter une attention particulière à l'identification des facteurs externes clés.
• L'analyse valide d'un impact requière du temps et des ressources. Pour cette raison, les questions causales peuvent nécessiter davantage de ressources quel les autres.