Evaluation methodological approach

.

Quelle est la finalité ?

Il s'agit de mettre en place la méthode qui permettra à l'équipe d'évaluation externe de répondre aux questions et d'arriver à un jugement d'ensemble. La méthode d'évaluation inclut la sélection des questions, des critères de jugement, des indicateurs et des niveaux cibles, et également:

• une stratégie de collecte et d'analyse des données
• les terrains sélectionnés pour les investigations
• une série d'outils développés spécifiquement
• un plan de travail.

L'équipe d'évaluation commence à concevoir une méthode provisoire dès la rédaction de sa proposition afin de réaliser une estimation des coûts. Une hypothèse clé à ce stade est d'estimer jusqu'à quel point l'évaluation pourra s'appuyer sur des données secondaires et nécessitera des travaux spécifiques de collecte d'information sur le terrain.

Les grandes lignes de la méthode sont tracées pendant l'étape de démarrage, en fonction des questions d'évaluation, des critères de jugement, des indicateurs, des outils de collecte de données et de la stratégie d'analyse.
La méthode est affinée et finalisée avant la phase de terrain et complètement décrite dans le rapport de la première phase (desk).

Le rapport final inclut une présentation courte et pointue de la méthode d'évaluation, ainsi que ses limites s'il y en a. La méthode est complètement décrite dans l'annexe, y compris la conception initiale, les problèmes rencontrés, les solutions trouvées, la méthode réellement appliquée, et les limites.
La méthode d'évaluation est conçue selon un processus itératif à trois niveaux:

• Une approche question par question, permettant à l'équipe d'évaluation de préparer les tableaux de conception en vue d'apporter une réponse adéquate à chacune des questions
• Une approche d'ensemble qui couvre toutes les questions, et qui permet à l'équipe d'évaluation d'optimiser sa méthode dans son ensemble, tout en respectant les contraintes de temps et de ressources
• Une série d'outils développés de façon spécifique.

.

.

De quoi s'agit-il ?

Le tableau de conception explique comment on va répondre à une question d'évaluation, y compris la chaîne de raisonnement qui va relier les données, les constats et les conclusions.
Un exemple de tableau de conception est fourni sur ce site.

Quand est-il construit ?

Un tableau de conception est élaboré pour chaque question. Il est progressivement affiné en versions successives :

• Version préliminaire annexée au rapport de démarrage.
• Version(s) provisoires préparée(s) pendant la première phase de l'évaluation jusqu'à ce que la conception méthodologique soit progressivement optimisée.
• Version finale annexée au rapport de la première phase (desk).

Contenu du tableau

Les premières lignes du tableau résument les étapes qui ont déjà été réalisées (voir de la question à l'indicateur), c'est à dire :

• • Texte de la question
  • Commentaire
  • Champ de la question
  • Critères de jugement

• Indicateurs
• Niveaux cibles

Sous-questionsDe quoi s'agit-il ?

En même temps que les critères de jugement, les indicateurs et niveaux cibles, les sous-questions sont censées expliquer comment l'équipe d'évaluation répondra à une question, par exemple :

• Comment les indicateurs ont-ils évolué au cours de la période évaluée ?
• Dans quelle mesure le changement peut-il être qualifié de succès ?
• Jusqu'à quel point, les activités de la CE contribuent-elles à expliquer le changement observé ? Par quels mécanismes ? Y a t-il des éléments prouvant que ces mécanismes ont fonctionné comme supposé ?
• Jusqu'à quel point y a-t-il des éléments de preuve en faveur des explications alternatives ? Y a t-il des signes que le changement observé est dû à d'autres partenaires de développement, à d'autres politiques de la CE, au Gouvernement, ou à d'autres facteurs externes ?

Qui fait quoi et quand ?

Une série de questions d'évaluation est élaborée lors de l'étape de démarrage, en même temps que les sous-questions.
Les responsabilités sont les suivantes :

• Le groupe de référence valide les questions.
• L'équipe d'évaluation affine chaque question en sous-questions dans un tableau de conception.

Quelle est la finalité ?

Les sous-questions décrivent la chaîne de raisonnement par laquelle l'équipe d'évaluation projette de répondre à la question. Le raisonnement prévu est indicatif mais il vaut mieux le clarifier à l'avance car :

• Les membres du groupe de référence ont ainsi l'occasion d'apporter des avis et des contributions spécifiques
• Tous les membres de l'équipe d'évaluation comprennent pourquoi ils collectent et traitent les données et ils travaillent donc de manière plus efficace
• Les membres de l'équipe qui ne sont pas familiers avec l'évaluation reçoivent des conseils utiles sur les données qui doivent être collectées et traitées

En outre, il peut être intéressant d'énoncer des sous-questions provisoires en même temps que l'ébauche des questions clés. Les membres du groupe de référence réaliseront ainsi que les réponses aux sous-questions vont satisfaire beaucoup de leurs attentes. Cela les aidera à accepter le principe d'une liste limitée de questions d'évaluation précises.

Sous-questions concernant les indicateurs

Ces sous-questions peuvent concerner :

(1) le niveau ou état actuel des indicateurs, éventuellement décomposé par pays, zone, groupe social, etc., par exemple :

• Quelle est la valeur actuelle de l'indicateur quantitatif X au niveau national, et pour les zones/groupes ciblés ?

(2) les changements dans les indicateurs, par exemple :

• Les parties prenantes ont-ils perçu un changement positif dans l'indicateur qualitatif Y, au cours de la période évaluée ?

Comme dans les exemples ci-dessus, les sous-questions peuvent être quantitatives ou qualitatives.

Question:

• Dans quelle mesure l'aide de la CE a-t-elle amélioré la capacité du système éducatif à recruter des élèves de groupes défavorisés sans discrimination ?

Sous-question:

• Comment a évoluée le nombre de professeurs expérimentés et qualifiés pour 1000 enfants en âge d'aller à l'école primaire, respectivement au niveau national, dans les zones urbaines pauvres et dans les zones où la minorité ethnique X est concentrée ?

Dans cet exemple, la sous-question est simplement posée pour montrer comment l'indicateur (nombre d'enseignants qualifiés et expérimentés) va être appliqué.

Ces sous-questions sont écrites en vue de :
(3) Confirmer les hypothèses sur le succès de l'intervention et justifier une réponse positive à une question, par exemple :

• La conception de l'aide de la CE inclut-elle un engagement de suivre des indicateurs de performance relatifs à l'effet X ?
• Un tel suivi a-t-il été réalisé ?
• Les données de suivi ont-elles fait l'objet de discussions périodiques avec les partenaires ?
• Les partenaires ont-ils pris des mesures à la suite de telles discussions
• Les mesures prises visaient-elles à obtenir l'effet X ?
• Etc.

(4) Contester les hypothèses sur le succès de l'intervention et justifier une réponse négative à la question, par exemple :

• D'autres partenaires ont-ils agi en faveur d'un suivi des indicateurs de performance relatifs à l'effet X ?
• Les acteurs non-gouvernementaux ont-ils contribué à mettre en avant la question l'effet X dans le débat public ?
• Jusqu'à quel point les partenaires ont-ils influencé les actions en faveur des groupes désavantagés ?

Question:

• Dans quel mesure l'aide de la CE a-t-elle amélioré la capacité des autorités locales à concevoir des stratégies de développement rural adéquates ?

Sous-question:

• Dans quelle mesure la CE a t-elle réussi à établir la décentralisation comme une priorité dans son dialogue politique avec le Gouvernement ?

Dans cet exemple, la sous-question se rapporte à un résultat spécifique à court terme (promotion de la décentralisation grâce au dialogue politique), qui est un levier pour obtenir l'impact sur lequel la question se concentre (renforcement des capacités).

Ces sous-questions sont censées aider à la formulation de conclusions contenant des jugements de valeur explicites. Elles sont écrites en vue de :
(5) appliquer et affiner les critères de jugement dans le contexte spécifique de l'intervention, par exemple :

• Les parties prenantes pensent-elles spontanément aux mêmes critères de jugement que ceux choisis pour l'évaluation ? Si non, pourquoi ?

(6) appliquer ou développer des niveaux cibles dans le contexte spécifique de l'intervention, par exemple :

• Quels sont les territoires/groupes qui ont les meilleures performances du pays en ce qui concerne les critères de jugement choisis ? Parmi eux, lesquels peuvent être légitimement comparés aux territoires/groupes ciblés ?

Question:

• Dans quelle mesure le soutien de la CE a-t-il été efficient dans le renforcement du réseau routier ?

Sous-question:

• Dans quelle mesure la CE a-t-elle renforcé le réseau routier ?

Dans cette exemple la sous-question se rapporte à un pré-requis (le réseau routier est renforcé) avant d'appliquer le critère de jugement (efficience dans le renforcement du réseau routier).

Quatre stratégies peuvent être envisagées :

• Analyse du changement qui compare les indicateurs mesurés/qualifiés dans le temps et par rapport à des niveaux cibles
• Meta-analyse qui extrapole les constats obtenus par d'autres évaluations ou études, après avoir vérifié soigneusement leur validité et leur transferabilité.
• Analyse d'attribution qui compare les changements observés et un scénario " sans intervention ", aussi appelé scénario contrefactuel
• Analyse de contribution qui confirme ou infirme des hypothèses de causalité sur la base d'une chaîne de raisonnement.

Les trois dernières stratégies sont appropriées pour les questions qui requièrent une analyse de causalité. La première est appropriée dans les autres cas.

L'équipe d'évaluation peut vouloir collecter et traiter les données au niveau de l'intervention dans son ensemble, ou étudier plus spécifiquement quelques terrains, par exemple :

• Toutes les sous-questions seront traitées à travers une étude sur une sélection de pays et inclura une visite dans chaque pays, ainsi qu'une note par pays.
• En plus de l'utilisation des statistiques nationales, l'équipe d'évaluation va étudier une sélection de districts typiques respectivement (a) du groupe/territoire ciblé et (b) des groupes/territoires les plus performants.
• L'équipe d'évaluation choisira soigneusement dix projets qui feront l'objet d'une recherche détaillée afin de traiter certaines sous-questions

Exemple:

cliquez pour agrendir

.

.

Quelle est la finalité ?

Il s'agit de finaliser la méthode d'évaluation dans son ensemble de façon à couvrir les questions évaluatives et à disposer d'une bonne combinaison d'outils d'évaluation, en considérant le temps disponible et les ressources.

La méthode d'évaluation est conçue selon un processus itératif à trois niveaux :

• Une approche question par question, au cours de laquelle l'équipe d'évaluation préparer les tableaux de conception afin de répondre de façon adéquate à chacune des questions.
• Une approche d'ensemble qui couvre toutes les questions, et qui permet à l'équipe d'évaluation d'optimiser sa méthode de façon globale, tout en respectant les contraintes de temps et de ressources.
• Une série d'outils développés spécifiquement.

Plusieurs itérations peuvent être nécessaires pour permettre à l'équipe d'évaluation d'optimiser la conception d'ensemble tout en assurant une qualité élevée pour chaque question.

En parallèle à la réalisation des tableaux de conception, qui sont établis question par question, l'équipe d'évaluation élabore sa méthode d'évaluation de façon globale en couvrant toutes les questions et en incluant un certain nombre d'outils comme :

• L'analyse documentaire d'une série de rapports
• Une analyse des indicateurs de contexte
• Une série d'entretiens auprès d'une catégorie donnée de parties prenantes
• Un questionnaire
• Une série d'études de cas
• Une série de focus groups ou de réunions participatives
• Un panel d'experts
• La construction et le traitement d'une base de données ad hoc

Ces exemples sont tous sauf limitatifs. Si cela est pertinent, l'équipe d'évaluation peut même développer un outil complètement nouveau.

L'équipe d'évaluation dresse la liste des outils d'évaluation envisagés dans les tableaux de conception. Chaque outil est alors considéré du point de vue de sa capacité à aider à répondre à plusieurs questions et sous-questions, par exemple :

• Une série d'entretiens avec les agents du Gouvernement : cet outil peut aider à répondre à des questions portant sur "l'alignement de la stratégie de la CE avec les priorités du Gouvernement", le "dialogue dans les principaux domaines ", et la "coordination entre partenaires de développement".
• Un focus group rassemblant les participants concernés par l'éducation primaire : cet outil peut aider à répondre à des questions portant sur "l'efficience des modalités de financement choisies", "l'intégration de l'égalité entre hommes et femmes", et "l'amélioration de l'accès à l'éducation de base pour les plus pauvres".

Une image de ce processus est donnée par la matrice ci-dessous, dans laquelle le premier outil aide à répondre aux sous-questions Aa, Cf et Eb, etc.

Cette image suggère que le jeu d'outils va fournir à l'équipe d'évaluation une possibilité de croiser les données pour les sous-questions Aa et Eb. Les outils et les questions sont combinés pour optimiser les possibilités de croisement.
L'image ci-dessus est uniquement présentée dans un but explicatif. Dans la réalité, l'utilisation d'une matrice n'est pas praticable si le nombre d'outils et/ou de sous-questions dépasse une douzaine, ce qui est généralement le cas dans une évaluation d'une stratégie de pays. Une approche pragmatique consiste à établir la liste des questions et sous-questions traitées au moment du développement de chaque outil. Un exemple est fournit sur le site.

L'équipe d'évaluation confirme que chacun des outils envisagés est approprié, au sens où :

• Il assure la fonction qui lui est dévolue, ex: un focus group convient pour collecter les perceptions des bénéficiaires; une étude de cas convient pour comprendre les mécanismes de causalité; une série d'entretiens convient pour collecter les points de vue des agents des institutions partenaires, etc.
• Il est conforme à la stratégie d'analyse sélectionnée, ex : une série d'études de cas est appropriée pour une analyse de contribution ; un questionnaire auprès des bénéficiaires et non-bénéficiaires convient bien pour une analyse d'attribution; un panel d'experts est approprié en cas de méta-analyse, etc.
• Il est adapté aux contraintes identifiées, ex : une enquête par questionnaire est appropriée si, et seulement si un échantillon satisfaisant peut être constitué ; une base de données peut être traitée si, et seulement les données manquantes sont en nombre limité.

L'équipe d'évaluation explique et justifie ses principaux choix techniques, ainsi que les options alternatives, leurs avantages et inconvénients, et les risques associés.

L'équipe d'évaluation apprécie si les outils choisis peuvent se renforcer mutuellement, par exemple:

• Une série d'entretiens peut aider à identifier les documents pertinents en vue d'une analyse documentaire.
• Une série d'entretiens peut aider à sélectionner les parties prenantes devant être invitées à un focus group et les questions à discuter.
• Une série d'entretiens peut aider à affiner les questions à poser à un échantillon de bénéficiaires.
• Une série de monographies d'étude de cas peut être soumise à l'examen d'un panel d'experts en vue de renforcer l'analyse et d'aboutir à des constats plus précis.

Dans le processus d'optimisation progressive de la conception, l'équipe d'évaluation porte un regard transversal sur tous les tableaux de conception en vue de préparer sa synthèse finale, c'est-à-dire un jugement d'ensemble dérivé des réponses à toutes les questions d'évaluation.
Le jugement d'ensemble est plus qu'une simple compilation des constats et conclusions. Il peut impliquer des analyses spécifiques qui méritent d'être préparées à l'avance, par exemple :

• Identifier des thèmes spécifiques (ex : dialogue politique avec le Gouvernement du pays partenaire, décentralisation des procédures de la CE, etc), et définir des sous-questions appropriées à insérer dans plusieurs tableaux de conception.
• Si les questions sélectionnées, les sous-questions et les outils laissent une part significative de l'aide non couverte, quelques études peuvent être ajoutées afin de fournir une image plus large du système d'aide (ex : méta-analyse des rapports de suivi). Une analyse d'ensemble des bases de données de gestion peut aussi être réalisée dans ce but.

En concevant sa méthode, l'équipe d'évaluation tente de répartir ses ressources limitées de façon adéquate entre les questions et sous-questions. Certaines questions méritent d'être traitées avec des outils coûteux comme une enquête par questionnaire auprès des utilisateurs finals, plusieurs études de cas, un focus group, etc. D'autres questions peuvent être traitées sur la base d'une simple analyse documentaire et de quelques entretiens au sein de la CE et du Gouvernement.
Le besoin de crédibilité est une des raisons pour lesquelles une question mérite de recevoir plus de ressources. Si la question est considérée comme politiquement sensible et si la réponse risque de soulever des débats mouvementés, cela mérite une conception plus robuste avec plus de croisements entre les sources, des échantillons plus importants, plusieurs focus groups ou études de cas, etc.
Il est aussi raisonnable d'investir des ressources substantielles dans une question qui soulève des problèmes de faisabilité. Les exemples suivants mettent en lumière des difficultés spécifiques qui justifient une conception particulièrement solide :

• Une question est liée à un aspect innovant de l'intervention dans un secteur où l'expertise est rare.
• Une question est liée à une composante de l'intervention qui vient d'atteindre les utilisateurs finals sur le terrain et les acteurs de la mise en oeuvre n'ont aucune idée sur la manière dont les personnes ciblées réagissent.
• Une question est liée à un impact lointain, présentant une grande distance logique avec les activités de la CE et une multitude de facteurs externes rend difficile l'examen des relations de causalité.

Une question est rarement inévaluable dans l'absolu. Les problèmes de faisabilité proviennent plutôt d'une accumulation de difficultés et de contraintes. Au début de l'évaluation, il est souvent possible d'amender une question difficile afin de la rendre plus évaluable. Cela peut être fait, par exemple, en limitant le champ de la question ou en choisissant de l'appliquer à un effet moins éloigné ou à un effet probable si l'effet réel n'est pas encore observable. Une fois la question validée, l'équipe d'évaluation doit concevoir une méthode appropriée et allouer des ressources adéquates.

Les versions successives de la méthode sont conçues au sein de l'équipe d'évaluation jusqu'à ce que les contraintes suivantes soient respectées :

• La mise en oeuvre des outils d'évaluation s'ajuste au calendrier du processus d'évaluation.
• Le coût des outils d'évaluation (ressources humaines, coûts techniques, frais de déplacement et de séjour) s'ajuste au budget global de l'évaluation.
• Une force de travail qualifiée est disponible sur le terrain de façon suffisante pour mettre en oeuvre les outils d'évaluation de façon professionnelle.

.

.

Pourquoi faut-il des outils

Les outils d'évaluation sont requis pour collecter des données primaires et secondaires, pour l'analyse de données et pour formuler des jugements de valeur (ou appréciation raisonnée). L'équipe d'évaluation externe peut réaliser certaines de ces tâches sans outils, mais plusieurs outils sont toujours nécessaires pour répondre à chacune des questions d'évaluation.
Il existe une large gamme d'outils : depuis les plus simples et les plus habituels, comme les extraits de bases de données, les analyses documentaires, les entretiens ou les visites de terrain, jusqu'aux plus techniques comme les focus groups, la modélisation ou l'analyses coût-avantages. Ce site décrit une série d'outils fréquemment employés.
En utilisant une combinaison appropriés d'outils, l'équipe d'évaluation renforce la base factuelle de son travail, la fiabilité des données, la validité de ses raisonnements et la crédibilité de ses conclusions.

Les outils sont choisis au cours du processus itératif de conception d'ensemble de la méthode d'évaluation en vue de :

• Contribuer à répondre à toutes les questions et sous-questions, et formuler un jugement d'ensemble
• Collecter / rassembler les données, aider à l'analyse et à la formulation de jugements de valeur (ou appréciation raisonnée)
• Faciliter le croisement de l'information et la triangulation
• Obtenir une combinaison d'outils appropriée afin qu'ils se renforcent mutuellement
• Respecter les contraintes de contexte, comme la disponibilité de l'expertise et des données, les ressources allouées, le calendrier.

Tous les outils d'évaluation sont développés progressivement et finalisés avant le début de la phase de terrain. Toutefois, certains outils doivent être mis en œuvre, et donc développés en amont du processus, ex: entretiens avec les principales parties prenantes lors de la phase de démarrage, l'analyse des bases de données de gestion lors de la phase documentaire, etc.

Bien que l'ensemble des outils d'évaluation doive être sélectionné en fonction de la conception globale de l'évaluation, chaque outil doit être développé séparément. Un exemple de développement d'outil est donné sur ce site internet.
Un outil peut être décrit en quelques lignes dans le rapport de démarrage ou dans le rapport de première phase (desk). Toutefois, cette tâche peut nécessiter une formalisation plus importante, y compris sous la forme de termes de référence en bonne et due forme, notamment lorsque plusieurs membres de l'équipe d'évaluation travaillent séparément, par exemple si le travail est réalisé dans différents pays, ou si l'outil est sous-traité.
Le développement d'un outil est réalisé selon sept étapes, comme suit :

L'équipe d'évaluation liste les questions et sous-questions couvertes par l'outil. Elle se réfère aux tableaux de conception.

L'équipe d'évaluation développe les caractéristiques techniques de l'outil au cours d'une étape préparatoire. Les spécifications techniques dépendent du type d'outil. Elles couvrent des sujets comme :

• L'échantillonnage, le choix des entretiens, des études de cas, des documents, etc.
• Les questions, les thèmes d'une analyse documentaire, le contenu des monographies, les champs d'une base de sonnées, …
• Les modalités de mise en œuvre
• La durée des entretiens, des focus groups, des visites, …

Attention ! - En développant un questionnaire ou un guide d'entretien, l'équipe d'évaluation ne doit pas procéder en copiant et collant les sous-questions. Si les questions et les sous-questions sont posées naïvement aux informateurs, les risques de biais sont considérables.

L'équipe d'évaluation apprécie les risques principaux risques liés à la collecte et à l'analyse des données, aussi bien que les biais potentiels. Si nécessaire, elle prépare des solutions de remplacement au cas où l'outil ne pourrait pas être utilisé d'une manière satisfaisante. Les lignes suivantes fournissent des exemples de risques liés aux outils d'évaluation, et des exemples de solutions de remplacement :

• A propos de la base de données X, si plus de 20% des données manquent toujours après 4 semaines, alors analyser les données disponibles et demander à l'expert Y de commenter la validité des constats
• A propos de la série d'entretiens X, si plus de 30% des personnes interrogées ne peuvent pas être contactées après 3 semaines, alors collecter une information de " deuxième main " par l'intermédiaire de l'expert Y.
• A propos du questionnaire X, si le nombre de répondants descend en-dessous de 200, organiser un focus groupe et croiser les constats avec ceux de l'enquête par questionnaire.

Cette liste n'est pas limitative.

Les produits varient d'un outil à l'autre. Ils peuvent prendre la forme de tableaux, de listes of citations ou de verbatims, de monographies, etc. L'équipe d'évaluation décide de la forme des produits, par exemple :

• Données complètes délivrées au leader de l'évaluation d'évaluation
• Données complètes incluses dans un CDROM annexé au rapport final (dans ce cas certains documents peuvent nécessiter d'être anonymisés)
• Tableaux ou encadrés à insérer dans le rapport final

L'équipe d'évaluation décide aussi la manière de présenter la mise en oeuvre de l'outil et ses limites s'il y en a, ex :

• Note à insérer dans l'annexe méthodologique attachée au rapport final
• Court commentaire méthodologique à insérer dans le rapport final

Les tâches et rôles sont partagés parmi les membres de l'équipe d'évaluation, ex:

• Qui doit mettre en oeuvre l'outil ?
• Quoi doit assurer l'harmonisation dans le cas où plusieurs membres mettent en oeuvre un même outil dans différents pays/territoires ?
• Qui décide des solutions de remplacement en cas de difficulté ?
• Qui est responsable de la délivrance des produits ?
• Qui écrira les commentaires méthodologiques ?
• Qui va assurer la qualité ?

Les critères de qualité sont définis précisément. Selon les outils, ils peuvent concerner les sujets suivants :

• Couvertures des thèmes, questions, sujets
• Précision
• Identification des biais potentiels
• Respect des règles d'anonymat ou d'autres règles d'éthiques
• Qualité formelle, langue, orthographe, format

Ce site propose une série de check-lists pour la qualité des outils fréquemment utilisés.

Dans certains cas, il peut être nécessaire de spécifier les conditions pratiques telles que :

• date de début / fin
• ressources humaines allouées
• les modalités concernant les déplacements
• les dépenses techniques

.

.

Qu'est ce que c'est ?

Il est facile de répondre à certaines questions tandis que d'autres peuvent présenter des problèmes d'évaluabilité. Il est donc nécessaire d'apprécier dès le départ, le degré de faisabilité des questions d'évaluation.

Quelle est la finalité?

• Garantir que l'évaluation apporte des réponses solides et crédibles aux questions posées
• Supprimer ou amender les questions auxquelles il est trop difficile de répondre.
• Ajuster le temps disponible et les autres ressources dans le cas où il est nécessaire de répondre à des questions difficiles

Qu'est ce qui doit être pris en compte ?

Pour établir si une question est évaluable, on vérifie :

• Si les concepts sont stables (Les principaux termes de la question sont-ils compris par tout le monde de la même façon ?)
• Si les hypothèses explicatives peuvent être identifiées (Quels sont les facteurs externes et les hypothèses de causalité ?)
• Si l'accès au terrain et à la collecte de données entraînent des difficultés majeures.

Si la question concerne un instrument, une activité ou une procédure innovante, les difficultés suivantes peuvent apparaître :

• Il est difficile de définir les termes de la question sans ambiguïté.
• l'expertise est insuffisante pour comprendre les mécanismes de causalité.

Une activité très récente

Si la question concerne une activité mise en oeuvre récemment :

• L'activité n'a pas encore produit d'effets observables
• Les personnes interrogées n'ont pas encore stabilisé leurs opinions.

Faiblesses de gestion

Si la question concerne des activités dans lesquelles il y a ou il y a eu des faiblesses de gestion, les difficultés suivantes peuvent être rencontrées :

• Les données et rapports de suivi sont inadéquats ou peu fiables.
• Les difficultés de gestion ont généré des conflits qui limitent l'accès à certains informateurs ou biaisent leurs réponses.

Dans le cas d'une forte suspicion de pratiques illicites ou illégales, il est préférable de reporter l'évaluation à plus tard et de lancer un audit.

Un champ trop complexe

Si la question concerne un champ multidimensionnel ou multisectoriel, les difficultés suivantes peuvent être rencontrées :

• Au regard du temps et du budget disponibles, il y a beaucoup trop de données à collecter, de personnes à rencontrer, et d'analyses à effectuer.

Un impact lointain

Si la question concerne un impact lointain qui est relié à l'activité évaluée par une longue chaîne de causalité, les difficultés suivantes peuvent être rencontrées :

• Il y a beaucoup de facteurs externes et ils sont tellement influents qu'il devient impossible d'analyser la contribution de l'intervention.

Une intervention trop marginale

Si la question concerne une activité de très petite taille en comparaison des politiques voisines ou du contexte, les difficultés suivantes peuvent être rencontrées :

• L'activité évaluée n'atteint pas la masse critique qui permettrait une analyse de sa contribution.

Une question est rarement inévaluable, dans l'absolu. La difficulté de répondre à une question évaluative provient généralement d'une accumulation de difficultés et de contraintes.
Lorsqu'une question est jugée trop difficile, il est possible de l'amender pour la rendre plus facile à évaluer. Cela peut être fait, par exemple, en limitant le champ d'une question ou en choisissant de l'appliquer à un effet moins éloigné ou à un effet probable si l'effet réel n'est pas encore observable. Cette option peut être préférable à un abandon de la question.
Les décideurs politiques ou tout autre acteur peuvent demander avec insistance qu'il soit répondu à une question manifestement trop difficile. Dans ce cas, il est utile de fournir une explication complète des difficultés et de montrer que les évaluations ont des limites et qu'elles ne peuvent pas répondre à toutes les questions.