Evaluation methodological approach

Structure de la section:

• De quoi s'agit-il?
• Raisons pour selectionner une question?
• Questions et complexité d'évaluation

DE QUOI S'AGIT-IL?

Il existe des limites techniques qui empêchent de traiter de multiples questions ou plus précisément d'apporter des réponses de bonne qualité à un nombre excessif de questions. Ce guide recommande de ne pas dépasser dix questions.

Comment choisir les questions

-Identifier les questions

Une première version des questions d'évaluation est proposée sur la base:

• De l'analyse de la logique d'intervention.
• De l'analyse de la raison d'être de l'intervention
• Des sujets qui ont justifié la décision de lancer l'évaluation.
• Des sujets à étudier, comme précisé dans les termes de référence
• Des questions posées dans l'évaluation ex ante, le cas échéant.

Dans une seconde version, la liste et la formulation des questions prend en compte également :

• Les sujets soulevés par les informateurs clés au début de l'évaluation.
• Les attentes des membres du groupe de référence.

-Apprécier l'utilité potentielle des réponses

Dans un second temps, il convient d'apprécier l'utilité potentielle des réponses, en faisant l'hypothèse que l'évaluation apportera des réponses de bonne qualité. Pour chaque question envisagée, il s'agit de savoir :

• Qui devrait utiliser la réponse ?
• Quelle est l'utilisation attendue : connaissance, négociation, décision, communication ?
• La réponse arrivera-t-elle à temps pour être utilisée ?
• La réponse n'est-elle pas déjà connue ?
• N'y a-t-il pas une autre étude (audit, bilan) en cours de réalisation et susceptible d'apporter des réponses ?

Si le choix des questions doit faire l'objet d'une discussion en réunion, il peut être intéressant de les classer en trois catégories d'utilité potentielle : plus élevée, moyenne, moins élevée.

-Vérifier qu'il n'y a pas eu d'oubli grave

L'expérience montre que les oublis les plus préjudiciables à la qualité d'une évaluation concernent:

• Les questions d'efficience et de durabilité.
• Les questions concernant les effets négatifs, particulièrement si ces effets concernent des groupes défavorisés
• Les questions concernant les effets à très long terme

-Apprécier la faisabilité des questions

La faisabilité (évaluabilité) d'une question doit être examinée mais toujours après son utilité. Dans ce but, il convient de consulter :

• Le service gestionnaire de l'intervention
• Un ou plusieurs experts du domaine
• Un ou plusieurs professionnels de l'évaluation

Si le choix des questions doit faire l'objet d'une discussion en réunion, il peut être intéressant de les classer en trois catégories

• Probabilité élevée d'obtenir une réponse de bonne qualité
• Probabilité moyenne
• Probabilité faible

Si une question est potentiellement très utile mais difficile à traiter, il convient de rechercher si une autre questions voisine serait à la fois plus facile et également utile. Par exemple, si une question porte sur un impact relativement lointain ou global, on pourra probablement améliorer sa faisabilité en la faisant porter sur l'impact immédiatement précédant dans la logique d'intervention.

-Discuter du choix des questions

Le choix des questions fait l'objet d'un débat au stade de la réunion de démarrage.

La sélection est d'autant plus réussie que les utilisateurs potentiels ont été consultés, se sont appropriés les questions sélectionnées et qu'aucun point de vue légitime n'a été censuré.

 

RAISONS POUR SELECTIONNER UNE QUESTION

-Parce que quelqu'un l'a posée

Celui qui demande à ce qu'une question soit traitée tend à coopérer à la construction de la réponse et à s'approprier les conclusions.

Il est donc préférable de privilégier les questions pour lesquelles les acteurs expriment clairement une demande, par exemple :

• Les autorités ou services de la Commission, notamment ceux qui participent au groupe de référence.
• Les informateurs clés consultés par le responsable de l'évaluation ou par l'équipe d'évaluation.

Il arrive qu'un acteur pose une question avec l'intention principale d'influencer ou même de contrarier l'action d'un autre acteur. L'utilité potentielle de ce type de question doit être examinée avec attention.

-Parce qu'elle est utile

Une question est particulièrement utile si :

• L'intervention ou un de ses aspects est innovant et plusieurs acteurs attendent une validation.
• Une décision va être prise et les conclusions peuvent arriver à temps pour aider à prendre cette décision.
• Un débat public est prévu et les conclusions peuvent arriver à temps pour alimenter ce débat.

-Parce qu'on ne connaît pas la réponse

Une question est inutile si :

• Une autre évaluation, un audit ou une étude vient d'y répondre
• Elle a déjà été posée dans de nombreuses autres évaluations avec toujours la même réponse

Toutefois, il peut être utile de poser la question à nouveau si la réponse nécessite une vérification.

Apprécier l'ensemble de l'intervention au travers d'un nombre limité de questions

Se centrer sur les questions clefs n'empêche pas de conclure sur l'intervention dans son ensemble. Au contraire, cela permet de formuler une appréciation globale qui repose sur une collecte et analyse d'information professionnelles et qui évite le risque d'être superficielle et impressionniste.



Ceci peut être expliqué par une analogie avec l'exploration pétrolière. Il n'est pas possible de découvrir du pétrole juste en regardant à la surface du sol. La recherche pétrolière implique d'explorer le sous-sol La même chose est applicable à une intervention en cours d'évaluation. La surface des choses est visible au moyen des informations de suivi et des changements observés dans les indicateurs, mais ce qu'on a besoin de découvrir reste invisible (par exemple : la contribution de la CE aux changements observés, la durabilité, etc.



Les questions d'évaluation peuvent être comparées aux forages de recherche pétrolière. Chaque question d'évaluation offre une vue étroite mais approfondie dans ce qui est habituellement invisible. En synthétisant ce qui a été appris en répondant aux questions, il devient possible de fournir une appréciation globale de l'intervention. Ce processus peut être comparé au travail de cartographie des champs pétrolifères après une campagne de forages exploratoires.

QUESTIONS ET COMPLEXITE D'EVALUATION

Pourquoi travailler avec un nombre limité de questions ?

Focaliser une évaluation sur quelques questions clés est particulièrement nécessaire quand l'intervention concernée est multi-dimensionnelle et quand l'évaluation elle-même est multi-dimensionnelle. Dans ce cas, si l'on voulait traiter toutes les dimensions de l'aide et toutes les dimensions de l'évaluation, le travail serait extrêmement coûteux ou bien alors extrêmement superficiel. On est donc obligé de faire des choix.

Interventions multi-dimensionnelles

Une intervention est multi-dimensionnelle si elle concerne plusieurs secteurs, si elle met en œuvre plusieurs instruments, si elle vise plusieurs objectifs, plusieurs catégories de publics et/ou plusieurs catégories de territoires.

Evaluations multi-dimensionnelles

Une évaluation est multi-dimensionnelle si elle fait référence à plusieurs familles de critères d'évaluation, si elle couvre plusieurs aspects transversaux et/ou politiques voisines.