Evaluation methodological approach

.

Les quatre fonctions de l'évaluation

L'évaluation s'organise en quatre fonctions principales, non strictement séquentielles : structuration de l'évaluation (axée sur la formulation de questions d'évaluation en vue de conduire au jugement d'ensemble, ou overall assessment), collecte de données quantitatives et qualitatives, analyse de l'information recueillie, jugement sur les questions, conduisant à la formulation des conclusions et recommandations.
Les objectifs de ces quatre fonctions peuvent se résumer comme suit :

• La structuration de l'évaluation contribue à choisir (ou préciser) les questions d'évaluation, les critères de jugement, les indicateurs de ces critères et ainsi à définir la méthode de l'évaluation.
• La collecte a pour objectif de réunir toutes les données primaires et secondaires brutes (quantitatives et qualitatives) nécessaires pour répondre aux questions.
• L'analyse traite l'information recueillie en vue d'arriver à des constats, notamment sur la contribution de l'aide aux évolutions observées.
• Pour chaque question d'évaluation, le jugement conduit à la formulation de la réponse et aux conclusions de l'évaluation.

La conception de la méthode d'évaluation sur la base des questions d'évaluation en vue de la formulation d'un jugement d'ensemble (overall assessment) est déterminante dans le choix des outils pour chacune des quatre phases.

Bien qu'aucun outil ne soit présenté sur ce site à cet effet, la recherche documentaire auprès des services de la Commission et sur le terrain (en particulier, l'utilisation des supports tels que la base de données CRIS) est un constituant de l'évaluation.
La liste suivante (non exhaustive) recense les principales sources documentaires (données secondaires) à considérer dans le cas d'une évaluation pays :

• les accords généraux, bilatéraux et multilatéraux, de coopération, de partenariat, d'association, sectoriels et thématiques (commerce, investissement, science et technologie, etc.) et les conclusions de sommets bilatéraux et multilatéraux ;
• les Documents de Stratégie Pays/Région (DSP et DSR) et les Programmes Indicatif National/Régional (PIN et PIR)
• les rapports annuels et les bilans à mi-parcours (mid-term reviews) disponibles ;
• les rapports de la Cour des Comptes européenne ;
• les documents officiels gouvernementaux (notamment le Document Stratégique de Réduction de la Pauvreté (DSRP) et les stratégies sectorielles, si existantes) et ceux produits par les agences multilatérales et bilatérales de coopération (documents de stratégie, documents de projet, etc.) ;
• les évaluations de projets et programmes, à caractère thématique et/ou sectoriel disponibles ;
• les rapports de monitoring (ROM) sur les projets et programmes en cours ;
• les règlements généraux de la Commission et, d'une façon générale, tous les textes réglementaires et les engagements politiques de la période couverte par l'évaluation.

Treize outils ont été mis au point. Ils sont généralement connus des évaluateurs. On en rappelle ci-après leurs traits distinctifs.

Diagramme des objectifs et diagramme des effets

Le diagramme des objectifs décrit la hiérarchisation des objectifs à mettre en œuvre dans la réalisation d'une stratégie, de l'objectif global à long terme de l'Union Européenne jusqu'aux actions entreprises dans le cadre des programmes d'exécution. Le diagramme des effets présente la hiérarchie des activités, des résultats et des effets escomptés. Les effets escomptés sont la traduction des objectifs en termes de réalisation.

Permettant de reconstruire la logique de l'intervention et les effets escomptés, l'outil joue un rôle de premier plan dans la structuration de l'évaluation des interventions complexes en contribuant à la formulation des questions d'évaluation.

Diagramme des problèmes

Les projets et programmes d'aide ont pour objet de satisfaire des besoins jugés prioritaires et pour cela résoudre un certain nombre de problèmes faisant obstacle. Il est théoriquement possible d'en tirer un diagramme prenant la forme d'un arbre complet avec un tronc (le problème principal), un système radiculaire (l'arborescence des causes) et une ramure (les conséquences).

Le diagramme des problèmes, en association avec le diagramme des effets, permet de valider la pertinence d'un projet, d'un programme ou d'une stratégie, en mettant en relation les effets escomptés et les problèmes qu'ils doivent contribuer à résoudre.

Diagramme des décisions

Le diagramme des décisions décrit le processus par lequel les objectifs stratégiques ou politiques généraux de l'Union Européenne en matière de coopération avec les pays tiers donnent lieu à des décisions de coopération bilatérale à moyen terme et à court terme.

Complétant le diagramme des objectifs, le diagramme des décisions facilite l'analyse de la stratégie en terme de cohérence interne (enchaînement logique des choix successifs) et de pertinence externe (prise en compte des éléments de contexte et des positions des parties prenantes).

Entretien individuel

L'entretien individuel permet de collecter auprès d'acteurs et de bénéficiaires des informations à toutes les étapes de l'évaluation : faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.

Focus group

Le focus group vise à débattre des informations, des opinions et des jugements déjà collectés. Il permet d'éclairer les raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de s'assurer de leur consistance. On utilise fréquemment le focus group pour recueillir les opinions des bénéficiaires sur leur participation à un programme et ce qu'ils en ont retiré de positif ou négatif - alternative aux entretiens. Quel que soit l'usage qui en est fait, la caractéristique distinctive du focus group est de recueillir un opinion stabilisée après discussion approfondie, au lieu d'une opinion spontanée.

Enquête par questionnaire

L'enquête par questionnaire permet de collecter auprès d'un échantillon de population des réponses comparables. Lorsque l'échantillon est représentatif, l'enquête par questionnaire permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés.

Etude de cas

L'étude de cas vise à répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets, choisis en fonction des objectifs de l'évaluation. Dans des contextes qui le permettent et qui le nécessitent, le ou les cas étudiés peuvent être sélectionnés pour que les conclusions soient généralisables à l'ensemble de l'évaluation.

Panel d'experts

Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer. Le panel permet de proposer des jugements collectifs, nuancés et argumentés, fondés sur les connaissances et l'expérience des experts.

SWOT

L'analyse SWOT combine l'étude des forces et des faiblesses d'une organisation, d'un territoire, d'un secteur, etc. avec celle des opportunités et des menaces de son environnement. Fréquemment utilisé dans les évaluations ex-ante, il permet dans le cadre ex-post d'évaluer à posteriori les orientations qui ont été mises en œuvre.

Indicateurs de contexte

L'outil vise à positionner un pays en comparant ses indicateurs de contexte avec ceux d'autres pays. Un indicateur de contexte est une donnée qui fournit une base simple et fiable pour décrire une variable de contexte. L'outil permet d'apprécier les dynamiques de développement par la comparaison du niveau et de l'évolution des principaux indicateurs avec ceux de pays dans des contextes comparables.

Analyse multicritère

L'analyse multicritère est, dans une position ex-ante, un outil d'aide à la décision. Dans le contexte de l'évaluation ex-post, elle contribue utilement à la formulation de jugements fondés sur un ensemble hétérogène de critères.

Analyse coût-efficacité

L'outil vise à identifier l'action qui atteint un résultat au meilleur coût. Il permet de comparer l'efficience de projets ou de programmes recherchant des effets comparables. Il contribue utilement à la formulation ou la validation du jugement sur le choix des projets et programmes les plus efficients.

Analyse culturelle et sociale

Dans le cadre de l'évaluation pays, l'analyse culturelle et sociale consiste à identifier les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêts et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent.

Dans le contexte de l'aide aux pays tiers, les données susceptibles d'un traitement statistiques sont généralement difficiles à réunir. De plus, leur pertinence est limitée du fait des retards de publication et de leur fiabilité fragile. Les données disponibles sont générales et descriptives, elles ne requièrent que des traitements relativement simples. La priorité s'est donc portée sur le développement d'outils basés sur des données relativement simples à obtenir.

Principes d'utilisation

D'une façon générale, il importe de veiller à la faisabilité d'un travail de terrain ou sur les limites de ce travail. Les contextes spécifiques des pays dans lesquels l'étude est conduite peuvent en effet fortement limiter le choix des outils, notamment du fait des contraintes logistiques et des coûts de mise en œuvre.
Avant de présenter les critères de choix des outils les plus appropriés à la méthode adoptée, quelques principes d'utilisation doivent être rappelés :

• Aucun outil ne permet à lui seul de répondre à une question ou de remplir une des quatre fonctions, ce qui veut dire que toute évaluation nécessite une combinaison d'outils.
• Chacun des outils est adapté à une fonction spécifique, parfois à plusieurs.
• Plusieurs outils sont généralement employés en parallèle pour une même fonction avec des angles d'attaque différents, en vue de permettre des recoupements.
• Le choix des outils d'évaluation dépend de tâches à réaliser et du contexte : degré de complexité de l'intervention, niveau de l'expertise disponible, nature de l'information recherchée et disponible, multiplicité des interlocuteurs, etc.
• Le choix des outils doit, sauf demande spécifique, procéder d'un souci d'homogénéité dans le détail et la précision de l'information utilisée et de son analyse.

En bref, l'équipe d'évaluation doit recourir à plusieurs outils et adopter la combinaison d'outils la plus efficiente dans le contexte spécifique de l'évaluation.

.

.

Les outils et les quatre fonctions de l'évaluation

Le classement des outils selon les quatre grandes fonctions est un premier élément de choix.
Pour chaque outil, le tableau ci-dessous propose les fonctions auxquelles l'outil est destiné et celles auxquelles il peut contribuer utilement. La plupart des outils ont ainsi une fonction principale et une ou plusieurs fonctions secondaires. On rappelle que la liste d'outils présentée ci-dessous n'a aucun caractère limitatif.

Les outils de structuration

La structuration de l'évaluation peut utilement s'appuyer sur une première série d'outils regroupés ici sous le terme d'outils de structuration. Dans le cas d'une évaluation de projet ou de programme homogène, le cadre logique décrivant les objectifs (globaux et spécifiques) de l'intervention, les problèmes auxquels elle répond, et les résultats attendus, constitue l'outil de structuration de l'évaluation. L'utilisation du diagramme des problèmes est souvent recommandée en plus du cadre logique.
Pour les évaluations dont le champ comprend un ensemble d'objectifs et d'activités hétérogènes, notamment les évaluations géographiques, trois outils sont proposés ici, dont le premier, le diagramme des objectifs et des effets, constitue le pilier. Lorsque qu'il s'agit de programmes complexes ou de stratégies, le diagramme des problèmes permet de répondre à des questions sur la pertinence des objectifs, d'identifier les enjeux de l'intervention et inversement les problèmes auxquels elle n'a pas eu pour but de proposer de solutions. Enfin, le diagramme des décisions complète utilement le diagramme des objectifs dont la rationalité ne permet pas d'appréhender les origines de toutes les orientations et décisions, notamment celles qui conduisent à éliminer certains choix et/ou qui résultent d'une négociation avec les partenaires.
Ces outils sont également utilisables dans les phases d'analyse et de formulation des jugements (voir polyvalence des outils).

Les outils de collecte, d'analyse et de jugement

Dans ces trois fonctions, il existe une panoplie étendue d'outils, souvent complémentaires et/ou polyvalents. C'est ainsi que nombreux facteurs sont à prendre en compte pour effectuer un choix efficace. Bien qu'il n'existe pas de formules permettant d'assurer un choix optimal, il existe en revanche un cheminement (lien) favorisant l'élaboration d'une méthode homogène et susceptible de conduire à une réponse solide aux questions.

La liste des outils qu'il serait souhaitable de mobiliser est fréquemment trop étendue pour que les ressources de l'évaluation permettent d'envisager la mise en œuvre de tous les outils. Des arbitrages sont nécessaires, en s'appuyant sur les priorités de l'évaluation et en optimisant l'utilisation des ressources. Plus le champ et le questionnement de l'évaluation sont étendus, plus le risque de dispersion est grand et donc plus l'équipe d'évaluation doit être attentive à ce que ses observations et ses analyses permettent de répondre aux questions essentielles de l'évaluation. L'équipe prendra donc en compte le fait que, d'une part, plusieurs outils sont généralement nécessaires pour remplir une même fonction et recouper l'information et que, d'une autre part, les outils sont souvent polyvalents et contribuent à répondre à plusieurs questions à la fois.

Critères de choix des outils

Outre la fonction des outils et leur capacité à remplir l'une ou l'autre des quatre grandes fonctions de l'évaluation, d'autres critères doivent être examinés.
Les critères de choix proposés ici ont pour objet de guider l'évaluateur dans les arbitrages nécessaires à la finalisation de la méthode.

• La maîtrise des techniques. Si tous les outils proposés ici doivent pouvoir être utilisés par les équipes d'évaluation, pour certains outils il est souhaitable qu'un membre de l'équipe en ait déjà fait l'expérience. C'est notamment le cas des outils nécessitant la maîtrise de techniques spécifiques d'animation de groupe, d'outils relativement complexes comme l'analyse multicritère ou l'analyse coût-efficacité ou encore pour l'enquête par questionnaire.
• Le besoin de données spécifiques. Certains outils nécessitent la collecte de données particulières sans lesquelles leur mise en œuvre risque de produire des conclusions erronées. Par exemple, une analyse coût-efficacité nécessite des indicateurs d'efficacité des projets comparés, sans lesquels la mise en œuvre de l'outil n'est pas possible. Avant de décider d'utiliser l'outil, il faut s'assurer que ces données sont disponibles ou qu'elles pourront être élaborées avec une fiabilité suffisante.
• Les ressources nécessaires pour l'utilisation de l'outil. La question est particulièrement sensible pour les outils mis en œuvre au cours des missions dans un pays partenaire et qui entraînent parfois des coûts spécifiques élevés. Il importe de s'assurer de leur pertinence dans la méthode et de rechercher la voie la moins coûteuse et la plus efficiente (notamment pour la collecte de donnés).
• Le délai de réalisation. Certains outils nécessitent des délais de préparation importants avant leur mise en œuvre sur le terrain, c'est notamment le cas des enquêtes ou, à un moindre degré, de certains focus groups et panels d'experts.
• La disponibilité d'experts locaux qualifiés, capables de mettre en œuvre des outils particuliers dans les langues locales. Cette question est particulièrement cruciale pour les outils qui nécessitent des techniques d'animation de groupe (focus groups, etc.) pour lesquelles des experts de bon niveau disponibles sont parfois difficiles à identifier.

Le tableau ci-dessous propose pour chaque outil une notation des cinq critères, mettant l'accent, pour chaque outil, sur les critères qui nécessitent une attention particulière. Chaque critère est noté de 1 à 3. La note 1 indique que le critère ne pose pas de problème particulier pour cet outil. La note 3 indique que pour le critère concerné, il est recommandé de vérifier de la faisabilité de la mise en œuvre l'outil.

Exigences spécifiques des outils

Des notations de niveau 3 ne signifient pas qu'il faut éviter d'utiliser l'outil. Il est en effet recommandé de donner la priorité aux outils assurant les meilleures réponses aux questions posées et, dans un deuxième temps, de s'assurer de la possibilité de les mettre en œuvre dans le contexte et avec les ressources de l'évaluation.

Le développement d'une méthode homogène

• La conception de la méthode doit viser la mise en place d'une technicité homogène et efficace. Il est inutile de prévoir la mise en œuvre d'outils très sophistiqués pour remplir une fonction si les autres fonctions ne sont pas traitées avec une précision ou une rigueur similaire ou si les autres outils ne peuvent pas fournis les informations nécessaires ou utiliser les informations produites.
• La collecte doit être conçue avec une attention particulière car il est rarement possible de relancer une collecte incomplète, surtout pour la partie effectuée dans le pays partenaire. La même attention doit être portée aux outils d'analyse et de jugement qui sont mis en œuvre dans le pays partenaire.
• À cette fin, il est utile d'estimer les risques d'insuccès liés à la mise en œuvre de chaque outil et le cas échéant de prévoir des solutions alternatives, afin d'en limiter les conséquences sur l'ensemble de l'évaluation.

En définitive, la méthode doit se développer en s'appuyant sur la palette d'outils disponibles en prenant en compte leurs avantages et leurs contraintes, les conditions de leur mise en œuvre dans le cadre des évaluations de l'aide au développement, les ressources nécessaires à leur mise en œuvre ainsi que les limites des résultats que l'on peut en attendre, notamment en fonction du contexte.

Analyse des outilsDiagramme des objectifs et diagramme des effets

Diagramme des problèmes

Diagramme des décisions

Entretien individuel

Focus group

Enquête par questionnaire

Etude de cas

Panel d'experts

SWOT

Indicateurs de contexte

Analyse culturelle et sociale

Analyse multicritère

Analyse coût-efficacité

.

.

Principe de combinaison

L'utilisation de certains outils requiert la mise en œuvre préalable d'autres outils. C'est le cas lorsqu'un outil peut produire des informations utiles à la mise en œuvre d'un autre outil. C'est aussi le cas lorsqu'en apportant un angle d'analyse différent, un outil permet de conforter ou de nuancer les conclusions auxquelles un autre outil a permis d'arriver. Pour les outils relativement complexes (notamment les outils de jugement), il importe, avant de s'engager dans leur mise en œuvre, de s'interroger sur les informations préalables qui pourraient améliorer leur performance et de rechercher l'outil qui va permettre de les produire de façon optimale.
Les cas les plus fréquents de mise en oeuvre d'un outil par un autre sont répertoriés dans le tableau ci-après. Par exemple, la première ligne du tableau suggère que les diagrammes des objectifs et des effets impliquent ou peuvent impliquer la réalisation d'entretiens individuels et de focus groups.

Outils utilisés par d'autres outils

Le tableau ci-dessus est indicatif. Il est possible d'imaginer d'autres cas dans des contextes particuliers. De façon générale, ce sont les outils de collecte (fondamentalement l'entretien individuel, le focus group et l'enquête par questionnaire) qui sont le plus mobilisés par les autres outils d'analyse et de jugement, car ces derniers requièrent des informations spécifiques pour leur mise en oeuvre. Il est donc important de prêter une attention spéciale aux outils d'analyse et de jugement, afin d'assurer l'homogénéité de la méthode et la performance optimale des outils tout au long de la séquence.

Du tableau ci-dessus il ressort que l'entretien individuel est, sans surprise, l'outil le plus utilisé par les autres outils (y compris les autres outils de collecte). Par contre, l'étude de cas se situe à l'extrême, constituant un méta outil qui s'appuie donc sur tous les outils de collecte. Il peut, le cas échéant, utiliser les outils d'analyse.
Bien qu'il ne soit pas possible de proposer a priori toutes les combinaisons et associations souhaitables entre outils, certaines considérations méritent d'être formulées dans le but d'assurer l'homogénéité de performance des outils tout au long de la séquence :

• Certains outils sont fréquemment utilisés par d'autres outils. Par exemple, l'entretien individuel est un outil de collecte utilisé dans la plupart des outils d'évaluation.
• Sans évoquer une hiérarchie entre les outils, la plupart des outils sont plus ou moins composites. En décidant d'utiliser un outil particulier, il est donc nécessaire de prendre en compte les conditions d'usage et les contraintes inhérentes aux outils sur lesquels il s'appuie.?
• Compte tenu de la polyvalence, évoquée précédemment, de la majorité d'outils, il convient de tenir compte des critères de rationalisation et d'optimisation dans leur choix. On se réfère notamment au regroupement de questions d'évaluation selon la fonctionnalité des outils sélectionnés, et vice-versa.

Exemple de combinaison

Test de deux outils utilisables en évaluation pays - enquête par questionnaire et focus group - réalisé dans le cadre de l'évaluation Bénin.
Le test a vérifié la possibilité de répondre partiellement par une combinaison des deux outils à la question évaluative suivante : "Dans quelle mesure la stratégie sanitaire et les interventions de la Commission permettent-elles de répondre aux besoins fondamentaux de la population, en particulier des plus pauvres ?"
Les objectifs du test étaient de collecter et traiter les informations et les points de vue des bénéficiaires afin de constater les tendances globales du service fournis par les centres de santé. Il a combiné trois enquêtes et quatre focus groups.
Trois enquêtes :

• deux sur questionnaire fermé (s'adressant d'une part aux ménages et d'autre part aux usagers des centres de soins : en tout 660)
• une sur questionnaire ouvert (s'adressant aux autorités locales, au personnel de santé, aux responsables de mutuelles et d'associations locales : en tout 100).

Quatre focus groups :

• deux focus groups de bénéficiaires (villageoises) dans deux localités différentes ;
• un focus group réunissant les sages femmes et les infirmiers ;
• un focus group réunissant les médecins du secteur privé et public.

Les 2 derniers focus group ont été organisés en complément des résultats des 2 focus groups de bénéficiaires et de ceux des questionnaires. L'objectif est de croiser des regards différents sur une même situation à partir de quelques éléments de dysfonctionnements constatés.
Le croisement des résultats de l'enquête par questionnaire et des focus groups a largement contredit les présupposés de départ de l'action de réorganisation de l'offre de santé publique au Bénin par la Commission européenne. Il a en outre confirmé l'accès aux soins très réduit des plus pauvres dans le secteur public.

.

.

Les limites et risques sont liés aux contraintes spécifiques et aux exigences de chacun des outils en ressources de tous ordre.

Contraintes potentiellesAccès à l'information et aux sources d'information

La plupart des outils exigent un accès relativement facile à la documentation de base (Diagramme des objectifs et diagramme des effets, Diagramme des problèmes, Diagramme des décisions, Etude de cas, Indicateurs de contexte) Certains outils sont très dépendants de la représentativité, de la disponibilité et de la coopération d'interlocuteurs et parties prenantes, notamment : Entretien individuel, Focus group, Enquête par questionnaire.

Qualité de l'information recueillie

La qualité des informations recueillies est essentielle. Elle peut être affectée par :

• l'insuffisance et/ou l'imprécision des informations (SWOT, Indicateurs de contexte, Analyse coût-efficacité, Analyse multicritère, Analyse culturelle et sociale)
• un biais dans les opinions exprimées (Enquête par questionnaire, Focus group)
• une partialité dans les jugements ou un biais dans les analyses (Panel d'experts, Analyse culturelle et sociale )
• une certaine partialité dans l'analyse des forces/faiblesses (SWOT)
• une généralisation non valide (Etude de cas)
• des réponses difficiles à comparer (Entretien individuel)
• le choix inapproprié des indicateurs de contexte (Indicateurs de contexte)
• un niveau excessif d'abstraction de l'analyse et une trop grande distance par rapport à la réalité (Analyse culturelle et sociale )

Maîtrise des techniques spécifiques

Une bonne maîtrise de l'outil est utile dans tous les cas, et particulièrement pour : Enquête par questionnaire, Analyse culturelle et sociale , SWOT, Analyse coût-efficacité, Analyse multicritère.
La disponibilité et l'expérience des experts qualifiés doit être particulièrement assurée pour : Etude de cas, Analyse culturelle et sociale , Panel d'experts, Focus group.
Le traitement des réponses peut devenir très lourd faute de savoir faire suffisant (Enquête par questionnaire).
Une insuffisante expérience fait courir le risque de choix inappropriés des cas d'étude, sans rapport direct avec les objectifs de l'évaluation (Etude de cas).
La recherche nécessaire d'un consensus sur la perception des menaces et opportunités exige un savoir faire spécifique (SWOT).

La disponibilité d'experts qualifiés doit être garantie dans tous les cas. Elle est une condition sine qua non pour : Analyse culturelle et sociale , Panel d'experts. SWOT, Analyse coût-efficacité, Analyse multicritère, Focus group.
L'expertise de l'évaluateur est à considérer pour les outils dits de structuration : Diagramme des objectifs et diagramme des effets, Diagramme des problèmes, Diagramme des décisions.
Elle est expressément requise pour le traitement des données de l'Enquête par questionnaire.
Une expérience de conduite et d'animation de réunions est capitale pour : l'Analyse culturelle et sociale , le Panel d'experts, le Focus group.

Coûts

Une attention particulière doit être portée aux coûts de mise en œuvre pour les outils suivants : Analyse coût-efficacité, Analyse multicritère, Enquête par questionnaire, Etude de cas.

Durée

Une estimation pertinente du temps nécessaire est importante dans tous les cas, et en particulier pour la mise en œuvre de : l'Analyse coût-efficacité, l'Analyse multicritère, l'Enquête par questionnaire, l'Etude de cas, l'Entretien individuel.

Incidence des opérations préalables

Lorsque un outil requiert une collecte préalable d'information, sa durée, son coût et les ressources humaines nécessaires ne doivent pas être sous-estimés. Le cas échéant, une vérification de l'accessibilité des sites et de la disponibilité des bénéficiaires doit être opérée (Etudes de cas).

.

.

Check list à l'usage de l'équipe d'évaluation

• Le choix de chacune des questions évaluatives tient-il compte de la possibilité d'obtenir une réponse convaincante par l'utilisation efficace d'outils ?
• Le choix des outils aidera-t-il à formuler le jugement d'ensemble ?
• Les outils retenus permettent-ils de répondre de manière optimale aux objectifs de l'évaluation ?
• Chacun des outils correspond-il aux contraintes et possibilités liées aux conditions spécifiques de l'évaluation ?
• La programmation de chacun des outils prend-elle en compte l'ensemble des tâches nécessaires à leur mise en œuvre ?
• Les ressources nécessaires pour chacun des outils (compétences, nombre de jours, coût) ont-elles été précisément évaluées ? Sont-elles pertinentes au regard des résultats espérés ? et obtenus ?

Check list à l'usage du gestionnaire de l'évaluation

• Les réponses de chacune des questions évaluatives reposent-elles sur la mise en œuvre d'une bonne combinaison d'outils ?
• Le jugement d'ensemble s'appuie-t-il sur l'utilisation d'outils appropriés ?
• Le choix de chacun des outils et leur combinaison sont-ils justifiés de manière claire et convaincante ?
• Les ressources (experts, budget, temps) mobilisables pour la mise en œuvre des outils sont-elles judicieusement utilisées ?

L'évaluation vise à produire des recommandations opérationnelles découlant de conclusions solides, fondées sur des critères de jugement clairs, sur des éléments factuels solides et sur des raisonnements dûment argumentés.

Conclusions et recommandations sont de nature à interroger les auteurs et opérateurs du programme ou de la politique. Elles doivent résulter d'une démonstration rigoureuse (un dire d'expert ne suffit pas).

Le développement d'une méthode ad hoc rigoureuse et l'utilisation d'outils appropriés sont les instruments indispensables de cette démonstration.

Ce site présente une série d'outils d'évaluation et un mode d'emploi de la boîte à outils :

• qui situe les outils dans la méthode d'évaluation
• qui présente les critères de choix des outils
• qui donne des indications pour une combinaison appropriée des outils.