Evaluation methodological approach

Chaque étape de la phase de synthèse est décrite selon le rôle respectif de:

.

.

L'équipe d'évaluation formalise ses constats sur la base des éléments suivants :

• Analyses effectuées à la première phase
• Analyses effectuées à la phase de terrain

Les constats découlent uniquement des faits, des données et des analyses. Ils ne comportent pas de jugement de valeur (à l'inverse des conclusions).
Les constats intègrent des énoncés de nature causale concernant la contribution de l'aide aux changements observés, ou l'attribution d'une partie des changements observés à l'intervention évaluée.

.

.

Pour chaque question, l'équipe d'évaluation soumet ses constats provisoires à la critique en vue de les confirmer. Un constat est robuste s'il résiste à des critiques telles que :

• Tests de validité des analyses statistiques
• Croisements avec d'autres sources d'information
• Recherche des biais dans les enquêtes
• Recherche des facteurs externes susceptibles d'expliquer les changements observés même en l'absence d'intervention
• Croisements avec les constats faits dans des recherches et des évaluations similaires (d'après l'avis des experts concernés)
• Critiques éventuellement reçues de la (des) Délégation(s) ou des membres du groupe de référence lors de l'évocation des constats possibles

Lorsqu'un constat comporte un énoncé de nature causale, l'équipe d'évaluation précise s'il est généralisable ou transférable dans d'autres contextes.

.

.

Pour chaque question, l'équipe d'évaluation formalise ses réponses sous forme de conclusions sur la base des éléments suivants :

• Eléments factuels et constats.
• Critères de jugement (aussi appelés critères d'appréciation raisonnée) adoptés lors de la première phase (desk).
• Critères de jugement réellement appliqués et justification de l'écart s'il y a lieu
• Niveaux cibles.

Parmi ses conclusions, l'équipe d'évaluation identifie les leçons transférables, c'est-à-dire les conclusions fondées sur des constats généralisables ou transférables.
Au delà de la réponse à chaque question, l'équipe d'évaluation cherche à articuler l'ensemble de ses constats et conclusions de façon à permettre un jugement d'ensemble de l'intervention.

.

.

L'équipe d'évaluation rédige la première version de son rapport. Ce document doit avoir la même forme et le même contenu que la version finale du rapport d'évaluation, à l'exception des recommandations qui peuvent être seulement ébauchées. Le rapport contient quatre parties :

• Résumé contenant notamment les principaux constats, conclusions et recommandations
• Introduction présentant l'intervention évaluée, sa logique, son contexte et la finalité de l'évaluation
• Présentation de la méthode d'évaluation
• Constats, conclusions et recommandations

Le rapport a une taille limitée (maximum 60 pages) de façon à rendre sa lecture facile. Les développements sont reportés en annexe.
Le leader de l'équipe d'évaluation vérifie que le rapport satisfait aux critères de qualité. Il fait en sorte que le rapport soit soumis à un contrôle qualité approfondi par un expert qui ne fait pas partie de l'équipe d'évaluation. Le rapport est alors remis au gestionnaire de l'évaluation.

.

.

Les points abordés sont les suivants :

• Réponses aux questions
• Limites méthodologiques éventuelles et les critères de jugement effectivement appliqués
• Jugement d'ensemble de l'intervention
• Ebauche des recommandations

Le leader de l'équipe d'évaluation reçoit trois types de commentaires :

• Commentaires par oral en réunion
• Commentaires écrits reçus après la réunion
• Commentaires du gestionnaire de l'évaluation sur la qualité méthodologique du rapport

.

.

L'équipe d'évaluation prend en compte les commentaires reçus, sans toutefois compromettre l'indépendance de ses jugements. Le processus est le suivant :

• Les commentaires qui concernent la qualité méthodologique sont pris en compte de façon impérative dans la mesure où cela est possible. En cas de non prise en compte, l'équipe d'évaluation explique ses raisons
• Les commentaires qui concernent la substance du document, des constats et des conclusions peuvent être pris en compte ou rejetés par l'équipe d'évaluation. L'équipe d'évaluation mentionne en note ou en annexe les demandes non prises en compte en motivant ses décisions.s

L'équipe d'évaluation finalise ses recommandations. Elle les présente de façon groupée et hiérarchisée, si possible sous forme d'options avec leurs avantages et risques respectifs.
La nouvelle version du rapport est remise au responsable de l'évaluation.

.

.

Lorsqu'un séminaire est organisé à ce stade, sa finalité va au-delà d'une simple diffusion. Il vise à discuter la substance des conclusions et recommandations.

• L'équipe d'évaluation met à jour les transparents de présentation du rapport préparés pour le groupe de référence
• Le leader de l'équipe participe au séminaire ainsi qu'un autre membre éventuellement, il présente le rapport
• Il prend note des commentaires reçus, lesquels constituent une dernière opportunité de vérifier les données factuelles, de confirmer les analyses et de bien justifier les jugements
• Il considère également les commentaires reçus par écrit après le séminaire

Les transparents présentés sont remis au gestionnaire en version Powerpoint.
Une réunion avec les autres bailleurs peut être organisée sur place immédiatement après le séminaire.

Sauf exception, l'évaluation comporte un séminaire de discussion du rapport dans le pays ou la région partenaire en vue de discuter la substance des conclusions et l'utilité des recommandations en présence de l'équipe d'évaluation.
Une cinquantaine de personnes ou plus sont invitées : personnel de la délégation, autorités nationales, société civile, gestionnaires de la mise en œuvre des projets, représentants des Etats membres, experts.

• A la demande du gestionnaire de l'évaluation, le Chef de Délégation fixe la date et le lieu du séminaire.
• La délégation établit la liste des organisations et institutions à inviter.
• Les participants sont invités par le Chef de Délégation et reçoivent à l'avance la dernière version du rapport.
• Au cours du séminaire, le gestionnaire présente le processus d'évaluation, sa diffusion et son utilisation prévue. Il participe activement au séminaire.
• Il recueille les commentaires écrits reçus après le séminaire, par l'intermédiaire de la délégation.
• Il rédige un rapport de mission et note les améliorations de qualité demandées par les participants.

.

.

• Le rapport final est préparé par l'équipe d'évaluation externe et remis dans sa première version.
• Le gestionnaire vérifie que le document a la forme et le contenu d'une version finale. La seule exception concerne les recommandations qui peuvent être limitées à une ébauche. En particulier, le gestionnaire vérifie que le rapport contient les constats et conclusions en réponse aux questions d'évaluation ainsi qu'une synthèse formulant un jugement d'ensemble sur l'intervention.
• Le gestionnaire de l'évaluation fait un contrôle qualité complet et attribue une note de qualité pour chacun des neuf critères sur la base de la grille d'appréciation. Il vérifie que la collecte de données et les analyses ont été menées rigoureusement, et que les constats, conclusions et recommandations sont liées de manière appropriée.
• Le contrôle qualité du gestionnaire est vérifié par une seconde personne.

.

.

• Le gestionnaire envoie le rapport aux membres du groupe de référence et convoque une réunion avec la participation de l'équipe d'évaluation.
• Il demande à l'équipe d'évaluation de présenter son rapport à l'aide de transparents.
• Le gestionnaire préside la réunion avec les objectifs suivants :
  • Discuter les réponses aux questions, l'appréciation d'ensemble, le contenu des constats et des conclusions.
  • Discuter de la base factuelle des constats, de la validité des analyses, et des critères de jugement effectivement utilisés.
  • Discuter de l'utilité des recommandations.
  • Vérifier la lisibilité et la clarté du rapport.
• Il rédige le compte rendu de la réunion, intègre les commentaires des membres du groupe associés à distance, annexe la grille présentant son contrôle qualité et ses demandes d'amélioration de qualité.
• Il reçoit la nouvelle version du rapport préparée par l'équipe d'évaluation. Cette version finalise les recommandations qui doivent être :
  • Liées aux conclusions.
  • Groupées, priorisées, et adressées à des destinataires spécifiés.
  • Utiles et opérationnelles.
  • Si possible présentées sous forme d'options associées à des avantages et des risques.
• Le gestionnaire vérifie
  • Que les commentaires faits par les membres du groupe de référence ont été pris en compte ou que, dans le cas contraire, l'équipe d'évaluation explique pourquoi elle ne les a pas pris en compte
  • Que les demandes d'amélioration de qualité méthodologique ont été satisfaites
• Il approuve le projet de rapport et autorise le passage à l'étape suivante.

.

.

A la suite du séminaire, l'équipe d'évaluation prépare une dernière version de son rapport et la soumet à l'expert chargé du contrôle qualité avant remise au gestionnaire.
A cette étape, l'équipe d'évaluation finalise les annexes et décide de leur présentation sous l'une ou l'autre des formes suivantes :

• Annexes imprimées à la suite du rapport
• Annexes sur CDROM.

Le rapport est imprimé selon les prescriptions des termes de référence.

• Le gestionnaire reçoit une nouvelle version du rapport remise par l'équipe d'évaluation. Il vérifie que les derniers commentaires ont été pris en compte et que les annexes sont complètes.
• Il fait un second contrôle qualité complet à l'aide de la grille d'appréciation en attribuant une nouvelle note globale et en faisant un commentaire qualitatif pour tous les critères. A nouveau, l'appréciation est vérifiée par une seconde personne.
• Le leader de l'équipe d'évaluation reçoit une nouvelle appréciation de qualité de la part du gestionnaire. S'il y a lieu, il expose dans une note les raisons pour lesquelles certaines demandes d'amélioration de qualité n'ont pas été suivies. Cette réponse restera jointe à l'appréciation de qualité et au rapport.
• Le gestionnaire envoie la version définitive du rapport et de l'appréciation de qualité aux membres du groupe de référence.

.

.

Contenu du rapport finalRésumé

(longueur : maximum 3 pages, une majorité de paragraphes consacrés aux résultats, conclusions et recommandations)

• Finalité de l'évaluation
• Méthode
• Analyses et principaux constats
• Conclusions clés
• Recommandations clés

Introduction

• Objectifs de l'intervention, façon dont ils sont hiérarchisés, liens logiques entre activités / instruments et impacts attendus, politiques connexes, conditions et risques
• Brève analyse du contexte politique, économique, social et culturel de l'intervention
• Finalité de l'évaluation : présentation des questions d'évaluation et de la façon dont elles permettent d'évaluer l'intervention dans son ensemble

Méthode d'évaluation

• Critères de jugement en lien avec chaque question, tels qu'approuvés par le groupe de référence
• Indicateurs relatifs à chaque critère
• Processus de collecte des données réellement mis en oeuvre et limites éventuelles
• Méthode d'analyse des données réellement utilisée et limites éventuelles
• Démarche de jugement réellement utilisée, changements et comparaison avec le rapport de la première phase (desk) et limites éventuelles

Principaux constats, conclusions et recommandations

Trois chapitres distincts :

• Réponses à chaque question d'évaluation, explicitant les constats et les critères de jugement qui les fondent
• Jugement d'ensemble de l'intervention, couvrant les principales familles de critères d'évaluation
• Recommandations classées et hiérarchisées selon leur priorité, de préférence sous forme d'options associées à des avantages et des risques

Annexes (indicatives)

• Diagramme(s) reconstituant la logique d'intervention
• Méthodologie
• Feuilles présentant les questions, critères de jugement et indicateurs
• Enchaînement détaillé des arguments pour une question donnée : faits, interprétation et analyses, constats, critères de jugement et niveaux cibles, conclusions en réponse à la question
• Vue d'ensemble de l'intervention communautaire
• Informateurs rencontrés
• Documents consultés
• Termes de référence
• Données statistiques et indicateurs de contexte
• Liste des projets et programmes étudiés en détail
• Fiches d'analyse des projets, monographies d'études de cas
• Questionnaires et rapports d'enquête
• Acronymes et abréviations
• etc..

Critères de qualité

Qualité du rapport final

Réunion finale de discussion

C'est généralement la quatrième et dernière réunion du groupe de référence

Ordre du jour

• Rappel des règles concernant l'appréciation de qualité du rapport final.
• Présentation de la première version du rapport par l'équipe d'évaluation
  • Réponse aux questions et jugement d'ensemble.
  • Validité et/ou limites des analyses, constats et conclusions
• Commentaires des participants sur le contenu des constats et des conclusions. Commentaires sur les bases factuelles des conclusions.
• Présentation des recommandations et des leçons transférables
• Discussion sur l'utilité et la faisabilité des recommandations

.