 |
Le responsable d'évaluation |
 |
L'équipe d'évaluation |
|
|
|
Démarche initiale
|
|
Autant que nécessaire, les services de la Commission clarifient précisément par écrit ce qui doit être évalué, et qui sont les principaux utilisateurs prévus de l'évaluation.
Un gestionnaire de l'évaluation est désigné au sein du service concerné. Il/elle travaille sous l'autorité de sa hiérarchie.
|
|
Recueil des informations préalables
|
|
Le gestionnaire de l'évaluation prend connaissance des documents de base (fiche, cadre logique, bilan, rapport de suivi, etc.), et s'entretient de façon informelle avec les informateurs clés.
Si aucun cadre logique n'est disponible, alors la logique du projet doit être reconstruite par le gestionnaire du projet/programme.
|
|
Constitution du groupe de référence
|
|
Le gestionnaire de l'évaluation identifie les services à inviter et autres parties prenantes intéressées au sein d'un groupe de référence.
|
Composition et rôle du groupe de référence
Le groupe de référence implique les gestionnaires du projet/programme et les services de la CE pertinents. Si l'évaluation est conduite dans le pays partenaire, le groupe peut alors impliquer les partenaires du développement, des experts, des acteurs non-étatiques, et d'autres participants qualifiés. Le nombre de participants doit rester gérable (pas plus de 10). Le groupe est présidé par le gestionnaire de l'évaluation.
Le groupe de référence discute et commente tous les documents intermédiaires, généralement au stade de leur version provisoire : termes de référence, proposition de l'équipe d'évaluation, questions d'évaluation, plan de travail et débriefing de la phase de terrain, et rapport final. Il a généralement un rôle de conseil, mais peut être sollicité pour approuver les questions d'évaluation.
Réunir un groupe de référence apporte des avantages en termes d'accès à l'information, de justesse des interprétations et d'appropriation des conclusions.
Les réunions sont animées de manière à prévenir les pertes de temps et à traiter les points de vues conflictuels de façon constructive. Il est essentiel de faire parvenir les documents de travail à l'avance et les comptes rendus à temps.
Une note est envoyée aux services et institutions invités précisant le rôle du groupe de référence.
|
|
|
Préparation des termes de référence
|
|
Les principaux sujets à étudier sont identifiés par le gestionnaire de l'évaluation. Dans la mesure où un bon cadre logique est disponible et toujours valable, le gestionnaire de l'évaluation peut affiner les sujets à étudier en les traduisant sous forme de questions d'évaluation.
|
Les questions d'évaluation
A un moment ou à un autre du processus d'évaluation, une série de questions précises (pas plus de dix) sont sélectionnées dans le souci de satisfaire les besoins des utilisateurs de l'évaluation. Ce site présente un ensemble de questions types.
En concentrant l'évaluation sur des points clés, les questions permettent à l'équipe d'évaluation de collecter les données adéquates, d'approfondir l'analyse, de produire ses appréciations de manière totalement transparente et finalement de produire un rapport utile.
Les questions sont rédigées de manière simple et précise. Autant que possible, elles ne couvrent pas les domaines pour lesquels d'autres études sont disponibles ou en cours.
L'ensemble des questions est composé de telle manière que la synthèse des réponses permettra à l'équipe d'évaluation de formuler un jugement d'ensemble sur le projet/programme. Dans ce but, la série de questions couvre les différents niveaux du cadre logique et les sept critères d'évaluation de manière équilibrée.
|
Le profil de l'équipe d'évaluation externe à engager est défini en termes de compétence professionnelle, d'expertise sectorielle et de capacité pour le travail de terrain.
Un plafond est fixé au budget global de l'évaluation et la disponibilité des ressources est assurée.
Le calendrier est défini en cohérence avec les impératifs institutionnels si nécessaire. Sinon, la date de remise du rapport est fixée au vu des besoins des utilisateurs visés.
Le gestionnaire de l'évaluation rédige une première version des termes de référence (TdR), qui peuvent être construits à partir du modèle attaché à ce guide.
Les membres du groupe de référence sont consultés sur la version provisoire. Le gestionnaire de l'évaluation finalise le document et procède au recrutement de l'équipe d'évaluation externe via la procédure applicable pour l'appel d'offre/ la contractualisation.
L'équipe d'évaluation externe est engagée via la procédure applicable en matière d'appel d'offres / contractualisation. Le candidat prépare une proposition répondant aux termes de référence (TdR) émis par le service commanditaire.
|
|
Hypothèses de base
|
|
Sur la base des TdR et de sa propre expertise, l'auteur de la proposition établit ses hypothèses de base :
- Domaines dans lesquels une expertise spécifique est nécessaire.
- Possibilité de mobiliser des consultants ayant un profil approprié dans le(s) pays concerné(s).
- Nombre, nature et difficultés probables des questions.
- Existence, qualité et accessibilité informations sur la mise en œuvre de l'aide.
- Existence d'évaluations antérieures réutilisables.
|
|
Tâches, expertise et budget
|
|
Des hypothèses sont également formulées quant à la conception méthodologique de l'évaluation, y compris la stratégie d'analyse et les outils à mettre en oeuvre. Les tâches sont réparties de façon provisoire entre :
- Consultants du/des pays partenaire(s) et consultants internationaux.
- Consultants seniors, mediums, juniors.
- Experts du ou des secteurs d'intervention et professionnels de l'évaluation.
Les principaux membres de l'équipe d'évaluation sont identifiés et l'absence de conflits d'intérêt est vérifiée.
Le budget et le calendrier sont précisés dans le cadre des contraintes fixées dans les termes de référence.
|
|
Recruter des consultants locaux
Les consultants locaux peuvent être associés à tout ou partie des tâches de l'évaluation.
Avantages :
- Possibilité de bénéficier d'une perspective locale pour la collecte d'informations et l'analyse des données.
- Maîtrise de la/des langue(s) locale(s).
- Utilisation facilitée des approches participatives impliquant les bénéficiaires et les groupes cibles.
- Souplesse du plan de travail et réduction des coûts de déplacement.
- Contribution au renforcement des capacités d'évaluation dans le pays partenaire.
Risques:
- Conflit d'intérêt.
- Difficultés à rester indépendant du gouvernement dans certains pays.
|
|
|
Proposition
|
|
Le contenu de la proposition technique et financière est le suivant :
- Compréhension du contexte et de la finalité de l'évaluation et identification des utilisateurs prévus.
- Compréhension des thèmes ou des questions à couvrir.
- Conception méthodologique indicative.
- Principaux membres de l'équipe d'évaluation, leurs domaines d'expertise et leur rôle.
- Calendrier.
- Prix détaillé
- CVs des membres de l'équipe au format standard et déclarations d'absence de conflit d'intérêts.
- CV d'un expert extérieur à l'équipe d'évaluation qui assurera le contrôle qualité.
|
|
Lancement
|
|
Le gestionnaire de l'évaluation reçoit la/les proposition(s) technique(s) et financière(s) préparée(s) par les candidats. Il/elle vérifie que les propositions couvrent les points suivants :
- Compréhension des termes de référence.
- Conception indicative de la méthode.
- Prix détaillé.
- Calendrier prévu.
- Responsabilités des membres de l'équipe, les CVs, et les déclarations signées d'absence de conflit d'intérêt.
Le gestionnaire de l'évaluation prend part à l'analyse de(s) proposition(s). Les membres du groupe de référence sont consultés, en particulier pour identifier et prévenir les conflits d'intérêt et les risques potentiels quant à l'indépendance de l'équipe.
|
Externalité et indépendance
Les membres de l'équipe d'évaluation externe sont indépendants des organisations qui ont participé à la conception et à la mise en œuvre du projet/programme évalué.
L'indépendance implique une liberté par rapport à toute influence politique et à toute pression organisationnelle, un accès complet aux informations et une autonomie totale dans la réalisation des investigations et dans la rédaction des conclusions.
Externalité et indépendance ont vocation à garantir la crédibilité auprès des audiences extérieures, ce qui est particulièrement pertinent si l'évaluation est entreprise pour rendre des comptes, apprendre des leçons transférables ou réallouer des ressources budgétaires. De telles évaluations sont appelées "sommatives" par opposition aux évaluations "formatives" qui sont conduites au bénéfice de ceux qui gèrent le projet/programme dans le but d'améliorer leur travail et qui requièrent leur pleine participation. Externalité et indépendance peuvent être de moindre importance dans le cas d'évaluations formatives.
|
Le gestionnaire de l'évaluation apprécie la qualité de(s) proposition(s) et vérifie que les ressources humaines et financières sont adaptées aux difficultés particulières identifiées lors de la préparation des termes de référence.
|
Check list pour apprécier la qualité d'une proposition
Capacité:
- Connaissance et expérience professionnelle en matière d'évaluation
- (si pertinent) Capacité démontrée à mener une approche participative
- Connaissances et expertises techniques et sectorielles
- Capacité à répondre aux problématiques transversales essentielles (par ex. : égalité des genres, environnement)
- Expérience en matière de coopération au développement, et en particulier de la coopération menée par la CE
- Expérience dans la région partenaire, pays similaires et/ou pays partenaire
- Capacités linguistiques adéquates
Compréhension :
- Compréhension des TdR
- Compréhension du contexte
Gestion :
- Les personnes proposées disposent du temps nécessaire pour mener à bien les tâches planifiées dans le calendrier
- Partage clair des responsabilités et adéquation des compétences garantissant un management efficace de l'équipe et des relations fructueuses avec les partenaires et les parties prenantes
- Engagement à renforcer les capacités d'évaluation dans les pays partenaires
|
Le gestionnaire de l'évaluation recrute l'équipe d'évaluation externe dans le cadre de la procédure d'appel d'offre applicable. Le recrutement est formalisé dans un document contractuel, la date de celui-ci marque le début du travail de l'équipe d'évaluation.
|
