Evaluation methodological approach

.

Qu'est ce que c'est?

Il s'agit d'établir des points de contrôle de la qualité aux principales phases du processus, de définir les responsabilités de l'assurance qualité et d'établir les règles du jeu en cas de défaut de qualité.
L'assurance qualité est organisée à l'image d'une crémaillère : des éléments de qualité successifs sont sécurisés à chaque étape de façon à avancer sur des bases solides pour l'étape suivante.

Pourquoi s'en préoccuper ?

• Pour renforcer les conclusions de l'évaluation aux yeux des utilisateurs en montrant qu'il s'agit d'un travail impartial et rigoureux, respectant les standards professionnels.
• Pour construire la qualité progressivement et éviter de constater un défaut de qualité au stade du rapport final.
• Pour clarifier les relations entre le responsable de l'évaluation, le groupe de référence et l'équipe d'évaluation externe.

Règles du jeu

Les règles de l'assurance qualité sont précisées dans les termes de références et rappelées lors de l'engagement de l'équipe d'évaluation externe.

Les règles concernent :

• L'approbation des documents
• Les critères de qualité
• La diffusion de l'appréciation de qualité du rapport final

Le processus d'assurance qualité bénéficie de la contribution de tous les acteurs tout en limitant les conflits potentiels qui pourraient survenir entre eux, par exemple:

• Les acteurs qui détiennent les responsabilités dans l'intervention évaluée (les évalués) sont en bonne position pour apprécier la pertinence des données collectée et l'impartialité des interprétations. Leur appréciation peut cependant être sensible au biais de confirmation. Ils doivent donc avoir un rôle consultatif, par exemple au moyen de leur participation au groupe de référence.
• Le leader de l'équipe d'évaluation externe a un rôle majeur pour assurer la qualité, particulièrement en concevant une méthode adéquate, et en s'assurant de la précision et de l'impartialité du rapport. Il risque toutefois de sur-valoriser les points de vue des parties prenantes influents, et spécialement celles susceptibles de lui commander d'autres évaluations à l'avenir. L'appréciation qualité du gestionnaire de l'évaluation contribue à prévenir ce risque.

Etapes clés-Rapport de démarrage

Au stade du rapport de démarrage, l'appréciation de la qualité permet de vérifier que l'équipe d'évaluation a clairement compris le champ et la finalité de l'évaluation, ainsi que la logique de l'intervention évaluée et les questions à traiter.

-Rapport de première phase (desk)

Au stade du rapport de première phase (desk), l'appréciation de la qualité vérifie la qualité de l'analyse documentaire ainsi que l'adéquation de la méthode proposée pour la phase de terrain, y compris les indicateurs, les sources d'information et la démarche d'analyse.

-Rapport final

Au stade du rapport final, l'appréciation de la qualité vérifie que l'évaluation apporte des réponses valides et impartiales aux questions posées, et que la forme du rapport est adaptée aux besoins des utilisateurs prévus.
A ce stade, le contrôle qualité porte d'abord sur la première version du rapport et ensuite sur la version finale.

Il est attendu que tous les acteurs clés impliqués dans le processus d'assurance qualité aient une capacité d'évaluation suffisante, à l'exception des membres du groupe de référence. Dans le cas où un acteur clé n'est pas assez qualifié, il fait en sorte d'obtenir un appui approprié.

-Leader de l'équipe d'évaluation

Le leader de l'équipe d'évaluation est impliqué en premier lieu dans la prévention des principaux risques menaçant la qualité, par exemple laisser de côté une question majeure, ne pas consulter une partie prenante importante, s'appuyer sur des données non fiables, juger de manière partiale.

Il assure également que chaque rapport est soumis à un contrôle qualité détaillé avant d'être remis au gestionnaire de l'évaluation.

-Contrôleur(s) qualité

La société ou consortium en charge du contrat d'évaluation désigne un ou plusieurs contrôleur(s) qualité qui vérifient la soigneusement la qualité de chaque rapport avant leur livraison au gestionnaire de l'évaluation. Le(s) contrôleur(s) qualité doit être expérimenté en évaluation et ne pas appartenir à l'équipe d'évaluation.

-Gestionnaire de l'évaluation

Le gestionnaire de l'évaluation a la responsabilité finale d'apprécier si la qualité méthodologique d'un rapport est suffisante ou non pour engager la prochaine étape.

Dans ce processus, il consulte les membres du groupe de référence, et se repose sur un appui technique autant que nécessaire.

-Groupe de référence

Les membres du groupe de référence sont consultés pour tous les rapports dans leur version provisoire. Ils peuvent commenter les bases factuelles de l'évaluation, ce qui est une contribution à l'assurance qualité. Lorsque leurs commentaires portent sur la substance des conclusions, ils sont simplement transmis à l'équipe d'évaluation qui décide librement de les prendre en compte ou non.

.

.

Qu'est-ce que c'est ?

Reconnaissance formelle par le gestionnaire de l'évaluation qu'un document remis a un contenu adéquat et satisfait aux critères de qualité applicables en terme de méthodologie.

Quelles sont les étapes de l'approbation ?

Sauf exception, l'approbation d'un document procède de la façon suivante:

• Le gestionnaire vérifie que le document a bien la forme et le contenu requis, et qu'il ne comporte pas de défaut de qualité majeur, dans le cas contraire, il demande immédiatement une nouvelle version.
• Le gestionnaire recueille l'avis des personnes ou services qui doivent être consultés, soit au cours d'une réunion (groupe de référence), soit par email en indiquant un délai limité au-delà duquel la prise en compte des commentaires n'est pas garantie.
• Le gestionnaire liste ses propres demandes d'amélioration de qualité, attache les autres demandes reçues, distingue les demandes d'ordre méthodologique et les demandes de fond, et transmet l'ensemble des remarques à l'équipe d'évaluation externe.
• L'équipe d'évaluation prend en compte toutes les demandes d'amélioration de qualité, soit en modifiant son document en conséquence, soit en mentionnant en annexe comment la demande sera traitée à un stade ultérieur, soit en expliquant en annexe pourquoi la demande n'a pas été traitée
• Une nouvelle version du document est rapidement présentée au gestionnaire qui l'accepte ou la refuse.
• Lorsqu'elle est requise, l'approbation conditionne le passage à l'étape suivante.

Les documents soumis à approbation sont les suivants:

• Rapport de démarrage (inception)
• Rapport de première phase (desk)
• Rapport de la mission pilote (lorsque l'évaluation comprend des missions dans plusieurs pays)
• Rapport final provisoire
• Rapport final

L'approbation est généralement effectuée par le gestionnaire de l'évaluation et éventuellement confirmée par son supérieur hiérarchique.

Les membres du groupe de référence valident l'ensemble des questions d'évaluation, c'est-à-dire que les membres du groupe acceptent formellement, ou du moins ne rejettent pas l'ensemble des questions d'évaluation. Le cas échéant, les divergences sont résolues par le gestionnaire de l'évaluation, auquel cas les opinions divergentes sont rappelées dans les rapports suivants.

Le processus d'approbation ne contrarie pas l'indépendance de l'équipe d'évaluation externe. A cet effet, il convient de différencier les demandes de modification faites dans le cadre de l'approbation:

• Les commentaires qui concernent la qualité méthodologique doivent obligatoirement être pris en compte. Si l'équipe d'évaluation considère qu'elle ne peut pas prendre une demande en compte, elle doit le justifier pleinement. Une appréciation de la qualité méthodologique est attachée au rapport final.
• Les commentaires qui concernent la substance du document, des constats et des conclusions sont librement pris en compte ou rejetés par l'équipe d'évaluation. L'équipe d'évaluation est cependant tenue de mentionner en note ou en annexe les demandes non prises en compte en motivant ses décisions.

.

.

Qu'est ce que c'est?

Apprécier la qualité d'une évaluation est une tâche à multiples facettes. Le commanditaire et les parties prenantes sont les mieux placés pour apprécier si leurs attentes ont été traitées de façon impartiale. Ceux qui mettent en œuvre l'intervention et les experts sont bien placés pour apprécier la pertinence des données collectées et la justesse des interprétations. Il revient au gestionnaire de l'évaluation de garantir que l'évaluation a des bases méthodologiques et factuelles solides. Le gestionnaire de l'évaluation reçoit un appui à l'assurance qualité s'il n'a pas une formation ou une expérience suffisante.

Qui peut jouer ce rôle ?

Au sein de l'Unité d'évaluation au siège de la C.E. , les gestionnaires ont la formation et la capacité nécessaire pour apprécier la qualité méthodologique des rapports. Toutes les évaluations sont suivies par deux membres de l'Unité et tous deux participent à l'appréciation de qualité.
Dans le cas d'évaluations déconcentrées, le gestionnaire utilise les critères de qualité proposés par ce site ainsi que les indications données pour remplir la grille d'appréciation de qualité, si besoin avec appel à l'Unité d'évaluation.
En outre, des appréciations de qualité transversales peuvent être réalisées par l'Unité d'évaluation de façon autonome.