Evaluation methodological approach

.

Qu'est-ce que c'est ?

Les conclusions apportent des réponses claires aux questions d'évaluation. Elles intègrent des jugements de valeur.
Les leçons sont des conclusions transférables aux prochains cycles de la même intervention ou à d'autres interventions.

Pourquoi s'en préoccuper ?

• Pour s'assurer que le rapport apporte de véritables réponses aux questions posées
• Pour bien identifier les moments où l'évaluation implique un jugement de valeur et pour éviter que ces jugements soient implicites ou mal justifiés, ce qui serait une faiblesse.

Comment les élaborer ?

Les conclusions et leçons découlent des étapes précédentes de la façon suivante

Les conclusions répondent aux questions

Les questions posées au début de l'évaluation trouvent leur réponse à travers les conclusions. Une conclusion peut répondre à plusieurs questions et plusieurs conclusions peuvent répondre à une seule question.
A condition que toutes les questions posées aient trouvé leur réponse, l'équipe d'évaluation peut présenter des conclusions additionnelles pour prendre en compte des informations et des résultats inattendus et importants.

Les conclusions découlent des données et des constats

Au moment de la rédaction d'une conclusion, ce qui est jugé est un aspect de l'intervention, par exemple : une orientation stratégique (est-elle pertinente ?) une pratique (est-elle efficiente ?), un effet attendu (a-t-il été obtenu ?), un effet inattendu (est-il positif ?).
Les conclusions dérivent donc des données et éléments de preuves collectés, des analyses et interprétations effectués, des constats et connaissances nouvelles générées.

Les conclusions sont basées sur des critères de jugement

Pour formuler ses conclusions, l'équipe d'évaluation fait référence aux critères de jugement (également appelés critères d'appréciation raisonnée ) convenus lors de la première phase de l'évaluation (desk). La collecte et l'analyse des données sont structurées selon ces critères. Lorsque cela est possible, les constats sont comparés avec des niveaux cibles (targets).

• Exemple : l'aide a contribué à accroître le nombre de professeurs qualifies et expérimentés de 30% dans les zones où les minorities éthniques X sont concentrées (constats), ce qui a permis de rattraper la moyenne du pays (niveau cible).

Au stade du rapport final provisoire, l'équipe d'évaluation peut être amenée à affiner les critères de jugement et les niveaux cibles. Dans ce cas, il clonvient d'en discuter avec le groupe de référence.

Une leçon est une conclusion transférable

Une leçon est une conclusion transférable aux prochains cycles de la même intervention ou à d'autres interventions.

• Exemple : En connectant ses paiements avec des indicateurs de performance appropriés, la C.E. peut contribuer avec succès à améliorer la capacité d'accueil des élèves appartenant à des groupes défavorisés.

Un chapitre du rapport présente les conclusions relatives à chaque question ainsi que les conclusions émergeant de points non soulevés par les questions. Le chapitre organise les conclusions par groupes homogènes (clusters) pour donner une vision globale du sujet évalué. Il ne suit pas l'ordre des questions ni celui des critères d'évaluation (efficacité, efficience, cohérence, etc.)

Le chapitre comporte des références aux sections du rapport ou aux annexes qui montrent comment les conclusions dérivent des informations, des interprétations, des analyses et des critères de jugement.

Le rapport contient une auto-appréciation des limites méthodologiques qui peuvent restreindre la portée ou l'utilisation de certaines conclusions.

Un paragraphe ou un sous-chapitre reprend, en évitant toute répétition, les 3 à 4 conclusions majeures organisées par ordre d'importance. Cet exercice permet de mieux faire ressortir les messages de l'évaluation qui s'adressent aux responsables politiques au sein de la Commission.

Le chapitre de conclusions présente aussi bien les réussites constatées que les sujets pour lesquels il est nécessaire de réfléchir à des modifications ou à des réorientations.

Suggestions

• Rédiger une conclusion de bonne qualité nécessite un effort important de clarification et de justification du jugement. Il est donc préférable de concentrer cet effort sur quelques conclusions clés plutôt que de le disperser sur une multitude de jugements peu justifiés. L'équipe d'évaluation et les personnes en charge de l'assurance qualité ont donc intérêt à relire attentivement le rapport final pour éliminer tous les jugements de valeur non indispensables ou involontaires.
• Il est difficile de discuter sereinement des critères de jugement et des niveaux cibles avec le groupe de référence à la fin de l'évaluation car chacun voit alors immédiatement l'influence de la discussion sur les conclusions. C'est pourquoi il est préférable d'aller aussi loin que possible dans l'explicitation des critères au cours de l'étape de démarrage.
• Autant que possible, le rapport d'évaluation énonce séparément les constats (qui découlent uniquement des faits et des analyses), puis les conclusions (qui impliquent un jugement de valeur). Cette démarche oblige à expliciter les critères de jugement et renforce la qualité.
• L'équipe d'évaluation expose ses conclusions de façon balancée, sans privilégier de façon systématique les conclusions positives ou négatives.
• Si possible, le rapport d'évaluation identifie une ou plusieurs leçons transférables. Celles ci sont mises en avant dans le résumé et présentées dans des séminaires appropriés ou des réunions de façon à être capitalisées et transférées.

.

.

Qu'est-ce que c'est ?

Les recommandations dérivent des conclusions. Elles visent à améliorer ou réformer l'intervention dans le cadre du cycle en cours, ou à préparer la conception d'une nouvelle intervention pour le prochain cycle.

Pour quoi s'en préoccuper ?

• Pour optimiser l'utilisation de l'évaluation sous forme de rétroaction (feedback).
• Pour créer une approche positive et une appropriation plus aisée lorsque l'évaluation révèle des difficultés.

Comment les élaborer et les présenter ?

Les recommandations doivent être liées aux conclusions sans être leur calque. Une recommandation dérive directement d'une ou plusieurs conclusions.
Les recommandations doivent être regroupées et priorisées. Le rapport mentionne à qui sont destinées les recommandations, par exemple : la Délégation de la C.E., les services en charge de la conception de la prochaine intervention, etc.
Les recommandations sont utiles, opérationnelles et faisables. Les conditions de leur mise en œuvre sont précisées. Chaque fois que cela est possible et pertinent, les principales recommandations sont présentées sous formes d'options avec les conditions liées à chaque option ainsi que les conséquences prévisibles de la mise en œuvre de chaque option.
Les recommandations sont présentées dans un chapitre spécifique qui met en valeur les recommandations dérivées des trois ou quatre principales conclusions.

Les recommandations n'ont de valeur que si elles sont entendues, et si possible appropriées, par leurs destinataires.
Pour promouvoir cette appropriation, le gestionnaire prépare une fiche contradictoire qui permet de:

• Lister les recommandations sous forme résumée
• Recueillir les réponses des services destinataires
• Informer sur les suites effectivement données aux recommandations

Conseils

• Si une recommandation ne dérive pas clairement des conclusions, elle reflète probablement des idées préconçues ou les intérêts tactiques d'une des parties prenantes. Sa présence dans le rapport risque de discréditer l'évaluation. Le responsable de l'évaluation veille donc à rejeter toutes les recommandations qui ne sont pas étayées par les données collectées et analysées et par les conclusions.

.

.

Qu'est-ce que c'est ?

Les conclusions intègrent des jugements sur la valeur et les mérites de l'intervention. Cette dimension de l'exercice d'évaluation est particulièrement sensible et impose à l'équipe d'évaluation de respecter des principes d'éthique spécifiques.

Pourquoi s'en préoccuper ?

• Pour garantir un jugement impartial et crédible (appelé également "appréciation raisonnée").
• Pour que le jugement ne porte pas atteinte aux personnes.

Quels sont les principes essentiels ?-La responsabilité du jugement

Les conclusions répondent en priorité à des questions. Les membres du groupe sont donc en partie responsables du jugement dans la mesure où ils l'orientent par les questions qu'ils valident.
L'équipe d'évaluation externe intervient aussi dans la préparation du jugement en faisant des propositions pour définir les questions, expliciter les critères de jugement et fixer les niveaux cibles.
Dans la phase de synthèse, l'équipe d'évaluation applique les critères de jugement convenus de façon aussi fidèle que possible et produit ses propres conclusions. Les conclusions sont discutées au sein du groupe de référence mais restent de la seule responsabilité de l'équipe d'évaluation.
Au titre du processus d'assurance qualité, le responsable de l'évaluation peut exiger qu'un jugement soit mieux justifié ou qu'un critère convenu à l'avance soit mieux appliqué. Par contre, il ne peut pas exiger qu'une conclusion soit enlevée ou amendée si elle est de bonne qualité méthodologique.

-La légitimité du jugement

Les questions et critères prennent en compte les besoins et le point de vue de l'institution publique qui a initié l'évaluation.
Les membres du groupe de référence peuvent apporter des points de vue différents, ce qui renforce la légitimité de l'évaluation.
Au cours de la phase de documentation, l'équipe d'évaluation conduit des entretiens qui lui permettent d'identifier éventuellement d'autres points qui ne s'expriment pas au groupe de référence et qui sont pourtant légitimes. Elle en rend compte aux réunions du groupe de référence et en tient compte éventuellement dans les jugement.
Plus généralement, l'équipe d'évaluation a la responsabilité de rendre compte des constants et critères de jugement qui ont été découverts pendant le processus d'évaluation, même si ces derniers ne sont pas couverts par les questions d'évaluation, à condition que ces points soient légitimes.
Un point de vue est légitime si :

• Il est exprimé par des parties prenantes ou en leur nom.
• Il exprime un aspect de l'intérêt public et non l'intérêt individuel d'une personne ou l'intérêt privé d'une organisation.
• Il est compatible avec les droits humains fondamentaux.

-L'impartialité du jugement

L'impartialité du jugement concerne l'ensemble de l'évaluation, c'est à dire le choix des questions et des critères de jugement, la détermination des niveaux cibles et la formulation des conclusions.
Tout le processus est exposé à des risques de partialité, par exemple :

• L'équipe d'évaluation privilégie ses propres préconceptions.
• L'équipe d'évaluation privilégie implicitement le point de vue d'une des parties prenantes.
• L'équipe d'évaluation n'entend pas, ne comprend pas ou ne prend pas en compte le point de vue d'une des parties prenantes.
• L'équipe d'évaluation se concentre systématiquement sur les conclusions négatives ou positives.

Lorsqu'il existe des divergences sur la façon de juger, sur les critères de jugement ou sur les niveaux cibles, l'impartialité consiste à :

• S'assurer que les membres de l'équipe d'évaluation sont familiers et respectueux des croyances, mœurs et coutumes des groupes concernés.
• Respecter toutes les cultures et tous les points de vue, tout en se conformant aux valeurs universelles concernant les minorités et les groupes particuliers tels que les femmes. En la matière, la déclaration universelle des Droits de l'Homme des Nations Unies (1948) est la référence applicable.
• Etre conscient des relations de pouvoir asymétriques et corriger les biais qui en résultent.
• Faire en sorte que toutes les opinions soient entendues, même celles qui ne sont pas portées par les voix les plus puissantes ou les plus nombreuses.
• Rendre compte des divergences dans les rapports et dans les réunions du groupe de référence.
• Expliquer les choix de façon transparente (qui a fait le choix ? pourquoi ? quelles étaient les alternatives ?)

En cas de divergence, une solution peut consister à juger par référence à plusieurs critères et/ou à formuler plusieurs conclusions correspondant à différents points de vue. Cette solution a l'inconvénient de diluer les conclusions et donc de rendre l'évaluation moins conclusive.
Il est souvent préférable de faire des choix et de les expliquer de façon transparente.

-Protection des personnes

Les conclusions portent sur les mérites de l'intervention évaluée, pas sur les personnes qui la mettent en œuvre ou qui en bénéficient.
Les noms des personnes sont cités seulement lorsque cela renforce la crédibilité de l'évaluation. L'équipe d'évaluation doit respecter le droit des personnes à fournir des informations de manière confidentielle et s'assurer que l'origine des informations sensibles ne puisse pas être retracée. Avant de citer une personne ou une organisation, l'équipe d'évaluation ou tout autre acteur de l'évaluation anticipe et prévient les risques qu'elle lui fait courir.
Les évaluations découvrent quelquefois des indices de dysfonctionnement. Les mauvaises pratiques professionnelles ne sont jamais rapportées de manière traçable. A l'inverse, un membre de l'équipe d'évaluation qui rencontre des actes illégaux ou criminels les traite comme n'importe quel citoyen le ferait. Dans ce dernier cas, le problème doit être discuté avec le responsable de l'évaluation.