Evaluation methodological approach

.

Les questions servent à concentrer les travaux sur un nombre de points limités de façon à garantir la qualité et l'utilité des conclusions. Pour qu'une question puisse effectivement jouer ce rôle, elle doit être soigneusement préparée et précisément rédigée.

Vérifier que la réponse à la question sera utile

Autant que faire se peut, les questions d'évaluation sont présentées à la suite avec des commentaires sur les points suivants :

• Quels utilisateurs seront intéressés par la réponse à la question ?
• Quelle utilisation vont-ils en faire ?
• Compte tenu du temps nécessaire à la finalisation de l'évaluation, est-ce que la réponse à la question arrivera à temps pour satisfaire les attentes des utilisateurs ?

Si l'utilité de la question est incertaine, il vaut mieux l'abandonner et concentrer l'évaluation sur d'autres questions plus utiles.

.

.

Question pour connaître et/ou comprendre

Question visant à connaître, comprendre et/ou estimer les effets de l'intervention, par exemple :

• l'intervention a-t-elle contribué à générer l'effet X et si oui de quelle façon ?
• Quels sont les publics qui ont le plus bénéficié de l'intervention et de quelle manière ?
• Quels types de savoir-faire les personnes formées ont-elles acquis ?

Les questions de cette nature font découvrir de nouveaux aspects de l'intervention. Elles aident à comprendre les effets et les mécanismes d'impact. Elles élèvent le niveau des connaissances.

Question pour juger

Question pour formuler ou pour aider à formuler un jugement sur l'intervention évaluée, par exemple :

• l'intervention a-t-elle contribué à générer l'effet X à niveau satisfaisant par rapport aux objectifs ? Dans cet exemple, la question implique un jugement de type " efficacité ".
• Dans quelle mesure les actions financées par la Commission ont-elles amélioré l'équilibre hommes/femmes ?
• Est-ce que les causes des faiblesses de la gestion municipale avaient été suffisament analysées et explicitées ?

Les questions de cette nature permettent aux utilisateurs de former leur jugement sur les mérites de l'intervention, de reconnaître les bonnes et moins bonnes pratiques. Ils se servent de l'évaluation pour communiquer sur l'intervention, positivement ou négativement.

Questions pour aider à la décision

Question pour montrer comment on peut améliorer l'intervention, par exemple :

• telle pratique de mise en œuvre a-t-elle mieux contribué à générer l'effet X comme attendu ?
• Dans quelle mesure la répartition et la coordination du travail entre les partenaires ont-elles permis d'améliorer la durabilité des progrés en matière de sécurité alimentaire?
• Le choix d'une stratégie fondée sur la formation professionnelle et non la formation initiliale était il pertinent pour obtenir la création d'activités touristiques nouvelles ?
• Dans quelle mesure le choix des projets d'infrastructure a-t-il contribué à améliorer l'accessibilité des territoires les plus défavorisés?

Les questions de cette nature débouchent sur des recommandations fondées sur les leçons de l'expérience. Les utilisateurs se servent des réponses pour préparer des réformes ou des ajustements.

Il existe une gradation dans la nature de l'utilisation : pour décider, il faut avoir jugé et pour juger, il faut avoir compris. Il suffit donc de rédiger la question en fonction de la nature d'utilisation la plus élevée (question pour aider à la décision ou pour juger). Les utilisations de niveau inférieur peuvent être considérés comme des sous-questions. Par exemple la question sera :

• l'intervention a-t-elle contribué à générer l'effet X à niveau satisfaisant par rapport aux objectifs ?

et une sous question sera :

• l'intervention a-t-elle contribué à générer l'effet X et si oui de quelle façon ?

Recommandations

• Préparer plusieurs questions de nature différente au sein d'une même évaluation.
• Eviter d'avoir une liste de questions de pure connaissance car il s'agirait alors d'une recherche ou d'étude et non pas d'une évaluation.

.

.

Eviter les questions qui relèvent de l'audi ou du suivi

L'évaluation, l'audit et le suivi ne remplissent pas les mêmes fonctions. Par conséquent, les questions sont différentes pour chaque exercice et il est important de vérifier si une question relève de l'évaluation, et, si besoin, il convient de la modifier pour qu'elle ne relève pas en premier lieu d'audit ou de suivi.

Modifier une question qui relève de l'audit

• Comment ont-été appliquées les prescriptions réglementaires dans le cadre de la mise en œuvre de l'intervention ?

Cette question se limite à la vérification de la légalité et la régularité de la mise en œuvre, ce qui relève d'un exercice d'audit traditionnel. Pour en faire une question d'évaluation, on peut se demander si l'application des prescriptions réglementaires constitue un facteur particulier d'efficacité ou d'inefficacité.

• Dans quelle mesure l'application des prescriptions réglementaires a-t-elle favorisé ou freiné l'obtention de l'effet X?

Modifier une question qui relève du suivi

• Est-ce que le rythme des réalisations a été conforme au calendrier initialement prévu ?

Cette question s'intéresse uniquement aux réalisations, ce qui relève d'un exercice de suivi. Pour en faire une question d'évaluation, on peut se demander si le rythme des réalisations constitue un facteur particulier d'efficacité ou d'inefficacité.

• Est-ce que le rythme des réalisations a été suffisant dans les zones défavorisée pour pouvoir atteindre l'objectif de lutte contre la pauvreté ?

.

.

De quoi s'agit-il ?

Généralement, une question d'évaluation concerne à la fois les effets de l'intervention et l'intervention elle-même :

• soit l'ensemble de l'intervention évaluée, depuis sa conception jusqu'à sa mise en œuvre (le champ de la question est le même que le champ de l'évaluation)
• soit un aspect de l'intervention, par exemple : sa conception, sa mise en œuvre, l'emploi d'un instrument, l'application d'un principe de mise en œuvre (le champ de la question est plus restreint que le champ de l'évaluation)

Pourquoi s'en préoccuper ?

• pour focaliser la question sur les aspects qui intéressent particulièrement les concepteurs et les gestionnaires,
• pour pouvoir déboucher sur des recommandations concernant tel ou tel aspect de l'intervention.

Questions sur la conception de l'intervention

Ces questions peuvent faire référence à la conception de l'intervention dans son ensemble ou à une étape particulière du processus de conception telle que :

• Le diagnostic des problèmes à résoudre et des besoins à satisfaire
• L'analyse des autres politiques qui interfèrent avec l'intervention
• Le choix du niveau de conception pertinent (pays, secteur, projet)
• L'analyse des parties prenantes (stakeholders)
• Le choix des partenariats pertinents (autorités locales, autres bailleurs)
• L'analyse des risques
• L'étude d'impact
• La définition des objectifs
• Le choix des instruments
• Le choix des opérateurs de terrain

ou encore à une modalité particulière telle que :

• L'implication des parties prenantes dans la conception
• Le contrôle de la qualité de la conception
• La prise en compte des leçons de l'expérience passée
• etc.

Les procédures de concertation avec les acteurs ont-elles favorisé une bonne appropriation de la stratégie et augmenté les chances de durabilité des impacts?

Questions sur la mise en oeuvre

Ces questions concernent l'ensemble de la mise en oeuvre de l'intervention ou un aspect particulier du processus de mise en oeuvre tel que :

• L'allocation des ressources aux opérateurs de terrain
• Les modalités de déconcentration des décisions sur le terrain
• Les procédures de mise en concurrence
• Les critères de sélection des bénéficiaires
• Le système de suivi des réalisations
• Le contrôle de la qualité des réalisations
• La coordination opérationnelle avec les autorités du pays partenaire
• La coordination opérationnelle avec les autres bailleurs
• etc.

Dans quelle mesure les procédures administratives d'attribution des financements et de gestion des projets favorisent-elles ou freinent-elles l'adaptation des aides aux besoins des bénéficiaires ?
Dans quelle mesure les procédures de phasing out ont-elles favorisé la durabilité des impacts en matière de sécurité alimentaire ?

Questions sur les modalités de l'aide

Elles concernent des modalités telles que :

• Instruments de coopération à l'échelle régionale, ex : accord de Cotonou, programme MEDA
• Instruments de coopération à l'échelle d'un pays, ex : accord d'association, accord de coopération
• Modalités de financement, ex : appui budgétaire global, appui budgétaire sectoriel, projets, ..

Le choix de l'instrument d'aide budgétaire a-t-il permis d'obtenir de meilleurs effets en termes de sécurité alimentaire ?
Dans quelle mesure les interventions dans le domaine des transports ont-elles été conduites sous forme de programmes sectoriels, et quelle différence cela fait-il du point de vue des effets générés?

Questions sur l'ensemble de l'intervention

Finalement, certaines questions sont rédigées de façon large et portent sur l'ensemble de l'intervention, y compris sa conception et sa mise en œuvre. Une telle question a la forme suivante : " dans quelle mesure l'intervention telle qu'elle a été conçue et mise en œuvre a-t-elle permis d'obtenir l'effet X ? ".
Si la question concerne l'ensemble de la conception et de la mise en œuvre, on choisit de la faire porter sur un effet précis et proche. En effet, une question qui envisagerait toute l'intervention et tous ses effets serait probablement inévaluable.

.

.

De quoi s'agit-il ?

La logique d'intervention précise les effets attendus. La plupart des questions d'évaluation concernent un effet (ou plusieurs), qu'il convient de préciser.

Pourquoi s'en préoccuper ?

Pour focaliser la question sur les effets qui sont considérés comme les plus importants ou les moins bien connus.
Pour trouver le bon équilibre entre :

• l'évaluation des effets à long terme ou globaux auxquels s'intéressent particulièrement les décideurs politiques mais qui sont difficiles à évaluer
• les effets à court terme ou directs qui sont plus faciles à évaluer mais qui intéressent plutôt les gestionnaires.

Lorsque cela est possible et pertinent, le texte de la question précise l'effet qui est concerné. Cela est facile pour les questions d'efficacité de type :

• L'effet X a-t-il été obtenu ?, va-t-il vraisemblablement être obtenu ?

Il est également souhaitable de préciser l'effet concerné dans des cas plus complexes, par exemple :

• L'effet X va-t-il être obtenu de façon durable ? va-t-il être obtenu à un coût raisonnable par rapport à … ? (effet)
• L'objectif consistant à obtenir l'effet X était-il en phase avec les besoins de la population ? (effet / besoin)
• L'objectif consistant à obtenir l'effet X était-il justifié par la résolution des principaux problèmes de développement du secteur ? (effet / problème)

Comme on le voit ci-dessus, beaucoup de questions peuvent être reliées à la logique d'intervention de façon directe (efficacité) ou indirecte (durabilité, efficience, pertinence). La seule véritable exception est la question qui porte sur les effets imprévus.

• Dans quelle mesure l'intervention contribue-t-elle à améliorer l'accès des populations les plus défavorisées aux services de base, tels qu'éducation, santé et autres services sociaux ?

Cette question porte sur un effet attendu : meilleur accès des populations aux services de base. Elle est directement déduite de la logique d'intervention.

Besoin

• Les actions qui favorisent la contribution de la pêche à la sécurité alimentaire donnent-elles la priorité aux besoins nutritionnels des communautés locales dépendantes de la pêche?

Cette question porte sur un besoin à satisfaire : meilleure alimentation des communautés locales dépendantes de la pêche. Elle peut être indirectement reliée à la logique d'intervention dans la mesure où la satisfaction du besoin correspond à un objectif.

Problème

• L'objectif d'amélioration des capacités de gestion des autorités locales était-il pertinent dans le contexte des réformes de décentralisation mis en œuvre dans le pays?

Cette question porte sur un problème : est-il vraiment réaliste de chercher à améliorer la capacité de gestion des autorités locales dans le contexte actuel du pays. La question est indirectement reliée à la logique d'intervention dans la mesure où elle concerne un objectif.

Le texte de la question précise si on s'intéresse à :

• Un effet précis, par exemple : les personnes formées ont-elles acquis les compétences désirées ?
• Un ensemble d'effets logiquement reliés entre eux, par exemple : quels ont été les effets en termes de renforcement institutionnel ?
• Tous les effets, par exemple : l'instrument d'aide budgétaire sectorielle a-t-il permis d'obtenir des effets au moins aussi bons que précédemment avec des coûts de transaction moindres?

Les questions qui portent sur des ensembles d'effets intéressent plus les décideurs politiques et les responsables des choix stratégiques mais elles sont généralement plus difficiles à traiter.

Les opérateurs et les gestionnaires proches du terrain s'intéressent plus aux questions qui portent sur des effets précis. Ces questions sont aussi plus faciles à traiter.

Si la question concerne l'ensemble des effets, on choisit de la faire porter sur un aspect précis de la conception ou de la mise en œuvre. En effet, une question qui envisagerait toute l'intervention et tous ses effets serait probablement inévaluable.

• Les procédures de concertation avec les acteurs ont-elles favorisé une bonne appropriation de la stratégie et augmenté les chances de durabilité des impacts?

Cette question a une portée très vaste : l'ensemble des impacts de l'aide européenne dans une pays.

Groupe d'effets

• Dans quelle mesure les actions aidées par la Commission ont-elles renforcé les processus démocratiques et la société civile?

Cette question concerne un groupe d'effets logiquement reliés entre eux.

Un effet particulier

• Observe-t-on des progrès de savoir-faire chez les professionnels du tourisme qui ont été formés ?

Cette question concerne un effet précis, pour un public bien défini.

Le texte de la question précise si on s'intéresse à :

• Un effet direct et immédiat, par exemple : les personnes formées ont-elles acquis les compétences désirées ?
• Un maillon plus indirect ou plus lointain dans la chaîne des effets, par exemple : les personnes formées ont-elles diffusé leurs savoir faire au sein de leur communauté ?
• Un effet très indirect ou très lointain, par exemple : quelle a été la contribution de la formation au développement économique local ?

Les questions qui portent sur les impacts les plus lointains intéressent plus les décideurs politiques et les responsables des choix stratégiques mais elles sont généralement plus difficiles à traiter.
Les opérateurs et les gestionnaires proches du terrain s'intéressent plus aux questions qui portent sur les résultats directs, sur les réactions du public visé, sur ces besoins ou sur les impacts les plus proches. Ces questions sont aussi plus faciles à traiter.

• Les entreprises éligibles ont-elles sollicité l'aide proposée dans une proportion suffisante ?

Cette question concerne un tout premier résultat.

Résultat

• L'aide a-t-elle eu un effet de levier sur les investissements réalisés par les agriculteurs aidés ?

Cette question concerne un résultat à court terme pour les bénéficiaires directs.

Impact intermédiaire

• Dans quelle mesure les actions cofinancées avec les autorités locales ont-elles amélioré l'accès aux services de base dans les territoires défavorisés?

Cette question concerne un effet intermédiaire (amélioration de l'accès aux services).
Un effet plus direct aurait été par exemple : plus grande priorité donnée aux territoires défavorisés par les autorités locales
Un effet plus lointain aurait été par exemple : réduction des disparités territoriales dans l'accès aux services de base.

Impact global

• Dans quelle mesure le mode de mise en œuvre des interventions de la Commission contribue-t-il au renforcement de la démocratie, de l'Etat de droit et de la société civile ?

Cette question concerne un ensemble d'effets lointains. Un effet plus proche aurait été, par exemple l'appropriation par les autorités locales des pratiques d'implication des acteurs dans la conception des projets.

.

.

De quoi parle-t-on ?

Les questions se classent en différentes familles qui correspondent à différents " angles de vue " sur ce qui est évalué. Sept de ces points de vue, appelés également critères d'évaluation, doivent être considérés : pertinence, efficacité, efficience, durabilité, impact, cohérence/complémentarité, et valeur ajoutée communautaire.

Une question est rédigée en relation avec un critère d'évaluation (pertinence, efficacité, efficience, durabilité, impact, valeur ajoutée communautaire, cohérence/complémentarité, etc.), sauf si elle vise seulement à connaître ou comprendre.
Les questions d'efficience et de durabilité sont plus rarement posées, en partie parce qu'elles sont difficiles à traiter. Pourtant elles sont souvent les plus utiles.

Pourquoi s'en préoccuper ?

• Pour s'assurer de ne pas oublier des angles de vue essentiels, sachant que certains critères d'évaluation ont tendance à être négligées (par exemple l'efficience ou la durabilité) alors qu'elles peuvent conduire à des conclusions très utiles.
• Pour guider la formulation des questions d'évaluation.

Privilégier un critère d'évaluation pour chaque question

Les questions qui font référence à plusieurs critères d'évaluation sont complexes, par exemple : l'intervention a-t-elle produit l'effet X de façon satisfaisante par rapport aux objectifs (efficacité), et les objectifs étaient-ils en phase avec les besoins du public (pertinence) ?

Si l'on pose une telle question, il faudra probablement mettre en œuvre deux méthodes d'évaluation différentes, une pour juger si l'effet attendu a été obtenu et une autre pour connaître les besoins prioritaires du public et juger si l'intervention y répond bien. Les deux méthodes feront appel à des techniques d'enquête et d'analyse différentes. Cela reviendra probablement à doubler le coût du traitement ou à diminuer la qualité de la réponse par deux. Dans cet exemple, il vaudrait mieux rédiger deux questions différentes, puis décider laquelle est la plus utile et finalement concentrer les ressources sur la question la plus utile.

Exception

Il arrive qu'on ne puisse pas considérer un critère d'évaluation indépendamment d'un autre, par exemple : l'effet X va-t-il vraisemblablement perdurer après la fin de l'appui financier (durabilité) ? Dans cet exemple, on ne peut pas répondre à la question sans avoir répondu à une question préalable : l'effet X a-t-il été obtenu (efficacité) ?
Dans ce cas, il est préférable de poser uniquement la question finale (effet durable). En préparant sa réponse, l'équipe d'évaluation indiquera qu'une sous-question sera :l'effet X a-t-il été obtenu ?

Les familles de critères d'évaluation

Cette page propose une typologie en sept familles de critères. Les cinq premières correspondent à la pratique traditionnelle de l'évaluation de l'aide au développement formalisée par l'OCDE (CAD). Les deux suivantes s'appliquent à l'ensemble des politiques de la CE.

Pertinence

Mesure selon laquelle les objectifs de l'action de développement correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds.
Remarque : rétrospectivement, la question de la pertinence consiste souvent à s'interroger sur le fait de savoir si les objectifs de l'action ou sa conception sont encore appropriés compte tenu de l'évolution du contexte.

Exemples :

• Dans quelle mesure la concentration de l'aide sur l'éducation de base correspond-elle aux besoins du pays partenaire ?
• Dans quelle mesure les interventions dans le domaine du commerce et de l'intégration régionale sont-elles en ligne avec les besoins et les priorités du pays partenaire ?
• Les actions qui favorisent la contribution de la pêche à la sécurité alimentaire donnent-elles la priorité aux besoins nutritionnels des communautés locales dépendantes de la pêche?
• L'objectif d'amélioration des capacités de gestion des autorités locales était-il pertinent dans le contexte des réformes de décentralisation mis en œuvre dans le pays ?

Efficacité

Mesure selon laquelle les objectifs de l'action de développement ont été atteints, ou sont en train de l'être, compte tenu de leur importance relative.
Remarque : terme également utilisé comme système de mesure globale (ou comme jugement) du mérite et de la valeur d'une activité ; mesure selon laquelle une intervention a atteint, ou est en train d'atteindre, ses principaux objectifs pertinents, de façon efficiente et durable, et avec un impact positif en terme de développement institutionnel. Terme connexe : effectivité.

Exemple: 

• Dans quelle mesure l'aide a-t-elle contribué à un accès équitable à une éducation de base de bonne qualité ?
• Est-ce que le rythme des réalisations a été suffisant dans les zones défavorisée pour pouvoir atteindre en priorité les populations les plus pauvres ?
• Dans quelle mesure les procédures de financement et les efforts de dialogue et de coordination ont-ils encouragé/freiné le programme de réforme du secteur routier ?

Efficience

Mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en résultats de façon économe.

Exemple:

• La mise en œuvre sous forme d'aide budgétaire sectorielle a-t-elle permis d'obtenir les mêmes effets avec des coûts de transaction moindres pour la CE et le pays partenaire ?
• La mise en place de coordonnateurs régionaux a-t-elle permis de limiter les coûts par personne formée ?
• Les composantes du programme qui consomment le plus de ressources permettent-elles aussi d'obtenir les meilleurs effets en termes d'accessibilité des territoires défavorisés ?

Durabilité (pérennité, viabilité)

Continuation des bénéfices résultant d'une action de développement après la fin de l'intervention. Probabilité d'obtenir des bénéfices sur le long terme. Situation par laquelle les avantages nets sont susceptibles de résister aux risques.

Exemple:

• Dans quelle mesure l'aide a-t-elle contribué à un rattrapage durable du retard d'entretien du réseau routier ?

Impact

Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non.

Exemple :

• Du point de vue des publics concernés, les nuisances environnementales sont-elles acceptables en comparaison des effets positifs de l'intervention ?

Cohérence/complémentarité

Ce critère peut avoir plusieurs dimensions :
1) Cohérence à l'intérieur du programme de développement de la Commission.

Exemple : Peut-on dire que les activités et les réalisations permettent logiquement d'atteindre les objectifs ? y a-t-il des contradictions entre les différents nivaux d'objectifs ? y a-t-il des double-emplois entre les activités ?

2) Cohérence/complémentarité avec les politiques du pays partenaire et complémentarité avec les interventions des autres bailleurs de fonds

Exemple : Peut-on dire qu'il n'y a pas de " double emploi " entre l'intervention considérée et d'autres interventions du pays partenaire et/ou d'autres bailleurs de fonds et en particulier des Etats membres ?

3) Cohérence/complémentarité avec les autres politiques communautaires

Exemple : Y a-t-il convergence entre les objectifs de l'action de développement et ceux des autres politiques communautaires (commerce, agriculture, pêche, etc.) ?

Valeur ajoutée communautaire

Dans quelle mesure les avantages apportés par l'action de développement s'ajoutent à ceux qui auraient résulté de la seule intervention des Etats membres dans le pays partenaire?

Exemple :

• Dans quelle mesure le partage des rôles entre la CE et les Etats membres a contribué à optimiser l'impact de l'aide ?

Ce document concerne les critères d'évaluation, c'est-à-dire les principales façons de juger l'intervention.

Dans le but de formuler un jugement de valeur pleinement transparent, l'approche doit être affinée au moyen de questions d'évaluations, puis de critères de jugement.

Le mot " critère " est également employé avec un troisième sens dans le cadre de l'assurance qualité. Il s'agit alors des critères d'appréciation de la qualité de l'évaluation.

.

.

De quoi parle-t-on ?

On évite généralement de poser les questions appelant une réponse de type oui/non pour deux raisons :

• Les réponses sont souvent multidimensionnelles et doivent être nuancées
• Les décideurs acceptent mal qu'une évaluation dicte leur choix.

Questions ouvertes appelant des réponses nuancées

Exemples :

• Dans quelle mesure l'effet X a-t-il été obtenu de façon plus satisfaisante et à moindre coût depuis la réforme Z ?
• De quelle façon les bénéficiaires ont-ils considéré l'aide qui leur était proposée ?
• Jusqu'à quel point la coordination a-t-elle permis à la Commission de concentrer sa stratégie sur les domaines où elle a la meilleure valeur ajoutée ?
• Dans quelle mesure le principe de gestion axée sur les résultats a-t-il été appliqué avec succès ?

Cette forme de rédaction est plus appropriée si la question vise à connaître ou comprendre ou bien encore à aider à la décision. Dans ces deux cas, les utilisateurs attendent en effet des réponses nuancées.

Exemples :

• La réforme Z a-t-elle permis d'obtenir l'effet X avec un meilleur rapport qualité / coût?
• Les bénéficiaires ont-ils été suffisamment satisfaits de l'aide qui leur était proposée ?
• La coordination a-t-elle abouti à ce que la stratégie de la CE soit concentrée sur les domaines où elle a la meilleure valeur ajoutée ?
• L'application du principe de gestion axée sur les résultats a-t-il eu une valeur ajoutée significative pour l'obtention des effets attendus ?

Cette forme de rédaction est plus appropriée si la question vise à rendre des comptes dans un contexte où les objectifs avaient été précisément fixés. Une question fermée peut également être utile s'il s'agit de valider une procédure ou un instrument innovant ou de confirmer une bonne pratique.