Evaluation methodological approach

.

Définition

Un indicateur de contexte se définit comme une donnée qui fournit une base simple et fiable pour décrire une variable de contexte. Il informe sur la situation et son évolution dans le pays, dans la zone, ainsi que sur l'aide.

D'autres types d'indicateurs :

• les indicateurs de programme qui détaillent, dans le cadre d'une action mise en œuvre, les ressources, les réalisations, les résultats et si possible les impacts,
• les indicateurs d'évaluation qui en appui des critères d'évaluation, permettent de porter un jugement sur la pertinence, la cohérence, l'efficacité, l'efficience, etc., et qui viennent étayer les réponses aux questions d'évaluation,

Des indicateurs sont produits par les services statistiques nationaux ou par certains programmes. Les services statistiques des Etats et de nombreux bailleurs ou organisations internationales ont travaillé à une certaine uniformisation de ces productions pour pouvoir permettre des comparaisons dans le temps et dans l'espace et produire des données fiables et comparables.

Ces indicateurs permettent de montrer les points saillants du contexte local, mais non, souvent, pour procéder à des comparaisons entre pays (ex : pas de référence du niveau d'un même indicateur dans des pays voisins) ni d'avoir une vue globale et normée de la situation du pays.

Quels usages peut-on faire des indicateurs de contexte?
Pour présenter le pays

C'est au début de l'évaluation qu'il est généralement fait usage des indicateurs de contexte. Ceux-ci sont souvent orientés vers les domaines :

• économiques et financiers (PIB, échanges, dette, etc.),
• sociaux (démographie, activité, genre, etc.),
• sectoriels importants (éducation, santé, environnement, etc.).

Dans certains cas et pour certains pays, l'accent peut être mis sur des secteurs ou des problèmes particuliers (ex : analyse de la pauvreté, de conflits, etc.).

Pour représenter le niveau d'aide au pays

Les indicateurs de contexte doivent également permettre de caractériser l'aide au pays concerné, c'est-à-dire le type d'aide, les montants, la répartition sectorielle et la part relative de la Commission européenne parmi les autres bailleurs, etc.

Pour répondre aux questions d'évaluation

Les indicateurs de contexte peuvent également être utilisés pour répondre à certaines questions d'évaluation qui nécessitent un exposé préliminaire permettant au lecteur de comprendre une situation.

Par exemple, le tableau suivant présente une sélection d'indicateurs comparables internationalement. La situation de la Tanzanie est comparée à celle d'un groupe de sept pays africains qui sont considérés comme similaires. Ce groupe est composé du Burkina Faso, de la Gambie, du Ghana, de Madagascar, du Mali, du Niger et de la Zambie.

Sources: Banque Mondiale

* Le progrès est évalué du plus positif (++) au plus négatif (--) selon l'évolution de l'indicateur sur les 3 à 10 dernières années.

Comment choisir, recueillir et utiliser les indicateurs de contexte au cours d'une évaluation?

Un bon indicateur est jugé en fonction de :

• sa pertinence : l'indicateur doit correspondre à une préoccupation, à un objectif ou à une attente.
• la qualité et la précision de sa mesure,
• sa faisabilité : on doit d'abord avoir la possibilité informationnelle de produire l'indicateur par l'utilisation de mécanismes de mesure et de traitement rigoureux fournissant des données fiables, en temps opportun et de façon rentable
• sa convivialité d'interprétation et d'utilisation : la convivialité représente la possibilité opérationnelle, visuelle et cognitive d'utiliser correctement et confortablement l'indicateur.

Systèmes d'indicateurs de la Commission européenneSystème d'indicateurs de la Direction Générale du Développement pour les évaluations de performance de l'aide au pays

Le système d'indicateurs proposé par la Direction Générale du Développement de la Commission Européenne pour les évaluations de performances de l'aide aux pays a été mis au point en collaboration avec d'autres bailleurs (Etats membres, Banque Mondiale, PNUD, OCDE-CAD).

Il est basé avant tout sur la typologie suivante, avec un focus particulier sur les indicateurs de résultats :

Le but de la production et du suivi de ces indicateurs est double et nécessite la constitution de deux séries distinctes d'indicateurs pour respectivement :

• mesurer les performances des politiques du pays en terme de réduction de la pauvreté et d'amélioration des conditions de vie,
• mesurer de manière plus détaillée les performances des politiques sectorielles, dans les secteurs aidés par la Commission.

Données d'EUROSTAT

EUROSTAT dispose, pour les pays membres de l'Union européenne, de nombreuses données concernant plusieurs domaines regroupés en partie sous forme d'indicateurs et classés selon le court terme (balance des paiements, prix à la consommation, etc.), le long terme (économie et écologie, entreprises et activités, etc.) et des facteurs structurels (emploi, situation économique générale, environnement, etc.). Par ailleurs, Eurostat dispose de données intéressantes sur les échanges entre les pays de l'Union Européenne et le reste du monde.

Systèmes d'indicateurs des Nations UniesIndicateurs associés aux Objectifs du Millénaire

Pour chacun de ces Objectifs, des niveaux-cibles ont été fixés et 48 indicateurs (" Indicators Development Goals " ou IDGs) ont été retenus. Ces indicateurs sont disponibles pour plus de 200 pays, avec leur définition exacte et les méthodologies pour les produire, sur les sites des Nations Unies ou de la Banque Mondiale. Ces indicateurs sont plus orientés vers les résultats que vers les ressources.

Cadre d'indicateurs des Bilans Communs de Pays

En 1997, les Nations Unies ont décidé de produire un système de Bilans Communs de Pays (CCA : " Common Country Assessment "). Le CCA est un instrument d'analyse de la situation d'un pays pour ce qui concerne son développement et l'identification des principaux problèmes de développement.

Indice de développement

Le système des Nations Unies est l'un des systèmes les plus développés et qui fournit facilement une information sur près de 200 indicateurs.

Ce système, moins tourné vers les pays en développement que les autres, permet d'obtenir à la fois des indicateurs et les indices de développement calculés par les Nations Unies.

Rapport mondial sur le développement humain

Chaque année le PNUD publie le rapport mondial sur le développement humain, qui contient une grande partie des indicateurs des Nations Unies.

Systèmes d'indicateurs de la Banque Mondiale
Indicateurs de l'association internationale pour le développement

L'Association Internationale pour le Développement: IDA (" International Development Association ") a proposé dans un document récent, intitulé " IDA Results Measurements System : Progress and Proposal April 2003 ", une série d'indicateurs pour améliorer le suivi des résultats des pays, en particulier pour ceux devant disposer d'un Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP).

Les indicateurs recouvrent les thèmes suivants : revenu et pauvreté, malnutrition, santé maternelle et infantile, SIDA, genre, éducation primaire, eau potable, infrastructures, développement du secteur privé, gestion du secteur public, croissance économique.

Programme International de Comparaison

Etabli depuis 1968, le Programme International de Comparaison (ICP : International Comparison Program) est un système statistique mis en place pour produire des données par pays, internationalement comparables au niveau des prix, de la valeur des dépenses, de la parité de pouvoir d'achat.

En fournissant des données sur le pouvoir d'achat, le système peut procurer aux évaluateurs des données comparables entre elles, très intéressantes sur le plan économique et social. 

Les Parités de Pouvoir d'Achat (PPA) sont des taux de conversion monétaire qui permettent d'exprimer dans une unité commune les pouvoirs d'achat des différentes monnaies. En d'autres termes, une somme d'argent donnée, convertie en monnaies nationales au moyen des PPA, permettra d'acheter le même panier de biens et services dans tous les pays. Les PPA sont donc des taux de conversion monétaires qui éliminent les différences de niveaux de prix existant entre les pays.

Système d'indicateurs de l'OCDE

Le portail statistique de l'OCDE présente des données statistiques sur les pays membres de l'OCDE à partir desquelles des indicateurs peuvent être élaborés. Ce sont des données descriptives dans des domaines sectoriels, sociaux et économiques.

Des données précises (géographiques - pays, région - ou sectoriels) sont également disponibles sur le développement et les économies des pays non membres de l'OCDE. Elles permettent d'obtenir des informations relatives aux activités d'aide au développement.

Des indicateurs thématiques et des indicateurs d'environnement sont également fournis par l'OCDE.

Autre système d'indicateurs
Le système d'indicateurs de Transparency International

Transparency International propose des données statistiques concernant le niveau de transparence et de corruption au niveau local et global par le biais de plusieurs indicateurs.

Le plus connu est l'Indice de Perception de la Corruption (IPC) qui classe plus de 150 pays selon leur degré de corruption (classement fondé sur l'évaluation d'experts et des enquêtes d'opinion). Le Baromètre mondial sur la Corruption et l'Indice de Corruption des Pays Exportateurs complètent l'IPC.

Les ONG Human Rights Watch et Amnesty International publient pour un grand nombre de pays des rapports sur l'état des droits de l'homme et les principaux problèmes rencontrés.

Quelles sont les ressources nécessaires ?

Quels sont les avantages et les limites des indicateurs de contexte ?