Evaluation methodological approach

En vue de répondre aux questions, l'équipe d'évaluation rassemble des informations qui sont déjà disponibles (données secondaires) et met en œuvre des outils de collecte en vue d'obtenir des informations nouvelles (données primaires).

.

.

De quoi parle-t-on?

Pour éviter les duplications, les coûts inutiles et la lassitude des informateurs, il convient de s'appuyer le plus possible sur les informations existantes (données secondaires) telles que :

• données de gestion et de suivi
• études et les recherches relatives au domaine considéré
• sources statistiques publiées
• rapports d'évaluation et leurs annexes

Ces informations peuvent être obtenues à moindre coût. Elles peuvent contribuer à fournir des éléments de réponses à une partie des questions posées.

• Les données (secondaires) existantes sont moins chères et plus rapides à collecter que les données primaires.
• Si l'équipe d'évaluation ne prend pas connaissance des données existantes pertinentes, la crédibilité de l'évaluation sera amoindrie.

Les principaux canaux pour identifier et collecter des données secondaires

• Les gestionnaires, les agences de mise en œuvre, les opérateurs et les partenaires
• Les experts du domaine considéré
• Internet
• Les offices statistiques et instances de suivi
• Les scientifiques et la littérature professionnelle

Avant d'utiliser des données secondaires, une attention particulière doit être portée aux points suivants :

• Définitions : s'agit-il de données qui reflètent/mesurent ce qui doit être traité ?
• Données manquantes
• Précision : est-ce que la source et la méthode de mesure sont fiables ?
• Date: quand la mesure a-t-elle été réalisée ?
• Fiabilité au travers du temps : est-ce que les définitions et les méthodes de mesure ont changé pendant la période couverte ?
• Comparabilité : est-ce que les définitions et les méthodes de mesure sont cohérentes d'un endroit à un autre ?
• Agrégation des données : est-ce que les données rassemblées sont cohérentes les unes avec les autres ?
• Désagrégation : est-il possible de décomposer les données en sous territoires ou sous-secteurs tout en conservant une base statistique suffisamment grande. ?

• Lorsque c'est possible, des éléments de preuve multiples doivent être utilisés afin que ces sources soient croisées.
• Il convient d'être conscient des intérêts en jeu lorsque l'on utilise des données secondaires. Les responsables de la compilation de ces données peuvent avoir des raisons pour montrer une image optimiste ou pessimiste. Par exemple, il a été signalé que des personnes responsables de l'estimation des déficits alimentaires ont exagéré les chiffres avant de les envoyer aux potentiels bailleurs.

.

.

Quelles sont-elles ? Comment s'en occuper ?

Même si le programme de collecte de données a été préparé judicieusement, l'équipe d'évaluation rencontre souvent des surprises en réalisant son travail de terrain. Les difficultés les plus fréquentes arrivent lors de :

-Accès aux informateurs

-Différence culturelle

-Manque ou faiblesse des données

• Toute évaluation crée un sentiment d'incertitude, qui peut rendre certaines parties prenantes réticentes pour coopérer, voire franchement hostiles. Dans un tel cas, prendre une attitude positive, insister sur les utilisations attendues de l'évaluation, promettre de l'impartialité, et centrer sur les faits plutôt que sur les opinions.
• Si une source d'information n'est pas accessible ou si une technique d'enquête n'est pas applicable, alors changer le plan de travail de collecte de données dans le but de collecter des informations similaires grâce à d'autres sources d'information.
• Faire attention aux biais et risques de fiabilité. S'efforcer de les comprendre. Les signaler.
• Eviter de compter sur une unique source d'information pour faciliter le croisement de données au moment de l'analyse. De plus, ceci permet de gérer les cas où une source de données ne peut être utilisée.

.

.

Quels sont les risques ?

En collectant l'information, l'équipe d'évaluation rencontre différents risques de biais qui peuvent affecter la fiabilité des données collectées.

Pourquoi faut-il considérer avec attention les biais ?

• Pour améliorer la fiabilité de la collecte de données
• Pour mesurer la qualité de l'évaluation
• Pour comprendre les limites des conclusions qui reposent sur des données de fiabilité faible

Ce biais concerne l'ensemble des approches de collecte de données. Il résulte de la tendance à rechercher les preuves qui soient cohérentes avec la logique d'intervention, à la place de rechercher les preuves qui pourraient la réfuter.

L'équipe d'évaluation et les informateurs sont sujet à ce biais lorsqu'ils ont tendance à se focaliser sur les effets attendus et de systématiquement oublier les facteurs externes, les effets non attendus, les effets négatifs, les interactions avec d'autres politiques, les parties prenantes externes, les options alternatives de mise en œuvre, etc.

Ce biais est évité en faisant appel à des évaluateurs indépendants et professionnels.

-Autocensure

Dans certains cas, les informateurs peuvent être réticents à répondre librement aux questions, simplement parce qu'ils ressentent un risque. Ils ont tendance à exprimer strictement le point de vue de leur institution ou de leur hiérarchie.

Ce biais est traditionnellement combattu par une garantie de traitement confidentiel des réponses. La personne posant les questions doit insister sur des questions factuelles et éviter de collecter des opinions.

-Stratégie des informateurs

Celui qui aura été impliqué dans l'intervention peut distordre une partie de l'information qu'il fournit afin d'attirer les conclusions de l'évaluation vers ses points de vue.

Ce biais pourra être réduit si l'ensemble des parties prenantes est atteint par le plan de collecte d'information et si différentes sources d'information sont croisées.

-Echantillon non représentatif

Ce biais peut être un sujet d'inquiétude si l'équipe d'évaluation génère des données quantitatives à l'aide d'une enquête par questionnaire. Il doit être également considéré lorsqu'on utilise des données secondaires issues d'une enquête par questionnaire.

Dans ces cas, on doit vérifier que l'échantillon d'informateurs enquêtés est suffisamment grand et représentatif de la population dans son ensemble.

-Question induisant les réponses

Ce biais et les suivants sont fréquents dans les entretiens et les questionnaires.

La manière dont sont posées les questions par l'enquêteur ou ses réactions aux questions peut générer un biais qui peut aussi bien être positif ou négatif.

Egalement l'ordre des questions dans un questionnaire peut changer le contenu des réponses.

Ce biais sera limité en ayant des questionnaires élaborés et testés par des professionnels expérimentés.

-Biais d'empathie

Les personnes interrogées peuvent ne pas avoir une opinion pré-établie à propos de la question qui leur est posée. Ils s'efforcent de se faire leur propre opinion en quelques secondes en répondant à l'enquêteur ou au questionnaire. En faisant ça, ils peuvent être fortement influencés par le contexte.

Spécialement dans le cas d'entretiens, l'équipe d'évaluation doit créer une atmosphère conviviale (empathique), afin d'atteindre un haut taux de réponses et une finalisation rapide de l'enquête.

La combinaison des deux causes introduit un biais positif systématique dans les réponses qui aura tendance à faire surestimer les bénéfices de l'intervention et sous estimer le rôle des facteurs externes.

Ce biais est empêché en faisant appel à des enquêteurs correctement formés.

-Biais de sélection de l'échantillon

Les personnes qui acceptent d'être enquêtées peuvent ne pas être représentatives de l'ensemble du public cible.

Ce biais peut être contrôlé en menant une enquête qualitative spéciale sur un petit nombre de " non répondants ", tout en sachant que cet exercice implique des coûts additionnels.

• Faire appel à une équipe d'évaluation indépendante et professionnelle dans le but de limiter les biais de confirmation.
• Mélanger systématiquement des questions positives et négatives afin de réduire le biais d'empathie et les biais sur les questions.
• Etre très crédible au moment de promettre la confidentialité pour limiter l'autocensure des répondants,… et respecter strictement cette promesse.
• Ne jamais compter sur une seule catégorie de parties prenantes (gestionnaires de programmes, bénéficiaires) afin de réduire les biais stratégiques.