Evaluation methodological approach

.

Qu'est ce qu'une enquête par questionnaire?A quoi sert l'enquête par questionnaire ?

L'enquête par questionnaire consiste à collecter des réponses à une série de questions standardisées auprès d'un nombre assez important de personnes.

Un questionnaire est un ensemble de questions construit dans le but d'obtenir l'information correspondant aux objectifs d'une étude. Le questionnaire permet de standardiser l'information collectée dans une enquête. Les informations qu'il recueille sont utiles pour évaluer ou changer une situation donnée.

Les personnes sur lesquelles porte l'enquête sont choisies selon différentes méthodes afin de constituer un échantillon représentatif de l'ensemble de la population auprès de laquelle on cherche des informations.

Existe-t-il différentes formes d'enquête par questionnaire ?

Il existe principalement deux types de questionnaire:

• Le questionnaire fermé,
• Le questionnaire ouvert.

Les enquêtes combinent souvent les deux formes, avec une dominante de questions fermées et quelques questions ouvertes, plus riches mais aussi plus difficiles à traiter statistiquement.

Le questionnaire fermé

Les questions fermées sont des questions pour lesquelles on impose au répondant une forme précise de réponse et un nombre limité de choix de réponses. Cette forme est utilisée pour obtenir certains renseignements factuels, pour juger d'un accord ou non avec une proposition, pour connaître la position du répondant concernant une gamme de jugements, etc.

Les questions fermées ne sont pas adaptées au recueil d'informations nuancées. Par contre, elles sont plus utiles à l'analyse statistique, car les réponses sont prédéfinies et prévues.

Les types de questions en questionnaire fermé

Le questionnaire fermé comporte le risque que le répondant ne choisisse pas la réponse qui lui convient car il choisit :

• la réponse qui lui semble la plus conforme à l'attente de l'enquêteur, pour lui faire "plaisir" ou parce qu'il croit que cette réponse le valorisera,
• une réponse par défaut, parce que les autres lui conviennent encore moins,
• une réponse qui par sa formulation "attire" inconsciemment, par exemple en exprimant une position moyenne.

Le questionnaire ouvert

A partir d'une question précise, la personne interrogée développe une réponse que l'enquêteur prend en note. Dans ce cas, l'enquête par questionnaire ouvert ressemble à un entretien individuel de type directif. Une question ouverte laisse la réponse libre dans sa forme et dans sa longueur.

Les types de réponse en questionnaire ouvert

L'enquête par questionnaire est un outil d'observation très performant, notamment pour la collecte d'informations auprès d'un grand nombre de bénéficiaires finaux.

Le questionnaire fermé permet de quantifier les poids respectifs des opinions exprimées. En revanche, pour être statistiquement exploitable il doit être administré à un échantillon suffisamment important. Ce qui nécessite une logistique lourde et des moyens importants :

• des enquêteurs pour interroger un grand nombre de personnes sans lequel les données collectées perdent leur représentativité ;
• des moyens techniques : informatique pour le traitement statistique des données,
• du temps pour les trois phases de son utilisation : l'élaboration, l'administration et le traitement. Soulignons que la mise au point du questionnaire, pour que celui-ci soit pertinent et riche, suppose un temps d'autant plus long que le contexte (le sujet et la population est enquêtée) est rarement bien maîtrisé par l'équipe d'évaluation.
• des ressources financières pour une mission de terrain longue, pour le recrutement d'enquêteur et d'une équipe pour le traitement.

L'utilisation d'un questionnaire ouvert peut présenter une alternative, lorsque une exploitation statistique des données collectées n'est pas indispensable. L'expérience montre que ce type de questionnaire permet de collecter une information riche permettant de comprendre et d'analyser les réactions d'une population et de répondre ainsi aux besoins d'une évaluation.

L'enquête par questionnaire et la construction d'échantillon sont apparues dans l'entre-deux-guerres, à l'occasion des premières prévisions électorales. Ce sont les instituts de sondage qui s'en sont servis les premiers. Aujourd'hui, ces méthodes sont devenues un outil de référence en sciences sociales. Elles ont été développées par les courants de la sociologie quantitative, qui nécessite des connaissances statistiques.

Autres contextes d'utilisation

Généralement, les enquêtes par questionnaire sont très utilisées en marketing ou par les instituts de sondage d'opinion. Mais elles sont aussi utilisées en anthropologie et ethnologie : il s'agit alors d'enquêtes d'observation, constituées d'une série de longs entretiens, basés sur des questionnaires semi-ouverts.

Cette forme de questionnaire peut être utilisée lors de certaines études de cas, mais rarement en évaluation pour des questions de coûts et de délais. Ces enquêtes approfondies sont plutôt utilisées par les chercheurs. Leurs résultats peuvent néanmoins servir à des évaluateurs soucieux de comprendre le contexte et les dynamiques socio-culturelles à l'œuvre dans la région concernée par leur évaluation.

.

.

Dans quel cas et comment utiliser le questionnaire ?Quand l'outil gagne-t-il à être utilisé ?Un outil d'observation et d'information quantitatif et qualitatif

C'est un outil privilégié d'observation :

• des besoins, opinions etc. pour une évaluation ex ante,
• des changements réalisés, souhaitables etc. pour une évaluation à mi-parcours ou finale.

L'enquête par questionnaire est un outil d'information quantitative fréquemment utilisé dans les pays développés pour des enquêtes d'opinion ou de marketing. Son utilisation est plus rare dans les pays en développement du fait des contraintes de coût et des difficultés de mise en œuvre. L'enquête par questionnaire reste toutefois appropriée pour des études ou des évaluations comme instrument de collecte de l'information.

Elle nécessite une bonne définition et estimation de l'information recherchée, et des publics auprès desquels l'obtenir. Elle gagne à être utilisée après une phase de pré-enquête.

L'enquête par questionnaire peut être très utile comme outil de mesure du changement, si on a la possibilité d'effectuer des enquêtes sur un même échantillon, à des intervalles de temps suffisants pour évaluer les effets d'une politique ou d'un programme. En réalité, cette possibilité est assez réduite, a fortiori dans les pays en développement.

Mise en garde en évaluation

Il est plus facile à un évaluateur d'élaborer rapidement un cadre précis de questionnements dans une évaluation de projet ou de programme, que pour une évaluation pays par exemple, dans laquelle le processus d'identification des bénéficiaires réels et des acteurs de la politique de coopération évaluée est complexe.

En évaluation, les enquêtes par questionnaire sont principalement utilisées pour apprécier l'impact des politiques et des programmes sur différentes catégories de public.

L'enquête permet de recueillir :

• des informations sur la situation socio-économique de publics différents, et éventuellement de faire des typologies,
• des informations sur des changements de situation ou de pratiques (sur la base d'indicateurs précis),
• des opinions, des jugements et les perceptions sur une politique ou un programme (sur la base de critères précis d'appréciation),
• des analyses portant sur les causes de changements et concernant le rôle de la politique ou du programme évalué sur ces changements (à partir d'hypothèses préalables servant de base au questionnement).

L'enquête peut être réalisée :

• en face à face,
• par téléphone,
• par voie postale,
• par courrier électronique et sur l'Internet.

Les limites en termes de temps, de ressources financières et de moyens techniques rendent son utilisation en évaluation difficile malgré les avantages considérables qu'ils proposent - surtout en comparaison d'autres outils d'observation.

Les enquêtes par questionnaire apportent une dimension quantitative complémentaire à la dimension qualitative d'autres outils de collecte d'information et d'observation, comme :

• les entretiens individuels,
• les entretiens collectifs.

Ces outils peuvent intervenir dans la phase exploratoire d'une enquête par questionnaire (pour repérer ou préciser les hypothèses de travail) et ainsi permettre l'élaboration du questionnaire :

• en listant les thèmes à aborder,
• en identifiant les questions pertinentes.

Une série d'entretiens ou de focus group peut aussi venir en aval de l'enquête par questionnaire fermé pour contextualiser les résultats, enrichir la compréhension des données et leur interprétation (par ex : détailler une pratique, expliquer une représentation).

Les enquêtes par questionnaire servent de base à des instruments plus complexes, comme :

• les études de cas,
• l'observation socio-culturelle,
• le benchmarking.

La réalisation d'une enquête par questionnaire exige une préparation minutieuse et un temps de réalisation proportionnel à l'importance du questionnaire, à la taille de l'échantillon et aux difficultés de terrain.

En général, elle ne s'effectue pas en début d'évaluation mais dans des phases ultérieures, quand l'évaluateur dispose de suffisamment d'informations et d'hypothèses de travail pour construire un questionnaire à destination de groupes précis.

Les ressources humaines

L'organisation d'une enquête par questionnaire implique souvent de recruter des enquêteurs.

Compétences requises

• Capacité à s'imprégner des objectifs de l'enquête,
• Capacité à établir un climat de confiance,
• Capacité à repérer d'éventuelles difficultés de compréhension et blocages,
• Capacité à remplir clairement et de façon fiable le questionnaire,
• Si nécessaire, maîtrise d'une langue locale et des us et coutumes.

Pour le recrutement

• S'il existe des spécificités culturelles ou dialectales, il est préférable d'effectuer localement le recrutement (comme les agents de développement, les instituteurs, les techniciens, etc).
• Il est parfois possible de s'appuyer sur des organisations spécialisées.
• Une ou plusieurs journées de formation-encadrement des enquêteurs peuvent être organisées avant le début de l'enquête (visant à s'assurer de la compréhension des objectifs et du questionnaire, et a instaurer un "esprit d'équipe") et après sa réalisation (débriefing sur les conditions d'enquête, les difficultés rencontrées, les biais possibles, les remarques des répondants, etc.). Tous ces commentaires "qualitatifs" aideront l'évaluateur à nuancer les résultats, voire à les interpréter.

Les ressources financières

Pour l'essentiel, les coûts sont des coûts salariaux (coût des enquêteurs) et des coûts de transport lorsque l'enquête est conduite sur un territoire important. Il serait hasardeux de proposer ici des montants, ceux-ci variant dans des proportions importantes selon le type de pays dans lequel l'enquête est réalisée.

Soulignons cependant que les transports peuvent peser lourdement sur le budget dans des pays où ceux-ci sont difficiles. De façon générale, l'évaluation des ressources nécessaires nécessite de prendre en compte :

• Le moyen utilisé pour réaliser les enquêtes par questionnaire (en face à face, par courrier, par téléphone, par mail),
• la taille de l'échantillon,
• l'éloignement des zones d'enquête,
• le nombre d'enquêteurs à mobiliser et la durée de leur mobilisation, qui dépendent des variables sus-citées.

L'enquête par questionnaire est l'un des moyens les plus simples d'obtenir des informations auprès d'un nombre important de personnes. Les enquêtes par téléphone coûtent moins cher que l'enquête en face à face. L'envoi par mail est de loin le moyen le plus économique, mais le taux de réponses est moindre et il limite le profil des personnes susceptibles de répondre, particulièrement dans les pays peu équipés en moyens informatiques.

Dans la plupart des évaluations, le temps imparti à l'organisation et la réalisation du recueil de données de terrain est limité, pour des raisons financières entre autres. Or le questionnaire (fermé et ouvert) nécessite une logistique importante pour son élaboration, l'organisation de sa mise en œuvre et son traitement.

Dans certains cas, les questions d'évaluation nécessitent le recueil d'informations auprès des bénéficiaires finaux de l'aide. Le questionnaire est alors un outil indispensable car il permet la collecte d'informations auprès d'un grand nombre de personnes sur leurs opinions et leurs pratiques.

Dans le cas d'un traitement statistique du questionnaire fermé, cet outil permet une quantification des opinions recensées qui peut nourrir une analyse d'impact ou constituer des indicateurs d'évaluation ou de programme. Ce type de traitement est cependant difficile à organiser et à mettre en œuvre, et demande de disposer de ressources plus importantes que pour un autre traitement.

Quelles sont les conditions requises à son utilisation ?

• Une connaissance préalable du contexte d'évaluation et des enjeux du programme pour les bénéficiaires afin de rédiger des questions pertinentes.
• L'existence de bases d'informations statistiques minimales sur la composition sociale de la population suffisamment fiables, de façon à pouvoir bâtir des échantillons avec un risque d'erreurs qui reste acceptable.
• L'identification d'un partenaire fiable pour la mobilisation de ressources humaines (enquêteurs, statisticiens, démographes) et de ressources matérielles (transport, informatique, données démographiques,etc.).
• La possibilité de sélectionner et d'interroger un échantillon de personnes sans trop de difficultés : accessibilité physique et logistique, lieux et moyens de contacts permettant de ne pas passer trop de temps à chercher les interlocuteurs, etc.

Les conditions d'application spécifiques des enquêtes par questionnaire en évaluation soulignent que leur mise en œuvre est plus adaptée aux pays caractérisés par un bon niveau de développement.

Dans le cas des pays en développement, il peut néanmoins être intéressant d'utiliser l'enquête par questionnaire en ciblant des groupes de population pour lesquels l'évaluateur ne peut pas disposer d'informations quantitatives par d'autres moyens.

Il s'agira alors d'une enquête ponctuelle sur une question pointue auprès d'une catégorie d'acteurs bien circonscrite paysment, notamment.

L'évaluateur devra assurer un encadrement très rapproché des enquêteurs, voir confier cet encadrement à un partenaire local.

Le problème de recueil et de sélection rapide d'informations nécessaires et abondantes est récurrent en évaluation pays. C'est aussi dans ce type d'évaluation que les évaluateurs sont les plus éloignés des bénéficiaires finaux de l'aide. L'enquête par questionnaire, en interrogeant de nombreux bénéficiaires, permet de recueillir une partie des informations portant sur la politique évaluée, à propos notamment, du degré de réalisation des programmes, de la prise en compte des besoins, des acquis et des points de blocages, etc.

Dans ce contexte, les enquêtes par questionnaire sont encore peu utilisées. Leur usage pourrait pourtant se développer, notamment parce qu'elles constituent dans certains cas un outil indispensable pour réaliser des analyses d'impact auprès de divers groupes, en particulier de bénéficiaires.

.

.

Comment élaborer un questionnaire?Quelles sont les bonnes questions à se poser ?Qu'est-ce que je cherche ?

Les questions posées sont conçues en fonction des informations, des analyses et des opinions que l'évaluateur recherche, et en fonction du public visé. Il faut donc commencer par bâtir une liste d'informations sur le sujet d'étude, contenant :

• les objectifs,
• les hypothèses de travail,
• les publics-cibles,
• la nature des informations recherchées,
• la situation géographique de l'information à trouver,
• la période de l'enquête.

Ces listes vont guider l'organisation de l'enquête et la production d'un calendrier de réalisation.

Cette question est-elle strictement nécessaire ?

Cela revient à se demander : l'objectif de l'étude "X" peut-il être atteint si j'enlève la question "n"? Si la réponse est oui, inutile d'alourdir le questionnaire.

Une seule question suffira-t-elle pour obtenir cette information?

En fonction de la complexité de l'information recherchée, plusieurs questions peuvent être nécessaires, notamment pour rechercher une cause.

L'évaluateur doit être attentif aux questions qui ont un double objectif. Il est préférable de les séparer en deux questions simples.

La personne interrogée est-elle en mesure de répondre ?

Trois raisons peuvent expliquer l'absence de réponse d'un répondant :

• il ne comprend pas : le vocabulaire n'est pas adapté, la question est trop abstraite, etc.
• il ne sait pas : le questionnaire n'est pas adapté au bon public, ou la personne interrogée a été mal choisie,
• il a oublié : distinguer la situation où le répondant peut retrouver l'information et la fournir plus tard, de la situation où il n'a plus accès à cette information.

La personne interrogée voudra-t-elle fournir l'information exacte?

Cette question concerne principalement les informations à caractère sensible, telles que :

• les sujets socialement sensibles, pour lesquels certains comportements sont niés ou déformés (dévalorisés ou survalorisés, par exemple),
• les sujets touchant de près à la vie privée,
• les sujets nécessitant un effort de recherche important ou du temps.

Dans ces cas, la personne interrogée peut vouloir "maquiller" le sujet ou l'éviter. C'est souvent dans la manière de poser la question ou dans la façon de structurer le questionnaire que l'on peut anticiper et/ou contourner l'attitude d'évitement de la personne interrogée.

Comment structurer le questionnaire ?Les bases du questionnaire

• Cerner le sujet d'investigation et cibler le questionnaire de façon précise.
• Ne pas avoir trop d'ambition concernant les informations à récolter grâce au questionnaire : il ne doit pas être trop long et complexe, et les questions doivent être précises et simples.
• Prévoir des questions qui se recoupent pour vérifier la fiabilité et la cohérence des réponses.

Les textes d'introduction et de transition

Ils sont nécessaires à la compréhension et l'articulation du questionnaire, quelle que soit sa façon d'administrer. Ces textes doivent être adaptés au type de l'enquête, à son objet, aux caractéristiques socio-culturelles de l'échantillon, etc.

Ces textes doivent comprendre :

• "des indications se rapportant aux sujets traités : " ce questionnaire a pour objet déterminer…, de mesurer…, nous allons maintenant passer au problème de… ; maintenant que nous avons passé en revue les… ",
• des indications techniques : " veuillez tracer une croix dans la case correspondant à votre choix/votre opinion, une seule réponse par colonne svp; rédiger votre réponse de la manière la plus concise possible svp… ",
• des formules de politesse : " votre avis est extrêmement précieux…; merci pour votre obligeante collaboration ",
• des formules de précaution : " ce questionnaire est strictement confidentiel ; cette enquête ne doit servir qu'à des fins scientifiques ",
• des développements courts et compréhensibles : les introduire uniquement là où ils sont nécessaires" (Extrait de Jauveau C. (1992) "L'enquête par questionnaire, manuel à l'usage du praticien", Edition de l'Université de Bruxelles).

L'ordre des questions

• Placer les questions les plus délicates dans le corps du questionnaire, afin d'éviter des effets de repli, de lassitude ou de perte d'attention à la fin de l'exercice.
• Regrouper les questions d'identification au début ou à la fin du questionnaire. Si elles peuvent poser un problème (en portant, par exemple sur le revenu, la pratique religieuse ou l'opinion politique), les placer dans le corps du questionnaire.
• Commencer par des questions faciles qui permettent de mettre en confiance le répondant.
• Intercaler les questions difficiles ou délicates avec des questions plus faciles qui "détendent l'atmosphère", même si ces questions faciles n'ont qu'un but "technique", celui du bon déroulement de l'enquête.
• Prévoir des transitions, des liaisons entre des sujets qui ne sont pas corrélés.
• Grouper les questions ayant trait à un même sujet.
• Hiérarchiser les questions :

• Prévoir l'absence de réponse par des items comme "ne sait pas" ; "sans opinion", voire "refus de répondre". Attention : le répondant peut se réfugier dans cette proposition, pour éviter de répondre. Dans le traitement des réponses, il faut prévoir un code pour ce choix, qui doit être traité comme une réponse.
• Choisir un équilibre entre des questions ouvertes et des questions fermées. Une question ouverte offre des réponses riches mais difficiles à traiter statistiquement. Voir quand elle peut être remplacée par plusieurs questions fermées.
• Prévoir de quelle façon sera traité le questionnaire avant de l'élaborer : sa rédaction influence sa construction : questions ouvertes, fermées, corrélations entre les questions, etc.

Quelle est la structure-type d'un questionnaire ?La présentation de l'enquêteur et de l'enquête

Ce préalable est parfois oublié. Il est utile de prévoir les moyens pour introduire le questionnaire auprès des personnes à interroger. Le thème exact de l'étude peut être caché ou contourné, s'il risque de provoquer une mauvaise réaction de la part de la personne interrogée (biais, réponses de façade, dissimulation, crainte, refus, etc). Le sujet de l'étude peut nécessiter une formulation simplifiée et moins "institutionnelle".

Les questions d'introduction

Ces questions ont pour but d'établir un climat d'intérêt, voire de confiance entre l'enquêteur et l'enquêté, si l'enquête se déroule en face à face,. Elles sont générales et formulées de façon à ce que la réponse soit positive, même si celle-ci n'est pas directement utile pour le sujet.

Les questions qualifiantes

Ces questions servent lorsque l'on on a besoin de savoir si l'individu possède l'information recherchée, et éventuellement pour qu'il réoriente l'enquêteur vers une autre personne, si nécessaire. Leur forme est plutôt dichotomique.

Les questions de mise en route

Elles servent à centrer progressivement le questionnaire sur le thème de l'étude, en commençant par des questions simples (de comportement, par exemple).

Les questions spécifiques

Elles sont le cœur du questionnaire : les réponses à ces questions doivent fournir à l'étude les informations les plus importantes et les plus ciblées. A ce stade, l'enquêté doit être bien dans le sujet et en pleine confiance avec l'enquêteur. On peut lui poser des questions plus personnelles ou le mobiliser dans un effort de réflexion sur, par exemple, ses motivations, ses opinions, ou encore ses jugements personnels.

Les questions d'identification

Les réponses à ces questions permettent de décrire les répondants et éventuellement de les classer en groupes distincts. Ces questions sont de deux sortes :

• les variables socio-démographiques (sexe, âge, profession…),
• les éléments psychologiques (valeurs, opinions…).

Comment rédiger le questionnaire ?Les bases du questionnaire

• Les questions sont courtes, simples, claires, et sans ambiguïté de sens.
• Leur formulation ne doit pas influencer la réponse, par exemple en impliquant une réponse de nature positive ou négative.
• Prévoir pour la formulation des questions si le questionnaire sera traduit, et veiller à la qualité de cette traduction.

-Le vocabulaire

-Le style

Les moyens pour introduire le questionnaire auprès des personnes à interroger

Cette étape détermine la qualité finale des résultats obtenus par l'enquête. Il ne faut donc pas la négliger. Le moyen le plus efficace est la lettre ou le mail envoyés personnellement à chaque individu de l'échantillon. Il doivent contenir :

• l'indication de l'organisme et du bureau/service qui réalisent l'enquête ;
• les buts avoués de l'enquête ;
• des incitations à participer : intérêt pour la collectivité, la recherche, etc.
• les modalités de réacheminement du questionnaire, s'il est envoyé (date butoir, coordonnées…) ;
• la signature d'un responsable de l'organisme qui réalise l'enquête.

La présentation générale de la lettre doit être particulièrement soignée.

.

.

• Exemples

.

.

Echantillon

On désigne par échantillon le groupe de personne qui sera enquêté effectivement. Ces personnes sont sélectionnés parmi le groupe cible de l'évaluation, et cette sélection dépend de la méthode choisie pour désigner l'échantillon (voir comment construire l'échantillon ?).

Hypothèses de travail

A part dans le cas d'une approche empirique de l'évaluation (ce qui est Presque impossible), les recherches scientifiques en général : (1) développent des hypothèses, et (2) les vérifient. Ce principe est à la base de l'élaboration de l'enquête. Les résultats de l'enquête permettent à l'évaluateur de vérifier les hypothèses qui sont au cœur de l'enquête, de les renforcer ou/et de les corriger.

Public-cible

Le public-cible représente la part de la population à laquelle l'enquête se consacre. Une typologie ou des variables descriptive le détermine.

Typologie

La typologie est une méthode qui divise la population en types ou en sous-groupe homogène avec des critères spécifiques (économiques, sociaux, démographiques, etc.). Dans chaque sous-groupe de la typologie, les personnes interrogées partagent des caractéristiques similaires (correspondant aux critères de la typologie), ou les mêmes valeurs pour certaines variables prédéterminées.