Evaluation methodological approach

.

A quoi sert le focus group?

Les évaluateurs utilisent le focus group avec deux objectifs différents :

• C'est un outil de collecte d'informations auprès des personnes réunies.
• L'outil permet la confrontation en direct d'analyses et de points de vue, favorisant ainsi la diversité des propositions et le recoupement de l'information.

Le focus group permet de débattre des informations, opinions et jugements déjà collectés, d'éclairer les raisons qui motivent les opinions exprimées et de s'assurer de leur consistance. De ce fait, l'outil doit être utilisé après une collecte suffisamment complète pour nourrir le débat et favoriser la controverse. Le focus group contribue utilement à enrichir les matériaux de la collecte, mais il n'est pas un outil de collecte " primaire ".

Dans le cadre d'évaluations, le focus group peut être utilisé au cours des différentes phases de l'évaluation, avec des publics variés, selon les objectifs poursuivis.

Quels sont les usages les plus fréquents ?

On peut utiliser le focus group comme un :

• moyen de recueillir des informations et des points de vue auprès d'une catégorie d'acteurs, d'opérateurs ou de bénéficiaires,
• moyen d'approfondir des hypothèses et des analyses auprès d'une catégorie d'acteurs, d'opérateurs et de bénéficiaires,
• moyen d'expression et d'explication des divergences de points de vue et d'analyses entre différents groupes d'acteurs, appartenant ou non aux mêmes catégories socio-institutionnelles,
• outil d'analyse de l'impact d'un programme, notamment à l'échelle locale,
• outil de restitution à l'échelle locale des observations et des premières conclusions des analyses de terrain des évaluateurs,
• moyen de définir et de valider des axes de propositions et de recommandations (au niveau institutionnel comme local).

Les fonctions du focus group

Pour quels résultats ?

• collecter des informations quantitatives et surtout qualitatives,
• approfondir des analyses, des points de vue (les sujets sont en situation d'interaction : le but recherché est la confrontation de leurs avis en temps réel),
• permettre une meilleure appréhension par certains acteurs, des points de vue d'autres groupes et approfondir ou dépasser la diversité des analyses et points de vue entre types d'acteurs. Par exemple, au cours d'évaluation de filières, des focus group avec les différents acteurs de la chaîne sont fréquemment menées et donnent de bons résultats.
• élaborer ou tester des hypothèses de travail en début ou en cours d'évaluation,
• élaborer ou tester des conclusions, des recommandations ou des propositions à mi-parcours de l'évaluation, avec des acteurs partie prenante, ou des bénéficiaires.

Le focus group prend ses racines en sociologie, en anthropologie sous la forme de l'entretien collectif, ainsi qu'en marketing.

Débat

Les théoriciens ne sont pas tous d'accord pour rattacher le focus group à la "famille" des entretiens de groupe. Il existe différentes approches et méthodes de constitution de groupe, ainsi que d'animation de réunions. Les références scientifiques de chacune de ces "familles" d'entretien de groupe sont différentes. Le choix entre ces méthodes dépend de l'objectif que l'on donne à ces entretiens de groupe.

Différences entre l'entretien collectif et le focus group

Les entretiens collectifs sont conduits à partir d'une thématique relativement large. L'objectif recherché est alors de recueillir des informations, des points de vue, des pistes de réflexion. L'objectif du focus group est de centrer le débat sur un nombre limité de sujets et d'amener les participants à détailler leurs opinions, à produire leur analyse, voire des propositions.
La principale différence entre l'entretien collectif et le focus group se situe dans la méthode d'animation. Un entretien collectif est conduit selon un mode interactif entre l'animateur et les participants, alors que le focus group privilégie les interactions entre les participants.

Détails

• En marketing, les focus group sont utilisés assez fréquemment pour élaborer et valider les messages publicitaires ou l'analyse de nouveaux produits.
• Dans les pays en développement, ils sont utilisés en communication sociale pour mettre au point des messages compréhensibles, notamment dans des campagnes de sensibilisation (prévention anti-sida, etc.).

Le focus group est assez fréquemment utilisé en évaluation de projets ou de programmes, en particulier pour les études de terrain auprès des bénéficiaires.
Il pourrait davantage être utilisé dans le cadre d'évaluations sectorielles et pays. Dans ce cas, les objectifs et les catégories d'acteurs avec qui réaliser ces entretiens sont élargis.

A quelle étape de l'évaluation utiliser les focus group ?Focus group d'approfondissement

Ces entretiens permettent d'approfondir, analyser et recueillir des réactions en cours d'évaluation, avec des acteurs opérationnels et des bénéficiaires notamment, sur les premières pistes de conclusions et recommandations.
Il ne faut pas les confondre avec des réunions de restitution ou de validation des conclusions finales avec les commanditaires.

Avec quels outils combiner le focus group?En complément de l'étude de cas

Dans le cas d'évaluations sectorielles ou pays, le focus group peut compléter l'outil "étude de cas". Les évaluateurs peuvent par exemple créer des groupes comparatifs ou des groupes de réaction à des propositions.
Les entretiens avec ce type de groupes sont réalisés, soit dans d'autres zones, soit sur d'autres secteurs ou filières que ceux traités par l'étude de cas. Ils permettent de recueillir des informations et des points de vue que l'évaluateur pourra utiliser pour estimer le degré de spécificité ou au contraire de généralisation éventuelle de certaines conclusions de l'étude de cas.

En complément de l'entretien individuel

L'objectif est alors d'approfondir, de confronter et d'approfondir collectivement un certain nombre d'analyses et de points de vue particuliers, exprimés au préalable en entretien individuel.

En complément d'une enquête par questionnaire

Le focus group permet de comprendre et d'analyser les résultats obtenus à la suite d'une enquête par questionnaire, et proposer au débat les conclusions qui en sont tirées.

Un moyen de rencontrer de nombreux interlocuteurs
Cet outil permet de recueillir des informations, des analyses, et des opinions auprès d'un nombre de personnes plus important que lors d'entretiens individuels. Il élargit ainsi l'échantillon de référence.

• Il permet d'approfondir et d'étayer certaines informations et analyses provenant d'entretiens individuels.
• Il permet de vérifier qu'un point de vue exprimé individuellement représente bien celui d'un groupe d'acteurs.

Néanmoins les participants ne constituent pas un échantillon représentatif de la population ciblée et les résultats ne peuvent être traités statistiquement. Les informations recueillies sont d'ordre qualitatif.

Un outil qui peut faciliter l'étude de l'impact

Peu onéreux, cet outil peut donner en outre des indications intéressantes sur l'impact d'une politique ou d'un programme sur des catégories spécifiques de bénéficiaires ou d'acteurs.

Quand l'évaluateur utilise cet outil pour une analyse d'impact, il a besoin de recueillir les points de vue des groupes d'intérêts stratégiques concernant les enjeux de la politique ou du programme évalué.
Plus l'identification préalable et le découpage en groupes stratégiques d'intérêts sont fins, meilleure sera la qualité des informations recueillies.

Une source de créativité, si la dynamique de groupe est maîtrisée

Les entretiens de groupe de type "expression de points de vue contradictoires" constituent le moyen d'analyser les réactions des acteurs face aux points de vue des autres, d'approfondir les argumentations, représentations et analyses de chaque catégorie d'acteurs grâce aux exercices de confrontation et d'argumentation.
Même si ce n'est pas leur objectif, ces réunions permettent parfois de dépasser certains blocages ou des contradictions liées davantage à des incompréhensions qu'à des stratégies reposant sur des intérêts profondément contradictoires.
La dynamique de groupe incite les participants à expliciter et à approfondir leurs raisonnements, notamment par la confrontation à des opinions différentes. Les entretiens individuels sont plus limités sur cet aspect car l'évaluateur dispose rarement des éléments permettant de relancer le dialogue.

Quelles sont les limites ?Une organisation et une préparation parfois complexes

• Nécessité d'effectuer au préalable une analyse fine des groupes stratégiques en présence au sein des différentes catégories d'acteurs concernés.

Dans le cas d'évaluations dans des pays en développement:

• Organisation de réunions complexe et longue dans le cas de bénéficiaires paysment éloignés les uns des autres,
• Difficulté de certaines régions à identifier les compétences nationales et locales pouvant aider l'évaluateur dans la préparation et l'animation de ces entretiens de groupe.

Les limites de l'expression publique 

Le focus group présente le risque que l'évaluateur ne réussisse pas à obtenir une parole "libre" de la part des participants à cause :

• du caractère public de l'expression,
• de la présence de participants pouvant limiter l'expression des autres,
• de l'absence de participants moteurs de la dynamique de groupe,
• des enjeux politiques et sociaux qui prennent plus de poids dans une dynamique de groupe que dans un tête à tête,
• de la tendance naturelle, dans un groupe, à répondre dans le sens de la majorité, plutôt que d'exprimer des opinions minoritaires.

Des délais qui peuvent s'allonger et des coûts s'allourdir

La multiplication de ce type d'entretiens peut néanmoins poser des problèmes de délais et de coûts lors de :

• du temps de préparation,
• du dédommagement des participants,
• des frais de déplacement,
• de la rémunération d'intermédiaires pour faciliter l'organisation de la réunion,
• du temps de traitement de l'information recueillie, etc.

.

.

Quelles sont les étapes de préparation?Déterminer les types de focus group utiles aux différentes phases de l'évaluation

Il faut préciser pour chaque type de focus group à mener :

• les objectifs de l'entretien (information, analyse, confrontation, proposition, etc…),
• les types de participants à réunir,
• les tâches préalables à effectuer avant le focus group pour le préparer,
• les modes d'animation à privilégier.

Programmer le calendrier de réalisation des focus groups

Pour cela, il est nécessaire de tenir compte de deux éléments :

• Le temps de préparation des focus groups peut exiger une durée assez longue. Notamment la sélection des participants, la planification et l'organisation de la réunion requièrent du temps. C'est particulièrement le cas pour les focus groups réunissant des bénéficiaires finaux.
• Les focus groups qui ont pour objet l'étude de l'impact d'une politique ou d'un programme, ne peuvent être réalisés qu'une fois que l'évaluateur dispose de premières hypothèses et analyses. Or, ils exigent un temps important de préparation.

Dans les délais impartis, il peut y avoir une certaine tension à gérer entre d'une part, le temps à consacrer à la qualité méthodologique requise pour un bon déroulement des focus groups et d'autre part, les délais de réalisation dont l'évaluateur dispose effectivement.

Identifier les groupes d'intérêts stratégiques

Un travail préalable d'analyse documentaire et d'entretiens individuels est toujours nécessaire avant l'organisation d'entretiens de groupe.
Ce travail est nécessaire pour pouvoir identifier précisément au sein des catégories d'acteurs et de bénéficiaires, les différents groupes d'intérêt stratégiques qui se dessinent. Ces groupes se distinguent par des attentes, des points de vue, des représentations sociales, des stratégie spécifiques, voire contradictoires, par rapport à la politique ou au programme évalué.

Sélectionner les participants

Une fois identifiés les groupes stratégiques en présence, il convient de sélectionner, en leur sein, les personnes qui seront invitées à participer au focus group. Pour effectuer cette sélection, il est souvent nécessaire d'avoir recours aux services d'un intermédiaire ou d'une personne ressource locale, notamment lorsqu'il s'agit d'inviter des représentants de populations vivant dans des zones difficiles d'accès ou qui ne parlent que les langues locales.

Le choix des personnes constituant les groupes doit se faire en fonction des disponibilités et des ressources humaines (comme un interprète, par exemple) et matérielles à disposition de l'évaluateur.
Si l'animation joue un rôle essentiel dans le déroulement général de la séance, la dynamique de groupe est aussi portée par un ou plusieurs leaders prenant souvent la parole et incitant les autres participants à se joindre au débat. L'animateur doit donc s'assurer de l'existence de tels leaders dans le groupe avec l'aide de la personne ressource.
Il est important de prendre le temps nécessaire pour motiver les participants et leur permettre d'arriver à la réunion, en comprenant le principe de son déroulement et en ayant réfléchi au sujet. Ceci est particulièrement recommandé dans le cas de focus group d'usagers ou de bénéficiaires, a priori moins sensibilisés à ce type de démarche.

Elaborer le guide d'animation

Le guide d'animation qui sera utilisé par l'animateur doit être élaboré suffisamment tôt pour que l'animateur ait le temps d'en prendre connaissance. L'évaluateur doit indiquer les thèmes d'étude et proposer les questions à aborder avec les participants. Il est important de rappeler que les participants doivent se sentir libres de développer d'autres questions liées aux problématiques prévues. Il est préférable d'indiquer en italique les recommandations à l'animateur (et notamment ce qu'il doit particulièrement veiller à collecter). Quelques conseils :

• condenser les questions : la liste des questions ne doit pas être trop longue. Il ne s'agit pas d'un questionnaire mais d'un aide-mémoire. L'animateur doit formuler les questions selon la réactivité de l'assistance et la teneur des témoignages. De ce fait, certaines questions préparées par l'évaluateur ne seront pas soumises directement à l'assistance, car elles auront été abordées spontanément parles participants ;
• éviter les questions sous forme d'alternative, car l'expérience montre que seule la première partie de la question est prise en compte.

Planifier les focus groups

Cette étape repose essentiellement sur les disponibilités de calendrier des personnes invitées aux focus groups, sur celles de l'équipe d'évaluation et des personnes ressources, et enfin sur l'avancée suffisante des travaux préparatoires à la réalisation des focus group.

Les focus groups sont généralement menés par un animateur (ou modérateur) qui doit être sélectionné en fonction de sa capacité à créer et à maintenir une dynamique de groupe. C'est, en effet, de celle-ci que va dépendre la qualité du focus group. De plus, il est le garant d'une discussion centrée et pertinente entre les participants. Il doit donc être bien informé des thématiques et enjeux de l'évaluation.

Quelles sont les compétences de l'animateur?

Les focus groups doivent être réalisés par une personne qualifiée. Elle doit :

• bien maîtriser la problématique de l'évaluation,
• bien maîtriser les techniques d'animation de groupe,
• parler la langue des participants de la réunion,
• posséder une connaissance suffisante des caractéristiques sociales et culturelles des participants afin de :
  • respecter les us et coutumes,
  • comprendre certains jeux de pouvoir entre les membres du groupe,
• ne pas être partie prenante des enjeux de pouvoir et des conflits sociaux entre les participants.

Si l'évaluateur n'est pas qualifié dans une ces compétences, il doit faire appel à un animateur local.

La formation de l'animateur

Même si l'animateur doit être recruté en fonction de sa technique d'animation, il est rare que celui-ci ait une bonne maîtrise de l'animation des focus group. Il est donc nécessaire de le former sur les enjeux du focus group dans le cadre de l'évaluation et sur le type d'animation favorisant la réussite du focus group. Il peut être nécessaire de prévoir une journée de formation.
Cette séance de formation comprend la présentation du guide d'animation, des précisions sur les enjeux du focus group et sur le déroulement souhaité par l'évaluateur. Il est important de vérifier avec l'animateur et avant la séance que tous les termes et les expressions utilisés dans le guide d'animation sont bien compris.

Les conseils qui peuvent être donné à l'animateur:

• rebondir sur les témoignages pour obtenir plus d'information ;
• veiller à ce que tout le monde ait le temps d'exprimer son opinion ;
• pour chaque thème abordé, faire une synthèse et demander aux participants de réagir dessus;
• reformuler les questions si elles n'ont pas été bien comprises ;
• prendre en compte le langage corporel (hochement de tête, rires)…

Quel est le rôle de l'animateur ?-Produire

• formuler le problème à résoudre sans donner de solutions,
• préciser la situation de départ,
• énoncer les hypothèses,
• centrer les discussions sur les points majeurs du guide d'entretien.

-Aider

• faire le point sur le travail du groupe,
• hiérarchiser les problèmes posés,
• reformuler les points obscurs,
• relancer le débat.

-Moduler

• rechercher les causes de blocage du groupe,
• éviter les tensions,
• contrôler les "leaders" et relancer les "timides",
• prendre en compte les silences et les moments d'hésitation du groupe.

Le rôle de la personne ressource ou de l'intermédiaire

Il est souvent utile de mobiliser des personnes ressources pour aider l'évaluateur à sélectionner les participants.
La dynamique du groupe dépend de sa composition, et la présence d'une ou deux personnes prenant aisément la parole et incitant les autres à se joindre aux débats peut favoriser la dynamique. La personne ressource peut s'assurer de la présence de tels participants au sein du groupe.
La personne ressource peut aussi se charger de préparer les participants à la réunion ; leur expliquer les modalités de déroulement, les thématiques et les objectifs du focus group.

Le rôle d'un observateur

L'observateur peut être très utile, en plus de l'animateur, pour garder une mémoire des échanges de points de vue, notamment contradictoires, qui ont eu lieu pendant le focus group.
Il peut également prendre des notes, ce que n'a pas toujours le temps de faire correctement l'animateur, en plus de son rôle.

Lorsque le focus group est utilisé comme un outil de formulation de points de vue par un groupe, il existe deux possibilités en fonction de la composition du groupe :

Le groupe est composé de personnes aux fonctions et positions relativement similaires

Lorsqu'un groupe est socialement homogène, les participants peuvent s'exprimer plus librement. Pour qu'il y ait débat, il faut cependant s'assurer que les participants n'aient pas des positions trop identiques vis-à-vis des questions proposées. Des analyses, des visions et des expériences différentes peuvent être confrontées sur une base commune de compréhension.

Dans le cas d'une composition homogène, le focus group est utilisé comme un outil permettant d'approfondir les informations et les points de vue d'une catégorie spécifique d'acteurs, qui partage les mêmes intérêts stratégiques (en termes de positions sociales et institutionnelles). Il permet de comprendre ce que les participants pensent mais aussi pourquoi ils le pensent. Le focus group offre alors à l'évaluateur une vision globale des expériences, des opinions, des attitudes et des besoins des participants

Le groupe est composé de personnes aux fonctions et positions différentes

L'évaluateur peut alors faire l'hypothèse que leurs analyses et points de vue par rapport aux questions débattues seront relativement divergents. Dans ce cas, le focus group est plutôt utilisé comme un moyen d'expression publique de ces informations. Il donne à chaque catégorie de participants l'occasion de présenter et d'argumenter son point de vue. Il permet alors de collecter des témoignages. Il permet aussi à l'évaluateur de préciser les éléments de convergence, de divergence et de complémentarité des points de vue représentés dans ce groupe. La dynamique d'expression de points de vue parfois contradictoires permettra à l'évaluateur de dégager des analyses et des compréhensions nouvelles concernant les tenants et les aboutissants de ces divergences.

Cas spécifiques

La composition des groupes peut parfois fausser le contenu des informations et les analyses discutées.

Exemple

• Dans des sociétés hiérarchisées, certaines catégories éprouvent des difficultés à s'exprimer publiquement devant leurs supérieurs, et encore plus à défendre un point de vue contradictoire. C'est une des raisons du caractère artificiel des réunions villageoises d'analyse d'impact. Cette réalité sociale est souvent sous-estimée par les évaluateurs.

Des groupes formés d'agents et de cadres dirigeants d'une même institution peuvent également être montés. L'évaluateur devra, dans ce cas, rester vigilant sur les effets du caractère public de l'expression des points de vue.

Exemple

• Dans des sociétés peu démocratiques, une prise de parole publique, voire même la demande par l'évaluateur d'une telle prise de parole, peut engendrer des risques pour les participants.

Les participants peuvent volontairement déformer leurs messages pour différentes raisons. Ils peuvent s'adresser en réalité à d'autres participants. Dans un autre cas de figure, ils peuvent défendre les intérêts stratégiques de leur groupe, l'évaluateur étant pris à partie, voire instrumentalisé s'il n'y prend garde.
L'évaluateur doit donc toujours être vigilant et maîtriser le déroulement de l'entretien de groupe. Il doit en particulier éviter qu'un individu monopolise la parole, qu'une coalition se forme et qu'elle domine le groupe. Enfin, il doit veiller à l'équilibre du temps de parole et à la teneur des propos.

Comment déterminer la taille du groupe ?

L'entretien collectif peut réunir des groupes de tailles très variables. Il est néanmoins conseillé de ne pas excéder 10 à 15 personnes par entretien, afin que chacun puisse s'exprimer effectivement.
En cas de groupes plus importants, il est possible de répartir les participants en sous-groupes d'entretiens collectifs, au moins sur une partie du temps. Il faut pour cela s'assurer de disposer de suffisamment d'animateurs pour chaque sous-groupe.
A l'inverse, en dessous de 4 ou 5 personnes, il est difficile de créer la dynamique de groupe qui constitue la "valeur ajoutée" de l'entretien collectif.

Avant la séance de travail du focus group, il est important de rappeler le cadre de l'évaluation et ses objectifs ainsi que de ne pas oublier la présentation de l'équipe. Ces préalables permettent de limiter les malentendus susceptibles de modifier le discours des participants.

L'évaluateur doit ainsi garder à l'esprit que lorsqu'il anime des focus group auprès des bénéficiaires, il est perçu comme le représentant des bailleurs de fonds, ce qui en fait le porte-parole idéal des dysfonctionnements constatés par les participants. Il doit donc être vigilant au fait que les participants sont naturellement portés à l'utiliser pour faire passer un message à d'autres groupes (de la société civile ou politiques). Ce n'est pas en soi un handicap pour la dynamique du focus group car cela permet un échange plus vif que le simple témoignage d'expériences personnelles.

Comment choisir la ou les méthodes d'animation de groupe ?

Au cours d'un focus group, l'animateur a souvent recours à différents modes d'animation de groupe, afin d'éviter la monotonie, le relâchement ou parce que la dynamique de groupe évolue.
L'entretien de groupe ne doit pas devenir une somme d'entretiens individuels. Il faut donc veiller à créer et maintenir une interaction dynamique entre les participants. Cette dynamique dépendra de la qualité de l'animation.

Concernant le mode de participation, on peut distinguer:

• Les entretiens de groupe organisés sur un mode réactif: les participants sont amenés à donner des points de vue etc. sur des informations, analyses ou propositions élaborées par l'évaluateur comme support de réflexion collective. Ce mode d'animation permet de recueillir des informations et de valider les propositions des évaluateurs.
• Les entretiens de groupes organisés sur un mode pro-actif: les informations et témoignages des participants servent de matière brute à l'élaboration collective d'analyses, voire de propositions.

Concernant le mode d'animation, on peut distinguer:

• Les entretiens conduits à partir d'une thématique relativement large et une animation très "ouverte": l'objectif recherché est alors de recueillir des informations, des points de vue, des pistes de réflexion. Ce mode d'animation est souvent mis en place au début de l'évaluation.
• Les entretiens conduits sur un mode plus structuré, plus directif et sur une thématique assez restreinte : l'objectif est alors d'amener les participants à produire une analyse ou des propositions.
• Les entretiens conduits sur un mode interactif entre l'animateur et les participants, davantage que sur les interactions entre participants : l'objectif est alors de tester et de valider des conclusions ou des propositions émanant des évaluateurs.

Quelles suggestions pour animer les discussions d'un groupe ?A faire ou à éviter dans l'animation d'un groupe

L'évaluateur ne doit pas chercher à tirer des éléments quantitatifs du focus group, et encore moins d'en attendre une quelconque représentativité concernant l'ensemble d'un groupe cible, par exemple de bénéficiaires. Il ne doit pas négliger l'effet de distorsion des opinions personnelles provenant de l'effet de groupe (enjeu d'appartenance, de reconnaissance, effet de leadership, d'affirmation exagérée, création artificielle de conflit du fait de la confrontation des opinions, etc.).

Comment gérer le rythme du focus group?

Plusieurs éléments doivent être pris en compte :

• Prévoir la durée de l'entretien de groupe : au moins une demi-journée. Il faut en effet un certain temps pour qu'un groupe commence à donner des résultats collectivement.
• Structurer la réunion en étapes, avec des moments de restitution intermédiaire au groupe. Ces moments sont nécessaires pour vérifier et stabiliser progressivement les affirmations et les points de vue exprimés.
• Veiller à créer rapidement une dynamique et un effet de groupe afin de ne pas rester sur une logique de type "somme d'individus". Il faut donc assurer une ambiance confiante et détendue, une prise de parole bien équilibrée, etc.
• Maintenir la dynamique de groupe, notamment en alternant les méthodes d'animation.

Une même réunion peut être rythmée par des moments où le groupe est "réactif" à la présentation d'une analyse, d'informations, etc. et des moments où il est "proactif", c'est-à-dire placé en situation de produire directement des informations organisées et des analyses.

Quel mode de structuration ?

La participation sur un mode "proactif" nécessite une animation très structurée. A cette fin, elle peut s'appuyer sur des supports visuels ou auditifs, ainsi que sur des exercices, des simulations, des moments de synthèse, de récapitulation etc.
La progression peut être préparée avec différentes séquences prévues à l'avance. Néanmoins il reste difficile d'anticiper sur la qualité de la dynamique de groupe, et sur son rythme effectif.

Au cours de la réunion, la prise de notes sur un paper board ou d'autres outils de visualisation collectif permet au groupe de suivre et de contrôler la synthèse des informations.

L'évaluateur doit toujours conclure la réunion par une synthèse, pour restituer au groupe le résultat de sa production et vérifier qu'il n'y a pas de désaccord ou d'incompréhension. Cette restitution doit rester informelle pour éviter les longues discussions de validation formelle.

L'animateur ou l'observateur peuvent noter les catégories de participants qui s'expriment beaucoup et ceux qui le font peu; celles qui s'adressent aux autres ou peu etc. Ces remarques seront importantes pour contextualiser a posteriori les propos tenus.

Après la réunion, les rapporteurs et l'animateur revoient et confrontent leurs notes afin d'identifier et de combler les lacunes éventuelles. Il est aussi utile que les évaluateurs analysent la dynamique de la séance afin de considérer les contraintes et de décider des corrections éventuelles à apporter pour les focus groups ultérieurs.

Un bon moyen de garder en mémoire aussi bien les remarques sur le déroulement de la séance que le contenu des discussions est de les enregistrer. Cela permet de garder les propos in extenso, de libérer l'observateur qui peut ainsi se concentrer sur les éléments importants qui figureront dans la synthèse de la journée et intervenir dans la session pour des questions oubliées par l'animateur ou des éclaircissements.

Cela est particulièrement recommandé pour les focus group en langues locales. Dans ces cas, les prises de notes étant généralement effectuées dans une autre langue (français, anglais, espagnol, …), on observe une grande déperdition du verbatim de la session. ,L'enregistrement permet de récupérer ce que les prises de notes n'ont pu mémoriser. Dans la mise en œuvre d'un focus group, l'évaluateur devra donc prévoir la journée de travail supplémentaire nécessaire à la transcription de la séance.

Quelques suggestions sur la prise de notes pendant le focus group

Les notes sont rédigées à la première personne pour refléter les paroles exactes telles qu'on les entend. Les mots clefs et les idées fortes sont mis en évidence dans la prise de notes.
Les phrases originales et les dictons populaires sont notés tels quels pour ne pas être déformés
Les notes doivent être aussi complètes que possible et toutes les divergences d'opinion doivent y figurer.

Le traitement dépend beaucoup de la qualité de structuration du focus group.

Cas du focus group très structuré

Dans ce cas, il est plus facile de grouper les réponses et d'identifier quelle partie du groupe a eu telle opinion, face à telle autre qui ne la partageait pas, sur telle question abordée.
Les résultats sont alors assez simples à mettre en place, et peuvent être directement utilisés par l'évaluateur.

Cas du focus group peu structuré

Le focus group se rapproche alors de la conversation entre plusieurs personnes. Peu de conclusions ont été formulées et adoptées collectivement par les participants. Dans ce cas, le traitement des résultats issus du focus group ressemblera davantage de celui des entretiens individuels.
Il s'agit d'une somme d'opinions individuelles, que l'évaluateur peut citer. L'avantage de ces opinions par rapport à l'entretien individuel, réside toutefois dans le caractère d'expression publique de ces opinions, qui les rend plus déterminantes car susceptibles d'être immédiatement contredites.

Le focus group est un outil dont les coûts restent modestes. Ils varient toutefois selon le nombre de réunions collectives organisées et selon la complexité de leur organisation (distance, etc.). Le focus group s'avère en général moins cher qu'une enquête.

Les éléments de coût à prendre en compte

En plus du temps de travail et des frais de déplacement du ou des évaluateurs, il est nécessaire de prévoir :

• La rémunération de spécialistes de l'animation de groupes, si l'évaluateur lui-même n'est pas en mesure de le faire
• La formation éventuelle d'animateurs locaux
• La rémunération éventuelle d'intermédiaires pour organiser des réunions à longue distance
• La rémunération éventuelle d'interprètes
• Les frais de déplacement des participants
• Les frais de restauration, logistique, location de salles…

L'évaluateur doit-il accepter de tout rémunérer ?

Certains évaluateurs rémunèrent les participants à des focus group, en leur accordant par exemple des per diem en plus de la prise en charge des frais de déplacement et de restauration.
Il faut rester très prudent concernant cette pratique qui peut biaiser l'expression des participants et remettre en cause la validité des résultats. Cependant, il est vrai qu'en fonction du métier du participant (par exemple un commerçant ou un agriculteur), le manque à gagner en consacrant une demi ou une journée entière disponible pour le focus group peut être important.
Dans ce cas, il convient de rester pragmatique et de faire de l'indemnisation des participants une pratique exceptionnelle, avec des montants très modestes. Il ne faut surtout pas qu'elle soit la principale raison de la participation d'une personne, et encore moins que les autres participants aient l'impression que leur opinion a été "achetée".

.

.

Pourquoi l'utiliser dans ce contexte?

Dans une évaluation pays/région, la question centrale est moins de savoir comment recueillir les informations, que de déterminer lesquelles rechercher, auprès de qui, sur une question très vaste et au cours d'une période réduite.

Quelles sont les difficultés spécifiques en évaluation pays ?L'identification des enjeux stratégiques et des bénéficiaires

Un des enjeux de l'évaluation pays est de déterminer précisément les catégories d'acteurs qui ont effectivement été bénéficiaires d'une façon ou d'une autre de la politique mise en place. Il lui faut ensuite analyser les stratégies et logiques déployées par les différents groupes d'acteurs vis-à-vis de la politique évaluée.

Le grand nombre d'acteurs

L'évaluation pays est souvent confrontée à la difficulté du grand nombre d'acteurs à rencontrer : institutionnels en amont, opérateurs et acteurs de la mise en œuvre, bénéficiaires, etc

La sélection des participants

La sélection de personnes et d'institutions auprès de qui recueillir des informations et des points de vue est parfois trop restreinte. Souvent effectuée en début d'évaluation pour des questions de gestion du calendrier, elle n'est pas forcément adaptée aux enjeux et problèmes stratégiques.

Le manque de temps

Les évaluateurs sont souvent amenés à utiliser une grande partie de leur temps pour des entretiens individuels avec des institutionnels, et peuvent manquer de temps pour les études d'impact auprès des bénéficiaires (d'autant que la mesure de l'impact en évaluation pays s'avère délicate).
Le temps imparti et les budgets ne permettent pas d'effectuer des séries d'entretiens avec toutes les catégories d'acteurs potentiellement impliquées par la politique évaluée.

En quoi le focus group est-il adapté à ces difficultés ?

L'entretien de groupe a été jusqu'alors assez peu pratiqué en évaluation pays/région.
Pourtant, il gagnerait à l'être davantage, à toutes les phases de l'évaluation.
Dans le contexte de l'évaluation pays, le focus group peut donc être utilisé au service de deux objectifs :

• pour identifier et analyser des problématiques,
• pour mener une analyse d'impact.

Une importance variable sera accordée à ces deux objectifs, en fonction de la nature de l'évaluation, ex ante, à mi-parcours ou ex post. L'usage de le focus group dans une évaluation ex ante, par exemple, aura davantage pour finalité de définir les besoins et les priorités avec les acteurs susceptibles d'être concernés par un programme ou une politique. L'objectif d'analyse d'impact, quant à lui, sera peut-être moins recherché. Il n'est toutefois pas exclu : les évaluateurs peuvent chercher à mesurer l'impact d'une politique antérieure ou d'un autre bailleur, afin de mieux définir les orientations à prendre pour la nouvelle.
Dans une évaluation à mi-parcours, le focus group peut viser davantage à recueillir des opinions ou des suggestions d'acteurs opérationnels parties prenantes ou de bénéficiaires. Dans ce cas, il s'agit de mieux cerner les dysfonctionnements ou de souligner les points forts, dans la perspective des recommandations à faire réorientant la politique en cours.
La richesse du focus group en fait un outil souple qui peut s'adapter à différentes phases et à différents types d'évaluation. Il revient aux évaluateurs de bien définir dans leur méthode, au préalable, ce qu'ils en attendent.

En réponse à certaines difficultés propres au contexte de l'évaluation pays/région, le focus group peut être défini selon trois objectifs.

Un outil d'identification et d'analyse des problématiques

Dans ce cas, le focus group gagne à être combiné avec l'entretien individuel.

Première phase d'entretiens individuels

Quelques entretiens individuels très ciblés sont réalisés pour appréhender les enjeux. Ils sont centrés sur quelques personnes :

• qui ont une vision assez globale de la politique, de ses objectifs et de ses effets,
• qui ont des situations institutionnelles différentes, afin d'éviter l'écueil d'une vision initiale trop centrée sur le point de vue des institutionnels en charge de la définition et du pilotage de cette politique.

Deuxième phase de focus group

Sur la base du résultat de ces premiers entretiens, un ou plusieurs focus group sont organisés avec :

• des responsables et des acteurs impliqués dans la définition et la mise en œuvre de la politique,
• des acteurs qui ont une vision plus large sur les effets.

Ainsi, le premier cercle des acteurs ayant participés aux entretiens individuels est élargi.
L'objectif est l'approfondissement collectif et le partage d'un premier choix d'analyses stratégiques à mettre en débat et sur lequel centrer le questionnement.
Ce type d'entretiens d'identification peut être décliné à différentes échelles pays et sur différents secteurs. Il permet de consulter rapidement de nombreux institutionnels.

Un outil d'analyse d'impact

Il s'agit avant tout d'identifier et analyser quels ont été les groupes d'acteurs sur lesquels la politique a eu un impact (positif ou négatif).

Ces groupes d'acteurs ne doivent pas être limités aux seuls bénéficiaires finaux des programmes mis en place. Il faut aussi considérer ceux qui, aux différentes échelles de responsabilité, ont tiré un avantage de la politique évaluée (et lequel) ou ont été touchés d'une manière ou d'une autre.
Des bénéficiaires "imprévus" au moment de la définition de la politique peuvent également exister et être pris en compte.
Dans le cadre de l'évaluation pays, l'analyse d'impact concerne donc aussi un ensemble de catégories intermédiaires entre les décideurs et les bénéficiaires finaux.
Trois types d'entretiens peuvent être menés dans cet objectif d'analyse d'impact et en complément d'une série d'entretiens individuels.

Trois types d'atelier

.

.

• Exemples

.