Evaluation methodological approach

.

Définition générique

L'analyse culturelle et sociale est construite à partir d'apports de la sociologie et de l'anthropologie.

Dans l'ouvrage fondateur " Economie et société ", Max Weber définit la sociologie comme " une science dont l'objet est de comprendre, par interprétation, l'activité sociale pour ensuite, expliquer les chaînes causales du déroulement de cette activité ainsi que ses effets " (Weber, 1922).

Sans entrer plus avant dans des considérations théoriques, disons que la sociologie étudie les groupes qui composent les sociétés, les processus d'interaction entre ces groupes et les effets de ces interactions dans différentes sphères telles que l'économie, le droit, l'éducation, etc. Par ailleurs, l'évolution biologique et culturelle de l'humanité est le sujet d'étude de l'anthropologie, qui interroge les significations symboliques des pratiques sociales, qu'elles soient de l'ordre de l'économique, du domestique ou du rituel. Ainsi pour étudier les faits culturels et sociaux, les deux disciplines de référence sont l'anthropologie et la sociologie.

Dans le domaine du développement

Dans le domaine du développement, l'apport de la sociologie et de l'anthropologie repose sur les travaux de quelques sociologues et anthropologues dont le plus connu est Michael Cernea. Celui-ci a introduit l'application de la sociologie et de l'anthropologie du développement à la Banque Mondiale dans les années soixante dix et a publié, depuis, un grand nombre de travaux dans lesquels il met en avant le rôle constructif des sciences sociales dans les stratégies de développement.

" Pour mettre en pratique les principes fondamentaux de l'analyse sociale, pour prévoir et concevoir, le sociologue ou l'anthropologue du développement dispose des connaissances nécessaires en matière d'organisation sociale et de systèmes culturels pour induire un développement moins douloureux et plus performant " (Cernea, 1995).

Le premier sommet mondial pour le développement social qui s'est tenu à Copenhague en mars 1995 est une référence majeure pour l'analyse culturelle et sociale dans le domaine du développement.

Définition appliquée à l'évaluation pays

L'analyse culturelle et sociale appliquée à l'évaluation pays, consiste à aborder la société du pays sous l'angle de ce qui la structure et l'anime. L'analyse culturelle et sociale s'attache à dégager les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêt et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent.

L'analyse culturelle et sociale s'intéresse non seulement aux structures de base mais aussi aux facteurs d'introduction du changement dans les sociétés, que ceux-ci aient une origine endogène ou exogène. Elle permet ainsi de comprendre les rapports entretenus, par les sociétés dans leur ensemble, ou par les groupes spécifiques qu'elles contiennent, avec le développement et la coopération.

Par cette démarche, il s'agit d'apporter à l'évaluation, une compréhension de la façon dont les dynamiques propres à une société, les hiérarchies sociales, les rapports sociaux de sexe, les croyances religieuses, les représentations en vigueur concernant le travail, l'argent, la richesse, la pauvreté influent sur les possibilités de recevoir et de mettre en œuvre des programmes de coopération.

.

.

Quand faut-il utiliser l'analyse culturelle et sociale en développement ?Analyse des changements sociaux et des blocages au développement

L'analyse culturelle et sociale devrait être l'un des instruments privilégiés dans la conception des stratégies et la définition des programmes. Elle permet en effet d'apprécier la capacité qu'a la structure sociale d'absorber et de valoriser les changements induits par les stratégies de développement. Elle donne aussi un aperçu sur les spécificités de telle ou telle société, à prendre en considération dans la mesure où elles sont de nature à faire échec à certains modèles importés dont les promoteurs sont peu avertis des cultures et des dynamiques propres.

" L'étude des structures sociales, dans un contexte de changements nombreux et accélérés (…) manifeste les contradictions existant entre les divers principes de structuration et d'organisation, ainsi que les décalages existant entre les aspects " officiels " de la société et la pratique sociale " (Balandier, 1985).

Pour évaluer la stratégie paysPrincipalement en évaluation ex ante

L'usage le plus judicieux de l'analyse culturelle et sociale est en évaluation ex ante, dans la mesure où la connaissance des sociétés nationales est un élément sur lequel appuyer l'ensemble de la construction de la coopération. C'est donc cette partie de la méthode qui est davantage développée.

L'évaluateur cherchera à établir le cadre de référence culturelle et sociale dans lequel la stratégie de coopération et les programmes qui en découlent peuvent s'inscrire de façon plus ou moins dynamique dans telle ou telle société. Il s'agit par là de mettre en lumière les facteurs qui se prêtent aux stratégies de développement introduites par la coopération et, d'autre part, de mettre en garde les porteurs de programmes de coopération qui iraient à l'encontre de certaines caractéristiques sociales, religieuses, politiques, d'usages en vigueur et de groupes d'intérêt et qui risqueraient par là, d'aller à l'échec. 

En évaluation intermédiaire et ex post

L'usage en évaluation ex ante n'exclut pas son usage dans les évaluations intermédiaires ou ex post.

Dans les évaluations intermédiaires, l'outil peut être utilisé pour juger de la pertinence des objectifs stratégiques et des priorités des programmes.

Dans les évaluations ex post, des rapprochements seront faits entre l'analyse culturelle et sociale de départ et celle des résultats des programmes découlant de la stratégie.

Cadre de référence schématisé de l'analyse culturelle et sociale

Dans tous les cas

Les caractéristiques sociales et culturelles à prendre en compte le sont au regard de l'impact qu'elles peuvent avoir sur les stratégies de coopération. C'est à dire, sur la façon dont :

• les populations cibles peuvent adhérer aux actions inscrites dans ces stratégies ou bien y être réticentes,
• les responsables locaux des programmes de coopération peuvent en valoriser les effets dans le sens de l'intérêt général ou en capter les bénéfices pour des intérêts de groupes, de castes, de communautés,
• des croyances religieuses ou des liens de subordination dans les rapports sociaux peuvent être des adjuvants ou des freins vis-à-vis des changements introduits par la stratégie de l'Union Européenne.

Combiner à l'analyse SWOT

De manière plus globale, l'analyse culturelle et sociale peut venir compléter une analyse SWOT.

La raison d'être de l'analyse culturelle et sociale en évaluation pays est de donner les moyens d'analyser :

• Quels groupes sont visés (en évaluation ex ante) ?
• Quels groupes ont bénéficié (en évaluation ex post) de la stratégie de l'Union Européenne ?
• Quels groupes sont en situation inverse ? C'est-à-dire, négligés (en évaluation ex ante) ou lésés (en évaluation ex post) dans la formulation et dans la mise en œuvre de la stratégie.

Les pays sont habités par des femmes et des hommes qui sont non seulement des partenaires directs (autorités politiques, techniciens, acteurs économiques et administratifs) et indirects (bénéficiaires) des programmes et projets découlant des stratégies pays énoncées par l'Union Européenne mais aussi et avant tout des entités humaines évoluant dans un univers social déterminé.

La connaissance de la façon dont la société est structurée (systèmes de parenté, systèmes administratifs, politiques, juridiques, religieux) et organisée (rapports entre les groupes sociaux, rapport entre le politique et la société civile, pouvoir politique et pouvoir économique) est indispensable à l'évaluation.

Compréhension des dynamiques sociales face au développement

La connaissance culturelle et sociale nourrit la compréhension de facteurs qui déterminent des comportements économiques, des pratiques institutionnelles, des phénomènes de résistance au changement. Ces éléments n'apparaissent généralement pas dans les annuaires statistiques ni dans les présentations officielles, dans la mesure où les stratégies de développement ont, pendant toute une période, été pensées en dehors des structures sociales et mentales.

Or, " certains échecs (de projets de développement) sont simplement imputables à une mauvaise analyse économique, d'autres à une mauvaise compréhension des données socioculturelles ou à une méconnaissance du rôle des traditions des participants dans la réussite du projet " (Kottak, 1998).

Cette remarque, faite à propos de projets, s'applique tout aussi bien aux stratégies pays. Il faut noter, cependant, que la compréhension des données socioculturelles et du rôle des traditions est plus complexe à cette échelle ; c'est là toute la difficulté de la mise en œuvre de cet outil.

Approche globale de la société

Il est particulièrement délicat de donner des prescriptions de méthode pour l'analyse de l'organisation sociale dans le cadre d'une évaluation pays.

En effet, autant il est possible d'appréhender l'organisation sociale à l'échelle d'un projet localisé, autant il est risqué de calquer une telle démarche à l'échelle nationale - le risque étant de se perdre dans la complexité sociale.

Or, il n'est pas opportun de viser une explication globalisante, étant donné que l'évaluation n'est pas une démarche de recherche mais qu'elle utilise des éléments des sciences sociales pour juger de l'adéquation d'une stratégie de coopération et de développement à la réalité d'une société nationale.

Les éléments recherchés seront donc ceux permettant un cadrage qui restera sommaire mais qui doit néanmoins être pertinent au regard des changements qu'entraînent les stratégies de développement.

L'apport de l'analyse culturelle et sociale peut être considéré comme transversal aux différents outils d'évaluation. Cet outil constitue une sorte de médiation entre les objets à évaluer et les autres outils d'évaluation.

Il contribue à fonder les jugements évaluatifs concernant la pertinence, la cohérence, l'efficacité, l'efficience et la durabilité, sur les spécificités et tendances profondes des systèmes sociaux dans lesquels sont appliqués la stratégie et les programmes de coopération.

Un renouvellement des sciences sociales appliquées au développement

L'analyse culturelle et sociale ouvre un champ de renouvellement des sciences sociales appliquées, dans la mesure où sa mise en oeuvre est encore balbutiante et ne dispose que de peu de références :

" par l'exploration de nouvelles pistes, au cours de leur travail sur les variables culturelles des programmes de développement, les chercheurs en sciences sociales appliquées se voient offrir l'une des rares occasions d'accomplir des " inventions sociales ", pour reprendre l'heureuse expression de Whyte " (Cernea, 1998).

LimitesUne méthode qui n'interroge pas les objectifs stratégiques

Une première limite est inhérente à la méthode proposée. Celle-ci consiste en effet à définir le champ de l'analyse culturelle et sociale à conduire en fonction des objectifs stratégiques.

Or, si l'outil est utilisé pour la conception de la stratégie, le champ n'est défini que par l'objectif général de l'Union Européenne, généralement indépendant du contexte concret du pays.

Si l'outil est utilisé pour l'évaluation de la stratégie, le champ se rapporte alors au système d'objectifs de la stratégie à évaluer. Mais, dans ce cas, il y a un risque de rester aveugle aux variables qui auraient pu conduire à choisir un système d'objectifs différent. 

Une méthode délicate à mettre en oeuvre

Un autre aspect à évoquer, mais qui est davantage une difficulté de l'exercice qu'une limite, réside dans la responsabilité assez étendue laissée à l'évaluateur quant aux investigations à mener.

Il est en effet possible de suggérer ici les questions à aborder, les sources d'information et la méthode de collecte et d'analyse des informations pour ce qui est du cadrage général, mais pour ce qui est des enjeux spécifiques à chaque pays considéré, l'évaluateur aura à déconstruire lui-elle même certaines formulations du CSP afin de décliner les axes du cadrage général en sous questions particulières.

Un profil de socio-anthropologue est donc requis dans l'équipe d'évaluation.

.

.

Trois domaines constituant le cadre de référence

L'évaluation ne prétend pas faire une analyse exhaustive des sociétés dans lesquelles elle a à se prononcer sur la stratégie de l'Union Européenne. Elle doit néanmoins comprendre de façon fine, dans leur spécificité, les grands traits de ces sociétés.

Les grands traits des sociétés sont recherchés dans trois domaines qui peuvent être considérés comme constituant un cadre de référence donnant accès aux principales caractéristiques d'une société et permettant de les mettre en perspective avec la problématique du développement.

Ces trois domaines sont:

• Héritages : croyances, coutumes, patrimoine et contexte historique
• Mutations : l'organisation sociale, juridique, politique de la société et ses bouleversements
• Appropriations : culture, métissages et production de la modernité

Pour chacun de ces domaines, des zones d'enjeux sont identifiées et présentées ici sous forme de tableaux. Elles doivent être adaptées au contexte et déclinées en questions qui forment le questionnement de l'évaluation.

Héritages : croyances, coutumes, patrimoine et contexte historiqueDéfinition

Les " héritages " renvoient aux principaux éléments du passé qui sont considérés, dans une société donnée, comme ayant principalement contribué à la configurer dans sa forme actuelle.

Argument

Les sociétés d'aujourd'hui sont modelées par les périodes déterminantes du passé; certains moments décisifs de l'histoire des peuples laissent des traces dans des pratiques familiales et sociales, sans qu'elles ne soient toujours explicitées.

.

Comment prendre en compte le contexte historique ?

Il ne s'agit pas ici d'accumuler des dates ni de faire œuvre d'historien mais d'être en mesure de replacer la stratégie de coopération et de développement dans une dimension diachronique signifiante.

En d'autres termes, le questionnement, dans le domaine du contexte historique, est destiné à donner à l'évaluation certains moyens d'établir des liens entre des phénomènes actuels et des événements du passé dont certains sont vivaces dans les mémoires et d'autres plus enfouis mais cependant agissants. Ce questionnement est à replacer dans la conception du développement comme processus ininterrompu de changement.

Tableau des zones d'enjeux dans le domaine des héritages.

.

.

Mutations : l'organisation sociale, juridique, politique de la société et ses bouleversementsDéfinition

La confrontation de modèles sociaux et politiques entre Nord et Sud mais aussi entre pays du Sud a nécessairement des impacts sur les systèmes nationaux. C'est ce qu'il convient d'examiner sous la rubrique des mutations.

Argument

Une société n'est jamais figée et la tentative de cerner au plus près les systèmes et valeurs qui la fondent ne saurait se satisfaire d'une approche statique. La période récente est marquée par une accélération des échanges et des coopérations bilatérales et multilatérales. Sous le double effet de ces mouvements et des évolutions internes aux sociétés étudiées, certaines données sociétales évoluent.

Comment prendre en compte les mutations ?

La mise en perspective des mutations socio politiques avec la stratégie de coopération européenne repose sur la confrontation des équilibres et déséquilibres à l'échelle mondiale avec les évolutions observables dans la société étudiée.

A cet égard, il y a lieu de discerner si les changements impliqués par les stratégies de l'Union Européenne font écho à des changements survenus dans l'histoire des pays ou s'ils les ignorent.

Tableau des zones d'enjeux dans le domaine des mutations.

Empowerment: culture, cultural mixing and technologyDéfinition

Les cultures des peuples puisent dans le passé autant qu'elles s'abreuvent aux multiples courants qui traversent toutes les sociétés. Cette re-création permanente est à la fois source d'identité et vecteur de communication et d'échange avec d'autres peuples et d'autres civilisations.

Argument

Le fond culturel est une dimension centrale de la dynamique de coopération. Les cultures sont le terreau sur lequel reposent les phénomènes d'adaptation ou de rejet face à l'introduction du changement. En même temps, elles sont constamment renouvelées du fait d'apports internes et externes.

Comment prendre en compte les appropriations culturelles ?

Tant les lectures préalables que les observations réalisées dans le pays doivent permettre de porter attention à toutes les formes de production culturelles qui témoignent des valeurs et des aspirations de leurs auteurs et, à travers eux, des groupes sociaux, ethniques, religieux qui forment la société.

La littérature, aussi bien que la musique, les arts graphiques et plastiques, le théâtre, la danse mais aussi certaines pratiques populaires telles que la cuisine, les contes, l'artisanat d'art expriment des façons de se projeter dans un monde en mouvement et, à ce titre, ont leur place dans l'analyse du développement et de l'accueil réservé aux programmes de coopération.

Tableau des zones d'enjeux dans le domaine des appropriations.

.

1ÈRE ÉTAPE : PHASE PRÉPARATOIRE1/ La recherche documentaire

Il est important de préparer une mission de ce type par une recherche documentaire en amont large et approfondie qui permette aux évaluateurs de pointer les enjeux véritables, de poser les bonnes questions et de tester ensuite leurs hypothèses sur le terrain, par le biais des panels d'experts et des entretiens. Autrement dit, la quête d'informations doit se faire bien avant la mission, par la recherche documentaire.

Le recherche documentaire a pour objectif :

• acquérir une connaissance fine de la société ;
• pointer les véritables enjeux au sein des trois domaines de références et poser les bonnes questions (les hypothèses seront par la suite tester sur le terrain) ;
• être capable d'animer un débat de fond ;
• crédibiliser l'évaluateur auprès des experts par une connaissance des sujets.

Les questionnements de l'outil étant extrêmement étendus, il est nécessaire de mener la recherche documentaire avec un souci d'efficacité. Nous proposons ici une méthode pour mener cette analyse documentaire.

Les bibliographies par pays ou par thème

L'idéal est de disposer d'un répertoire bibliographique ou de bulletins signalétiques qui font le point, périodiquement, sur les publications consacrées à un pays ou une région du monde. Dans ce cas, le travail de recherche est grandement facilité par la lecture des notices bibliographiques qui permettent d'identifier rapidement les travaux pertinents pour la stratégie-pays et d'aller directement à l'essentiel. Il faut noter toutefois que ces bibliographies, lorsqu'elles sont éditées sous forme d'ouvrages, ne sont pas toujours actualisées en raison du décalage entre l'actualité éditoriale foisonnante et les délais de réalisation d'un tel index.

Les ouvrages et annuaires de type handbook avec entrée par pays et/ou par thème

Dans les cas, très nombreux, où il n'existe pas de répertoire bibliographique, nous conseillons de débuter cette recherche documentaire par la lecture d'articles de type Annuaire ou Handbook qui résument généralement assez bien l'histoire d'un pays et font régulièrement le point sur l'actualité politique, économique et sociale de celui-ci. Il en existe en français, en anglais et autres langues. L'intérêt de telles lectures est certes limité, mais il permet de se familiariser avec l'histoire du pays sans perdre trop de temps à lire des sommes historiques et, surtout, il donne souvent l'opportunité de découvrir une première bibliographie de référence.

.

Les ouvrages collectifs centrés sur un pays

Traitant pêle-mêle de l'histoire ancienne, des langues, des structures sociales, des religions, etc., ces ouvrages sont évidemment d'inégale qualité. Mais ils sont doublement précieux en ce qu'ils permettent un balayage assez rapide et exhaustif des réalités culturelles et sociales visées par l'outil et aident à affiner la recherche documentaire en fournissant des bibliographies plus spécialisées qui incitent à aller plus loin sur chacun des thèmes.

Les ouvrages de référence ou qui font débat dans un pays

Cette étape consiste en la lecture de documents plus spécialisés, par thèmes ou par discipline. Ainsi, sera-t-il utile de consulter des ouvrages ou des articles de sociologie, d'anthropologie, d'histoire, de géographie humaine, de science politique ou d'économie portant sur le pays ou une région de celui-ci. L'idéal étant d'avoir consulté une ou plusieurs références se rapportant à chacun des trois thèmes de l'analyse culturelle et sociale.

Il est important de connaître (et si possible d'avoir lu) les auteurs ayant travaillé sur le pays et leurs principaux ouvrages. Outre que cela fonde la crédibilité des évaluateurs, cela permet aussi de lancer ou de relancer les débats lors des panels autour d'une thèse connue et débattue.

.

Les articles de revues spécialisées, par grands thèmes et disciplines sur le pays

Il est intéressant de concentrer une partie de la recherche documentaire sur les articles de revues et autres documents se rapportant au pays ou au thème considéré. Le gain de temps est souvent appréciable. Aujourd'hui, de nombreuses revues spécialisées offrent des services en ligne qui permettent de consulter ou même de télécharger des articles et des dossiers qui peuvent s'avérer utile pour une mission d'évaluation.

Les publications locales, working papers et autres documents produits par les institutions de recherche ou les observatoires du pays

Durant la mission, nous conseillons également de prendre connaissances des travaux produits localement et qui ne sont pas toujours accessibles ou disponibles en Europe :

• Se rendre systématiquement auprès des éditeurs locaux pour consulter ou acquérir leurs publications qui, souvent, concernent d'assez près les questionnements de l'analyse culturelle et sociale.
• Consulter les organismes de recherche ou les observatoires (type Observatoire économique et social) qui ont souvent des bulletins ou des working papers intéressants et qui publient des études fondées sur des enquêtes menées localement.
• Enfin, ne pas oublier de solliciter les interlocuteurs (notamment les chercheurs et professeurs) lors des entretiens, pour obtenir d'eux des papiers et autres études qu'ils auraient réalisées et qui restent souvent confidentielles.

La presse locale

La presse locale doit être également utilisée dans la démarche. Il s'agit simplement de consulter régulièrement la presse du pays avant la mission pour se familiariser avec les thèmes en débat dans la société et, sur place, de réaliser une mini revue de presse qui pourra servir, au besoin, pour

• prendre la "température" du pays,
• identifier des enjeux du débat public,
• lancer ou relancer les débats lors des panels ou des entretiens sur un des articles.

Cet usage de la presse n'est pas indispensable, mais il peut s'avérer un complément utile

La documentation officielle produite par les agences de coopération

Enfin, signalons évidemment que la recherche documentaire ne se limite pas à la recherche bibliographique d'ouvrages ou de travaux publiés.

• Il faut mentionner l'usage qui peut être fait des documents officiels produits par les agences de coopération. Ils sont évidemment incontournables.
• Mais il faut aussitôt ajouter l'intérêt de toute une littérature "grise" de rapports et autres études menées sur le pays concerné par l'évaluation.

2/ Adaptation du questionnement aux spécificités du pays

Les contextes sont trop variés d'un pays à l'autre pour pouvoir définir une liste de questions type qui présenterait le risque de laisser de côté des aspects spécifiques fondamentaux. En revanche, l'outil peut proposer des zones d'enjeux et des problématiques communes qui seront adaptées à chaque pays à la suite de l'analyse documentaire.

3/ Réalisation d'entretiens préparatoires

Ces entretiens ont un double objectif : d'une part, les personnes interrogées peuvent fournir des contacts intéressants et des orientations bibliographiques et d'autre part, ils permettent de récolter des informations complémentaires et ainsi, de construire une grille de questions plus pointues.

Trois catégories de personnes semblent importantes à rencontrer :

• des spécialistes du pays considéré ;
• des spécialistes du secteur concerné;
• des " institutionnels " et responsables notamment des desks à Bruxelles.

4/ Elaboration de la liste des experts participant aux panelsSélection des experts et prise de contact

Il est important d'identifier plusieurs personnes ressources (deux ou trois) qui fourniront des noms d'experts. Avec leur aide, une liste assez fournie sera constituée parmi laquelle les experts qui participeront aux panels seront choisis en fonction de leurs objets de recherche.

La recherche de personnes ressources est primordiale, car elle permet de croiser les sources (triangulation) et de mobiliser plus facilement les personnes cibles.

Si l'on organise trois panels composés chacun de 6 personnes, il est nécessaire d'en trouver 18 au moins. Il est conseillé d'en prévoir plus, car il peut y avoir des désistements.

Stratégie de prise de contact

Tous les experts identifiés sont d'abord contactés par courrier électronique. Lors du premier courrier, une description sommaire de la mission et des panels leur est faite, en précisant les dates. Ce n'est qu'après avoir reçu une réponse montrant un intérêt pour le processus et affirmant leur disponibilité qu'une description plus précise peut leur être transmise. Tous les experts ne se manifestant pas à la suite des envois de courriers électroniques, sont relancés par téléphone si on dispose de leur numéro.

2ÈME ÉTAPE : LE DÉROULEMENT DE LA MISSION

Les panels d'experts et les entretiens de l'outil, n'ont pas vocation à fournir l'information de base sur les caractéristiques socio-anthropologiques, institutionnelles ou historiques d'un pays, mais de valider ou invalider des hypothèses élaborées en amont, de mettre en débat des questions irrésolues et, enfin, de faire surgir des enjeux qui n'avaient pas été envisagés auparavant.

Les panels d'expertsLa rencontre des panélistes

Il s'agit de rencontrer chacun des panélistes lors d'un entretien avant de les réunir dans un panel. Lors de cet entretien, une présentation approfondie de la mission leur sera faite, ainsi qu'une présentation des questions auxquelles l'analyse se propose de répondre. Par ailleurs, cet entretien préparatoire sera l'occasion de discuter ouvertement de l'expérience et de l'approche de l'expert et de recueillir ses impressions générales sur l'aide au développement dans son pays. Enfin, certaines questions de la grille pourront être abordées plus particulièrement ; ce dernier point permettra de juger de la réserve des panélistes lors des panels en comparant les deux discours

L'organisation des panels d'experts

Un panel d'experts sera organisé pour chacune des trois thématiques de l'outil :

• l'histoire, les croyances et les héritages du passé,
• la société, le droit et la vie politique
• les appropriations de la modernité : les questions culturelles et les innovations sociales.

Les panels seront d'une durée de quatre heures, entrecoupées d'une pause d'un quart d'heure.

L'objectif de chacun des panels est :

• d'une part de mettre en débat les analyses tirées des lectures préalables en ce qui concerne les principales caractéristiques socio-anthropologiques, historiques, politiques, économiques et culturelles de la société étudiée et d'analyser ses bouleversements récents ;
• d'autre part, de mettre en évidence des enjeux et des problématiques susceptibles d'intéresser la Commission dans la mise en œuvre de sa stratégie pays, par exemple, en pointant les recompositions sociopolitiques engendrées par les réformes.

Le contenu des échanges

Une des difficultés de l'exercice est de distinguer entre les énoncés de type opinion personnelle, les interprétations et les analyses proposées par les panélistes d'un phénomène qu'ils ont étudié. En effet, aucun panéliste, évidemment, ne peut être expert dans tous les domaines abordés. Or, dans le panel, ils ne sont pas seulement sollicités sur leurs spécialités, car ils sont inclus dans un débat qui aborde différents thèmes ; ainsi, ils peuvent être amenés à parler de sujets qu'ils ne maîtrisent pas.

Plusieurs éléments peuvent entraver la qualité des propos recueillis des participants :

• Un manque de pratique d'expression libre, lié à des systèmes de contrôle social, politique ou religieux ou à un passé récent marqué par une privation des libertés fondamentales ;
• Le recours à des experts très sollicités par la coopération internationale, habitués aux discours uniformisés des bailleurs.

L'animation des panels d'experts

Comme indiqué plus haut, il est très important que l'animateur des débats dispose d'une connaissance approfondie du contexte, et ce pour plusieurs raisons :

• être crédible aux yeux des panélistes et pouvoir relancer la discussion à bon escient
• éviter les propos descriptifs en orientant les débats sur la base de connaissances partagées.
• lancer des questions susceptibles, d'une part, d'intéresser les panélistes et, d'autre part, de faire émerger un débat.

Les entretiens

Cette démarche par entretiens individuels ne doit pas être considérée comme un simple complément de la méthode des panels d'experts. Elle peut être placée sur le même plan en termes de "rentabilité" dans la collecte d'informations.

Les entretiens individuels ont pour objectif soit de préciser certains points abordés lors du panel d'experts, soit de rencontrer les experts ne pouvant pas participer au panel pour des raisons d'incompatibilité d'emploi du temps ou parce que l'effectif maximum était atteint. Trois types d'entretiens :

• ceux qui sont prévus depuis Paris et qui sont organisés pour compléter l'apport du panel d'experts,
• ceux dont la nécessité s'impose, sur place, dans le prolongement des panels,
• ceux qui sont organisés sur place également, sur suggestion d'experts précédemment rencontrés ou de contacts obtenus pendant le séjour.

Il est donc primordial de prévoir suffisamment de temps à affecter à ces entretiens, avant et après les sessions du panel d'experts.

Le focus group

Afin de rencontrer les usagers ou bénéficiaires finaux des stratégies mises en œuvre et ainsi de valider les données recueillies lors des panels et des entretiens, l'organisation d'un focus group s'impose.

TL'organisation d'un focus group avec les "usagers" ou les populations cibles d'une politique de développement ne fonctionne pas selon la même démarche que celle de l'organisation de panels. En effet, alors que la prise de contact avec des experts se fait par mail ou par téléphone et peut donc se faire depuis la France, celle avec cette catégorie d'acteurs ne peut qu'être directe et implique de "labourer" le terrain. Il est donc nécessaire d'avoir recours à un relais local pour assurer l'organisation d'un focus group - le temps d'une mission d'évaluation étant déjà bien rempli. Les participants ne maîtrisent pas toujours la langue des évaluateurs, ni même l'anglais, langue véhiculaire internationale ; d'autre part, la richesse et la subtilité de la terminologie employée par les participants dans leur propre langue peut être elle-même objet d'analyse - toutes raisons qui militent pour s'adjoindre un interprète de qualité dans cette étape du travail.

3EME ÉTAPE: AU RETOUR DE MISSIONAnalyse des données

Les données issues de l'analyse documentaire, des panels, des entretiens et des focus group sont croisées pour répondre aux questions d'évaluations identifiées à la phase préparatoire. A cette phase, comme aux autres, il est important de faire la distinction entre les énoncés de type opinion personnelle, les interprétations et les analyses proposées par les personnes rencontrées. Cela ne signifie pas qu'il faille écarter les interprétation et les opinions, il faut seulement les prendre en compte comme tel.

Rédaction du rapport

Le rapport sera structuré en trois parties correspondant chacune à un des 3 domaines constituant le cadre de référence. Dans chacune des parties, il sera fait la distinction entre les données à analyser et les recommandations.

Quelles sont les ressources nécessaires à l'analyse culturelle et sociale?Compétences de l'équipe d'évaluation

L'équipe d'évaluation devra comporter un ou une sociologue ou anthropologue confirmé-e.

Temps de travail en évaluation pays

Le chargé de l'analyse culturelle et sociale dans l'équipe d'évaluation consacrera environ 40 jours de travail à cette tâche.

La décomposition du temps de travail est indiquée dans le tableau récapitulatif. Ce dernier prévoit un nombre précis de jours de travail dans une situation moyenne. Dans les cas où des difficultés se présentent et ralentissent ou compliquent le bon déroulement, la fourchette du temps de travail se situe entre 40 et 50 jours.

Rémunération des experts

Chaque expert participant à un panel d'expert sera rémunéré pour une journée de travail (correspondant à la séance du panel et à la relecture de la note transmise par l'évaluateur) selon le barème en vigueur dans le pays si c'est un citoyen de ce pays et au barème international s'il n'est ni citoyen ni résident.

La rémunération d'un expert qui participe à plusieurs panels de travail sera multipliée par autant de panels.

TABLEAU RECAPITULATIF DES PROCEDURES A SUIVRE EN EVALUATION PAYS

.

• Exemples

.

.

• BALANDIER G., 1985: Sociologie des Brazzavilles noires, Paris, Presses de la Fondation nationale des sciences politiques.
• BAKER J., 2000 : Evaluating the impact of development projects on poverty. Handbook for practitioners, the World Bank.
• BAUM W.C., TOLBERT S.M., 1985: Investing in development - Lessons from the World Bank experience, Oxford University Press for the World Bank.
• BISSILLAT J., VERSCHUUR Christine (dirigé par.), 2001: Genre et économie : un premier éclairage, Cahiers genre et développement, N°2 ; l'Harmattan, AFED-EFI Paris-Genève.
• BISSILLAT J., 2001: La participation des femmes aux coopératives mixtes : temps et idéologies, in Genre et économie : un premier éclairage.
• CERFE, République du Cameroun, Union Européenne, 2002: Recherche-Action sur le capital social à Yaoundé et Douala, rapport final, Plateforme d'observation.
• CERNEA M. & S.E. GUGGENHEIM, et al., 1993: Anthropological approaches to resettlement: policy, practice and theory. Boulder, Colorado : Westview press.
• CERNEA M., 1995: Social organization and development anthropology, the 1995 Malinovski Award lecture, the World Bank.
• CERNEA M., 1998: The economics of involuntary resettlement, the World Bank.
• CERNEA M. (ed), 1998: La dimension humaine dans les projets de développement, les variables sociologiques et culturelles, Paris, Karthala.
• CHAMBERS R., 1997 and 2000: Whose reality counts - Putting the first last. ITDG Publishing, London.
• DANSEREAU F., NAVEZ BOUCHANINE F., et al., 2002: Gestion du développement urbain et stratégies résidentielles des habitants, Paris L'Harmattan.
• DFID (DEPARTMENT FOR INTERNATIONAL DEVELOPMENT),1999: Sustainable livelihoods guidance sheets, UK Government.
• DREVET-DABBOUS O., 2001: La division sexuelle du travail, in Genre et économie : un premier éclairage.
• EUROPEAN COMMISSION, EuropeAid, 2004: Project Cycle management guidelines, Vol 1 : Project Cycle Management.
• FAYMAN S. et al., 2001: Rapport introductif sur la ville inclusive. Quatrième Forum International sur la pauvreté urbaine, Marrakech, Octobre 2001, HABITAT.
• FONDS POUR LA PROMOTION DES ETUDES PREALABLES, ETUDES TRANSVERSALES, EVALUATIONS, 2004: Capitalisation et valorisation : De l'efficacité des évaluations, documents de travail.
• IMBODEN N., 1978: A management approach to project appraisal and evaluation, Paris OCDE.
• KELLET P., GARHNAM A., 1995: The role of culture and gender in mediating the impact of official interventions in informal settlements: a study from Colombia in Habitat International, Vol 19, n°1.
• KING P., 1996: The limits of housing policy: a philosophical investigation, London, Middlesex U Press.
• KOTHARI U., 2000: Developing guidelines for assessing achievement in the eight focal areas of social development work and for assessing outcomes, Institute for Development Policy and Management, University of Manchester. Social Development Systems for Coordinated Poverty Eradication.
• KOTTAK C.P., 1998: Quand l'aspect humain n'est pas mis au premier plan : enseignements sociologiques tires de projets terminés. In : CERNEA : La dimension humaine dans les projets de développement, op.cité.
• MACKAY K.: Public sector performance : the critical role of evaluation, the World Bank.
• MARSDEN D., OAKLEY P., 1990: Evaluating social development projects, Oxfam, Oxford (extracts from the International Conference in Swansea about Performance Criteria in NGO Poverty Alleviation Programmes, september, 19-22, 1989).
• NAVEZ-BOUCHANINE F., 200 : Les interventions en bidonville au Maroc, une évaluation sociale. ANHI, Rabat.
• OPERATIONS EVALUATION DEPARTMENT, the World Bank, 2000: Evaluation and poverty reduction. Proceedings of a World Bank Conference.
• OVERSEAS DEVELOPMENT ADMINISTRATION, 1995: Guide to social analysis for projects in developing countries. Stationery Office Books.
• PATTON M.Q., 1987: How to use qualitative methods in evaluation. London, Sage.
• POLESE & STREN: The social sustainability of cities.
• SALMEN L., 1987: Listen to the people: participatory observation evaluation of development projects, NY Oxford U Press.
• SALMEN L., 1995: Beneficiary assessment: an approach described, W Bank, Environment department papers n° 023.
• SCOTT R.A. & SHORE A.R., 1979: Why sociology does not apply: sociology in public policy. New York and Oxford : Elsevier.
• SCRIMSHAW N. & GLEASON G.R., 1992: Rapid assessment procedures : qualitative methodologies. Boston : international nutrition foundation for developing countries.
• TAHER N., 1997: Socio-political and economic costs of a donor-led housing programme : the case of Rashed-greater Cairo, DPU, Bartlett, UCL, London, working paper n° 84.
• VELLUTINI Ch., LE GOFF J.C, BURBAN F., 2001: Evaluation de la stratégie pays de la Commission Européenne : Burkina Faso 1996-2000.
• THE WORLD BANK, Poverty Reduction Group and Social Development Department, 2003: a user's guide to poverty and social impact analysis.
• WEBER M., 1922: Economia e società. Edizione di Comunità, Milano 1961.
• WHITEHEAD A. & LOCKWOOD M., 2001: Le genre dans les évaluations sur la pauvreté de la banque mondiale, in Genre et économie.
• WHYTE W.F., (1982): Social inventions for solving human problems, in American Sociological review, vol. 47.