Baseline surveys designed for projects’ assessment and evaluation

Baseline surveys are generally one of the first steps of a project implementation. Here are some guidelines for the design of such surveys.

The measurement of outputs and outcomes of development projects is necessary and generally embedded within the prerequisites of the projects. In these matters the best practice recognised in the academic world is certainly the methodology popularised by Esther Duflo and her colleagues of the Abdul Latif Jameel Poverty Action Lab (J-PAL) (http://www.povertyactionlab.org/) and experimented on several hundreds of projects in more than 40 countries in a wide range of fields (agriculture, education, environment and energy, finance and microfinance, health, labour markets, political economy and governance). Its principle is based on the methods of clinical trials: a representative sample of beneficiaries to be compared with a representative sample of non-beneficiaries. For it is easy to understand that a comparison of the ex-ante and ex-post situation of beneficiaries is not enough to be able to impute the action results to the project: the measured improvements can be partly if not mostly due to external factors such as the general progression (or deterioration) of the economy as a whole and the general or sectorial policies conducted at national levels.

However, for most projects, such expensive and heavy procedures are not planned in the project budget, and it is necessary to find some ways and means that are likely to allow making a sound assessment on progress obtained after several years. Of course qualitative interviews and focus groups are recommended, but quantitative information is nonetheless required. Here are some basic guidelines for the design of such statistical surveys:

1) Determine which indicators of progress you want to highlight. Remember that the more concrete they are, the more reliable they will be. For instance, it is quite difficult to collect data on income or on production while it is easier to collect information on the durable goods or equipment a household or a small enterprise owns. Determine also which will be the questions and indicators to be collected in the post-project or end-of-project survey, to make sure that these questions and indicators are in the initial baseline survey. A good method is to determine the cross-tabulations that are a priority for the assessment and make sure that the needed information is correctly collected in the questionnaire.

2) Design a questionnaire that follows a logical framework, starting with demographic information, education, economic activity, etc. Do not mix questions without any relations with each other. Prefer open-ended questions with pre-coded responses, without forgetting the category ‘other’, because you never know what kind of specificities you are going to encounter. Take a look at the questionnaires of the national surveys and censuses conducted by the national statistical institute of the country to see the usual design of a statistical questionnaire and also to use the standard classifications used for age groups, occupations, activities, etc. This will be useful for further comparisons between your target population with the general population of the country or the region.

3) Contextual questions: in cases which are quite sensitive, for instance when you interview an employee, or a domestic worker at their place of work, firstly you need to ask permission from the employer and secondly, you need to note whether the interview has been conducted in the presence of this third person. 

4) Selection of the sample is a more delicate task. You are not supposed to carry out a representative survey, just as national institutes do, because you have not the resources and more importantly, you do not have the required information on the entire population you are going to survey: the total number of households or entrepreneurs or individuals of the target population and of the total population of which the target population is a component. And consequently, probabilistic methods are not an option. So the first step is to delimit the geographical area of the survey. From the literature survey, get some knowledge of the population number (in terms of households or economic units) in the area and make an assumption on the size of the target population, in order to deduct the overall sampling rate (target population/population). There exist software, which can help you to determine the size of the sample to be drawn. But you don’t know the distribution of your populations in terms of gender, age, social categories, etc. You may opt for quota sampling that will ensure you having enough observations on some categories, which are of particular importance for the project, for instance women, youth, handicapped, manufacturing activities, etc. So you may decide that your sample should contain at least a given proportion of women, youth, handicapped, manufacturing activities, etc. (remark: targeting women does not imply that the survey cover only women: you should be able to compare their situation with the situation of men). The structure of the sample being designed, an efficient method is the itinerary method: the sample selection must be done by applying the sampling interval (1 out of 10 for example) on an itinerary that exhaustively runs through the study area, so that each observation unit on the itinerary (the last observation unit as the first one) has the same probability to be drawn. And the process continues until all quotas are met.

Conception des enquêtes de référence pour l’évaluation des projets

La réalisation d’une enquête de référence est généralement l’une des premières étapes de la mise en œuvre d’un projet. Voici quelques lignes directrices pour la conception de telles enquêtes.

La mesure des effets tangibles et des résultats des projets de développement est nécessaire et généralement inscrite dans les conditions préalables des projets. En ces matières, la meilleure pratique reconnue dans le monde académique est certainement la méthodologie popularisée par Esther Duflo et ses collègues de l’Abdul Latif Jameel Poverty Action Lab (J-PAL) (http://www.povertyactionlab.org/) et expérimentée sur plusieurs centaines de projets dans plus d’une quarantaine de pays et sur une grande variété de domaines (agriculture, éducation, environnement et énergie, finance et microfinance, santé, marchés du travail, économie politique et gouvernance). Son principe est basé sur les méthodes des essais cliniques : un échantillon représentatif de bénéficiaires à comparer avec un échantillon représentatif de non-bénéficiaires. Car il est facile de comprendre qu’une simple comparaison de la situation ex-ante et ex-post des bénéficiaires n’est pas suffisante pour pouvoir imputer les résultats de l’action au projet : les améliorations mesurées peuvent être en partie, sinon en majorité dues à des facteurs externes tels que le progrès (ou la détérioration) de l’économie dans son ensemble ou les politiques générales ou sectorielles conduites au niveau national.

Cependant, pour la plupart des projets, de telles procédures coûteuses et lourdes ne sont prévues dans le budget des projets et il est nécessaire de trouver  d’autres voies et moyens susceptibles de permettre de faire une évaluation solide des progrès obtenus au terme de plusieurs années. Bien entendu les entretiens qualitatifs auprès de personnes-ressources et les focus groupes sont recommandés, mais l’information quantitative n’en est pas moins requise. Voici quelques lignes directrices pour la conception de telles enquêtes statistiques :

1) Déterminer quels indicateurs de progrès vous voulez mettre en exergue. Rappelez-vous que plus concrets ils sont, plus fiables ils seront. Par exemple, il est difficile de collecter des données sur les revenus ou sur la production alors qu’il est plus aisé de collecter des informations sur les biens durables ou l’équipement que possède un ménage ou une petite entreprise. Déterminer aussi quels seront les indicateurs et les questions à collecter lors de l’enquête post-projet ou de fin de projet, afin de s’assurer que ces questions et indicateurs sont dans l’enquête initiale de référence. Une bonne méthode est de déterminer les tableaux croisés qui sont prioritaires pour l’évaluation et s’assurer que l’information requise est collectée de façon adéquate dans le questionnaire. 

2) Concevoir un questionnaire qui suit un cadre logique, démarrant avec les variables démographiques, d’éducation, d’activité économique, etc. Ne pas mélanger des questions n’ayant pas de rapport les unes avec les autres. Préférer les questions ouvertes avec des réponses pré-codées sans oublier  la catégorie « autres », car on ne sait jamais quelles types de spécificités on va rencontrer.  Prenez connaissance des questionnaires d’enquêtes ou de recensements réalisés par l’institut national de statistique du pays pour voir la conception habituelle d’un questionnaire d’enquête et aussi pour utiliser les classifications habituelles en usage pour les groupes d’âge, les professions, les activités, etc. Cela sera utile pour les comparaisons ultérieures entre la population-cible et la population générale dans le pays ou la région 

3) Questions contextuelles : dans les cas les plus sensibles, par exemple quand vous interviewez un salarié, ou un travailleur domestique, sur son lieu de travail, vous devez d’abord demander la permission de l’employeur et ensuite vous devez noter si l’entretien s’est passé en présence de cette tierce personne. 

4) Le tirage de l’échantillon est une tâche plus délicate. Vous n’êtes pas censés réaliser une enquête représentative comme celles que conduisent les instituts nationaux de statistiques, parce que vous n’avez pas les ressources pour cela et plus important, vous ne disposez pas des informations nécessaires sur la population que vous allez enquêter : le nombre total de ménages, ou d’entrepreneurs, ou d’individus de la population cible et de la population dont la population cible est une composante. Dès lors les méthodes probabilistes ne sont pas une option. La première étape sera donc de délimiter l’aire géographique de l’enquête. A partir de la revue de la littérature, il convient d’obtenir quelques connaissances sur les effectifs de population (en termes de ménages ou d’unités économiques) dans la zone et de faire une hypothèse sur la taille de la population cible afin d’en déduire le taux de sondage global (population cible/population totale). Il existe des logiciels qui peuvent vous aider à déterminer la taille de l’échantillon à tirer. Mais vous ne connaissez pas la répartition de vos populations en termes de genre, d’âge, de catégories sociales, etc. Vous pouvez opter pour la méthode des sondages par quota qui vous assurera d’avoir un nombre suffisant d’observations sur certaines catégories qui sont d’une importance particulière pour le projet, par exemple les femmes, les jeunes, les handicapés, les activités manufacturières, etc. (remarque : le fait de cibler les femmes n’implique pas que l’enquête soit exclusivement limitée aux femmes : leur situation doit pouvoir être comparée à celle des hommes). Ainsi vous pouvez décider que votre échantillon contiendra au moins une certaine proportion de femmes, de jeunes, de handicapés, d’activités manufacturières, etc. La structure de l’échantillon étant établie, une méthode efficace est la méthode des itinéraires : la sélection de l’échantillon sera faite en appliquant l’intervalle de sondage (1 sur 10 par exemple) à un itinéraire qui parcourt exhaustivement l’aire géographique de l’étude, de façon à ce que chaque unité d’observation rencontrée sur l’itinéraire (la dernière comme la première) ait la même probabilité d’être tirée. Et le processus se poursuit jusqu’à ce que les quotas fixés soient remplis.

Diseñar investigaciones de referencia para la evaluación de proyectos

La realización de un investigación de referencia suele ser uno de los primeros pasos en la implementación de un proyecto. Aquí hay algunas pautas para el diseño de este tipo de investigaciones.

La medida de los efectos tangibles y los resultados de los proyectos de desarrollo es necesario y por lo general se coloca en condiciones de pre-proyecto. En estos asuntos, la mejor práctica reconocida en el mundo académico es sin duda la metodología popularizado por Esther Duflo y sus colegas del Abdul Latif Jameel Poverty Action Lab (J-PAL) (http://www.povertyactionlab.org/) y probado en cientos de proyectos en más de cuarenta países y una amplia variedad de campos (la agricultura, la educación, el medio ambiente y la energía, las finanzas y las micro finanzas, la salud, los mercados de trabajo, la economía política y el gobernación). Su principio se basa en los métodos de ensayos clínicos: una muestra representativa de beneficiarios en comparación con una muestra representativa de los no beneficiarios. Debido a que es fácil de entender que una simple comparación de la situación ex ante y ex post de los beneficiarios no es suficiente para ser capaz de asignar al proyecto los resultados de la acción: mejoras se pueden medir en parte, si no en la mayoría debido a factores externos, como el progreso (o deterioro) de la economía en su conjunto o de las políticas generales y sectoriales aplicadas a nivel nacional.

Sin embargo, para la mayoría de los proyectos, tales procedimientos costosos y engorrosos se proporcionan en el presupuesto del proyecto y es necesario encontrar otras formas y medios para permitir una evaluación sólida de los progresos realizados después de varios años. Naturalmente se recomiendan entrevistas cualitativas con informantes y grupos de discusión, pero la información cuantitativa se requiere, no obstante. Aquí hay algunas pautas para el diseño de este tipo de encuestas:

 1)   Identificar los indicadores de progreso que desea resaltar. Recuerde que más prácticos y concretos serán los indicadores, más fiables serán los resultados. Por ejemplo, es difícil recopilar datos sobre los ingresos o la producción y sea más fácil para recoger información sobre los bienes duraderos o equipo propiedad de un hogar o una pequeña empresa. Determinar como lo que los indicadores y las preguntas que deben recogerse durante la investigación posterior al proyecto o la finalización del proyecto, para asegurar que estos temas e indicadores están en la investigación inicial de referencia. Un buen método es determinar tablas de referencias cruzadas que son prioridades para la evaluación y asegurarse de que la información requerida se recoge adecuadamente en el cuestionario.

2)   Diseño de un cuestionario que sigue un marco lógico, a partir de las variables demográficas, educación, actividad económica, etc. No mezclar cuestiones que no tienen relación entre sí. Prefiero preguntas abiertas con respuestas pre-codificadas sin olvidar la categoría "otros", porque nunca se sabe qué tipo de detalles que nos encontraremos. Lea sobre los cuestionarios de las encuestas o censos realizados por el país Instituto Nacional de Estadísticas para ver el diseño habitual de un cuestionario de la encuesta y también para utilizar las clasificaciones habituales en el uso de las edades, profesiones, actividades, etc. Esto será útil para su posterior comparación entre la población objetivo y la población en general en el país o región.

3)   preguntas contextuales: en los casos más sensibles, como cuando se está entrevistando a un empleado o empleada doméstica, en su lugar de trabajo, primero debe pedir el permiso del empleador, entonces usted debe tener en cuenta si la entrevista se llevó a cabo en presencia de la tercera parte.

 4)   La selección de la muestra es una tarea más delicada. No se espera lograr una encuesta representativa, como las aplicar por los institutos nacionales de estadística, porque usted no tiene los recursos para eso y más importante, usted no tiene la información necesaria sobre la población que va a investigar: el número total de hogares, o empresarios, o individuos de la población objetivo y la población cuya población objetivo es un componente. Por lo tanto los métodos probabilísticos no son una opción. El primer paso será definir el ámbito geográfico de la investigación. A partir de la literatura, es necesario para conseguir un poco de conocimiento sobre el tamaño de la población (en términos de hogares y unidades económicas) de la zona y para hacer una suposición sobre el tamaño de la población objetivo con el fin de deducir la tasa de reconocimiento general (población objetivo/población total). Existe software que puede ayudarle a determinar el tamaño de la muestra para disparar. Pero usted no sabe la distribución de su población en términos de género, edad, clase social, etc. Usted puede optar por el método de cuotas encuestas que asegurarse de que tiene un número suficiente de observaciones sobre algunas categorías que son de particular importancia para el proyecto, como las mujeres, los jóvenes, personas con discapacidad, actividades manufactureras, etc. (Nota: dirigida a las mujeres, no significa que la investigación se limita exclusivamente a las mujeres: su situación debe ser comparado con el de los hombres). Así que usted puede decidir que su muestra contendrá, al menos, una cierta proporción de las mujeres, los jóvenes, los discapacitados, las actividades de manufactura, etc. Se establece la estructura de la muestra, un método eficaz es la ruta: la selección de la muestra se hará aplicando el intervalo de muestreo (1 en 10, por ejemplo) a una ruta que discurre por la zona geográfica exhaustiva del estudio, de manera que cada unidad de observación encontró en la ruta (la última como la primera) tiene la misma probabilidad de ser dibujado. Y el proceso continúa hasta que se llenan los cupos.