Evaluation methodological approach

.

¿QUÉ ES UNA ENCUESTA CON CUESTIONARIO?¿Para qué sirve la encuesta con cuestionario?

La encuesta con cuestionario consiste en recolectar las respuestas de una serie de preguntas estandardizadas de un número bastante alto de personas.
Un cuestionario es un conjunto de preguntas construidas con el propósito de obtener la información que corresponde a los objetivos del estudio. El cuestionario permite estandardizar la información recolectada durante una encuesta, y dicha información recolectada es útil para evaluar o cambiar una situación.
Las personas que la encuesta cubre son seleccionadas en función de varios métodos. El objetivo final es el de constituir una muestra representativa del conjunto de la populación de la cual se busca obtener información.

¿Existen varias formas de encuesta con cuestionario?

Existen principalmente dos tipos de cuestionarios:

• El cuestionario cerrado
• El cuestionario abierto

Las encuestas combinan a menudo las dos formas, con mas preguntas cerradas que abiertas. Estas últimas son más ricas pero también más difíciles de tratar estadísticamente.

El cuestionario cerrado

En el caso del cuestionario cerrado, el encuestado debe responder con una respuesta concisa, a partir de un número limitado de posibles respuestas predeterminadas. Este tipo de preguntas se emplea en aquellos casos en los que se desea juzgar el acuerdo o desacuerdo sobre una proposición, para conocer la posición del informante en lo que concierne una gama de juicios, etc.
Las preguntas cerradas no son apropiadas para el caso de la colecta de información matizada. Sin embargo, son más útiles para el análisis estadístico porque las respuestas están predefinidas.

Los tipos de preguntas en cuestionarios cerrados

El cuestionario cerrado comporta el riesgo de que la persona encuestada no seleccione la respuesta adaptada, porque elige:

• la respuesta que le parece mas conforme a la expectativa del encuestador, para satisfacerlo o porque piensa que dicha respuesta lo valorizará
• una respuesta por defecto porque no conviene ninguna otra
• una respuesta que atrae inconscientemente, por ejemplo exprimiendo una posición media

El cuestionario abierto

Partiendo de una pregunta concisa, la persona entrevistada desarrolla una respuesta que el encuestador va anotando. En este caso, la encuesta por cuestionario abierto se parece a una entrevista individual de tipo directivo. Una pregunta abierta deja la respuesta libre, tanto en su forma como en su duración.

Types of responses in open-ended questionnaires

Límites de utilización

La encuesta de cuestionario es una herramienta de observación muy eficaz, especialmente porque permite recopilar información entre un gran número de beneficiarios finales.

El cuestionario cerrado permite cuantificar el peso respectivo de las opiniones expresadas. En cambio, para que sea estadísticamente explotable, debe realizarse entre una muestra suficientemente importante, lo que requiere una estructura logística y unos medios considerables:

• Encuestadores suficientes para realizar la encuesta a un gran número de personas, ya que de otra forma los datos recopilados no son representativos.
• Medios técnicos, como los medios informáticos para el tratamiento estadístico de los datos.
• Tiempo suficiente para sus tres etapas de utilización (elaboración, administración y tratamiento). Hay que destacar que, para que el cuestionario sea completo y pertinente, su preparación requiere todavía más tiempo que el propio contexto (el tema y la población encuestada), y que el equipo de evaluación raramente está totalmente preparado para su elaboración.
• Recursos financieros para una misión sobre el terreno a largo plazo, para la contratación de los encuestadores y de un equipo para el tratamiento de la información.

Cuando no es indispensable tratar los datos recopilados desde el punto de vista estadístico, el empleo de un cuestionario abierto puede suponer una buena alternativa. La experiencia demuestra que este tipo de cuestionario permite recoger una información lo bastante completa, que permite comprender y analizar las reacciones de la población y responder de esta forma a las necesidades de la evaluación.

La encuesta con cuestionario y la creación de un muestrario hicieron su aparición en el período entre-guerras, cuando llegaron las primeras previsiones electorales. Los institutos de sondeo fueron los primeros que los emplearon. Hoy en día, estos métodos constituyen una herramienta de referencia para las ciencias sociales. Fueron desarrollados gracias a las corrientes de la sociología cuantitativa, que necesita de conocimientos estadísticos.

Otros contextos de empleo

En líneas generales, las encuestas con cuestionario se emplean a menudo en marketing o en los institutos de sondeo de opinión. Pero también son utilizadas en antropología y en etnología. En dichas disciplinas se trata entonces de encuestas de observación, constituidas por una serie de largas entrevistas basadas sobre cuestionarios semiabiertos.

Esta forma de cuestionario se puede emplear en el marco de algunos estudios de caso, pero raramente en una evaluación, teniendo en cuenta los argumentos de coste y de plazos. Más bien, estas encuestas profundizadas son empleadas por los investigadores. Sin embargo, sus resultados pueden ser útiles a los evaluadores que quieren entender el contexto y las dinámicas socioculturales de la región en la que tiene lugar la evaluación.

.

.

¿CUÁNDO Y CÓMO EMPLEAR UNA ENCUESTA CON CUESTIONARIO?¿Cuando mererce emplear la herramienta?Una herramienta de observación y de información cuantitativa y cualitativa

Es una herramienta privilegiada para la observación:

• de las necesidades, opiniones etc. en una evaluación ex ante
• de los cambios efectuados, deseados etc. en una evaluación a medio camino o final.

La encuesta con cuestionario es una herramienta de información cuantitativa empleada con frecuencia en los países desarrollados en el marco de encuestas de opinión o de marketing. Su empleo es más raro en los países en desarrollo a raíz de los problemas de coste y las dificultades de ejecución. Sin embargo, sigue siendo una herramienta útil para la recolecta de información en el marco de estudios y evaluaciones.

Su utilización para la recolecta de información precisa de una buena definición de la información buscada y del público de donde se obtendrá dicha información. En este sentido, es mejor emplearla después de una fase de pre-encuesta.

Por otra parte, puede ser muy útil como herramienta para medir cambios, en caso de que sea posible efectuar varias encuestas sobre el mismo muestrario, a intervalos suficientes para evaluar los efectos de una política o de un programa. En realidad, esta posibilidad es mínima, sobretodo en los países en desarrollo.

Atención en el caso de una evaluación

Para un evaluador resulta más sencillo elaborar con rapidez un cuadro conciso de las cuestiones para una evaluación de un proyecto o de programa, que para una evaluación país, por ejemplo, en la cual el procedimiento de identificación de los beneficiarios reales y de los actores de la política de cooperación, es complejo.

En una evaluación, las encuestas con cuestionario se emplean para apreciar el impacto de las políticas y de los programas sobre diferentes categorías de públicos.

La encuesta permite recolectar:

• información sobre la situación socio-económica de los distintos públicos, y permite eventualmente crear tipologías
• información sobre cambios de situación o de prácticas (en base a indicadores precisos)
• opiniones, juicios y las percepciones sobre una política o un programa (en base a criterios de apreciación precisos)
• análisis sobre las causas de los cambios y sobre el papel de la política o del programa evaluado sobre dichos cambios (a partir de hipótesis previas que sirven de base para el cuestionamiento).

La encuesta se puede realizar:

• cara a cara
• por teléfono
• por correo
• por correo electrónico y por Internet.

A pesar de las considerables ventajas que tiene, sobre todo en relación con otras herramientas de observación, su utilización en evaluación resulta difícil debido a los límites que presenta en términos de tiempo, recursos financieros y medios técnicos.

Las encuestas por cuestionario aportan una dimensión cuantitativa complementaria a la dimensión cualitativa de otras herramientas de recolecta de información y de observación, como:

• las entrevistas individuales
• los focus groups

Estas herramientas pueden emplearse en las etapas exploratorias preliminares de una encuesta de cuestionario (para identificar o precisar las hipótesis de trabajo) y, de esta forma, facilitar la elaboración del cuestionario:

• estableciendo una lista de los temas que hay que abordar;
• definiendo las preguntas pertinentes.

Para contextualizar los resultados y facilitar la comprensión de los datos y su interpretación, puede recurrirse a una serie de entrevistas colectivas (focus group) como apoyo a la encuesta de cuestionario cerrado (por ejemplo para detallar una práctica determinada, para facilitar la comprensión de un gráfico, etc.).

Sirven de base para las herramientas más complejas, como:

• los estudios de caso
• la observación socio-antropológica
• el benchmarking.

La realización de una encuesta con cuestionario exige una preparación minuciosa y un tiempo de realización proporcional a la importancia del cuestionario, al tamaño del muestrario y a las dificultades del terreno.
En líneas generales, no se realiza al principio de la evaluación sino en fases ulteriores, cuando el evaluador dispone de suficientes informaciones y de hipótesis de trabajo para construir un cuestionario dirigido a públicos precisos.

Los recursos humanos

La organización de una encuesta implica a menudo la contratación de investigadores.

Competencias requeridas

• Capacidad para impregnarse de los objetivos de la encuesta
• Capacidad para establecer un clima de confianza
• Capacidad para identificar posibles dificultades de comprensión y bloqueos
• Capacidad para compilar el cuestionario con claridad y sencillez
• Si es necesario, dominio del idioma local y de los usos y costumbres

Para el reclutamiento

• Si existen especificaciones culturales o dialectales, es mejor efectuar el reclutamiento localmente (como agentes de desarrollo, profesores, técnicos, etc.)
• A veces es posible pedir ayuda a organizaciones especializadas
• Se pueden organizar jornadas de formación para los investigadores, al principio de la encuesta (para asegurarse de la comprensión de los objetivos y del cuestionario, y para restaurar un "espíritu de equipo") y después de su realización (debriefing sobre las condiciones de encuesta, las dificultades encontradas, los errores etc.). Todos estos comentarios "cualitativos" ayudaran el evaluador a matizar, e incluso interpretar, los resultados

Los recursos financieros

El coste se constituye de los salarios (de los investigadores) y de los costes de traslado cuando la encuesta se conduce en una vasto territorio. No se pueden dar cifras con precisión porque éstas varían considerablemente según el tipo de país en el que se efectúa la encuesta. Los traslados pueden aumentar mucho el coste en los países en los que los trasportes son complicados. En líneas generales, la evaluación de los recursos necesarios debe tener en cuenta:

• el método empleado para efectuar las encuestas con cuestionario (cara a cara, correo, teléfono, mail)
• el tamaño del muestrario
• el grado de alejamiento de las zonas de encuesta
• el número de investigadores que hay que movilizar y cuánto tiempo.

La encuesta con cuestionario es uno de los métodos más sencillos para obtener información a partir de un número elevado de personas. Las encuestas por teléfono valen menos que las de cara a cara. El envío por mail es, sin lugar a dudas, el método más económico, pero se obtienen pocas respuestas y se reduce el perfil de las personas susceptibles de contestar, en particular en los países poco equipados tecnológicamente.

En la mayor parte de las evaluaciones, el tiempo que se dedica a la organización y a la recopilación de datos sobre el terreno es limitado, entre otras cosas por razones financieras. Sin embargo, el cuestionario (ya sea cerrado o abierto) requiere una logística considerable para su elaboración, para organizar su aplicación y para su posterior procesamiento.

En algunos casos, las cuestiones de evaluación requieren la colecta de información entre los beneficiarios finales de la ayuda. Si es así, el cuestionario se convierte en una herramienta indispensable, ya que permite recopilar información sobre opiniones y costumbres habituales de un gran número de gente.

En caso de procesar estadísticamente un cuestionario cerrado, esta herramienta permite cuantificar las opiniones recopiladas, lo que puede constituir material para un análisis de impacto o indicadores de evaluación o de programa. Sin embargo, este tipo de tratamiento de la información es difícil de organizar y poner en práctica, y requiere disponer de más recursos que en otro tipo de procesamientos.

¿Qué condiciones se requieren para su utilización?

• Un conocimiento previo del contexto de evaluación y de los objetivos del programa respecto de sus beneficiarios para redactar las preguntas pertinentes.
• La existencia de unas mínimas bases de información estadísticas fiables sobre la composición social de la populación, para poder crear los muestrarios con un riesgo de error mínimo
• La localización de un socio de confianza para poder movilizar los recursos humanos (encuestadores, estadísticos, demógrafos) y los recursos materiales (transportes, informática, datos demográficos, etc.) necesarios.
• La posibilidad de seleccionar y entrevistar un muestrario de personas sin excesivas dificultades: accesibilidad física y logística, lugares y medios de contacto que permiten no perder demasiado tiempo en la búsqueda de los interlocutores, etc.

Las condiciones de aplicación específicas de las encuestas con cuestionario en evaluación país/región demuestran que su utilización se adapta más a los países con un buen nivel de desarrollo.

En el caso de los países en desarrollo, es interesante emplear la encuesta con cuestionario para aquellos grupos de población de los que el evaluador no puede disponer de información cuantitativa utilizando otros medios.

El evaluador debe realizar un seguimiento muy estricto de los investigadores, o incluso confiárselo a un socio local.

El problema de recolecta y selección rápida de las informaciones necesarias y abundantes es frecuente en una evaluación país. De hecho, son éstas las evaluaciones en que los evaluadores tienen menos contacto con los beneficiarios finales de la ayuda. La encuesta con cuestionario, al encuestar a un gran número de beneficiarios, permite recolectar una parte de estas informaciones relativas a la política evaluada, en lo que concierne en particular el grado de realización de los programas, la toma en consideración de las necesidades, los puntos fuertes, las dificultades etc.

Las encuestas con cuestionario son hoy en día poco utilizadas en el marco de una evaluación país/región. Su utilización podrá sin embargo desarrollarse más teniendo en cuenta las posibilidades que ofrece la herramienta para realizar análisis de impacto con diversos grupos, sobretodo de beneficiarios

.

.

¿CÓMO ELABORAR UN CUESTIONARIO?¿Cuáles son las buenas preguntas que hay que hacerse?¿Qué busco?

Las preguntas a hacerse se conciben en función, en primer lugar, de las informaciones, los análisis y las opiniones que el evaluador investiga y, en segundo lugar, en función del público objetivo. Se trata de empezar, por tanto, construyendo un listado con las informaciones relativas al estudio. Dicho listado debería contener entonces:

• los objetivos del estudio
• las hipótesis de trabajo
• los públicos objetivos
• la naturaleza de las informaciones buscadas
• la situación geográfica de la información a buscar
• el periodo de la encuesta

Dichos listados guiaran la organización de la encuesta y la elaboración de un calendario de realización.

¿Es necesaria esta pregunta?

Esto significa preguntarse si se puede llegar al objetivo del estudio " X " eliminando la pregunta " N "? Si la respuesta es sí, es inútil dejar la pregunta en el cuestionario.

¿Será suficiente una única pregunta para obtener la información?

En función de la complejidad de la información buscada, puede resultar necesario hacer varias preguntas, en particular cuando se busca una causa.

El evaluador debe estar atento a las preguntas que tienen un doble objetivo: En líneas generales, es preferible dividir dicha pregunta en dos preguntas simples.

¿La persona entrevistada puede realmente contestar?

La falta de respuesta puede ser explicada por tres grandes razones:

• el entrevistado no entiende: el vocabulario no es adaptado, la pregunta es demasiada abstracta, etc.
• el entrevistado no sabe: el cuestionario no es adaptado al público, o la persona entrevistada ha sido mal elegida
• el entrevistado ha olvidado: hay que distinguir entre la situación en la que la persona puede llegar a obtener la información de la situación en la que no tiene acceso a la información

¿La persona entrevistada aportará la información exacta?

Nos referimos a las informaciones particularmente delicadas, como son:

• los temas socialmente delicados, e los que determinados comportamientos son negados o deformados (sobre valorados o infravalorados, por ejemplo)
• los temas relacionados con la vida privada
• los temas que requieren un esfuerzo de búsqueda importante o de tiempo

En estos casos, la persona entrevistada puede querer "maquillar" o evitar el tema. Para anticipar este comportamiento o evitar que suceda, es importante concentrase en la manera de preguntar o en la manera de estructurar el cuestionario.

• Centrar el tema de la encuesta y orientar el cuestionario de forma precisa
• No ser excesivamente ambicioso en relación a las informaciones que se quieren recolectar con el cuestionario: el cuestionario no debe ser ni largo ni complicado, y las preguntas deben ser concisas y sencillas
• Prever preguntas que coincidan para comprobar la fiabilidad y la coherencia de las respuestas

Los textos de introducción y de transición

Estos textos son necesarios para la comprensión y la articulación del cuestionario, sea cual sea el método de administración elegido. En general deben adaptarse al tipo de encesta, a su objetivo, a las características socio-culturales del muestrario, etc.
Dichos textos deben comprender:

• indicaciones que conciernen los temas tratados: " este cuestionario tiene por objetivo el de determinar…, de mediar…, ahora trataremos el tema de…, ahora que hemos pasado revista a los… "
• indicaciones técnicas: " marque con una cruz la casilla que corresponda a su selección/opinión, una sola respuesta por columna por favor, redacten las respuestas de manera precisa por favor… "
• formulas de cortesía: " su opinión es muy importante…, gracias por su colaboración "
• formulas de precaución: " este cuestionario es confidencial; esta encuesta sirve para fines científicos "
• desarrollos breves y comprensibles: introducirlos solamente cuando son necesarios " (Extracto de Jauveau C. (1992) " L'enquête par questionnaire, manuel à l'usage du praticien", Edición de l'Universidad de la Universidad de Bruxelles)

El orden de las preguntas

• Poner las preguntas más delicadas en el medio del cuestionario, para evitar aburrimiento o pérdida de atención
• Agrupar las preguntas de identificación al principio o al final del cuestionario. Si son problemáticas (por ejemplo, si tratan el salario, la práctica religiosa o la opinión política) ponerlas en el medio del cuestionario
• Empezar con preguntas sencillas, que permitan crear un clima de confianza
• Intercalar preguntas difíciles o delicadas con preguntas más sencillas, que " relajan " a la persona que contesta, aunque dichas preguntas fáciles tengan simplemente el objetivo "técnico" de conseguir un buen desarrollo de la encuesta
• Prever algunas transiciones y prever relaciones entre temas aparentemente sin correlación
• Agrupar las preguntas que tratan el mismo tema
• Jerarquizar las respuestas:

• Prever la ausencia de respuesta con fórmulas como " no sabe ", " sin opinión ", o incluso " no quiere contestar ". Existe el riesgo de que la persona interrogada se refugie en este tipo de proposiciones para evitar contestar. Por otra parte, en el tratamiento de las respuestas, se debe prever un código para esta selección, que debe ser tratada como una respuesta más
• Seleccionar un equilibrio entre preguntas abiertas y preguntas cerradas. Una pregunta abierta ofrece respuestas ricas pero difíciles de tratar estadísticamente. Verificar si se pueden sustituir con varias preguntas cerradas
• Antes de elaborar el cuestionario, prever como será tratado: su redacción influye en su construcción: preguntas abiertas, preguntas cerradas, correlaciones entre las preguntas, etc.

Esta condición previa a veces se olvida. Es necesario prever los métodos para presentar el cuestionario a las personas que serán entrevistadas. En esta fase, el tema exacto del estudio se puede esconder, en caso de que pueda provocar una reacción negativa por parte de la persona entrevistada (equivocaciones, respuestas de apariencia, disimulación, rechazo, etc.). O también puede necesitar una formulación más sencilla y no tan "institucional".

Las preguntas de introducción

Estas preguntas tienen el propósito de establecer un clima de interés, incluso de confianza, entre el investigador y el investigado, en caso de que la encuesta se desarrolle en vivo. Se trata de preguntas generales, formuladas para que las respuestas sean positivas, aún cuando éstas no son útiles para el estudio.

Las preguntas que califican

Estas preguntas son útiles cuando se necesita saber si el individuo posee la información que se busca y, en caso necesario, para que pueda orientar al investigador a otra persona. Su forma es más bien dicotómica.

Las preguntas de "puesta en marcha"

Estas preguntas sirvan para centrar progresivamente el cuestionario en el tema central del estudio, comenzando, normalmente, con preguntas sencillas (por ejemplo, de comportamiento).

Las preguntas específicas

Se trata de la parte más importante (el corazón) del cuestionario, dado que las respuestas a estas preguntas deben aportar al estudio las informaciones más relevantes y más concretas. En este estadio, la persona encuestada debe sentirse cómoda con el encuestador y estar centrada en el tema. Una opción es la de intercalar preguntas más personales o hacerle reflexionar a partir por ejemplo de sus motivaciones, sus opiniones, o sus juicios personales.

Las preguntas de identificación

Las respuestas a dichas preguntas permiten describir los encuestados para, eventualmente, clasificarlos en grupos distintos. Estas preguntas son de dos tipos:

• las variables socio-demográficas (sexo, edad, profesion.etc.)
• los elementos psicológicos (valores, opiniones, etc.)

• Las preguntas son breves, sencillas, claras y sin ambigüedades
• La formulación de las preguntas no debe influir sobre las respuestas, por ejemplo implicando una respuesta de naturaleza positiva o negativa
• En el caso que se tradujera el cuestionario, prever una formulación fácilmente traducible para las preguntas y vigilar la calidad de la traducción

El vocabulario

El estilo

Los métodos para presentar el cuestionario a los entrevistados
Esta etapa es fundamental para la calidad final de los resultados. El método más eficaz es una carta o un mail que se envía personalmente a cada individuo del muestrario. El mensaje enviado debería contener:

• la indicación del organismo y del despacho/servicio encargados de efectuar la encuesta
• los objetivos de la encuesta
• incitación a participar: interés para la colectividad, búsqueda, etc.
• las modalidades de reenvío del cuestionario, en caso de que se envíe (apartado de correos, señas, etc.)
• la firma de un responsable del organismo que realiza la encuesta.

Por otra parte, es importante cuidar la presentación global de la carta

.

Para establecer su cuestionario, el evaluador se apoya en hipótesis de trabajo, las cuales le permiten precisar sus cuestionamientos. En muchos casos, una pre-encuesta puede resultar un instrumento útil para la validación de las hipótesis y del cuestionamiento resultante, así como de manera más global, para afinar el cuestionario antes de realizar la encuesta.

Las técnicas de validación del cuestionario

Se pueden movilizar varias técnicas complementarias con el fin de validar el cuestionario y el conjunto del proceso. Dichas técnicas consisten en:

• el estudio de la documentación existente sobre el tema,
• una reunión-discusión (tipo "lluvia de ideas") acerca del tema, si necesario con personas externas a la encuesta que dominen el tema,
• una entrevista en profundidad que permita recolectar elementos importantes para formular las hipótesis.

Estas técnicas permiten también poner de acuerdo el equipo de trabajo sobre una misma definición de los conceptos claves del estudio. Esta precisión previa es necesaria para la formulación del cuestionario.

¿CÓMO CREAR UN MUESTRARIO?Las dificultades asociadas a la selección de la población

La selección del método está relacionada con la definición de la población que constituirá el público objetivo. Esta definición depende de varios factores:

• el objeto mismo de la encuesta
• las hipótesis de trabajo elegidas
• la naturaleza de los documentos disponibles: listados o no, que son actualizados o no, etc.
• las dificultades: recursos financieros y humanos, plazos, necesidad de una traducción, traslados, etc.
• el grado de homogeneidad de la población
• la amplitud del territorio de la encuesta

Los diferentes métodos existentesPrincipios de base

La calidad del muestrario es esencial para la fiabilidad de los resultados. Por ello, el muestrario debe representar, lo más fidedignamente posible, la población. En otras palabras, el muestrario debe ser el " modelo reducido " de dicha población.

Para poder ser explotado estadísticamente, una muestra debe contener como mínimo 100 personas. Por ora parte, cuanto menos se conoce la población a estudiar, mayor importancia tiene la representatividad del muestrario.

El dilema del evaluador

En el marco de la evaluación de programas y de políticas de cooperación, resulta complicado construir un muestrario, dado que los registros de estado civil y los repertorios profesionales, entre otros registros, raramente existen. O cuando existen, las informaciones sobre las características de la población o bien no existen, o no están disponibles, o no son fiables; y por otra parte, las condiciones de encuesta son difíciles.

En estos casos, el encuestador debe efectuar encuestas sobre vastos muestrarios, lo cual resulta muy costoso, o centrar las encuestas sobre categorías muy particulares de la población, lo que crea problemas de fiabilidad.

En caso de que se haya efectuado correctamente un análisis de los grupos de actores durante la pre-encuesta, el evaluador puede hacer varias encuestas muy dirigidas, en función de cada cuestionario.

Las diferentes formas de construcción de un muestrario

El cálculo del tamaño de un muestrario

Como principio base hay que retener que la precisión de los resultados aumenta con el número de personas entrevistadas.

El tamaño de un muestrario es el resultado del compromiso entre la precisión deseada y el presupuesto disponible. Se trata de encontrar un equilibrio entre:

Hay que prever un muestrario más amplio, con el objetivo de eventuales rechazos, ausencias, interrupciones, etc., más o menos frecuentes durante la realización de una encuesta.

El listado de las personas a entrevistar

El listado debe contener los nombres y apellidos, la posición, las señas, y eventualmente, las características de selección de la encuesta.

¿CÓMO REALIZAR UNA PRUEBA PILOTO DEL CUESTIONARIO?¿Porqué llevar a cabo una prueba piloto?

Para obtener una encuesta de calidad se necesita haber realizado un test del cuestionario y del método de la encuesta: se debe controlar la claridad de las preguntas, la facilidad para contestar, la duración del cuestionario, los problemas que los investigadores pueden encontrar, etc.

Para el test, se selecciona un número limitado de personas (de 10 a 30), que constituyen el "muestrario del muestrario" y se someten al cuestionario.

El cotemnido de un cuestionario piloto

• La comprensión de los términos empleados: si se deben explicar, significa que se deben cambiar
• La complejidad de las preguntas: ¿se deben fragmentar? ¿se deben introducir algunas repeticiones y reactivar la discusión?
• El orden de las preguntas: ¿hay reacciones negativas (sorpresa, desconfianza, aburrimiento, fuga, rechazo…)?
• La formulación de las preguntas: ¿permiten recolectar la información deseada?
• La longitud del cuestionario: ¿es aburrido, provocante?
• La fluidez del cuestionario: ¿ son suficientes y eficaces los textos de introducción y de transición?

Este test no se efectúa siempre durante una evaluación, a veces por razones de plazos. Pero se puede considerar como una "inversión" para asegurar la calidad de la encuesta (que sigue siendo una herramienta costosa y pesada).

¿CÓMO EFECTUAR LA ENCUESTA?Los diferentes tipos de encuestas

La elección de los medios de realización de las encuestas depende mucho del contexto:

• En países desarrollados se practican más las encuestas por teléfono, mail o Internet
• En países en desarrollo el medio más seguro para obtener la información buscada es la encuesta realizada cara a cara. En función de los actores (agentes locales de desarrollo, por ejemplo) se pueden emplear otros métodos

Los diferentes tipos de encuesta y sus características

Consejos

La realización de una encuesta con cuestionario a los beneficiarios, sobretodo en las zonas más alejadas de las ciudades, pueden suponer dificultades logísticas. Por otra parte, se debe cuidar la " sobre-representación " de las zonas más accesibles (cercanas a las carreteras, pro ejemplo), frente a las zonas alejadas, que no se eligen nunca como territorio para la encuesta. En caso de sobre-representación de dichas zonas, el investigador corre el riesgo de no confrontarse con determinadas realidades sociales específicas, sobretodo en relación al acceso a los equipamientos y servicios.

¿CÓMO ANALIZAR E INTERPRETAR LOS RESULTADOS?

La codificación de los cuestionarios

Es la etapa que sucede al retorno de los cuestionarios. Para cada pregunta abierta que deberá ser tratada estadísticamente, hay que crear una codificación. Esta operación consiste en atribuirles un código, para su posterior inscripción en un suporte adaptado al tratamiento informático. El código debe adaptarse a la explotación que se quiere efectuar. Se trata, en definitiva, de proponer una traducción sencilla, normalmente en números, a una respuesta libre (reacción a una pregunta abierta), tanto si se trata de un hecho que de un juicio.

El tratamiento de las preguntas abiertas requiere mucha dedicación. Por ello es recomendable agrupar las respuestas en categorías.

La persona o el equipo encargado del análisis de las encuestas es quien decide cómo codificar las respuestas.

La contabilización de resultados y las correlaciones

Una vez los cuestionarios han sido codificados y tratados estadísticamente, la etapa siguiente consiste en explotarlos; en otras palabras, en sacar resultados interesantes en el marco definido por las hipótesis de trabajo.

El tratamiento de las respuestas

El análisis de los resultados

Inscrita en la perspectiva de las hipótesis iniciales, esta fase de análisis recurre a la pre-encuesta y la documentación.

En esta fase, puede ser necesario volver al tratamiento de los resultados para profundizar algunos puntos (relacionar ulteriormente las respuestas, por ejemplo).

Los diferentes tipos de análisis

Existen muchos métodos estadísticos más o menos complejos. En el marco de las evaluaciones, los tratamientos sencillos son a menudo suficientes, aunque cabe tener en cuenta que las correlaciones entre elementos enriquecen el análisis.

Umbral de error

El margen de errores que intervienen casi necesariamente en el tratamiento de los resultados (condiciones de encuesta, error de muestrario, problemas de plazos, de coste, etc.) no se debe olvidar durante el análisis de los resultados.

Teniendo en cuenta el margen de error, lo más razonable sería interpretar los resultados como indicadores de tendencia y no como medidas estadísticas concisas.

Redacción del informe de la encuesta

El informe debe contener la esencia de los resultados analizados. Un informe de encuesta contiene por ejemplo:

• un sumario (de 1 a 2 paginas)
• un resumen (de 1 a 3 paginas)
• una introducción (de 2 a 5 paginas)
• la exposición del método (de 1 a 3 paginas)
• el análisis de los resultados (de 30 a 60 paginas)
• las conclusiones (de 2 a 10 paginas)
• los anexos (hasta 25 paginas)
• las recomendaciones, que consisten en una traducción de las conclusiones en forma de opciones estratégicas, y los consejos que indican los tipos de acciones a ejecutar

Por otra parte, y de forma imperativa, el informe debe reunir las siguientes características:

• ser claro
• ser leíble
• ser conciso
• tener una presentación sencilla, con tablas y esquemas
• jerarquizar las informaciones

.

• Ejemplos

.

.

Muestreo

La palabra "muestra" hace referencia al grupo de personas que será encuestado. Este grupo de personas es seleccionado entre el grupo objeto de la evaluación, y la selección depende del método escogido para realizar el muestreo.

Hipótesis de trabajo

Salvo en el caso de un enfoque empírico de la evaluación (lo que es casi imposible), en general, las investigaciones científicas: 1) establecen hipótesis, y 2), las demuestran. Este principio constituye la base de la elaboración de la encuesta. Los resultados de la encuesta permiten al evaluador verificar las hipótesis que constituyen la base de la encuesta, así como consolidarlas o corregirlas.

Publico objetivo

El público objetivo es la parte de la población a la que se dirige la encuesta. Viene determinado por una tipología o por variables descriptivas.

Tipología

La tipología es un método que divide la población en "tipos" o subgrupos homogéneos a partir de criterios específicos (económicos, sociales, demográficos, etc.). Las personas entrevistadas de cada uno de estos subgrupos, establecidos según dicha tipología, comparten características similares (correspondientes a los criterios que marca la tipología), o los mismos valores respecto de una serie de variables predeterminadas.

.