Evaluation methodological approach

.

¿PARA QUÉ SIRVE EL FOCUS GROUP?

Los evaluadores emplean el focus group en función de dos objetivos diferentes:

• Es una herramienta que permite recolectar información de las personas reunidas.
• Es una herramienta que permite confrontar en directo análisis y puntos de vista, de forma que se propicia la diversidad de propuestas y el cotejo de la información.

En evaluación, el focus group puede utilizarse durante diversas etapas, con públicos distintos según los objetivos que se persigan.

El focus group permite debatir información, opiniones y juicios ya recogidos, aclarar las razones que han conducido a las opiniones expresadas y comprobar su solidez. Por ello, esta herramienta debe utilizarse tras una colecta de información suficientemente completa, de forma que se favorezca el debate y se propicie la controversia. El focus group resulta pues útil para enriquecer el material de la colecta, pero no se trata de una herramienta de colecta "primaria".

¿Cuáles son los usos más frecuentes de un focus group?

Se puede emplear el focus group como:

• Un método para recolectar información y puntos de vistas de una categoría de actores, agentes o beneficiarios
• Un método para profundizar hipótesis y análisis de una categoría de actores, agentes o beneficiarios
• Un método de expresión y explicación de las divergencias de puntos de vistas y análisis entre diferentes grupos de actores, que pertenecen o no a las mismas categorías socio-institucionales
• Una herramienta de análisis del impacto de un programa, en particular a escala local
• Una herramienta de elaboración, a escala local, de las observaciones y de las primeras conclusiones de las análisis de campo de los evaluadores
• Un método para definir y validar propuestas y recomendaciones ( a escala institucional y local)

Las fonciones del focus group

¿Qué resultados se persiguen?

• Recolectar información cuantitativa y sobretodo cualitativa
• Profundizar análisis y captar puntos de vistas (las personas están en interacción: el objetivo es confrontar las diversas opiniones en tiempo real)
• Permitir una mejor aprehensión, por parte de algunos actores, de los puntos de vistas de otros grupos y profundizar o superar las divergencias de análisis y puntos de vistas entre varios actores. Por ejemplo, durante una evaluación de subsectores frecuentemente se realizan focus groups con los diferentes actores de la cadena y estos suelen llevar a buenos resultados.
• Elaborar o testar las hipótesis de trabajo al inicio o durante la evaluación
• Elaborar o testar las conclusiones, las recomendaciones o propuestas a mitad de la evaluación, con las partes interesadas o con los beneficiarios

El focus group tiene sus raíces en la sociología, en la antropología en forma de entrevista colectiva y en el marketing.

Diferencias entre la entrevista colectiva y el focus group

Las entrevistas colectivas se realizan a partir de una temática relativamente amplia. El objetivo que se persigue en este caso es la recopilación de información, de opiniones, de guías que conduzcan a la reflexión. Sin embargo, el objetivo del focus group es centrar el debate en un número limitado de temas, y hacer que los participantes detallen sus opiniones, realicen sus propios análisis e incluso sus propuestas.

La diferencia principal entre la entrevista colectiva y el focus group radica en el método de animación. Así, la entrevista colectiva se conduce de forma que haya una interactividad entre el animador y los participantes, mientras que el focus group da prioridad a la interacción entre los participantes.

Debate

No todos los teóricos están de acuerdo en incluir el focus group dentro de la "familia" de las entrevistas de grupo. Existen diversas maneras de constituir el grupo a entrevistar, y también existen diferentes métodos para animar las reuniones. La elección del método a utilizar depende del objetivo de estas entrevistas.

Detalles

• En marketing, los focus groups se emplean bastante frecuentemente para elaborar y validar los mensajes publicitarios o el análisis de nuevos productos.
• En los países en desarrollo, los focus groups se emplean en comunicación social para crear mensajes comprensibles, en particular en campañas de sensibilización (prevención anti-sida, etc.)

El focus group se emplea con bastante frecuencia en las evaluaciones de proyectos o de programas, y en particular en los estudios realizados con los beneficiarios.
Esta herramienta también puede ser utilizada en las evaluaciones sectoriales y país. En este caso los objetivos y las categorías de actores con quienes efectuar dichos focus groups pueden ser muy variados.

¿En qué etapa de la evaluación se emplea?Focus groups de profundización

Estos focus groups permiten, a lo largo de la evolución, profundizar, analizar y captar las reacciones de los diferentes actores operativos, y en particular de los beneficiarios, especialmente respecto a las primeras conclusiones y recomendaciones alcanzadas.

Es importante no confundir estos focus groups con las reuniones de presentación o de validación de las conclusiones finales con las entidades que han encargado la evaluación.

¿Con qué herramientas se puede combinar el focus group?Como complemento a un estudio de caso

En el caso de las evaluaciones sectoriales o país, un focus group puede completar la herramienta "estudio de caso". Los evaluadores pueden, por ejemplo, crear grupos comparativos o grupos de análisis de propuestas.
En este caso, los focus groups se realizan en otras zonas o en otros sectores a los propiamente estudiados en estudio de caso. De este modo, estos focus groups permiten recolectar información y puntos de vistas que el evaluador podrá utilizar para estimar el grado de especificidad o, al contrario, de generalización de algunas conclusiones del estudio de caso. 

Como complemento a una entrevista individual

El objetivo es confrontar y profundizar colectivamente determinados análisis y puntos de vista particulares, expresados previamente en una entrevista individual.

Como complemento a una encuesta de cuestionario

El focus group permite comprender y analizar los resultados obtenidos en una encuesta de cuestionario, e introducir en el debate las conclusiones que se obtuvieron en ella.

Esta herramienta permite recolectar información, análisis y opiniones con más personas que con las entrevistas individuales. Por lo tanto amplia la muestra de referencia.

• Permite profundizar sobre cierta información y confirmar ciertos análisis que provienen de entrevistas individuales
• Permite comprobar que un punto de vista expresado individualmente represente efectivamente el de un grupo de actores

No obstante, los participantes no constituyen una muestra representativa del público objetivo y los resultados no se pueden tratar estadísticamente. La información recolectada es de tipo cualitativo.

Una herramienta que puede facilitar el estudio del impacto

Poco costosa, esta herramienta puede dar indicaciones interesantes sobre el impacto de una política o de un programa sobre categorías específicas de beneficiarios o de actores.
Cuando el evaluador utiliza esta herramienta para un análisis de impacto, necesita recolectar los puntos de vista de los grupos de interés estratégico que conciernen las apuestas a la política o al programa evaluado.
Cuanto mejor es la identificación previa y la fragmentación en grupos estratégicos de interés, mejor será la calidad de la información recolectada.

Una fuente de creatividad, si se domina la dinámica de grupo

Los focus groups que buscan la "expresión de puntos de vistas contradictorios" permiten analizar las reacciones de algunos actores frente a los puntos de vistas de otros, de profundizar en las argumentaciones, las representaciones y el análisis de cada grupo de actores gracias a los ejercicios de confrontación y de argumentación.
Aunque no constituya su objetivo principal, estas reuniones permiten a veces superar algunos bloqueos o contradicciones que, más que estrategias basadas en intereses profundamente contradictorios, son resultado determinadas incomprensiones.
Mediante la dinámica de grupo se induce a los participantes a explicitar y a profundizar en sus argumentaciones, especialmente confrontando opiniones distintas. En este aspecto, las entrevistas individuales son más limitadas, ya que el evaluador raramente dispone de elementos que le permitan reactivar el diálogo.

LímitesUna organización y una preparación a veces complejas

Necesidad de efectuar previamente un análisis detallado de los grupos estratégicos presentes entre las diferentes categorías de actores concernidos.

En el caso de evaluaciones en países en desarrollo:

• Compleja y larga organización de reuniones en el caso que los beneficiarios estén paísmente lejanos el uno del otro
• Dificultad de algunas regiones en identificar las competencias nacionales y locales que puedan ayudar al evaluador en la preparación y animación de estos focus groups

Los límites de la expresión pública

El focus group presenta el riesgo que el evaluador no llegue a obtener opiniones auténticas por parte de los participantes, a causa:

• del carácter público de la expresión
• de la presencia de participantes que pueden limitar la expresión de otros
• de la falta de participantes que actúen como motor de la dinámica de grupo
• de posiciones políticas y sociales que tienen más peso en una dinámica de grupo que en un "cara a cara"
• de la tendencia natural en las personas a posicionarse dentro de un grupo con la mayoria en lugar de expresar opiniones minoritarias

Plazos que pueden alargarse y costes que pueden aumentar

La multiplicación de este tipo de entrevistas puede dar problemas de plazos y costes debido a:

• tiempo de preparaciòn
• indemnización de los participantes
• gastos de traslado
• remuneración de intermediarios que facilitan la organización del encuentro
• tiempo de tratamiento de la información recolectada, etc.

.

.

¿CUÁLES SON LAS ETAPAS DE PREPARACIÓN?Determinar los tipos de focus group que serán útiles en las diferentes fases de la evaluación

Para cada tipo de focus group es necesario determinar:

• los objetivos del focus group (información, análisis, confrontación, proposición, etc.)
• los tipos de participantes que se convocarán
• las tareas a efectuar necesarias para preparar el focus group
• los métodos de animación que se utilizarán.

Programar el calendario de realización de los focus groups

Se necesita tener en cuenta dos factores:

• El tiempo de preparación de los focus groups puede ser considerable, especialmente la selección de los participantes y la planificación y organización de la reunión (sobre todo cuando los focus group incluyen a beneficiarios finales).
• Los focus groups, que tienen como objetivo el estudio del impacto de una política o de un programa, se pueden realizar solamente cuando el evaluador dispone ya de primeras hipótesis y análisis, por lo que se necesita bastante tiempo de preparación.

Puede que haya una cierta tensión entre, por un lado, el tiempo necesario para poder obtener resultados de alta calidad, y por otro lado, los plazos de realización de los que se dispone efectivamente.

Identificar los grupos de intereses estratégicos

Un trabajo previo de análisis documental y de entrevistas individuales es siempre necesario al organizar entrevistas de grupo.

Este trabajo es imprescindible para poder identificar con precisión, dentro de cada categoría de actores y de beneficiarios, los diferentes grupos de intereses estratégicos que existen. Estos grupos se distinguen gracias a las expectativas, los puntos de vista, las representaciones sociales, las estrategias específicas, incluso contradictorias, con respecto a la política o al programa evaluado.

Seleccionar a los participantes

Una vez identificados los grupos estratégicos, conviene seleccionar para cada grupo de actores y beneficiarios, las personas que serán invitadas a participar en el focus group. Para efectuar dicha selección a menudo es necesario recurrir a un intermediario, en particular cuando se trata de invitar a representantes de poblaciones que viven en zonas de difícil acceso o que hablan solamente los idiomas locales.

Se debe seleccionar a las personas que constituyen los grupos en función de las disponibilidades y de los recursos humanos (como un interprete, por ejemplo) y de material que están a disposición del evaluador.

Está claro que la animación del grupo desempeña un papel fundamental en el desarrollo general de la sesión pero, de la misma forma, la dinámica del grupo viene marcada por uno o más "líderes" que toman frecuentemente la palabra e incitan al resto de los participantes a unirse al debate. Por esta razón, el animador debe asegurarse de que el grupo incluya a alguna persona con este talante, con la colaboración de la persona "recurso".

Es importante invertir el tiempo necesario en motivar a los participantes y permitirles participar plenamente en la reunión, para lo que deben comprender la lógica de su desarrollo y reflexionar sobre el tema de que se trate. Esto es especialmente recomendable en el caso de focus groups de usuarios o beneficiarios, en principio menos sensibilizados respecto a este tipo de procedimientos.

Elaborar la guía de animación

La guía de animación, que será empleada por el animador, debe elaborarse con suficiente antelación para que el animador tenga tiempo de familiarizarse con ella. El evaluador debe indicar los temas de estudio y proponer las preguntas que se van a plantear con los participantes. Es importante recordar que los participantes deberán tener libertad para poder desarrollar otras cuestiones relacionadas con las problemáticas previstas. Se aconseja señalar las recomendaciones dirigidas al animador en cursiva (sobre todo lo que deberá encargarse de recopilar de forma especial).

Algunos consejos:

• condensar las preguntas. La lista de preguntas no debe ser demasiado larga. No se trata de un cuestionario, sino de un cuaderno de notas. El animador debe plantear las preguntas según la reacción de los participantes y la cantidad de testimonios. Por ello, determinadas cuestiones preparadas por el evaluador no serán planteadas directamente a los participantes, ya que ellos mismos las habrán abordado de forma espontánea;
• evitar preguntas en forma de alternativa, ya que la experiencia demuestra que sólo se toma en cuenta la primera parte.

Planificar los focus groups

Esta etapa depende sobre todo de las disponibilidades de calendario tanto de las personas invitadas a los focus groups, como de las disponibilidades del equipo de evaluación y de los intermediarios, así como también de los trabajos preparativos necesarios para la realización de los focus groups.

En general, los focus groups son conducidos por un animador (o moderador), que debe seleccionarse en función de su capacidad para crear y mantener una dinámica de grupo. En efecto, de dicha capacidad dependerá la calidad del focus group. Además, el animador es el garante de un debate centrado y pertinente entre los participantes. Así pues, debe estar adecuadamente informado sobre las temáticas y retos de la evaluación.

¿Cuáles son las competencias del animador?

Los focus groups deben ser realizados por una persona cualificada. Ello supone que dicha persona debe:

• dominar la problemática de la evaluación
• dominar las técnicas de animación de grupo
• hablar el idioma de los participantes del encuentro
• poseer un conocimiento suficiente de las características sociales y culturales de los participantes con el fin de:
  • respetar los usos y costumbres,
  • comprender determinados juegos de poder entre los miembros del grupo
• no tomar parte en las luchas de poder y en los conflictos sociales que pueden aparecer entre los participantes

Si el evaluador no está suficientemente cualificado en alguno de estos aspectos, deberá recurrir a un animador local.

Formación del animador

A pesar de que el animador debe ser seleccionado en función de su técnica en animación, es poco frecuente que tenga un buen dominio de la animación de focus groups. Así pues, es necesario formarlo en el funcionamiento de este tipo de reuniones en el marco de la evaluación y sobre el tipo de animación que propicia el éxito del focus group. En definitiva, puede que se haga necesario organizar una jornada de formación.

Esta sesión de formación incluye la presentación de la guía de animación, precisiones sobre el funcionamiento y los retos del focus group y sobre el desarrollo de la sesión que espera el evaluador. Es pues importante comprobar antes de dicha sesión que el animador comprende todos los términos y expresiones empleados en la guía.

Algunos consejos que pueden darse al animador:

• retomar los testimonios para obtener más información;
• asegurarse de que todo el mundo tenga tiempo para expresar su opinión;
• realizar una síntesis de cada tema abordado y pedir a los participantes que se manifiesten al respecto;
• reformular las preguntas si no se han entendido bien;
• tener en cuenta el lenguaje corporal (asentimientos o negaciones con la cabeza, sonrisas, etc.).

¿Cuál es el papel del animador?Producir

• formular el problema a resolver sin aportar soluciones
• definir la situación
• formular hipótesis
• centrar las discusiones sobre los puntos importantes del guión de la entrevista.

Ayudar

• analizar el trabajo del grupo
• jerarquizar los problemas
• volver a formular los puntos poco claros
• reactivar el debate.

Modular

• buscar las causas del bloqueo del grupo
• evitar las tensiones
• controlar a los líderes y reactivar a los " tímidos "
• tener en cuenta los silencios y los momentos de vacilación del grupo.

¿Cuál es el papel de la persona 'recurso' o del intermediario?

A menudo resulta útil movilizar a personas "recurso" para ayudar al evaluador a seleccionar a los participantes.

La dinámica del grupo depende de su composición, y la presencia de una o dos personas que tomen fácilmente la palabra e inciten al resto de los participantes a unirse al debate puede favorecer dicha dinámica. La persona "recurso" puede pues asegurarse de la presencia de este tipo de participantes en el grupo.

Por otro lado, esta persona puede encargarse de preparar a los participantes para la reunión: explicarles las modalidades de desarrollo, las temáticas y objetivos del focus group, etc.

¿Cuál es el papel del observador?

Además de un animador, un observador puede resultar muy útil para mantener una memoria de los cambios de puntos de vistas, en particular contradictorios, que han tenido lugar durante el focus group.
Su participación puede ser útil también para la toma de notas, ya que el animador no siempre lo puede hacer.

Cuando se emplea un focus group como herramienta de formulación de puntos de vista por parte de un grupo, existen dos posibilidades en función de la composición del grupo:

El grupo está compuesto por personas con funciones y posiciones relativamente similares

Cuando un grupo es socialmente homogéneo, los participantes pueden expresarse más libremente. Sin embargo, para que haya debate hay que asegurarse de que las posiciones de los participantes respecto a las cuestiones planteadas no sean excesivamente idénticas. Análisis, visiones y experiencias distintas pueden ser confrontadas a partir de una base común de comprensión.

En el caso de composición homogénea, el focus group se emplea como una herramienta que permite profundizar en la información y opiniones de una categoría específica de actores, que comparten los mismos intereses estratégicos (en términos de posiciones sociales e institucionales). Permite comprender lo que piensan los participantes, y también por qué lo piensan. El focus group ofrece entonces al evaluador una visión global de las experiencias, opiniones, actitudes y necesidades de los participantes.

El grupo está compuesto por personas con funciones y posiciones diferentes

En este caso, el evaluador puede partir de la hipótesis que los análisis y puntos de vista de dichas personas sobre las cuestiones tratadas serán relativamente divergentes. El focus group se utiliza entonces como un medio para expresar públicamente dichas informaciones, ya que cada tipo de actor tiene la ocasión de presentar y argumentar su punto de vista. Permite pues recopilar testimonios. También permite al evaluador precisar los elementos de convergencia, de divergencia y de complementariedad de los puntos de vista representados en el grupo. Por otra parte, la dinámica consistente en la expresión de puntos de vista contradictorios permite al evaluador analizar con mayor profundidad y obtener una comprensión mejor de dichas divergencias.

Casos específicos

A veces la composición de los grupos puede contribuir a falsear el contenido de la información y de los análisis discutidos.

Ejemplo

• En el caso de sociedades jerarquizadas, algunas categorías de actores tienen dificultades para expresarse públicamente delante de sus superiores, sobre todo cuando se trata de defender un punto de vista contradictorio. Esta es una de las razones del carácter artificial de algunas reuniones locales organizadas para analizar el impacto de determinadas medidas. Desafortunadamente, esta realidad social a menudo subestimada por los evaluadores.

Se puede también organizar grupos formados por agentes y cargos dirigentes de una misma institución. En este caso, el evaluador tendrá que vigilar los efectos del carácter público de la expresión de los puntos de vista.

Ejemplo

• En sociedades poco democráticas, la toma de palabra pública, o incluso la propia invitación del evaluador para tomar la palabra, puede implicar un riesgo para los participantes.

Los participantes pueden voluntariamente deformar sus mensajes por varias razones. En primer lugar, pueden, por ejemplo, dirigirse a otros participantes. Por otra parte, pueden estar defendiendo los intereses estratégicos de su grupo, lo que supone una instrumentalización de la herramienta y del evaluador si éste no toma precauciones.

Para no ser instrumentalizado, el evaluador debe ser cauteloso y gestionar cuidadosamente el desarrollo de un focus group de grupo. En particular, debe evitar que un individuo monopolice la palabra. También debe salvaguardar el equilibrio en la participación de las distintas personas.

¿Cómo determinar el tamaño del grupo?

Un focus group puede reunir grupos de varios tamaños. Se aconseja de no superar las 10 o 15 personas por focus group, para que todos pueda expresarse efectivamente.
En el caso de grupos más grandes, es posible dividir los participantes en subgrupos, al menos durante una parte del focus group. Para ello se necesita, sin embargo, disponer de suficientes animadores para cada subgrupo.
En el caso inverso, cuando se trata de un grupo compuesto por menos de 4 o 5 personas, es difícil crear una verdadera dinámica de grupo, que constituye, en definitiva, el "valor añadido" del focus group.

Antes de la sesión de trabajo del focus group es importante recordar el marco de la evaluación y sus objetivos, así como presentar al equipo. Estos pasos previos limitan posibles malentendidos susceptibles de modificar el discurso de los participantes.

El evaluador no debe olvidar que, cuando anima focus groups con beneficiarios, muchas veces es considerado representante de los donantes, por lo que constituye el portavoz ideal de los problemas detectados por los participantes. Así, no debe olvidar nunca que los participantes tienen la tendencia natural de utilizarlo para transmitir su mensaje a otros grupos (de la sociedad civil o políticos). De todas formas, esto no supone ningún hándicap para la dinámica del focus group, ya que permite un intercambio más vivo que el simple testimonio de experiencias personales.

¿Cómo elegir el o los métodos de animación de grupo?

Durante un focus group, el animador recurre a varios métodos de animación de grupo con el objetivo de evitar la monotonía, el relajamiento o para permitir que la dinámica de grupo evolucione.

Es importante recalcar que el focus group no debe convertirse en una suma de entrevistas individuales. Muy al contrario, es necesario crear y mantener una interacción dinámica entre los participantes. Esta dinámica dependerá de la calidad de la animación.

En relación al modo de participación, es posible distinguir dos tipos de entrevistas colectivas:

• Las entrevistas de grupo de tipo reactivo: se incita a los participantes a que den puntos de vistas, etc. sobre informaciones, análisis o proposiciones elaboradas por el evaluador como soporte para la reflexión colectiva. Este modo de animación permite recopilar informaciones y validar las propuestas de los evaluadores.
• Las entrevistas de grupo de tipo proactivo: la información y los testimonios de los participantes sirven de materia prima para la elaboración colectiva de análisis, e incluso de proposiciones.

En relación al grado de animación, es posible distinguir entre:

• Las entrevistas realizadas a partir de una temática amplia y una animación muy " abierta ": el objetivo buscado es recolectar información, puntos de vistas, rastros de reflexión, etc. Se trata de un método de animación que se emplea frecuentemente al principio de la evaluación.
• Las entrevistas realizadas con un método más estructurado, más directo y sobre una temática bastante bien delimitada: el objetivo es incitar a los participantes a producir análisis o proposiciones.
• Las entrevistas realizadas con un método interactivo entre el animador y los participantes: el objetivo es comprobar y validar las conclusiones o las proposiciones de los evaluadores.

Sugerencias para animar las discusiones de un grupo

Lo que se hace y lo que se evita en la animación de un grupo

El evaluador no debe intentar sacar elementos cuantitativos de un focus group, y aún menos, debe querer obtener una determinada representatividad que concierna al conjunto del grupo objetivo, como por ejemplo los beneficiarios. Por otra parte, el evaluador no debe ignorar el efecto de distorsión de las opiniones personales que provienen del efecto de grupo (sentimientos de pertenencia y de reconocimiento, efecto del liderazgo, de afirmaciones exageradas, creación artificial de conflicto a partir de la confrontación de opiniones, etc.).

¿Como administrar el ritmo de un focus group?

Se deben tener en cuenta varios elementos:

• Prever la duración de un focus group de grupo: por lo menos media jornada. En efecto, se necesita un cierto tempo para que un grupo empiece e dar resultados colectivos.
• Estructurar el encuentro en etapas, con momentos de presentación intermediarios para el grupo. Estos momentos son necesarios para comprobar y estabilizar progresivamente las afirmaciones y los puntos de vistas expresados.
• Estar atento para crear rápidamente una dinámica de grupo y evitar quedarse con una lógica de "suma de individuos". Se trata, por tanto, de asegurar un ambiente confiado e relajado, una tomada de palabra equilibrada, etc.
• Mantener la dinámica de grupo, alternando los métodos de animación.

En una reunión hay momentos en los que el grupo es "reactivo" a la presentación de un análisis, de información, etc. y momentos en los que es "proactivo", es decir que proporciona directamente informaciones organizadas y análisis.

¿Que método de estructuración?

La participación en el caso de utilizar método " proactivo " necesita de una animación muy estructurada. Con este fin, pueden utilizarse soportes visuales o auditivos, así como ejercicios, simulaciones, momentos de síntesis, de recapitulación etc.
Se puede preparar la progresión con varias secuencias previstas con antelación. Sin embargo, hay que reconocer que es difícil conocer con antelación la calidad de la dinámica del grupo y su ritmo efectivo.

A lo largo de al reunión, la toma de notas sobre una pizarra u otra herramienta de visualización colectiva, permite al grupo seguir y controlar la síntesis de la información.

El evaluador debe siempre terminar el encuentro con una síntesis de la información, para reconstruir el resultado y comprobar que no haya desacuerdos o incomprensiones. Esta presentación debe ser informal, para evitar largas discusiones de validación formal.

El animador o el observador pueden anotar las categorías de participantes que se expresan mucho y las que lo hacen poco; las que se dirigen a los otros o las que no lo hacen etc. Estos comentarios serán importantes para contextualizar, a posteriori, los propósitos.

Después del encuentro, los ponentes y el animador miran y confrontan sus notas con el objetivo de identificar y llenar las eventuales lagunas. Es útil también que los evaluadores analicen la dinámica de la sesión con el fin de considerar las coacciones y decidir eventuales correcciones para los posteriores focus groups.

Una buena manera de conservar la información, tanto las observaciones sobre el desarrollo de la sesión como el contenido de los debates, es la grabación. Este método permite conservar la totalidad de los distintos discursos con lo que, además, libera al observador de esta tarea y le permite centrarse en los elementos más importantes, que se reflejarán en la síntesis de la sesión, e intervenir en ella para abordar cuestiones que el animador haya podido olvidar, o aclaraciones.

Este método es especialmente recomendable en el caso de los focus groups desarrollados en lenguas locales. En estos casos, las notas suelen tomarse en otro idioma (francés, inglés, español,…), y se observa una gran pérdida del contenido íntegro de la sesión. La grabación permite recuperar lo que no se pudo retener en las notas. Por lo tanto, al organizar el focus group, el evaluador deberá prever una jornada de trabajo suplementaria para transcribir la sesión.

Algunas sugerencias para tomar notas durante el focus group

• Las notas son redactadas en primera persona para reflejar las palabras exactas, tal como se escuchan.
• Las palabras claves y las ideas importantes deben sobresalir en las notas que se toman.
• Las frases originales y los refranes populares se anotan sin deformarlos.
• Las notas deben ser lo más completas posible, y se deben anotar todas las divergencias de opiniones.

El tratamiento depende en gran medida de la calidad de la estructuración del focus group.

Caso de un focus group muy estructurado

En este caso, es más sencillo agrupar las respuestas e identificar qué parte del grupo ha tenido una opinión determinada sobre un tema tratado, frente a otra parte del grupo que no estaba de acuerdo con dicha opinión.

Un focus group bien estructurado permite además una sencilla interpretación de los resultados, que el evaluador puede emplear directamente.

Caso de un focus group poco estructurado

La focus group se parece más una conversación entre varias personas. En general, en ellas, los participantes llegan a pocas conclusiones conjuntas, que raramente son adoptadas. En este caso por tanto, el tratamiento de los resultados del focus group se parecerá más al de las entrevistas individuales.

Se trata en definitiva de una suma de opiniones individuales que el evaluador puede mencionar. La ventaja de dichas opiniones respecto a un focus group individual reside en su carácter público, que permite que sean más determinantes y, en consecuencia, más susceptibles de ser inmediatamente contradichas.

El focus group constituye una herramienta de coste modesto, que varía según el número de encuentros colectivos organizados y según la dificultad de su organización (distancia, etc.).

En líneas generales, el focus group es menos costoso que la encuesta.

Costes que hay que tener en cuenta

Además del tiempo de trabajo y de los gastos de viajes del o de los evaluadores, hay que prever las siguientes partidas:

• La remuneración de los especialistas en animación de grupos, si el mismo evaluador no puede hacerlo
• La posible formación de animadores locales
• La posible remuneración de los intermediarios para la organización de los encuentros
• La posible remuneración de los interpretes
• Los gastos de traslado de los participantes
• Los gastos de restauración, logística, alquiler de salas...

¿El evaluador debe aceptar pagarlo todo?

Algunos evaluadores pagan una remuneración a los participantes del focus group, concediéndoles, por ejemplo, un per diem además de los gastos de traslado y de restauración.

Hay que ser prudente, sin embargo, porque esta práctica podría influir en la expresión de los participantes y poner en la tela de juicio la validez de los resultados.

No obstante, es verdad que según la profesión del participante (por ejemplo un comerciante o un agricultor), la perdida de los ingresos por media jornada o una jornada entera de trabajo dedicada al focus group puede ser importante. En este caso, conviene ser pragmático y considerar la indemnización de los participantes una práctica excepcional, con importes que deben ser modestos.

En ningún caso la remuneración debe convertirse en la principal razón que motive la participación de una persona, y, de forma imperativa, debe evitarse que los otros participantes tengan la impresión que se ha "comprado" su opinión.

.

.

¿POR QUÉ EMPLEAR ESTA HERRAMIENTA EN EVALUACIÓN PAÍS?

En una evaluación país/región, la pregunta clave no es tanto saber como recolectar la información, sino como determinar la información que hay que buscar, con quien, sobre un tema muy amplio y en un periodo corto.

¿Cuáles son las dificultades específicas en evaluación país?La identificación de las apuestas estratégicas y de los beneficiarios

Una de las apuestas de la evaluación país es determinar exactamente los tipos de actores que han sido efectivamente, de alguna manera, los beneficiarios de la política ejecutada de una u otra manera. Después se analizan las estrategias y las lógicas desplegadas por los varios grupos de actores con respecto a la política evaluada.

El gran número de actores

La evaluación país se enfrenta a menudo con la dificultad de entrevistar al gran número de actores encontrados: institucionales, agentes y actores encargados de la puesta en practica, beneficiarios, etc.

La selección de los participantes

La selección de personas y de instituciones de quien recolectar la información y los puntos de vistas, es a veces demasiado restringida. A menudo efectuada al principio de la evaluación por razones de gestión del calendario, no se adapta obligatoriamente a las apuestas y a los problemas estratégicos.

La falta de tiempo

Los evaluadores emplean a menudo una gran parte de su tiempo en las entrevistas individuales con las personas en las instituciones, y puede faltar tiempo para los estudios de impacto sobre los beneficiarios (además de la complejidad inherente en la medición del impacto en la evaluación país).

Los tiempos asignados y los presupuestos no permiten efectuar unas serias de entrevistas con todos los tipos de actores potencialmente implicados en la política evaluada.

¿Cómo se adapta el focus group a estas dificultades?

Se ha practicado, hasta ahora, poco el focus group en la evaluación país/región.
Sin embargo, esta herramienta puede aportar valor, en todas las fases de la evaluación.
En el contexto de la evaluación país, el focus group se puede emplear con dos objetivos distintos:

• para identificar y analizar las problemáticas,
• para realizar un análisis de impacto.

El peso de cada uno de estos objetivos en un focus group variará según la naturaleza de la evaluación: ex ante, a mitad del transcurso o ex post. El empleo del focus group en una evaluación ex ante, por ejemplo, tendrá más bien como objetivo definir las necesidades y las prioridades con los actores susceptibles de ser afectados por un programa o una política. El objetivo del análisis de impacto tendrá tal vez menos peso aunque tampoco sea excluido: los evaluadores pueden intentar medir el impacto de una política anterior o de otro actor, con el objetivo de definir mejor las orientaciones que se tomaran la próxima vez.

En medio de la implementación de una política, un focus group puede pretender recolectar opiniones o sugerencias de actores operacionales pertinentes o de los beneficiarios. En este caso, se trata de entender mejor las disfunciones o de subrayar los puntos fuertes, para crear las recomendaciones que permitirán reorientar la política en curso.

La riqueza del focus group es que sea una herramienta flexible, que puede adaptarse a las diferentes fases y a los diferentes tipos de evaluación. Los evaluadores deberán definir previamente de manera clara en sus métodos lo que esperan de ellos.

En respuesta a ciertas dificultades en el contexto de la evaluación país/ región, se puede definir el focus group en función de tres objetivos.

Una herramienta de identificación y de análisis de las problemáticas

En este caso, el focus group se combina con la entrevista individual.

Primera fase de entrevistas individuales

Se realizan algunas entrevistas individuales muy centradas para conocer lo que está en juego. Dichas entrevistas deben centrarse en algunas personas:

• que tienen una visión bastante global de la política, de sus objetivos y de sus efectos,
• que provienen de situaciones institucionales diferentes para evitar el escollo de una visión inicial demasiado centrada sobre el punto de vista de las instituciones encargadas de la definición y de la implementación de dicha política.

Segunda fase de focus groups

Sobre la base del resultado de estas primeras entrevistas, se organizan uno o más focus groups con:

• los responsables y actores implicados en la definición y en la ejecución de la política,
• los actores que tienen una visión más amplia de los efectos.

De esta manera, se amplia el primer círculo de los actores que han participado en las entrevistas individuales.

El objetivo es profundizar y compartir colectivamente una primera selección de análisis estratégicos para incluirla en el debate y sobre la cual centrar las preguntas.
Se puede aplicar este tipo de entrevistas de identificación a diferentes niveles geográficos y sectores variados. Esto permite consultar con rapidez numerosas instituciones

Una herramienta de análisis de impacto

Se trata sobre todo de identificar y analizar sobre que grupos de actores la política ha tenido un impacto (positivo o negativo).
Estos grupos de actores no se deben limitar únicamente a los beneficiarios finales de los programas ejecutados. También hay que considerar los que, en las diferentes escalas de responsabilidad, han sacado alguna ventaja de la política evaluada (y cuál) o si han sido, de alguna manera, afectados.

Pueden también existir algunos beneficiarios ""imprevistos" en el momento de la definición de la política que se deben tener en cuenta.
En el marco de la evaluación país, el análisis de impacto, por consiguiente, también incluye al conjunto de categorías intermedias entre los que deciden y los beneficiarios finales.
Tres tipos de focus groups pueden llevarse a cabo con este objetivo de analizar el impacto y como complemento a una serie de entrevistas individuales.

Tipos de entrevista

.

.

• Ejemplos

.