Evaluation methodological approach

Evaluation methodological approach

Group
public
Last Updated: 25 March 2025
40
 Members
3
 Discussions
199
 Library items

Fase de terreno (fase 2)

.

Esta sección está estructurada de la siguiente manera:

.

Cada etapa de la fase de terreno es descrita según el rol de:
evaluation manager

 El responsable de evaluación
external evaluation team

 El equipo de evaluación

Por lo general, cuando el trabajo se lleva a cabo a través de una misión de expertos internacionales, la duración de esta fase es de algunas semanas. El plazo puede prolongarse si intervienen consultores locales, con las consiguientes ventajas en términos de exhaustividad de la investigación y con una menor presión sobre las partes interesadas.

.

.
Preparación
external evaluation team

El coordinador del equipo de evaluación elabora el plan de trabajo precisando las tareas que deben ejecutarse, los responsables, el empleo del tiempo, la manera de informar sobre todo ello y las exigencias respecto de la calidad.

.

El plan de trabajo debe ser suficientemente flexible para poder adaptarlo a las dificultades de última hora que puedan surgir sobre el terreno.

El equipo de evaluación entrega a las partes interesadas clave una lista que incluye a las personas a las que hay que entrevistar, las encuestas, el itinerario y los nombres de los responsables del equipo de evaluación.

Entrevistas y encuestas a personas externas

Una cuestión metodológica importante es saber en qué medida se han alcanzado los objetivos en términos de beneficios para los grupos objetivo y de impacto ampliado. La consecución de los objetivos debe juzgarse desde el punto de vista de la percepción que tienen los beneficiarios de los beneficios recibidos, y no desde la perspectiva de los responsables en términos de productos y resultados. Por lo tanto, las entrevistas y encuestas deben centrarse en las personas externas (beneficiarios y otros grupos concernidos), así como en las personas implicadas (responsables, socios, operadores de terreno). El plan de trabajo debe establecer claramente la proporción de personas implicadas y externas consultadas en el marco de las entrevistas y encuestas. 

Para entrevistar a las personas externas es posible que haya que superar barreras lingüísticas y/o culturales.

.
evaluation manager

El responsable de la evaluación confirma que:
  • las autoridades del país o los países socios han sido informadas de los futuros trabajos sobre el terreno a través del canal adecuado,
  • la dirección del proyecto/programa ha recibido una lista indicativa de las personas que serán entrevistadas, las fechas de las visitas, el itinerario y los nombres de los miembros del equipo,
  • las cuestiones logísticas se han acordado con antelación.

El plan de trabajo será suficientemente flexible para adaptarse a las circunstancias sobre el terreno.

Orientaciones específicas en caso de:

  • Programa multipaís

En caso de programa multipaís, los estudios de caso permiten al equipo de evaluación recopilar información sobre el programa en el ámbito nacional. Junto con la fase de documentación, las constataciones del estudio de caso de país servirán para sustentar la valoración global formulada por el equipo de evaluación. En el plan de trabajo se precisará que los estudios de caso de país no deben considerarse como evaluaciones completas. 

Si el calendario lo permite, el primer estudio de caso de país puede servir para probar la metodología.

  • Evaluación participativa

En caso de evaluación participativa, el plan de trabajo incluye una serie de talleres o focus groups mediante los cuales se informa a los beneficiarios sobre los datos que se están recopilando.

.
external evaluation team

 Reunión inicial

.

En la medida en que se considere oportuno, el equipo de evaluación propone una reunión informativa en el país/la zona durante los primeros días de trabajo sobre el terreno. Se tratarán los puntos siguientes:

  • Presentación del plan de trabajo y debate.
  • Acceso a los datos e informantes clave.
  • Tratamiento y resolución de los posibles problemas

.
external evaluation team

 Recopilación y análisis de los datos

.

El equipo de evaluación pone en práctica su plan de recopilación de datos sobre el terreno. Las dificultades que puedan surgir se comentan de inmediato en el seno del equipo y, en caso necesario, se comentan las soluciones con el responsable de la evaluación.

Comportamiento ético durante la recopilación de datos

El equipo de evaluación no sólo tiene una responsabilidad frente al servicio encargado de la asignación, sino también frente a los grupos e individuos implicados en o concernidos por la evaluación, de modo que deben tenerse en cuenta los problemas siguientes:

  • Las entrevistas deben garantizar un cierto grado de informalidad y el respeto por las creencias, las costumbres y las tradiciones de las personas encuestadas.
  • Las entrevistas deben respetar el derecho de las personas a dar información de forma confidencial y deben garantizar que no podrán rastrearse las fuentes de información.
  • Los miembros locales del equipo de evaluación serán libres de asumir o no la responsabilidad del informe. En caso negativo, su función concreta se describirá con claridad en dicho informe.
  • El equipo de evaluación debe minimizar sus demandas en cuanto a duración de la entrevista.
  • Si bien los miembros del equipo de evaluación deben respetar otras culturas, también deben integrar los valores europeos, en particular respecto a las minorías y a grupos específicos como las mujeres. En este sentido, se toma como referencia la Declaración Universal de los Derechos Humanos de las Naciones Unidas (1948).
  • Los miembros del equipo de evaluación tienen la responsabilidad de poner de manifiesto los problemas y las constataciones directamente relacionados con los términos de referencia.
  • Las evaluaciones revelan a veces elementos de prueba relativos a malas prácticas. Los posibles problemas deberán comentarse con el responsable de la evaluación, por ejemplo sobre qué informar, cómo y a quién.

.

Todos los miembros del equipo de evaluación deben tener claro que la evaluación no es ni un sondeo de opinión ni una oportunidad para expresar ideas preconcebidas. El trabajo de terreno está destinado a recopilar elementos de prueba lo más sólidos posible, es decir:

  • Una observación directa de los hechos con grabaciones de audio, fotografías, etc. (elemento más sólido).
  • Afirmaciones de los informantes implicados personalmente.
  • Proxies, es decir, observaciones de hechos que permiten inferir otros hechos.
  • Informaciones aportadas indirectamente por informantes no implicados personalmente (elemento menos sólido).
Evitar y corregir sesgos

Los miembros del equipo de evaluación deben ser conscientes en todo momento de los sesgos potenciales, como por ejemplo:

  • El sesgo de confirmación, es decir, la tendencia a buscar elementos de prueba que confirmen los efectos esperados en lugar de elementos de prueba que los refuten.
  • El sesgo derivado de la empatía, es decir, la tendencia a crear una atmósfera agradable (empática) con la finalidad de conseguir un gran número de respuestas y de completar las entrevistas con rapidez, lo cual provoca que los entrevistados formulen afirmaciones demasiado optimistas sobre el proyecto/programa.
  • La autocensura, es decir, la tendencia de los entrevistados a no explicarse libremente y a no distinguir entre sus puntos de vista y los de sus instituciones o superiores, simplemente porque lo perciben como un riesgo.
  • La estrategia de los entrevistados, es decir, las afirmaciones deliberadamente exageradas con la finalidad de acercar las conclusiones de la evaluación hacia sus posiciones.
  • Las preguntas que inducen las respuestas, es decir, respuestas influidas por la forma en que se plantean las preguntas o por las reacciones del entrevistador ante las respuestas.

El equipo de evaluación refuerza la fiabilidad de los datos si:

  • plantea preguntas abiertas, con lo cual se evita el sesgo de confirmación;
  • mezcla preguntas positivas y negativas, con lo cual se evitan el sesgo derivado de la empatía y las preguntas que inducen las respuestas;
  • se concentra en todo momento en los hechos, lo cual permite cruzar los datos posteriormente y evitar el sesgo derivado de la estrategia del entrevistado;
  • garantiza el anonimato (y mantiene la promesa), con lo cual se evita la autocensura del entrevistado.

.
evaluation manager

 Seguimiento

.

El responsable de la evaluación facilita las entrevistas y los estudios a través de los medios adecuados, como por ejemplo cartas de mandato o contactos informales con el gobierno en cuestión. 
El responsable, además, estará preparado para actuar con rapidez, a petición del equipo de evaluación, si surge algún problema sobre el terreno que no pueda resolverse con la ayuda del responsable de evaluación.

.
external evaluation team

 Control de calidad

.

El responsable del equipo de evaluación comprueba la calidad de los datos y los análisis a partir de los criterios de calidad previstos para cada herramienta y de principios generales como los siguientes:

  • Presentación detallada del método que realmente se ha puesto en práctica.
  • Conformidad con el plan de trabajo y/o justificación de las adaptaciones.
  • Respeto de la reglas de confidencialidad.
  • Autovaloración de la fiabilidad de los datos y de los sesgos.

.
1422284308_bh4.png

 Debriefing

.

Se celebran una o varias reuniones de debriefing para valorar la fiabilidad y la exhaustividad de la recopilación de información y para comentar las constataciones significativas. Como mínimo una de estas reuniones se organiza con el grupo de referencia. 

El equipo de evaluación propone una reunión de debriefing al finalizar la fase de terreno y revisa los datos y los análisis para cruzar las fuentes de información, para valorar la solidez de la base factual y para identificar las constataciones más significativas. 

Se organiza otra reunión de debriefing con el grupo de referencia para comentar la fiabilidad y el alcance de la recopilación de información y las constataciones más significativas. 

El equipo de evaluación presenta una serie de diapositivas relativas a la exhaustividad y a la fiabilidad de los datos recopilados, al campo abordado y a sus primeros análisis y constataciones. Estas reuniones ofrecen la oportunidad de reforzar la base de elementos de prueba de la evaluación. No se presenta ningún informe previo ni se proporcionan actas posteriormente.

Orientaciones específicas en caso de:

  • Programa multipaís

En caso de programa multipaís, el equipo de evaluación mantiene una reunión de debriefing en cada país visitado con o sin la participación de la delegación. Se redacta una nota país que se distribuye entre los actores locales para conseguir un control factual

  • Evaluación participativa

En caso de evaluación participativa, el equipo de evaluación puede organizar talleres de debriefing en los que participen los beneficiarios y otras partes interesadas externas, con el objetivo de mejorar la calidad de los datos recopilados, de ayudar a interpretar los datos desde el punto de vista de los actores sobre el terreno y de reforzar las capacidades de las organizaciones de la sociedad civil local.
Check-lists

Véase como base de inspiración la Check-list de las evaluaciones geográficas y temáticas.