|
Cada etapa de la fase de preparación es descrita según el rol de:
|
 |
El responsable de evaluación |
 |
El equipo de evaluación |
|
La fase inicial comienza en el momento en que se contrata al equipo de evaluación y su duración se limita a unas semanas.
.
|
|
Recopilación de los documentos de base |
|
.
Uno de los miembros del equipo se encarga de recopilar una serie de documentos de base, como por ejemplo:
- Los documentos de programación (por ejemplo, la ficha de proyecto) y sus enmiendas en caso de haberlas.
- La evaluación ex ante.
- Los documentos de la CE que proporcionan el marco político en el que se sitúa el proyecto/programa (política de desarrollo y relaciones exteriores de la CE, política exterior de la UE, documento de estrategia país).
- El documento de estrategia del gobierno (DELP, o PRSP por sus siglas en inglés).
.
|
|
Lógica del proyecto/programa |
|
.
El equipo de evaluación estudia el marco lógico elaborado al inicio del ciclo del proyecto/programa. Si no existe tal documento, el responsable del programa debe reconstruirlo en retrospectiva. En caso necesario, el equipo de evaluación identifica los puntos que precisan ser aclarados y/o actualizados. Cualquier aclaración o actualización se indicará de forma transparente.
El análisis lógico del proyecto/programa abarca:
- El contexto en el que se ha iniciado el proyecto/programa, sus oportunidades y limitaciones.
- Las necesidades que deben satisfacerse, los problemas que hay que resolver y las dificultades que habrá que superar.
- Las justificaciones oportunas para confirmar que esos problemas, necesidades o dificultades no podrían abordarse mejor en otro marco.
- Los objetivos.
- El tipo de contribuciones y actividades.
La jerarquía de objetivos y su traducción en diferentes niveles de efectos esperados son de especial importancia:
- Objetivos operativos en términos de resultados a corto plazo para los beneficiarios directos y/o efectos directos (productos o servicios tangibles).
- Objetivos específicos (finalidad del proyecto) expresados en términos de beneficios sostenibles para los grupos objetivo.
- Objetivos generales expresados en términos de efectos ampliados.
Una vez realizado el análisis a partir de los documentos oficiales, el equipo de evaluación comienza a interactuar con los informantes clave de la dirección del proyecto/programa y con los servicios de la CE. Se recopilan los comentarios sobre la lógica del proyecto/programa.
.
|
|
Delimitación del campo |
|
.
El campo de la evaluación abarca todos los recursos movilizados y las actividades ejecutadas en el marco del proyecto/programa (campo central).
Además, el equipo de evaluación delimita un perímetro más amplio (campo ampliado) que engloba las principales acciones relacionadas, es decir:
- El resto de políticas, programas o proyectos de la CE y las políticas de la UE.
- La estrategia del país socio (DELP), su política sectorial o programa.
- Las intervenciones de otros donantes.
Una acción queda incluida en este perímetro en la medida en que concierne a los mismos grupos que el proyecto/programa evaluado.
.
|
|
Documentos de gestión |
|
.
El equipo de evaluación consulta todos los documentos/datos de base en materia de gestión y seguimiento para conocer el proyecto/programa en profundidad, es decir:
- Identificación completa.
- Recursos programados, contratados y utilizados.
- Evolución de los efectos directos.
- Datos personales de los principales informantes.
- Valoraciones realizadas en el marco del "seguimiento orientado a los resultados" (ROM).
- Disponibilidad de los informes de progreso y de evaluación.
.
|
|
Preguntas de evaluación |
|
.
El equipo de evaluación establece la lista de preguntas de evaluación basándose en los siguientes elementos:
- Los temas que hay que analizar, según se indique en los TdR.
- El marco lógico.
- Los siete criterios de evaluación, de modo que queden adecuadamente reflejados.
.
|
|
Criterios de evaluación |
|
.
Los siguientes criterios de evaluación corresponden a los estándares tradicionales para la evaluación de la ayuda al desarrollo formalizados por el CAD de la OCDE (los cinco primeros) y a los requisitos propios específicos de la CE (los dos últimos).
|
Criterios de evaluación
Pertinencia
- Medida en que los objetivos de una intervención para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las políticas de los asociados y donantes.
Eficacia
- Medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa.
Eficiencia
- Medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido económicamente en resultados.
Sostenibilidad
- Continuación de los beneficios de una intervención para el desarrollo después de concluida. Probabilidad de que continúen los beneficios en el largo plazo. Situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del tiempo.
Impactos
- Efectos de largo plazo positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no.
Coherencia
- Este criterio puede tener varias dimensiones:
1) Coherencia interna del programa de desarrollo de la Comisión.
2) Coherencia / complementariedad con las políticas del país asociado y con las intervenciones de otros donantes.
3) Coherencia / complementariedad con las otras políticas comunitarias
Valor agregado comunitario
- ¿En qué medida se suman las ventajas aportadas por la acción de desarrollo a las que habrían resultado exclusivamente de la intervención de los Estados miembros en el país asociado?
|
|
|
Para cada pregunta se elabora un comentario explicativo en relación con los puntos siguientes
- Origen de la pregunta y utilidad potencial de la respuesta.
- Aclaración de los términos empleados.
- Diseño metodológico indicativo (actualizado), dificultades previsibles y viabilidad.
En este sitio se propone una lista de preguntas tipo asociadas a los distintos criterios de evaluación.
.
|
 |
Reunión inicial |
|
.
En el plazo de unas semanas a partir del inicio de los trabajos, y tras una revisión de los documentos de base complementada con entrevistas, el equipo de evaluación define su enfoque general.
Dicho enfoque se presenta en el marco de una reunión con el responsable de la evaluación y los miembros del grupo de referencia. Los temas que deben tratarse incluyen:
- El marco lógico.
- Las preguntas de evaluación, ya sean las derivadas de los TdR o las propuestas por el equipo de evaluación.
- El diseño metodológico indicativo.
- El acceso a los informantes y documentos y las dificultades previsibles.
La presentación se complementa con una serie de diapositivas y una lista comentada de preguntas de evaluación. Si se considera oportuno, la reunión se completará mediante una consulta por correo electrónico.
Orientaciones específicas en caso de:
En caso de programa multipaís, la evaluación se construye a partir de una serie de estudios de caso a nivel de país que deben seleccionarse lo antes posible y, preferentemente, antes de finalizar la fase inicial.
El proceso de consulta inicial se amplía a algunos de los beneficiarios clave.
El grupo de referencia incorpora una proporción significativa (alrededor del 50%) de personas externas, es decir, miembros capaces de explicar los puntos de vista del conjunto de las distintas partes interesadas sin tener responsabilidad alguna en la concepción o la puesta en práctica del proyecto/programa.
.
|
|
Informe inicial |
|
.
El equipo de evaluación prepara el informe inicial, que refleja y formaliza cada una de las etapas ya ejecutadas e incluye una lista de preguntas actualizada de acuerdo con los comentarios recibidos.
A continuación, cada pregunta se amplía con:
- los indicadores que hay que utilizar para responderla y las fuentes de información correspondientes,
- la estrategia de análisis,
- subpreguntas.
|
| Indicadores
El marco lógico engloba los "indicadores objetivamente verificables (IOV)" y las "fuentes de información" que serán de utilidad para estructurar la labor de los evaluadores. En la medida en que se sigan adecuadamente los IOV, con base de datos incluida, se convertirán en una parte fundamental de la base factual de la evaluación.
Los indicadores también pueden obtenerse en el marco de la valoración del desempeño si el proyecto/programa está vinculado a un marco de este tipo.
Asimismo, pueden desarrollarse en el marco de la evaluación como una parte de la encuesta de cuestionario, un análisis de la base de datos de gestión o un análisis de series estadísticas.
Los indicadores pueden ser cualitativos o cuantitativos.
|
| Estrategia de análisis
Para responder a las preguntas de evaluación deben analizarse tanto los indicadores como los otros tipos de datos.
Pueden considerarse cuatro estrategias de análisis:
- Análisis del cambio, que compara los indicadores a lo largo del tiempo y/o con los objetivos.
- Meta-análisis, que extrapola las constataciones de otros estudios y evaluaciones tras haber comprobado exhaustivamente su validez y su aplicabilidad.
- Análisis de atribución, que compara los cambios observados con un escenario "sin intervención", también denominado escenario contrafactual.
- Análisis de contribución, que confirma o invalida los supuestos causales a partir de una cadena de razonamientos.
La primera estrategia es la menos restringida y, en principio, permite responder a todos los tipos de preguntas. Las tres últimas son más adecuadas para responder a preguntas sobre las relaciones causa-efecto.
|
|
|
En esta fase del proceso, los indicadores, las fuentes de información y las subpreguntas son provisionales. No obstante, el informe inicial incluye un plan de trabajo detallado para la etapa siguiente. Para a la fase siguiente se precisa la validación formal del informe.
|
|
El responsable de la evaluación recibe un informe inicial en el que se concretan las preguntas de evaluación y se describen las principales líneas del diseño metodológico, con los indicadores que se emplearán, la estrategia de análisis y un plan de trabajo detallado para la siguiente fase.
La aprobación formal del informe consiste en una carta oficial que autoriza la continuación de los trabajos.
Si la lista de las preguntas de evaluación ya está definida en esta fase, pasa a formar parte de los TdR.
.
|
|
| Check-list |
|
Véase como base de inspiración la Check-list de las evaluaciones geográficas y temáticas
|
