|
Cada etapa de la fase de preparación es descrita según el rol de:
|
 |
El responsable de evaluación |
 |
El equipo de evaluación |
|
|
En esta etapa, el equipo de evaluación prosigue con la consulta de documentos disponibles así como con las entrevistas a los administradores de la ayuda en la sede de la Comisión y en el país o países asociados. Esto no se trata de ninguna manera de la recolección y exploración de toda la información disponible. Al contrario, el equipo de evaluación orienta permanentemente su búsqueda de información con la perspectiva de responder las preguntas, al menos de manera parcial como para empezar.
Las tareas de esta etapa son efectuadas por personas que cuentan con las habilidades correspondientes a las preguntas tratadas.
Esta etapa permite asimismo finalizar el diseño metodológico y el desarrollo de las herramientas previstas para la fase de terreno. |
|
.
|
|
Análisis de la documentación |
|
.
Consulta de los documentos disponibles relativos a la intervención en su conjunto o a sus principales componentes:
- Documentos pertinentes que emanan del Consejo y del Parlamento.
- Documentos preparatorios, evaluación ex ante.
- Documentos de programación (además de los documentos ya examinados en las etapas precedentes).
- Decisiones basadas en la realización y/o modificación.
- Revisiones (reviews), informes de auditoría, informes de evaluación.
Consulta de los documentos relativos al contexto de la intervención:
- Indicadores de contexto en lo que se refiere al país o países asociados.
- Documentos acerca de la estrategia o estrategias de desarrollo del país o países asociados.
- Datos estadísticos de la OCDE sobre la ayuda recibida por parte del país o países asociados.
- Documentos relativos a las intervenciones de otros donantes y de las instituciones internacionales en el país o países asociados.
- Resúmenes de los informes de evaluación de los diferentes donantes para el país o países asociados.
Consulta de los documentos sobre las acciones a estudiar en mayor profundidad. La identificación de dichos documentos se realiza por medio de las bases de datos o de las entrevistas. Para cada acción estudiada, los documentos a recabar se refieren a:
- La concepción y la decisión.
- La realización y el seguimiento.
- La evaluación.
.
|
|
Entrevistas con los responsables |
|
.
Las entrevistas apuntan a:
- Profundizar los análisis realizados en el informe de inicio.
- Identificar la información disponible, estimar su fiabilidad y acceder a la misma.
- Señalar los elementos de respuesta que puedan ser aportados a las preguntas e identificar los supuestos que queden por comprobarse en el marco de la fase de terreno.
Las personas con las que se efectuaron las reuniones son las que participaron a la concepción de la intervención, contribuyeron a su realización o son susceptibles de utilizar el informe de evaluación. Se trata de personas que trabajan en la sede de la Comisión, en la delegación o delegaciones aludidas y en el seno de la administración central del país o países asociados.
.
|
|
Diseño metodológico y desarrollo de herramientas |
|
.
Se finaliza el diseño metodológico previsto en el informe de inicio (inception). El equipo de evaluación agudiza el enfoque para cada pregunta en una tabla de diseño compuesta de sub-preguntas a abordar. Luego se enumeran las herramientas a desarrollar para la fase de terreno, con miras a brindar por lo menos una, o preferentemente varias fuentes de información para tratar cada sub-pregunta.
Se desarrollan y prueban las herramientas de evaluación lo mejor posible. El trabajo puede consistir en:
- La preparación de una o varias series de entrevistas y de las guías de entrevistas correspondientes.
- Términos de referencia de uno o varios focus groups
- Preparación y prueba de un cuestionario y de un método de muestreo.
- Selección de uno o varios estudios de casos prácticos y desarrollo del plan o planes de trabajo.
Esta etapa moviliza a los miembros nacionales / regionales del equipo de evaluación. Está más o menos desarrollada según la disponibilidad y la capacidad de estos consultores.
.
|
 |
Informe de la primera fase (desk) |
|
.
El informe de la primera fase (desk) retoma los puntos tratados en el informe inicial y los profundiza todo lo necesario. Incorpora también los elementos que siguen a continuación:
- Indicadores finales propuestos para cada criterio de juicio.
- Situación de la recolección de información disponible en la Comisión: método de recolección empleado, límites, sesgos y riesgos, problemas pendientes a ser resueltos en la fase de terreno.
- Primer análisis de la información en relación con las preguntas de evaluación y los primeros elementos de respuesta, supuestos (varios por pregunta, si fuera necesario) que quedan por verificar en la fase de terreno.
- Presentación de la información que permite aclarar la problemática global de la evaluación más allá de cada una de las preguntas de evaluación, con la perspectiva de llegar a un juicio global.
- Estrategia de recolección de información y de análisis para las fases siguientes:
- Principales problemas de recolección de información a resolver habida cuenta de los datos ya disponibles.
- Plan de trabajo de la fase de terreno.
- Las herramientas de recolección a utilizar y los riesgos o límites asociados. Los cruces de datos previstos. La manera en la que se garantizará la armonización de la recopilación de datos, en especial cuando haya varios países para visitar.
- La estrategia de análisis que se aplicará en el terreno, así como las herramientas que se utilizarán (con los límites y análisis del riesgo).
El responsable de la evaluación verifica que el contenido del informe esté correcto y que su nivel de calidad sea satisfactorio. Envía el informe a los miembros del grupo de referencia para obtener sus comentarios. Convoca y preside una reunión del grupo de referencia , si ello fuera necesario. Sintetiza los comentarios recibidos y especifica qué modificaciones habrán de realizarse al informe.
Recibe y valida la versión final del informe y autoriza el lanzamiento de la fase de terreno.
|
| Situación(es) específica(s)Evaluación a nivel regional y evaluación global sectorial / temática:
El informe indica cómo se garantizará la armonización de la recopilación de datos entre los diferentes países.
Si la contratación del equipo de evaluación fue realizada sobre la base de un presupuesto limitado a la fase de documentación, el informe de la primera fase (desk) irá acompañado de una propuesta financiera para las fases de terreno y de síntesis.
|
|
.
|
| Check lists |
|
.
Contenido de la primera fase (desk)Introducción
- Origen de la evaluación.
- Delimitación del campo central de la evaluación.
- Expectativas expresadas en los términos de referencia.
- Proceso de evaluación.
- Recordatorio del contexto en el que se emprende la evaluación.
Texto principal
- Preguntas de evaluación " y comentarios explicativos sobre cada una de las preguntas.
- Criterio(s) de juicio relativo(s) a cada pregunta.
- Indicador(es) propuesto(s) para cada criterio.
- Situación de la recolección de la información disponible en la sede de la Comisión, en la delegación (y en la embajada del país asociado, siempre que sea pertinente): método de recolección empleado, límites, sesgos y riesgos, problemas pendientes a resolver durante la fase de terreno.
- Primer análisis de la información en relación con las preguntas de evaluación y primeros elementos de respuesta, supuestos que quedan por ser comprobados en la fase de terreno.
- Primer análisis de la información con la perspectiva de alcanzar un juicio global.
- Estrategia de recolección de información y análisis para las fases posteriores, plan de trabajo, herramientas de recolección a utilizar, etapas de prueba de las herramientas, eventuales riesgos y límites, cruces de datos a realizar.
Anexos (indicativo)
- Presentación y análisis de la lógica de intervención en forma de diagrama de efectos esperados y pasos a seguir para la elaboración de las preguntas, criterios e indicadores.
- Términos de referencia.
- Informadores conocidos.
- Documentos utilizados.
- Datos estadísticos e indicadores de contexto.
- Lista de los proyectos y programas relacionados.
- Siglas y abreviaturas.
- etc.
|
| Calidad el informe de la primera fase (desk)
Los criterios integran y completan los de la etapa previa (informe de inicio).
1. Satisfacción de las necesidades
El informe explica de manera clara y completa cómo el equipo de evaluación entiende los puntos que se enumeran a continuación:
- Los requisitos que figuran en el marco regulatorio de la evaluación, en especial en lo que se refiere a la rendición de cuentas (accountability).
- Las expectativas expresadas en los términos de referencia.
- Las solicitudes expresadas por los miembros del grupo de referencia.
El informe ubica la evaluación en su contexto, vinculándola con las bases de la política de desarrollo, de cooperación o exterior así como de toda otra política comunitaria o nacional.
Las preguntas de evaluación propuestas y los criterios de juicio correspondientes reflejan los requisitos identificados y la potencial utilidad de la evaluación. No contienen ninguna ambigüedad.
El informe aporta los primeros elementos de respuesta a las preguntas de evaluación y estos aportes reflejan los requisitos identificados.
2. Pertinencia del campo
El informe delimita el campo central de la evaluación en sus dimensiones temporal, geográfica y reglamentaria. Justifica las elecciones efectuadas para delimitarlo. Consta de un análisis de las interferencias con las políticas relacionadas y justifica la elección de las interferencias estudiadas.
Los temas estudiados, así como las preguntas de evaluación y los criterios de juicio correspondientes reflejan:
- Los resultados e impactos identificados durante la reconstrucción de la lógica de intervención.
- Los diferentes sectores, temas e instrumentos.
- Los criterios de evaluación del CAD, sin olvidar la eficiencia y la durabilidad, así como la coherencia / complementariedad y el valor agregado comunitario.
3. Justificación del método
El informe describe el método de recolección y análisis de datos que se aplicó en la fase de documentación. Rinde cuentas de los problemas surgidos y de los eventuales límites.
Además describe el método de recolección y análisis a aplicar en la fase de terreno. Muestra cómo este método va a permitir tratar el conjunto de preguntas de evaluación de manera adecuada, y luego emitir un juicio global. Se debaten y defienden las opciones adoptadas con respecto a otras opciones. El método es factible en el contexto de la evaluación. Se precisan claramente los riesgos y los límites. El informe indica los riesgos que se correrían si se adoptaran otras opciones metodológicas.
4. Fiabilidad de los datos
Se identifican las fuentes de datos cuantitativos y cualitativos. El equipo de evaluación debate la fiabilidad de los datos y se exponen con claridad cuáles son los límites de validez.
5. Solidez del análisis
El informe contiene un primer análisis de los datos disponibles para responder a las preguntas de evaluación, y de allí se deducen los supuestos a ser verificados en el terreno. Los razonamientos son explícitos y fundados.
|
| Reunión de la primera fase (desk)
Por lo general esta es la segunda reunión del grupo de referencia.
Orden del día
- Recordatorio del campo de evaluación, de la lógica de intervención y de las preguntas definidas en la etapa anterior.
- Presentación del informe de la primera fase (desk) por parte del equipo de evaluación externo, con una evaluación de los datos existentes y primeras respuestas parciales a las preguntas de evaluación basadas en los datos existentes.
- Debate sobre los criterios de juicio (también llamados "criterios de evaluación razonada") e indicadores propuestos.
- Debate sobre la recolección de información de la fase de documentación.
- Debate sobre los supuestos a verificar en la fase de terreno.
- Debate sobre el programa de trabajo de recolección de información de terreno.
.
|
