| Esta etapa puede prolongarse más o menos en función de la calidad de los documentos que deben analizarse. |
|
.
|
|
|
Análisis de la documentación |
|
El equipo de evaluación reúne y analiza todos los documentos disponibles (datos secundarios) directamente relacionados con las preguntas de evaluación:
- Documentos de gestión, análisis y auditorías.
- Estudios, trabajos de investigación o evaluaciones aplicadas a proyectos/programas similares en contextos similares.
- Estadísticas.
- Cualquier documento pertinente y fiable disponible en Internet.
No se trata en ningún caso de analizar todo el material disponible. Al contrario, se trata de que el equipo de evaluación busque únicamente los documentos que permitan responder a las preguntas de evaluación.
|
|
|
|
|
Entrevista con los responsables |
Los miembros del equipo de evaluación se entrevistan con las personas que participan o han participado en el diseño, la gestión y la supervisión del proyecto/programa. Las entrevistas se centran en la gestión del proyecto/programa, los servicios de la CE y los socios clave en el país o los países en cuestión.
En este estadio, el equipo de evaluación sintetiza sus constataciones en una serie de primeras respuestas parciales a las preguntas de evaluación. Se especifican claramente las limitaciones, así como los problemas que quedan por tratar y las hipótesis que habrá que comprobar en la fase de terreno. |
|
|
|
|
Diseño metodológico |
| Se acaba de concretar el diseño metodológico previsto en el informe inicial y el equipo de evaluación pule su enfoque para cada una de las preguntas en una tabla de diseño. |
| Tablas de diseño por pregunta
En la primera fila de la tabla consta el texto de la pregunta, con un comentario que indica por qué se ha planteado dicha pregunta y, si es necesario, una aclaración de los términos empleados.
En las filas siguientes se desglosa la cadena de razonamientos mediante la cual el equipo de evaluación tiene previsto responder a la pregunta. Dicha cadena se describe mediante una serie de subpreguntas a las que deberá responder el equipo de evaluación, por ejemplo con la finalidad de:
- señalar los cambios relacionados con los indicadores seleccionados,
- valorar las relaciones causa-efecto,
- contribuir a la formulación de juicios de valor.
Las subpreguntas se asocian a fuentes de información y a herramientas de evaluación.
Por lo general, se realizan varias versiones de las tablas de diseño:
- Una versión preliminar en anexo al informe inicial.
- Las sucesivas versiones provisionales elaboradas a lo largo de la fase de documentación, a medida que se va optimizando el diseño metodológico.
- La versión final en anexo al informe de documentación.
|
|
|
|
|
|
Desarrollo de las herramientas |
| Se desarrollan las herramientas que se utilizarán durante la fase de terreno. Se establece una clasificación, desde las herramientas más sencillas y habituales como los extractos de bases de datos, los análisis de documentación y las entrevistas o visitas sobre el terreno, hasta las más técnicas como los focus groups, la modelización o los análisis de costes/beneficios. En este sitio web se presentan una serie de herramientas que se utilizan con frecuencia. |
| La caja de herramientas de la evaluación
Al diseñar el plan de trabajo, el equipo de evaluación puede consultar en estas guías la sección dedicada a la caja de herramientas de la evaluación. Incluye explicaciones concretas, recomendaciones y ejemplos sobre el modo de seleccionar y utilizar las herramientas de evaluación. También ofrece una ficha de valoración cualitativa específica para cada herramienta.
No obstante, hay que señalar que todas estas indicaciones se han preparado para evaluaciones de nivel superior (país, región, global) y es probable que haya que adaptarlas para emplearlas en el marco de evaluaciones de proyecto/programa.
|
|
|
El método de evaluación se basa en una adecuada combinación de herramientas, con la finalidad de:
- cruzar las fuentes de información,
- procurar que las herramientas se complementen entre sí,
- solucionar las limitaciones de tiempo y costes.
Cada herramienta se desarrolla a través de una etapa de preparación para abarcar la totalidad o parte de los puntos siguientes:
- La lista de las subpreguntas que deben responderse con una herramienta.
- Las especificaciones técnicas de utilización de las herramientas.
- Los riesgos previsibles que pueden dificultar o menoscabar la utilización de la herramienta y la forma de abordar estos problemas.
- La forma en que va a utilizarse en el seno del equipo de evaluación y en el informe final.
- Las personas responsables de la aplicación de cada herramienta.
- Los criterios de calidad y el proceso de control de calidad.
- El calendario.
- Los recursos asignados.
|
| De las preguntas de evaluación a las entrevistas
Las preguntas y subpreguntas de evaluación no deben copiarse y pegarse directamente en las guías de entrevistas ni en los cuestionarios.
Las respuestas a las preguntas de evaluación debe darlas el equipo de evaluación y no las partes interesadas.
El equipo de evaluación puede construir su respuesta a partir de las afirmaciones de las partes interesadas, pero únicamente basándose en cruces de datos y en un análisis minucioso.
|
|
|
|
|
|
Informe de la primera fase |
|
El equipo redacta una versión provisional del informe de la primera fase (documentación), que refleja y formaliza todas las etapas ya realizadas. Consta, como mínimo, de tres capítulos:
- Un capítulo pregunta a pregunta que incluye la información reunida y sus limitaciones -si hay-, una primera respuesta parcial, los problemas que quedan por abordar, las hipótesis que hay que probar y la versión final de las tablas de diseño.
- Un enfoque indicativo de la valoración general del proyecto/programa.
- La lista de las herramientas que hay que aplicar durante la fase de terreno con las etapas de preparación ya finalizadas.
En caso necesario, el equipo de evaluación presenta el trabajo realizado en el marco de una reunión con el grupo de referencia, presentación que se complementa con una serie de diapositivas.
|
|
|
|
|
Facilitación del acceso a la información luego del trabajo de evaluación |
|
El responsable de la evaluación facilita el acceso a cualquier documento pertinente e informante clave en el seno de la CE y del gobierno o los gobiernos asociados.
Posteriormente, se encarga de la recepción del informe de la primera fase (documentación), que recoge los pasos ya realizados e incorpora los elementos siguientes:
- Evolución del análisis de la documentación y posibles limitaciones.
- Definición de cualquier término confuso en caso necesario.
- Respuestas parciales a las preguntas de evaluación a partir de los documentos analizados.
- Aspectos pendientes de analizar y supuestos que deben probarse durante la fase de terreno.
- Diseño metodológico final, incluidas las herramientas de evaluación listas para ser aplicadas.
- Plan de trabajo para la fase de terreno.
El responsable de la evaluación somete el informe provisional a la consideración de los miembros del grupo de referencia y, si lo cree oportuno, organiza y preside una reunión para presentarlo y debatirlo. A continuación, el equipo de evaluación redacta una versión final del informe teniendo en cuenta los posibles comentarios.
El responsable de la evaluación aprueba el informe y autoriza el lanzamiento de la fase de terreno.
|
| Aprobación de los informes
Los miembros del grupo de referencia comentan la versión provisional del informe. El responsable de la evaluación recopila todos los comentarios y los traslada al equipo de evaluación, que prepara una nueva versión del informe teniendo en cuenta los comentarios de dos posibles formas:
- Las peticiones de mejora de la calidad metodológica se satisfarán a menos que exista una imposibilidad demostrable, en cuyo caso el equipo de evaluación deberá aportar una justificación válida.
- Los comentarios sobre el contenido esencial del informe podrán igualmente aceptarse o rechazarse. En caso de rechazarlos, en el informe se reflejarán equitativamente los puntos de vista opuestos.
Finalmente, el responsable comprueba que todos los comentarios hayan sido considerados adecuadamente y aprueba el informe.
|
|
| Check-list |
|
Véase como base de inspiración la Check-list de las evaluaciones geográficas y temáticas.
|
