|
Cada etapa de la fase de síntesis es descrita según el rol de:
|
 |
El responsable de evaluación |
 |
El equipo de evaluación |
|
|
|
Constataciones
|
|
El equipo de evaluación formaliza sus constataciones, que se derivan exclusivamente de hechos, datos, interpretaciones y análisis. Las constataciones pueden incluir afirmaciones causales (por ejemplo, "por la forma en que se han llevado a cabo, las colaboraciones han generado efectos sostenibles"). A diferencia de las conclusiones, las constataciones no incluyen juicios de valor.
A continuación, el equipo de evaluación lleva a cabo una revisión metódica de las constataciones con el objetivo de confirmarlas. En este estadio, la actitud es de autocrítica sistemática. Por ejemplo:
- Si se utilizan análisis estadísticos, ¿superan las pruebas de validez?
- Si las constataciones se extraen de estudios de caso, ¿las contradicen otros estudios de caso?
- Si las constataciones provienen de una encuesta, ¿podrían estar influidas por un sesgo?
- Si las constataciones provienen de una fuente de información, ¿aparecen contradicciones tras cruzar los datos con otras fuentes?
- ¿Pueden explicarse las constataciones por factores externos ajenos al proyecto/programa evaluado?
- ¿Se contradicen las constataciones con las lecciones aprendidas en otras experiencias? En caso afirmativo, ¿hay alguna explicación plausible?
|
|
Conclusiones
|
|
El equipo responde a las preguntas de evaluación mediante una serie de conclusiones que se derivan de los hechos y las constataciones. Además, pueden extraerse algunas conclusiones relacionadas con otros problemas que hayan surgido durante el proceso de evaluación.
Las conclusiones implican juicios de valor, llamados también valoraciones razonadas (por ejemplo, "las colaboraciones se han gestionado de un modo que ha permitido reforzar la sostenibilidad en comparación con enfoques anteriores"). Las conclusiones deben justificarse de forma clara y deben explicitar los puntos siguientes:
- ¿Qué aspecto se valora del proyecto/programa?
- ¿Qué criterio de evaluación se utiliza?
- ¿Cómo se aplica realmente ese criterio de evaluación en este caso preciso?
El equipo de evaluación debe hacer el esfuerzo de formular un número limitado de conclusiones para garantizar su calidad. De este modo, se pueden aclarar o suprimir juicios de valor que no sean lo bastante transparentes o que no estén fundamentados en hechos.
El equipo de evaluación debe utilizar los criterios de evaluación de forma equilibrada y prestar una atención especial a la eficiencia y la sostenibilidad, dos criterios que tienden a pasarse por alto en muchas ocasiones.
El equipo de evaluación sintetiza sus conclusiones en una valoración global del proyecto/programa y redacta un resumen de las conclusiones, indicadas por orden de prioridad y relacionadas con las constataciones y los elementos de prueba. Esta valoración debe incluir las limitaciones metodológicas y, en caso de que existan, las posibles opiniones divergentes.
El responsable del equipo de evaluación comprueba que no existan sesgos sistemáticos en las conclusiones debido a opiniones positivas o negativas y se asegura de que las críticas puedan dar lugar a recomendaciones constructivas.
|
|
Recomendaciones y lecciones
|
|
El equipo de evaluación debe distinguir claramente entre las conclusiones que no conllevan una acción particular (por ejemplo, "las colaboraciones han sido gestionadas de un modo que ha permitido reforzar la sostenibilidad en comparación con enfoques anteriores") y las afirmaciones derivadas de las conclusiones que están orientadas a la acción, es decir:
- Las lecciones aprendidas (por ejemplo "el éxito obtenido con las colaboraciones puede ser útil en otros países con contextos similares").
- Las recomendaciones (por ejemplo "el éxito obtenido con las colaboraciones debería reforzarse en el siguiente ciclo de programación").
Las recomendaciones pueden presentarse como opciones, con sus pros y sus contras.
En la medida de lo posible, al presentar las recomendaciones es preciso:
- demostrar su utilidad, su viabilidad y las condiciones necesarias para que tengan éxito,
- detallar el marco temporal y los públicos,
- clasificarlas y detallarlas por orden de prioridad.
El equipo de evaluación identificará de manera clara aquellos aspectos en los que ya se están aplicando los cambios deseados con la finalidad de evitar malas interpretaciones u ofensas innecesarias.
|
|
Informe provisional
|
|
El equipo de evaluación prepara la primera versión del informe, con igual extensión, formato y contenido que la versión final. Según el público objetivo, el informe se redacta:
- con o sin terminología técnica,
- con una presentación resumida o detallada del proyecto/programa y de su contexto.
En general, consta de 2-5 páginas de resumen, 40-60 páginas que constituyen el cuerpo del informe y los anexos.
| Estructura del informe
Resumen
- El resumen es un documento conciso e independiente que presenta el proyecto/programa evaluado, la finalidad de la evaluación, las principales fuentes de información y opciones metodológicas y las conclusiones, lecciones y recomendaciones clave.
Índices, tablas y acrónimos
Introducción
- Descripción del proyecto/programa y de la evaluación. Se ofrecen al lector las explicaciones metodológicas necesarias para que pueda valorar la credibilidad de las conclusiones e identificar las limitaciones y los posibles puntos débiles de la evaluación.
Preguntas
- Capítulo en el que se presentan las preguntas de evaluación junto con los elementos de prueba, la cadena de razonamientos y los juicios relacionados. Se da una respuesta breve y precisa a cada pregunta.
Valoración global
- Capítulo en el que se sintetizan todas las respuestas a las preguntas de evaluación a modo de valoración global del proyecto/programa. Este capítulo articula todas las constataciones, conclusiones y lecciones de forma que quede reflejada su importancia y se facilite su lectura. El equipo de evaluación no debe limitarse únicamente a enumerar las preguntas de evaluación, el marco lógico o los criterios de evaluación.
Conclusiones, lecciones y recomendaciones
- Las conclusiones y lecciones, al igual que las recomendaciones, se recogen en una lista, se clasifican y se detallan por orden de prioridad en pocas páginas.
Anexos
|
El responsable del equipo de evaluación comprueba que el informe satisfaga los criterios de calidad. Luego, lo somete a la consideración de la persona encargada del control de calidad antes de enviárselo al responsable de la evaluación.
| Certificado de calidad
El responsable del equipo de evaluación adjunta un certificado de calidad al informe final provisional en el que se indica en qué medida:
- se ha dado respuesta a las preguntas de evaluación,
- se precisan las limitaciones en cuanto a fiabilidad y validez,
- se aplican de forma explícita y transparente los criterios de evaluación a las conclusiones,
- se ha utilizado la presente guía,
- se han aplicado las herramientas y los análisis conforme a los estándares,
- se han seguido los estándares en cuanto a registro lingüístico, estructura, ilustraciones, etc.
|
El responsable del equipo de evaluación y el responsable de la evaluación comentan la calidad del informe. Proponen mejoras si se les ha solicitado.
|
|
Control de calidad
|
|
El responsable de la evaluación recibe la primera versión del informe final, documento que debería tener igual formato, contenido y calidad que la versión definitiva.
El responsable de la evaluación examina la calidad del informe basándose en una ficha de valoración de ocho criterios. Otra persona realiza un segundo control de calidad.
|
|
Criterios de valoración cualitativa
Los ocho criterios siguientes están basados en las normas internacionales de evaluación y son compatibles con dichas normas:
1. Satisfacción de las necesidades
- ¿Describe exactamente el informe lo que se evalúa e incluye la lógica de intervención y su evolución? ¿Abarca de forma clara el período necesario, los grupos y las zonas sociogeográficas objetivo? ¿Responde a todas las expectativas de los TdR?
2. Diseño apropiado
- ¿El diseño de la evaluación se describe con suficiente detalle? ¿Está adaptado al proyecto / programa? ¿Hay indicadores bien definidos y apropiados? ¿El informe señala las limitaciones, los riesgos y los posibles sesgos asociados con el método de evaluación?
3. Fiabilidad de los datos
- ¿Se explica con claridad el enfoque de recopilación de datos y es coherente con el diseño global de la evaluación? ¿Están claramente identificadas y verificadas en el informe las fuentes de información? ¿Las herramientas de recopilación de datos (muestras, focus groups, etc.) se aplican de acuerdo con los estándares de calidad? ¿Se han explicado y analizado las limitaciones y los sesgos relativos a la recopilación de datos?
4. Solidez del análisis
- ¿Se basa el análisis en los datos recopilados y se centra en los supuestos causales más relevantes? ¿Se ha tomado debidamente en consideración el contexto? ¿Se han utilizado las aportaciones de las partes interesadas de forma equilibrada? ¿Estan las limitaciones identificadas, discutidas y presentadas en el informe?
5. Credibilidad de los Hallazgos
- ¿Se basan los Hallazgos en los datos y los análisis? ¿Se justifican y confirman las interpretaciones y extrapolaciones mediante argumentos sólidos? ¿Se analiza la posibilidad de generalizar los Hallazgos?
6. Validez de las conclusiones
- ¿ Son coherentes las conclusiones, se relacionan de forma lógica con los hallazgos y están exentas de consideraciones personales o partidistas? ¿Plasman los cinco criterios del Comité de Ayuda al Desarrollo (CAD)?
7. Utilidad de las recomendaciones
- ¿Las recomendaciones son coherentes con las conclusiones? ¿Son operativas, realistas y suficientemente explícitas para poder ponerlas en práctica? ¿Aparecen detalladas y clasificadas por orden de prioridad, y formuladas para las distintas partes interesadas?
8. Claridad del informe
- ¿Se incluye un resumen apropiado y conciso? ¿Está el informe bien estructurado, adaptado a sus diversas audiencias y no más técnico de lo necesario? ¿Se incluye una lista de acrónimos?
|
La evaluación de la calidad debería mejorar la credibilidad de la evaluación sin menoscabar su independencia. Por lo tanto, se centra en la forma en que las conclusiones se justifican y explican y no en su contenido. La valoración cualitativa no deben realizarla personas implicadas en el proyecto/programa evaluado.
El responsable de la evaluación y el responsable del equipo de evaluación comentan la valoración cualitativa. Si es preciso, se solicitarán mejoras. |
|
|
|
 |
Debate sobre el informe provisional
|
|
El equipo de evaluación presenta el informe en el marco de una reunión del grupo de referencia. La presentación se complementa con una serie de diapositivas que muestran:
- Las respuestas a las preguntas y las limitaciones metodológicas.
- La valoración global, las conclusiones y las lecciones aprendidas.
- Las recomendaciones.
Se recogen los comentarios con la finalidad de:
- corroborar la base factual de las constataciones y las conclusiones,
- comprobar la transparencia y la imparcialidad,
- comprobar la utilidad y viabilidad de las recomendaciones.
|
|
Seminario de debate
|
|
El responsable de la evaluación somete el informe provisional a la consideración del grupo de referencia y, si lo cree oportuno, organiza y preside una reunión para presentarlo y debatirlo, prestando especial atención a la utilidad de las conclusiones y a la viabilidad de las recomendaciones.
En este estadio, el responsable de la evaluación puede decidir organizar un seminario para reunir a un amplio grupo de partes interesadas y comentar el contenido y la utilidad de las conclusiones en presencia del equipo de evaluación. Puede contarse con la presencia del personal de la delegación, las autoridades nacionales, la sociedad civil, la dirección del proyecto, otros donantes y/o expertos.
Los participantes reciben una versión actualizada del informe provisional.
|
|
Finalización del informe
|
|
El equipo de evaluación finaliza el informe teniendo en cuenta todos los comentarios recibidos. Se prepara también la versión final de los anexos en uno de los formatos siguientes:
- Anexos impresos al final del informe.
- Anexos en CD-ROM.
| Anexos
Términos de referencia.
Lista de las actividades específicas valoradas.
Marco lógico y comentarios.
Método de evaluación detallado, que incluye:
- las opciones seleccionadas, las dificultades y las limitaciones,
- información detallada sobre las herramientas y los análisis,
- la lista de las entrevistas,
- la lista de los documentos utilizados.
Cualquier otro texto o tabla con hechos utilizados en la evaluación.
|
El informe se imprime según las instrucciones indicadas en los términos de referencia.
El responsable del equipo de evaluación recibe una valoración final de la calidad realizada por el responsable. En caso necesario, escribe una nota explicando los motivos por los cuales no se han reflejado determinadas solicitudes de mejora de la calidad, y esta respuesta se adjunta a la valoración de la calidad y al informe.
|
|
Informe final
|
|
El equipo de evaluación redacta una nueva versión del informe teniendo en cuenta los posibles comentarios. El responsable de la evaluación recibe una versión electrónica de las diapositivas presentadas por el equipo de evaluación.
El responsable comprueba que se hayan tomado adecuadamente en consideración los comentarios recibidos y que el informe, con el conjunto de sus anexos, esté listo para su distribución.
A continuación, realiza una valoración cualitativa final según los criterios de la ficha de valoración, escribe comentarios cualitativos para cada uno de los criterios y decide la valoración global.
Finalmente, envía la versión final del informe y de la valoración cualitativa a los miembros del grupo de referencia y les agradece su contribución.
Check-list
Véase como base de inspiración la Check-list de las evaluaciones geográficas y temáticas.
|
