Evaluation methodological approach

Cada etapa de la fase de preparación es descrita según el rol de:

.

.

El equipo de evaluación formaliza sus hallazgos sobre la base de los siguientes elementos:

• Análisis efectuados en la primera fase (desk)
• Análisis efectuados en la fase de terreno

Los hallazgos derivan únicamente de hechos, datos y análisis. No conllevan juicios de valor (contrariamente a las conclusiones).

Los hallazgos integran enunciados de naturaleza causal con referencia a la contribución de la ayuda a los cambios observados, o la atribución de una parte de los cambios observados a la intervención evaluada.

.

.

A cada pregunta, el equipo de evaluación somete sus hallazgos provisorios a la crítica con miras a confirmarlos. Un hallazgo es robusto si resiste a críticas tales como:

• Pruebas de validez de análisis estadísticos.
• Cruces con otras fuentes de información.
• Búsqueda de sesgos en las encuestas.
• Búsqueda de factores externos susceptibles de explicar los cambios observados incluso en ausencia de intervención.
• Cruces con hallazgos obtenidos gracias a búsquedas y evaluaciones similares (según la opinión de expertos aludidos).
• Críticas eventualmente provenientes de la(s) Delegación(es) o de los miembros del grupo de referencia al evocar los posibles hallazgos.

Cuando un hallazgo conlleva un enunciado de naturaleza causal, el equipo de evaluación especifica si es generalizable o transferible a otros contextos.

.

.

A cada pregunta, el equipo de evaluación formaliza sus respuestas en forma de conclusiones sobre la base de los siguientes elementos:

• Elementos fácticos y hallazgos.
• Criterios de juicio (también denominados "criterios de evaluación razonada") adoptados en la primera fase (desk).
• Criterios de juicio realmente aplicados y justificación de las discrepancias si corresponde.
• Niveles meta

Entre sus conclusiones, el equipo de evaluación identifica las lecciones transferibles, es decir, las conclusiones fundadas sobre hallazgos generalizables o transferibles.

Más allá de la respuesta a cada pregunta, el equipo de evaluación intenta articular el conjunto de hallazgos y conclusiones de tal manera que se pueda realizar un juicio global de la intervención.

.

.

El equipo de evaluación redacta la primera versión de su informe. Este documento debe tener la misma forma y el mismo contenido que la versión final del informe de evaluación, con la excepción de las recomendaciones que pueden ser sólo esbozadas. El informe contiene cuatro partes:

• Un resumen que contenga en particular los principales hallazgos, conclusiones y recomendaciones.
• Una introducción que presente la intervención evaluada, su lógica, su contexto y la finalidad de la evaluación.
• La presentación del método de evaluación.
• Hallazgos, conclusiones y recomendaciones.

El informe tiene un tamaño limitado (60 páginas como máximo) para facilitar la lectura. El desarrollo queda remitido al anexo.

El líder del equipo de evaluación verifica que el informe satisfaga los criterios de calidad. Asegura que el informe sea sometido a un control de calidad exhaustivo a cargo de un experto ajeno al equipo de evaluación. Luego, se entrega el informe al responsable de la evaluación.

.

.

Se abordan las siguientes cuestiones:

• Respuestas a las preguntas.
• Eventuales límites metodológicos y criterios de juicio efectivamente aplicados.
• Juicio global de la intervención.
• Borrador de las recomendaciones.

El líder del equipo de evaluación recibe tres tipos de comentarios:

• Comentarios orales en reunión.
• Comentarios escritos recibidos tras la reunión.
• Comentarios del responsable de la evaluación sobre la calidad metodológica del informe.

.

.

El equipo de evaluación tiene en cuenta los comentarios recibidos. No obstante ello, no compromete la independencia de sus juicios. El proceso es el siguiente:

• En la medida de lo posible se tienen en cuenta los comentarios referidos a la calidad metodológica de manera imperativa. En caso de no tenerlos en cuenta, el equipo de evaluación explica sus motivos.
• El equipo de evaluación puede tener en cuenta o rechazar los comentarios relativos a la sustancia del documento, los hallazgos y las conclusiones. En una nota o anexo, menciona las demandas no tenidas en cuenta motivando sus decisiones.

El equipo de evaluación finaliza sus recomendaciones. Las presenta de manera agrupada y jerarquizada, en lo posible en forma de opciones, con las respectivas ventajas y riesgos.

Se entrega la nueva versión del informe al responsable de la evaluación.

.

.

El seminario va más allá de una simple difusión. Tiene como meta deliberar acerca de la sustancia de las conclusiones y recomendaciones.

• El equipo de evaluación actualiza las diapositivas de presentación del informe preparadas por el grupo de referencia.
• El líder del equipo participa en el seminario así como eventualmente algún otro miembro y presenta el informe.
• Toma nota de los comentarios recibidos, los cuales constituyen una última oportunidad para verificar los datos fácticos, confirmar los análisis y justificar bien los juicios.
• Considera asimismo los comentarios recibidos por escrito después del seminario.

Se entregan las diapositivas presentadas al responsable en versión PowerPoint.

Inmediatamente después del seminario, se puede organizar en el lugar mismo una reunión con los otros donantes.

Salvo excepciones, la evaluación consta de un seminario de debate del informe ya sea en el país o en la región asociada, con la perspectiva de deliberar sobre la sustancia de las conclusiones y la utilidad de las recomendaciones en presencia del equipo de evaluación.

Se invitan unas cincuenta personas o más: el personal de la delegación, autoridades nacionales, la sociedad civil, responsables de implementación de proyectos, representantes de Estados miembros, expertos.

• A petición del responsable de la evaluación, el Jefe de la Delegación fija la fecha y el lugar del seminario.
• La delegación establece la lista de organizaciones e instituciones a invitar.
• El Jefe de la Delegación invita a los participantes, quienes reciben de antemano la última versión del informe.
• Durante el seminario, el responsable presenta el proceso de evaluación, su difusión y utilización prevista.
• Participa activamente en el seminario.
• Recoge los comentarios escritos recibidos después del seminario por mediación de la delegación.
• Redacta un informe de misión y apunta las mejoras de calidad exigidas por los participantes.

.

.

• El equipo de evaluación externo prepara el informe final y entrega su primera versión.
• El responsable verifica que el documento tenga el mismo formato y contenido que la versión final. La única excepción se aplica a las recomendaciones que pueden quedar limitadas a un borrador. Sobre todo, el responsable verifica que el informe contenga los hallazgos y conclusiones en respuesta a las preguntas de evaluación así como una síntesis que formule un juicio global sobre la intervención.
• El responsable de la evaluación hace un control de calidad completo y atribuye una puntuación de calidad para cada uno de los nueve criterios según la grilla de evaluación. Verifica que la recolección de datos y los análisis hayan sido realizados con rigor y que los hallazgos, conclusiones y recomendaciones estén vinculados de manera apropiada.
• Una segunda persona verifica el control de calidad del responsable.

.

.

• El responsable envía el informe a los miembros del grupo de referencia y convoca una reunión con la participación del equipo de evaluación.
• Le solicita al equipo de evaluación que presente su informe usando transparencias a manera de soporte visual.
• El responsable preside la reunión con los siguientes objetivos:
  • Debatir sobre las respuestas a las preguntas, la evaluación general y el contenido de los hallazgos y conclusiones.
  • Debatir sobre la base fáctica de los hallazgos, la validez de los análisis y los criterios de juicio aplicados en la realidad.
  • Debatir acerca de la utilidad de las recomendaciones.
  • Verificar la legibilidad y claridad del informe.
• Redacta el acta de la reunión y adjunta la plantilla que expone su control de calidad y sus pedidos de mejora de la misma.
• Recibe la nueva versión del informe preparado por el equipo de evaluación. Esta versión finaliza las recomendaciones que deben:
  • Estar ligadas a las conclusiones.
  • Estar agrupadas, presentar un orden de prioridades y dirigidas a destinatarios específicos.
  • Ser útiles y operativas.
  • En la medida de lo posible, estar presentadas como opciones asociadas a ventajas y riesgos.
• El responsable verifica:
  • Que los comentarios realizados por los miembros del grupo de referencia hayan sido considerados o bien mencionados con una explicación de por qué no se los tuvo en cuenta.
  • Que se hayan satisfecho las demandas de mejora de la calidad metodológica.
• Aprueba el borrador del informe y autoriza el pasaje a la etapa siguiente.

.

.

Posteriormente al seminario, el equipo de evaluación prepara una última versión de su informe y la somete al experto a cargo del control de calidad antes de la entrega al responsable.

En esta etapa, el equipo de evaluación finaliza los anexos y decide su presentación bajo uno de los siguientes formatos:

• Anexos impresos a continuación del informe.
• Anexos en CDROM.

Se imprime el informe según lo establecido en los términos de referencia.

• El responsable recibe una nueva versión del informe sometido por el equipo de evaluación. Verifica que los últimos comentarios hayan sido tenidos en cuenta y que los anexos estén completos.
• Hace un segundo control de calidad completo con la ayuda de la plantilla de evaluación de calidad, atribuyendo una nueva puntuación global y emitiendo un comentario cualitativo para todos los criterios. Una segunda persona verifica nuevamente la evaluación.
• El líder del equipo de evaluación recibe una nueva evaluación de calidad por parte del responsable. Si fuera necesario, expone en una nota las razones por las que determinadas demandas de mejora de calidad no fueron atendidas. Esta respuesta permanecerá adjunta a la evaluación de calidad y al informe.
• El responsable envía la versión definitiva del informe y de la evaluación de calidad a los miembros del grupo de referencia.

.

.

Contenido del informe final

(Extensión: 3 páginas como máximo, la mayoría de las secciones están dedicadas a los hallazgos, conclusiones y recomendaciones).

• Finalidad de la evaluación.
• Método.
• Análisis y hallazgos principales.
• Principales conclusiones.
• Principales recomendaciones.

Introducción

• Objetivos, cómo están priorizados y ordenados, vínculos lógicos entre actividades / instrumentos e impactos esperados, políticas relacionadas, condiciones y riesgos.
• Breve análisis del contexto político, económico, social y cultural de la intervención.
• Finalidad de la evaluación: presentación de las preguntas de evaluación y cómo éstas permiten evaluar la intervención en general.

Método

• Criterios de juicio relacionados con cada pregunta, tal como fuera acordado con el grupo de referencia.
• Indicadores relacionados con cada criterio.
• Proceso de recolección de datos aplicado y limitaciones, si las hubiera.
• Enfoque del análisis aplicado y limitaciones, si las hubiera.
• Enfoque del juicio aplicado, los cambios en comparación con el informe de la primera fase (desk) y las limitaciones, si las hubiera.

Principales hallazgos, conclusiones y recomendaciones

Tres capítulos distintivos:

• Respuestas a cada pregunta de evaluación, indicando los hallazgos y criterios de juicio que los sustenta.
• Juicio global de la intervención que cubra las principales familias de criterios
• Recomendaciones que deben ser agrupadas y priorizadas, preferentemente en forma de opciones, incluyendo los beneficios y riesgos.

Anexos (indicativo)

• Diagrama(s) que muestren la lógica de la intervención.
• Metodología.
• Fichas que relacionen las preguntas, los juicios y los indicadores.
• Cadenas detalladas de argumentos para una pregunta determinada: hechos, interpretación y análisis, hallazgos, criterios de juicio y benchmarks, conclusiones en respuesta a la pregunta.
• Perspectiva general de la intervención de la CE.
• Informadores.
• Documentos utilizados.
• Términos de referencia.
• Datos estadísticos e indicadores de contexto.
• Lista de proyectos y programas específicamente analizados.
• Fichas de evaluación de proyectos, monografías de estudios de caso prácticos.
• Cuestionarios e informes de encuesta.
• Siglas y abreviaturas.
• etc.

Control de calidad del informe final

Reunión de debate final

Por lo general esta es la cuarta y última reunión del grupo de referencia.

Orden del día

• Recordatorio de las reglas que incumben a la evaluación de calidad del informe final.
• Presentación de la primera versión del informe por parte del equipo de evaluación.
  • Respuestas a las preguntas y evaluación general.
  • Validez y / o limitaciones del análisis, hallazgos y conclusiones.
  • Comentarios de los participantes sobre el contenido de los hallazgos y conclusiones. Comentarios sobre las bases fácticas de las conclusiones.
• Comentarios de los participantes sobre la calidad del informe, los límites de los resultados y conclusiones obtenidos, y las mejoras que aún es posible conseguir.
• Presentación sobre las recomendaciones y las lecciones transferibles.
• Debate sobre la utilidad y factibilidad de las recomendaciones.

.