Evaluation methodological approach

¿De qué estamos hablando?

Los tres actores clave son el responsable de la evaluación, el grupo de referencia y el equipo de evaluación externo. La distribución de los roles es específica en cada fase y cada etapa de la evaluación.

Cada actor del proceso de evaluación debe conocer su función y sus responsabilidades, por ejemplo: ¿quién es el responsable de las recomendaciones?, ¿quién evalúa la calidad del informe?

¿Qué hay que procurar?

• Movilizar los diferentes actores en función de sus competencias y de sus recursos específicos.
• Evitar los bloqueos vinculados a las eventuales confusiones en materia de roles.
• Preservar la imparcialidad de la evaluación y evitar los juicios sesgados.

¿Quién hace qué?

Las tres entidades clave durante una evaluación son el responsable de la evaluación, el grupo de referencia y el equipo de evaluación externo. Los roles son diferentes según las fases y etapas que siguen a continuación:

La decisión de evaluar

Las autoridades responsables de la intervención adoptan la decisión, la cual figura en un documento como el:

• Programa anual de evaluación.
• Documento de programación de la intervención.

La decisión hace referencia a un marco de evaluación que define las reglas del juego. Si fuera necesario, completa el marco.

Preparación (Fase 0)

Constitución del grupo de referencia:

• A cargo del responsable de la evaluación.

Redacción de los Términos de Referencia:

• A cargo del responsable de la evaluación.
• Tras consultar al grupo de referencia.

Selección o aprobación del equipo de evaluación externo:

• A cargo del responsable de la evaluación.
• Tras consultar al grupo de referencia.

Documentación (Desk) (1)

Aclaración de la lógica de intervención:

• A cargo del equipo de evaluación externo.
• Tras interactuar con el responsable de la evaluación y el grupo de referencia.

Elección y redacción de las preguntas de evaluación:

• A cargo del equipo de evaluación.
• Validación a cargo del grupo de referencia.
• Arbitraje a cargo del responsable de la evaluación si fuera necesario.

Definición de los criterios de juicio (también denominados "criterios de evaluación razonada"):

• A cargo del equipo de evaluación externo.
• Aprobación a cargo del grupo de referencia.
• Arbitraje a cargo del responsable de la evaluación si fuera necesario.

Elección de los indicadores:

• A cargo del equipo de evaluación externo.
• Tras consultar al grupo de referencia.

Diseño metodológico (fuentes de información, herramientas y programa de trabajo):

• A cargo del equipo de evaluación externo.
• Tras consultar al grupo de referencia.

Recolección de la información disponible en la sede de la Comisión y / o en la(s) Delegación(es):

• A cargo del equipo de evaluación externo.
• Si fuera necesario, con la ayuda de los miembros del grupo de referencia para acceder a los informadores y en interacción con el responsable de la evaluación.

Terreno (2)

Recolección de información:

• A cargo del equipo de evaluación externo.
• Si fuera necesario, con la ayuda de los miembros del grupo de referencia para acceder a los informadores y en interacción con el responsable de la evaluación en caso de seria dificultad.

Síntesis (3)

Informe, inclusive las conclusiones y las recomendaciones:

• A cargo del equipo de evaluación externo.
• Tras interactuar con el grupo de referencia.

Verificación de la calidad del informe:

• A cargo del responsable de la evaluación, eventualmente recurriendo a la ayuda de un apoyo externo.
• Tras consultar a los miembros del grupo de referencia.

Difusión y seguimiento de las recomendaciones (4)

Difusión interna y externa:

• A cargo del responsable de la evaluación.

Utilización de las conclusiones y recomendaciones:

• Por parte de los servicios de la Comisión aludidos.
• Con un seguimiento garantizado por el responsable de la evaluación.

¿Quién es?

El responsable de la evaluación (evaluation manager) es un miembro del servicio que está a cargo de la evaluación. Gestiona todo el proceso, de la A a la Z en nombre del comanditario de la evaluación.

¿Para qué designar un responsable de la evaluación?

• Para asegurar la coherencia del proceso de evaluación, desde los términos de referencia hasta la difusión del informe y el seguimiento de las recomendaciones.
• Para ser el referente administrativo y coordinar la actividad de los diferentes actores (grupo de referencia y equipo de evaluación).
• Para organizar, supervisar y evaluar la calidad en las diferentes fases del trabajo.
• Para garantizar el buen desarrollo de la evaluación.

¿Qué hace?

• Constituye el grupo de referencia tras consultar con los jefes de servicios aludidos.
• Redacta los términos de referencia tras consultar con los miembros del grupo de referencia.
• Procede a contratar el equipo externo de evaluación tras consultar con el grupo de referencia.
• Ayuda al equipo de evaluación a acceder a la información y a los informadores.
• Organiza el debate y la aprobación de las conclusiones y recomendaciones en interacción con el grupo de referencia y el equipo de evaluación.
• Realiza una evaluación de calidad metodológica de los informes, que recibirá una doble verificación por parte de una segunda persona.
• Difunde los resultados de la evaluación ante los diferentes actores aludidos.
• Interactuando con las autoridades competentes, realiza el seguimiento para verificar si se tienen en cuenta las recomendaciones / lecciones.

Recomendaciones

• Prever un suplente para asistir al responsable de la evaluación en su labor cotidiana y reemplazarlo en caso de ausencia.
• Elegir un responsable de la evaluación con conocimiento de su institución y de las técnicas de evaluación.
• Evitar incluir a alguien que esté relacionado con la puesta en marcha de la intervención evaluada.

¿Qué es?

Es un grupo reducido que comprende los servicios afectados por la intervención, y, llegado el caso, los de otras partes interesadas. Del mismo modo, se puede invitar a participar a un experto o a varios.



El grupo de referencia es una interfaz entre el responsable de la evaluación y el equipo de evaluación externo. Sus miembros ayudan al equipo de evaluación externo a identificar las fuentes de información y a acceder a las mismas. Validan las preguntas de evaluación y discuten sobre las conclusiones y las recomendaciones. El grupo de referencia da lugar a la expresión de una variedad de puntos de vistas relativos a la intervención evaluada.

¿Cuál es su rol?

Los miembros del grupo de referencia:

• Discuten y comentan los términos de referencia preparados por el responsable de la evaluación.
• Agrupan y resumen los puntos de vista de los servicios de la Comisión y desempeñan una función de interfaz entre el equipo de evaluación y los servicios, complementando de esta manera los contactos bilaterales.
• Se aseguran de que el equipo de evaluación tenga acceso y consulte todas las fuentes de información y de documentación sobre las actividades emprendidas.
• Validan las preguntas de evaluación.
• Debaten y comentan las notas e informes producidos por el equipo de evaluación. Los comentarios de cada miembro del grupo de referencia son recogidos por el responsable de la evaluación y luego transmitidos al equipo de evaluación.
• Asisten en el proceso de retroalimentación (feedback) a partir de los hallazgos, conclusiones y recomendaciones de la evaluación.

¿A quién hay que invitar y cómo hacerlo?

Se pueden invitar diferentes tipos de actores al grupo de referencia. Si la evaluación se lleva a cabo desde la sede, el grupo comprende:

• Los servicios de la Comisión relacionados con la intervención, incluyendo la Delegación afectada en el caso de una evaluación a nivel país / región.
• Especialistas de un sector o de una cuestión transversal dentro de la Comisión.
• La embajada del país asociado en el caso de una evaluación país.

Si la evaluación se lleva a cabo desde un país asociado, el grupo se puede expandir el grupo:

• A los servicios del gobierno.
• A una selección de socios en materia de desarrollo.
• A una selección de organizaciones de la sociedad civil.
• A expertos.

La experiencia ha demostrado que es preferible que el grupo esté compuesto de un número limitado de miembros (entre 10 y 12) a fin de que su funcionamiento sea eficaz.



Tras haber identificado los servicios, instituciones u organismos a invitar al grupo de referencia, el jefe del servicio que gestiona la evaluación les envía una nota de invitación con el propósito de:

• Anunciar oficialmente el lanzamiento de la evaluación.
• Solicitar la designación de una persona como miembro del grupo de referencia.

¿Cuándo hay que reunirlo y cómo hay que implicarlo?

En general, se implica al grupo de referencia de la siguiente manera:

Apertura del proceso de evaluación

Además de los aportes realizados por el grupo de referencia, el responsable de la evaluación puede beneficiarse de una mayor variedad de puntos de vista por medio de otros canales tales como:

• Consultas del equipo de evaluación a las partes interesadas clave durante las primeras etapas del proceso.
• La organización de talleres participativos, de focus groups o de paneles de expertos durante el proceso de evaluación.
• El debate del informe de evaluación provisorio durante un seminario muy concurrido en el país asociado (si fuera pertinente).

¿De qué estamos hablando?

Se puede invitar a uno o a varios miembros del grupo de referencia en calidad de persona recurso debido a su idoneidad.

¿Para qué invitarlos?

• Para orientar los trabajos de evaluación hacia la adquisición de nuevos conocimientos y evitar volver a descubrir las lecciones aprendidas en otras instancias.
• Para describir el punto de vista de algunas partes interesadas, si ello fuera pertinente.
• Para contribuir a la evaluación de la calidad de los trabajos en sus respectivas áreas de experiencia.
• Para facilitar la transferencia de conocimientos.

¿A quién invitar?

• Los expertos invitados pueden pertenecer o no a los servicios de la Comisión.
• Preferentemente, cuentan con un conocimiento de la totalidad del campo de la evaluación.
• Forman parte de las redes globales, lo que les permite movilizar los conocimientos de toda la comunidad dedicada a la ayuda al desarrollo.

¿Cómo hay que hacer?

• Preparar un orden del día preciso y asegurarse de que sea respetado (ver: reunión inicial, reunión de primera fase, reunión de debriefing, reunión de debate final).
• Procurar que los debates sean equilibrados, imparciales y constructivos.
• Redactar un resumen claro y sintético que destaque los puntos del debate y deje constancia de los puntos de concordancia (esta tarea es realizada preferentemente por el responsable adjunto).

¿Qué se debe hacer en caso de discrepancia?

En caso de continua discrepancia acerca del método de evaluación, la Unidad de evaluación desempeña la función de árbitro. Si fuera necesario, se eleva la decisión al jefe de la Unidad de evaluación.

¿De quién estamos hablando?

El equipo de evaluación externo es responsable de la recolección y del análisis de datos así como del informe, incluso de la formulación de juicios (también denominados evaluación razonada) y de la redacción de las conclusiones y recomendaciones.



Interactúa con el grupo de referencia y el responsable de la evaluación.



Le ofrece sus servicios al comanditario en el marco de un contrato.



Los miembros del equipo de evaluación externo son independientes de las organizaciones que han participado en el diseño y en la puesta en marcha de la intervención evaluada. Pertenecen a organismos nacionales o internacionales de investigación, a consultoras, o son expertos que intervienen a título personal. En la medida de lo posible, una parte de los miembros del equipo está compuesta por ciudadanos del país o países aludidos por la intervención evaluada.

¿Para qué un equipo de evaluación externo?

• Para contribuir a garantizar la independencia, la imparcialidad y la credibilidad del proceso de evaluación.
• Para aportar idoneidad sobre los métodos y técnicas de evaluación.
• Para aportar idoneidad en el sector o sectores correspondientes.

¿Cómo se lo contrata?

La contratación del equipo se realiza por medio de licitaciones según diversos procedimientos, por ejemplo: contrato plurianual de servicios de evaluación o licitaciones específicas.



El responsable de la evaluación compromete al equipo tras haber consultado a los miembros del grupo de referencia.



La contratación del equipo está guiada por todos o una parte de los siguientes criterios:

• Experiencia pertinente en materia de evaluación.
• Conocimiento de los instrumentos evaluados para la ayuda al desarrollo.
• Conocimiento del campo de evaluación (sector, país, etc.)
• Presencia de expertos y de consultores locales.
• Competencia gerencial del líder del equipo (organización, coordinación, diálogo con el cliente, etc.)
• Independencia del equipo con respecto a la intervención evaluada y ausencia de conflictos de intereses.
• Competencia en materia de evaluación y, en particular, capacidad para dominar la formulación de juicios, redactar conclusiones y recomendaciones y realizar síntesis.
• Dominio de herramientas de recolección y de análisis de información.
• Diversidad de los miembros del equipo en cuanto a perfiles y experiencia.
• Precio.

El responsable fija el peso relativo de los criterios y lo especifica en los términos de referencia.

Recomendaciones

• Asociar consultores locales tanto como fuera posible a fin de contribuir al desarrollo de una competencia local (construcción de capacidades nacionales de evaluación) además de beneficiarse de su buen conocimiento del terreno.

¿De qué estamos hablando?

Poseer capacidad de evaluación supone contar con conocimientos y experiencia suficientes como para:

• Garantizar la imparcialidad en la elección de las preguntas y en la formulación de las conclusiones.
• Aclarar la lógica de intervención.
• Diseñar y conducir un método de recolección y de análisis de información adaptado a las preguntas y al contexto.
• Garantizar la fiabilidad de los datos y la validez de los análisis.
• Tratar los juicios de valor de manera estructurada, transparente e imparcial.
• Distinguir los hallazgos, las conclusiones, las lecciones y las recomendaciones.
• Presentar los trabajos de manera sintética.
• Optimizar la utilidad de la evaluación para sus diferentes públicos.

Es necesario tener una doble capacidad de evaluación:

• Por parte del servicio responsable de la evaluación.
• Y por parte del equipo de evaluación externo.

¿Cómo se evalúa la experiencia profesional?

Un profesional de la evaluación satisface la mayoría de los siguientes criterios:

• Variada experiencia en materia de evaluación (regiones, temas, sectores, instrumentos).
• Capacitación y experiencia con las herramientas y métodos de evaluación.
• Participación activa en una o varias redes profesionales dedicadas a la evaluación.
• Experiencia de trabajo en el terreno.

¿De qué estamos hablando?

Las partes interesadas (stakeholders) son los individuos, los grupos o las organizaciones que tienen responsabilidades y / o intereses directos o indirectos en la intervención evaluada. Pueden o no estar afectadas por la intervención.

¿Para qué identificarlas?

• Para tener en cuenta sus puntos de vista.
• Para aprovechar sus conocimientos técnicos y la información que poseen.
• Para alentarlas a utilizar la evaluación.

¿Cómo tenerlas en cuenta?

• Identificar las diferentes partes interesadas sobre la base de la documentación disponible y de las entrevistas, al inicio del proceso.
• Identificar sus expectativas y tenerlas en cuenta en la preparación de las preguntas de evaluación.
• Analizar los posibles aportes que pueda efectuar cada una (información, conocimientos técnicos, contribución a la interpretación de datos).
• Elegir una opción para beneficiarse de su contribución, por ejemplo: entrevistas individuales, talleres participativos, focus groups, paneles de expertos, integración en el grupo de referencia, etc.
• Elegir las modalidades de difusión de los resultados de la evaluación a fin de hacer uso de las mismas.

Recomendaciones

• Dialogar con las partes interesadas para conocer mejor sus necesidades y sus prioridades.
• Asociar las partes interesadas a la interpretación de la información para evitar errores y hacer que los hallazgos sean más robustos.