|
El responsable de evaluación |
|
El equipo de evaluación |
|
|
|
Enfoque inicial
|
|
En la medida de lo necesario, el servicio encargado de la asignación aclara por escrito y de forma precisa qué debe evaluarse y quiénes son los principales usuarios previstos de la evaluación.
En el seno del servicio en cuestión se designa a un/una responsable/a de la evaluación, que trabaja bajo la responsabilidad de la jerarquía.
|
|
Recopilación preliminar de información
|
|
El responsable de la evaluación lee los documentos de base (ficha, marco lógico, revisión, informe de seguimiento, etc.) y mantiene conversaciones informales con los informantes clave.
Si no se dispone de marco lógico, el responsable del proyecto/programa deberá reconstruir la lógica del proyecto.
|
|
Constitución del grupo de referencia
|
|
El responsable de la evaluación determina qué servicios y partes interesadas deben participar en la evaluación a través de un grupo de referencia.
|
|
Composición y función del grupo de referencia
El grupo de referencia incluye a la dirección del proyecto/programa y a los servicios pertinentes de la CE. Si la evaluación se realiza en el país socio, puede incluir también a socios de desarrollo, expertos, actores no estatales y otros participantes cualificados. Para garantizar el buen funcionamiento del grupo, cuya presidencia recae en el responsable de la evaluación, es recomendable restringir el número de miembros (de 10 a 12).
El grupo de referencia debate y comenta todos los documentos intermedios, normalmente en la fase de borrador: términos de referencia, propuesta del equipo de evaluación, preguntas de evaluación, plan de trabajo, debriefing de la fase de terreno e informe final. Por lo general, tiene una función consultiva, pero también se le puede solicitar la validación de las preguntas de evaluación.
El hecho de contar con un grupo de referencia supone ventajas sustanciales en términos de acceso a la información, exactitud de las interpretaciones e integración de las conclusiones.
En las reuniones del grupo existe la figura del moderador, para evitar pérdidas de tiempo y abordar los puntos de vista opuestos de forma constructiva. Por otra parte, es esencial que los documentos de trabajo y las actas circulen con rapidez.
Debe enviarse una nota a los servicios y a las partes interesadas invitados a participar explicándoles la función del grupo de referencia.
|
|
|
Preparación de los términos de referencia
|
|
El responsable de la evaluación identifica los principales temas que deben analizarse. Si existe un buen marco lógico y aún es válido, puede pulir los temas que deben analizarse para convertirlos en preguntas de evaluación.
|
|
Preguntas de evaluación
Antes o después a lo largo del proceso de evaluación, se selecciona una serie de preguntas concretas (no más de 10) con la finalidad de satisfacer las necesidades de los usuarios de la evaluación y de garantizar su viabilidad. En este sitio web se presentan algunas preguntas tipo.
Gracias a estas preguntas, que permiten centrar la evaluación en aspectos clave, el equipo de evaluación puede recopilar los datos adecuados, profundizar en su análisis, realizar valoraciones de forma totalmente transparente y elaborar un informe final útil.
Las preguntas deben redactarse de forma sencilla y concisa y, en la medida de lo posible, no deben referirse a áreas sobre las que existen o están en curso otros estudios.
La lista de preguntas se configura de modo que la síntesis de todas las respuestas permita al equipo de evaluación formular una valoración global del proyecto/programa. Con dicho objetivo, abarcan los distintos niveles del marco lógico y los siete criterios de evaluación de forma equilibrada.
|
|
|
A continuación, se define el perfil del equipo de evaluación externo que debe contratarse en cuanto a competencias profesionales, conocimiento del sector y capacidad de trabajo sobre el terreno.
Se establece un límite para el presupuesto global de la evaluación y se garantiza la disponibilidad de recursos.
Se establece también el calendario, si es preciso conforme a los requisitos institucionales, o, en cualquier caso, se fija el plazo de entrega del informe teniendo en cuenta las necesidades de los usuarios previstos.
El responsable de la evaluación redacta una primera versión de los términos de referencia (TdR), a ser posible según el modelo adjunto a la presente guía.
Luego, consulta a los miembros del grupo de referencia sobre la versión provisional, finaliza el documento y procede a la contratación del equipo de evaluación externo mediante el procedimiento de licitación aplicable.
Para contratar al equipo de evaluación externo se sigue el procedimiento aplicable de contratación pública. Los candidatos preparan propuestas que deben responder a los términos de referencia (TdR) elaborados por ell servicio encargado de la asignación.
|
|
Hipótesis de base
|
|
A partir de los TdR y de su propio criterio como experto, el autor de la propuesta establece sus hipótesis de base:
- Ámbitos en los cuales se precisa una competencia específica.
- Posibilidad de movilizar a consultores con un perfil adecuado en el país o los países implicados.
- Número y tipo de preguntas y posibles dificultades relacionadas.
- Existencia de información sobre la puesta en práctica de la ayuda. Calidad y accesibilidad de dicha información.
- Existencia de evaluaciones anteriores que puedan resultar útiles
|
|
Tareas, competencias y presupuesto
|
|
Las hipótesis se formulan durante el diseño del método de evaluación, que define la estrategia de análisis y las herramientas aplicables. Las tareas se reparten de forma provisional entre:
- Consultores del país o países socios y consultores internacionales.
- Consultores de nivel sénior, intermedio y júnior.
- Especialistas del sector o los sectores de intervención y especialistas en métodos de evaluación.
Se elige a los principales miembros del equipo de evaluación y se comprueba la ausencia de conflictos de intereses.
Se establecen el presupuesto y el calendario teniendo en cuenta las limitaciones fijadas en los términos de referencia.
|
|
Selección de los consultores locales
Los consultores locales pueden participar en la totalidad o en parte de las tareas de evaluación.
Ventajas:
- Posibilidad de contar con una perspectiva local para la recopilación y análisis de los datos.
- Dominio del idioma o idiomas locales.
- Mayor facilidad para emplear enfoques participativos en los que intervengan los beneficiarios y los grupos objetivo.
- Mayor flexibilidad del plan de trabajo y reducción de los costes de desplazamiento.
- Contribución para reforzar las capacidades de evaluación en el país socio.
Riesgos:
- Conflictos de intereses.
- Dificultad para mantener la independencia respecto del gobierno en determinados países.
|
El contenido de la propuesta o las propuestas técnicas y financieras es el siguiente:
- Comprensión de los temas o las cuestiones evaluadas.
- Principales opciones metodológicas.
- Principales miembros del equipo de evaluación, indicando su especialización en los distintos campos y su función.
- Calendario.
- Presupuesto detallado.
- Currículos de los miembros del equipo en formato estándar y declaraciones de ausencia de conflicto de intereses.
- Currículo de un experto externo al equipo de evaluación que se encargará del control de calidad.
El responsable de la evaluación recibe la o las propuestas técnicas y financieras preparadas por los candidatos y comprueba que contemplen los puntos siguientes:
- Comprensión de los términos de referencia.
- Diseño metodológico indicativo.
- Presupuesto detallado.
- Calendario previsto.
- Responsabilidades de los miembros del equipo, currículos y declaraciones firmadas de ausencia de conflicto de intereses.
El responsable de la evaluación participa en el análisis de la(s) propuesta(s) y consulta a los miembros del grupo de referencia, en especial para detectar y evitar posibles conflictos de intereses y riesgos en cuanto a la independencia del equipo.
|
Externalidad e independencia
Los miembros del equipo de evaluación externo son independientes de las organizaciones que han participado en el diseño y la ejecución del proyecto/programa evaluado.
La independencia implica libertad respecto de influencias políticas y presiones por parte de cualquier organización, pleno acceso a la información y absoluta autonomía a la hora de realizar investigaciones y redactar conclusiones.
Con la externalidad y la independencia se pretende conseguir credibilidad ante el público externo, un aspecto especialmente relevante si la evaluación se realiza para rendir cuentas, para aprender lecciones extrapolables a otros ámbitos o para reasignar recursos presupuestarios. Este tipo de evaluaciones se denominan "sumativas" por oposición a las "formativas", que se realizan en beneficio de aquellos que gestionan el proyecto/programa con el objeto de mejorar su trabajo y que requieren su máxima participación. La externalidad y la independencia pueden tener menos importancia en caso de evaluación formativa.
|
El responsable de la evaluación valora la calidad de la(s) propuesta(s) y comprueba que los recursos humanos y financieros sean los adecuados para las dificultades específicas identificadas al preparar los términos de referencia.
Lista de control para valorar la calidad de una propuesta
Capacidad:
- Conocimientos y experiencia en materia de evaluación.
- Capacidad demostrada para aplicar un enfoque participativo (si es oportuno).
- Conocimientos y capacidades técnicos y sectoriales.
- Capacidad de respuesta ante las problemáticas transversales esenciales (por ejemplo igualdad de género o medio ambiente).
- Experiencia en materia de cooperación al desarrollo y, en particular, cooperación de la CE.
- Experiencia en la región socio, en el país socio y/o en países similares.
- Conocimientos lingüísticos adecuados.
Comprensión:
- Comprensión de los TdR.
- Comprensión del contexto.
Gestión:
- Las personas propuestas disponen del tiempo necesario para completar adecuadamente las tareas planificadas en el calendario.
- Responsabilidades compartidas y una capacidad de liderazgo adecuada para dirigir el equipo de forma eficaz y para mantener unas relaciones fructíferas con los socios y las partes interesadas.
- Compromiso para reforzar las capacidades de evaluación en los países socios.
|
El responsable de la evaluación contrata al equipo de evaluación externo en el marco del procedimiento de licitación aplicable. La contratación queda formalizada en un documento contractual, cuya fecha marca el inicio de la labor del equipo de evaluación.
|
