Evaluation methodological approach

.

En el caso de una evaluación a nivel país, las preguntas se refieren, por ejemplo, a:

• La estrategia (y eventualmente las estrategias precedentes), su diseño, su puesta en marcha y la pertinencia de sus objetivos habida cuenta de la evolución del contexto.
• Los sectores de concentración.
• La consideración de los aspectos transversales.
• La coherencia, la complementariedad y la coordinación

Las preguntas que siguen a continuación son a título indicativo. Muchas de ellas derivan de los últimos trabajos de evaluación país conducidos por la Unidad de evaluación.

Preguntas de pertinencia

• ¿En qué medida la estrategia de la C.E. se adapta al objetivo de reducción de la pobreza?
• Los problemas de desarrollo a los que se enfrenta el país así como sus causas, ¿fueron analizados y explicitados lo suficiente como para justificar la elección de las prioridades estratégicas?
• ¿Se concentró y jerarquizó la estrategia de manera suficiente?
• ¿En qué medida la estrategia ha integrado las lecciones de la experiencia de la C.E. y de otros donantes en cuanto a los factores que facilitan o frenan el éxito de la ayuda en el país asociado?

Esta página ofrece un método para elegir preguntas específicas para un sector de ayuda determinado a partir del análisis de la lógica de intervención. El método genera preguntas con la siguiente forma estándar:

• ¿En qué medida la ayuda europea en el sector ha contribuido a [generar el efecto X (específico del sector)]?

Se trata entonces de preguntas de eficacia (alcance de un objetivo específico u obtención de un impacto esperado). Cada pregunta estándar puede declinarse en muchas otras preguntas:

… precisando el campo, por ejemplo:

• ¿En qué medida la ayuda europea en el sector [y más específicamente la que fue implementada desde la descentralización] ha contribuido a generar el efecto X?

… o precisando el efecto aludido, por ejemplo:

• ¿En qué medida la ayuda europea en el sector ha contribuido a generar el efecto X [para las categorías más pobres de la población]?

… o cambiando de criterio, por ejemplo:

• La ayuda europea en el sector, ¿ha contribuido a generar el efecto X [de manera sostenible]? (sostenibilidad)
• La ayuda europea en el sector, ¿ha contribuido a generar el efecto X [con un costo limitado en comparación con…]? (eficiencia o costo-eficacia).

• ¿En qué medida las intervenciones de la Comisión en los diferentes sectores han contribuido a un diálogo político centrado en la respuesta a las necesidades de los segmentos más pobres de la población?
• ¿En qué medida las intervenciones de la Comisión en los diferentes sectores han contribuido a una mejora de la gestión de las finanzas públicas?
• ¿En qué medida las intervenciones de la Comisión en los diferentes sectores han contribuido a atenuar (mitigate) los impactos negativos de las reformas económicas?
• ¿En qué medida las intervenciones de la Comisión en los diferentes sectores han contribuido a un acceso equitativo a servicios básicos de buena calidad?
• ¿En qué medida las modalidades de puesta en marcha de la estrategia han permitido responder prioritariamente a las necesidades de los territorios más desfavorecidos?

Preguntas de eficiencia

Las preguntas de eficiencia (también denominadas de costo - eficiencia) pueden ser específicas para un sector de la ayuda y adoptar una forma de tipo:

• La ayuda europea en el sector, ¿ha contribuido a generar el efecto X [con un costo limitado en comparación con …]?

También es interesante plantear preguntas genéricas de eficiencia:

• ¿En qué medida las intervenciones de la Comisión han permitido producir los efectos esperados con costos de transacción lo más limitados posible?
• Las acciones que han movilizado la mayor cantidad de recursos, ¿demuestran que la ayuda comunitaria tiene un mayor valor agregado?
• ¿En qué proporción se pusieron los recursos de la C.E. al servicio de los diferentes objetivos estratégicos?

Por lo general, las preguntas de sostenibilidad son específicas para un sector de la ayuda y adoptan una de las siguientes formas:

• ¿En qué medida la intervención de la Comisión ha contribuido a generar [el efecto X] de manera tal que subsista después del final de la ayuda?
• ¿En qué medida la intervención de la Comisión ha contribuido a generar [el efecto X] de manera tal que subsista en caso de limitación de la ayuda [a la inversión únicamente]?

• ¿En qué medida la ayuda aportada en el sector X (Ej.: rutas), contribuye directa o indirectamente a los objetivos perseguidos en el sector Y? (Ej.: comercio).
• ¿En qué medida el diseño de la estrategia ha tenido en cuenta las interacciones y conflictos potenciales con las otras políticas de la C.E.?
• ¿En qué medida la coordinación con los intereses bilaterales y multilaterales ha permitido identificar objetivos que la C.E. puede alcanzar mejor que nadie?
• ¿En qué medida la Comisión ha contribuido a la coordinación entre los diferentes socios del desarrollo y hasta qué punto ello ha permitido avanzar por las diferentes vías que conducen a la reducción de la pobreza?

Preguntas sobre los aspectos transversales (cross-cutting issues)

Los aspectos transversales evocados con mayor frecuencia en las evaluaciones recientes son:

• Género
• Ambiente
• Buena gobernanza (descentralización, administración, eficacia, rendición de cuentas y orientación hacia el servicio a la población
• Derechos del hombre, estado de derecho, democracia, desarrollo del papel que cumple al sociedad civil
• SIDA

Cada una de las preguntas que se detallan a continuación pueden aludir a uno o varios aspectos transversales:

• ¿En qué medida la C.E ha integrado [el aspecto transversal X] en el diseño y la puesta en marcha de las intervenciones?
• ¿En qué medida la C.E ha contribuido directa o indirectamente al desarrollo [del aspecto transversal X]?

Preguntas sobre los instrumentos y la puesta en marcha

• ¿En qué medida la elección de los diferentes instrumentos y de su combinación fue la adecuada como para generar los efectos esperados en el contexto del país asociado?
• ¿En qué medida los mecanismos de seguimiento se concentraron en los resultados y contribuyeron a mejorarlos?
• ¿En qué medida los procedimientos administrativos de atribución de la financiación y gestión de las acciones favorecen o frenan la adaptación de las ayudas a las necesidades de los beneficiarios?
• ¿En qué medida la puesta en marcha [del nuevo instrumento " Y " (por ejemplo, un apoyo presupuestario sectorial)] mejora significativamente las posibilidades de obtener los impactos esperados?
• ¿En qué medida el diseño y la puesta en marcha de las intervenciones han permitido una buena apropiación por parte de los socios locales?

El ejemplo que sigue a continuación presenta las nueve preguntas elegidas en el caso de una evaluación reciente a nivel país (con varias simplificaciones importantes):

• ¿En qué medida la estrategia sanitaria de la Comisión responde a las necesidades fundamentales de la población, en particular, las de los más pobres?
• La estrategia de la Comisión en el sector privado, ¿está adaptada a las necesidades de las empresas?
• ¿En qué medida las intervenciones de la Comisión en materia de transporte han contribuido a fortalecer el comercio nacional y regional?
• ¿En qué medida las intervenciones de la Comisión han contribuido a garantizar la perennidad de las inversiones en el sector del transporte?
• ¿En qué medida las intervenciones europeas contribuyen al fortalecimiento del proceso de cooperación y de integración económica regional y mundial?
• ¿En qué medida las intervenciones de la Comisión han contribuido al proceso de descentralización?
• ¿En qué medida los apoyos macroeconómicos han contribuido a mejorar la gestión de las finanzas públicas?
• ¿En qué medida la CE asegura la coordinación, la coherencia y la complementariedad de las intervenciones con los programas de los otros donantes, en particular, de los Estados miembros?
• ¿En qué medida el objetivo transversal de buena gobernanza está integrado al conjunto de las intervenciones?

.

.

En el caso de una evaluación a nivel regional, las preguntas se refieren, por ejemplo, a:

• La estrategia (y eventualmente las estrategias precedentes), su diseño, su puesta en marcha y la pertinencia de sus objetivos habida cuenta de la evolución del contexto.
• Los instrumentos de cooperación puestos en práctica a nivel regional.
• El apoyo a la integración regional.

Las preguntas que siguen a continuación son a título indicativo. Muchas de ellas derivan de los últimos trabajos de evaluación país conducidos por la Unidad de evaluación.

Preguntas de pertinencia

• ¿En qué medida la estrategia de la Comisión se adapta a las prioridades del proceso de integración de la región?
• ¿En qué medida la Comisión ha identificado las necesidades / problemas que justifican un apoyo a nivel regional más que nacional?
• ¿En qué medida la estrategia de la Comisión se concentra en las instituciones / los socios mejor ubicados para tratar los problemas de integración regional?
• ¿En qué medida la estrategia regional de la Comisión tiene en cuenta las necesidades específicas de los países de la región?
• ¿Hasta qué punto la estrategia de la Comisión se adapta a las evoluciones de las necesidades a nivel de la región y de los países que la componen?
• ¿En qué medida la estrategia ha integrado las lecciones de la experiencia adquirida en regiones comparables?

Esta página propone un método para elegir las preguntas específicas de un sector determinado de la ayuda, a partir del análisis de la lógica de intervención. El método genera preguntas que tienen la siguiente forma estándar:

• ¿En qué medida la ayuda europea al sector ha contribuido a [generar el efecto X (específico del sector)]?

Se trata entonces de preguntas de eficacia (alcance de un objetivo específico u obtención de un efecto esperado). Cada pregunta estándar puede declinarse en muchas otras preguntas:

… precisando el campo, por ejemplo:

• ¿En qué medida la ayuda europea al sector [programada dentro del marco de la estrategia regional en curso] ha contribuido a generar el efecto X?

… o precisando el efecto aludido, por ejemplo:

• ¿En qué medida la ayuda europea al sector ha contribuido a generar el efecto X [en los países menos avanzados]?

… o cambiando de criterio, por ejemplo:

• La ayuda europea al sector ha contribuido a generar el efecto X [de manera sostenible]? (sostenibilidad)
• La ayuda europea al sector ha contribuido a generar el efecto X [con un costo limitado en comparación con …]? (eficiencia o costo-eficacia)

También es interesante plantear preguntas genéricas de eficacia, es decir, recortando de manera transversal toda la lógica de intervención, por ejemplo:

• ¿En qué medida las intervenciones de la Comisión han contribuido a fortalecer el proceso de integración regional?
• ¿En qué medida las intervenciones de la Comisión han contribuido a fortalecer la capacidad de las instituciones de cooperación regional?

Preguntas de eficiencia

Las preguntas de eficiencia (también denominadas de costo - eficacia) pueden ser específicas para un sector de la ayuda y adoptar una forma de tipo:

• La ayuda europea al sector ha contribuido a generar [el efecto X (específico del sector) con un costo limitado en comparación con …]?

También es interesante plantear preguntas genéricas de eficiencia, por ejemplo:

• ¿En qué medida las intervenciones de la Comisión han permitido producir los efectos esperados con costos de transacción lo más limitados posible?
• Las acciones que han movilizado la mayor cantidad de recursos, ¿demuestran que la ayuda comunitaria tiene un mayor valor agregado?
• ¿En qué proporción se pusieron los recursos de la C.E. al servicio de los diferentes objetivos de su estrategia regional?

Por lo general, las preguntas de sostenibilidad son específicas de un sector de ayuda y adoptan una de las siguientes formas:

• ¿En qué medida la intervención de la Comisión ha contribuido a generar [el efecto X] de manera tal que subsista después del final de la ayuda?

• ¿En qué medida la ayuda aportada en el sector X (Ej.: rutas), contribuye directa o indirectamente a los objetivos perseguidos en el sector Y? (Ej.: comercio).
• ¿En qué medida el diseño de la estrategia ha tenido en cuenta las potenciales interacciones y conflictos con las otras políticas de la C.E.?
• ¿En qué medida la estrategia de la Comisión a nivel regional se complementa con las estrategias definidas en cada uno de los países de la región?

Preguntas sobre los aspectos transversales (cross-cutting issues)

Los aspectos transversales evocados con mayor frecuencia en las evaluaciones recientes son:

• Género
• Ambiente
• Buena gobernanza (descentralización, administración, eficacia, rendición de cuentas y orientación hacia el servicio a la población)
• Derechos del hombre, estado de derecho, democracia, desarrollo del papel que cumple al sociedad civil
• SIDA

Cada una de las preguntas que se detallan a continuación pueden aludir a uno o varios aspectos transversales:

• ¿En qué medida la C.E ha integrado [el aspecto transversal X] en el diseño y la puesta en marcha de sus intervenciones?
• ¿En qué medida la C.E ha contribuido directa o indirectamente al desarrollo [del aspecto transversal X]?

Preguntas sobre los instrumentos y la puesta en marcha

• ¿En qué medida la elección de los diferentes instrumentos y de su combinación fue la adecuada como para generar los efectos esperados?
• ¿En qué medida los mecanismos de seguimiento se concentraron en los resultados y contribuyeron a mejorarlos?
• ¿En qué medida los procedimientos administrativos de atribución de la financiación y gestión de las acciones han favorecido o frenado el avance hacia los objetivos estratégicos?
• ¿En qué medida el diseño y la puesta en marcha de las intervenciones han permitido una buena apropiación por parte de las instituciones de cooperación regional?

El ejemplo que sigue a continuación presenta las nueve preguntas elegidas en el caso de una evaluación reciente a nivel de la región del MERCOSUR (con varias simplificaciones importantes):

• ¿En qué medida la estrategia o el apoyo de la Comisión guarda coherencia con las prioridades del proceso de integración del MERCOSUR?
• ¿En qué medida la estrategia de la CE tiene en consideración las necesidades específicas de los estados miembros del MERCOSUR, y de su evolución durante el período evaluado?
• ¿En qué medida el apoyo de la Comisión ha contribuido a fortalecer la capacidad del MERCOSUR para negociar un acuerdo de asociación interregional de manera eficaz?
• ¿De qué manera los proyectos económicos y comerciales han contribuido a reforzar el proceso de integración del MERCOSUR?
• ¿En qué medida los procedimientos de cooperación de la Comisión (inclusive los mecanismos de implementación y pago de fondos) han afectado los resultados potenciales?
• ¿En qué medida la CE ha coordinado su estrategia y garantizado la coherencia con sus otras políticas de dimensión internacional, en particular, las de medio ambiente?
• ¿En qué medida la estrategia europea ha contribuido a la perennidad del MERCOSUR?

.

.

En el caso de una evaluación global sectorial o temática, las preguntas se refieren, por ejemplo, a:

• Los efectos específicos al sector y su sostenibilidad.
• La consideración de los aspectos transversales.
• La eficacia o eficiencia de los instrumentos específicos del sector.

Las preguntas que siguen a continuación son a título indicativo. Muchas de ellas derivan de los últimos trabajos de evaluación país conducidos por la Unidad de evaluación.

Preguntas de pertinencia

• ¿En qué medida las intervenciones de la Comisión se ajustan a las necesidades específicas de los países (de las regiones) [de categoría X]?
• ¿En qué medida el diseño de las intervenciones de la Comisión permite obtener una combinación de actividades y de instrumentos adaptada para alcanzar el objetivo [X]?
• ¿Hasta qué punto la Comisión le otorga una prioridad al sector / tema evaluado y en qué medida se justifican estas elecciones?
• ¿En qué medida la estrategia de la Comisión, en lo referente al sector / tema, ha integrado las lecciones de la experiencia de otros donantes?

Esta página propone un método para elegir las preguntas a partir del análisis de la lógica de intervención. Por lo general, este método se funda en el análisis de uno o varios documentos estratégicos que establecen un conjunto coherente de objetivos. Puede darse que dichos documentos no existan en el caso de una evaluación temática o sectorial a escala global, pero eso no impide reconstituir la lógica de intervención de manera menos formal. Por lo tanto, es posible derivar preguntas que tengan la siguiente forma estándar:

• ¿En qué medida la ayuda europea ha contribuido a [generar el efecto X (específico del sector / tema)]?

Se trata entonces de preguntas de eficacia (alcance de un objetivo específico u obtención de uno de los efectos particularmente esperados). Cada pregunta estándar puede declinarse en muchas otras preguntas:

… precisando el campo, por ejemplo:

• ¿En qué medida la ayuda europea en el sector [específicamente dedicada al sector / tema sometido a la evaluación] ha contribuido a generar [el efecto X]?
• ¿En qué medida la ayuda europea [puesta en marcha según tal procedimiento / que utiliza tal instrumento] ha contribuido a generar [el efecto X]?

… o precisando el efecto aludido, por ejemplo:

• ¿En qué medida la ayuda europea ha contribuido a generar [el efecto X para las categorías más pobres de la población]?

… o cambiando de criterio, por ejemplo:

• ¿En qué medida la ayuda europea ha contribuido a generar el efecto X [de manera sostenible]? (sostenibilidad)
• ¿En qué medida la ayuda europea ha contribuido a generar el efecto X [con un costo limitado en comparación con…]? (eficiencia o costo-eficacia).

También es interesante plantear preguntas genéricas de eficacia, es decir, recortando la lógica de intervención de manera transversal, por ejemplo:

• ¿En qué casos la ayuda europea a contribuido al mejor desarrollo de las capacidades institucionales y a una gobernanza adaptada a las necesidades del sector?
• ¿En qué medida las intervenciones de la Comisión han logrado que los países sean capaces de identificar sus necesidades y de diseñar acciones adaptadas a dichas necesidades?
• ¿En qué medida las intervenciones de la Comisión han permitido responder prioritariamente a las necesidades de la población y en particular a las de los públicos más desfavorecidos?

Preguntas de eficiencia

Las preguntas de eficiencia (o de costo - eficacia) pueden ser específicas del sector / tema y adoptar una forma de tipo:

• La ayuda europea, ¿ha contribuido a generar [el efecto X] con un costo comparable a las buenas prácticas observadas en los países similares?
• ¿En qué países (en qué circunstancias) la ayuda europea ha contribuido a generar [el efecto X] con una relación costo - eficacia particularmente favorable?, ¿y a qué se deben dichos éxitos?
• ¿En qué proporción los recursos de la C.E. han beneficiado a los diferentes públicos / territorios aludidos?

Por lo general, las preguntas de sostenibilidad adoptan una de las siguientes formas:

• ¿En qué medida la intervención de la Comisión ha contribuido a generar [el efecto X] de manera que subsista después de finalizada la ayuda?
• ¿En qué medida la intervención de la Comisión ha contribuido a generar [el efecto X] de manera tal que subsista en caso de limitación de la ayuda [a la inversión únicamente]?

• ¿En qué medida las intervenciones en el sector contribuyen directa o indirectamente a los objetivos perseguidos en otro sector?
• ¿En qué medida las intervenciones en el sector tienen efectos que se fortalecen mutuamente (o que se contradicen) con las otras políticas de la C.E.?
• ¿En qué medida las diferentes políticas de la C.E. se fortalecen mutuamente (o se contradicen) en cuanto a la generación del [efecto X]?
• ¿En qué medida la ayuda europea en el sector tiene en cuenta las potenciales interacciones o conflictos con las otras políticas europeas correspondientes al sector?
• ¿En qué medida la coordinación con los intereses bilaterales y multilaterales a permitido lograr un diálogo político más productivo con miras a generar [el efecto X]?
• ¿En qué medida la Comisión ha contribuido a la coordinación entre los diferentes socios del desarrollo y hasta qué punto ello ha permitido avanzar por las diferentes vías que conducen a la obtención [del efecto X]?

Preguntas sobre los aspectos transversales (cross-cutting issues)

Los aspectos transversales más frecuentemente evocados en las evaluaciones recientes son los siguientes:

• Género
• Ambiente
• Buena gobernanza (descentralización, administración, eficacia, rendición de cuentas y orientación hacia el servicio a la población
• Derechos del hombre, estado de derecho, democracia, desarrollo del papel que cumple al sociedad civil
• SIDA

Cada una de las preguntas que se detallan a continuación puede aludir a uno o varios aspectos transversales:

• ¿En qué medida la C.E ha integrado [el aspecto transversal X] en el diseño y la puesta en marcha de las intervenciones?
• ¿En qué medida la C.E ha contribuido directa o indirectamente al desarrollo [del aspecto transversal X]?
• ¿En qué países / circunstancias las intervenciones de la C.E. han contribuido al mejor desarrollo [del aspecto transversal X] ?

Preguntas sobre los instrumentos y la puesta en marcha

• ¿En qué medida las intervenciones en el sector pusieron en práctica [el instrumento X], y con qué efectos?
• ¿En qué medida los procedimientos administrativos de atribución de la financiación y gestión de las acciones favorecen o frenan la obtención [del efecto X]?

El ejemplo que sigue a continuación presenta las nueve preguntas elegidas en el caso de la evaluación global del sector "Comercio":

• ¿En qué medida los programas de la Comisión están afectados por las necesidades específicas del país / de la región para la negociación de acuerdos futuros?
• ¿En qué medida los programas de la Comisión están afectados por las necesidades específicas del país / de la región para la rentabilidad del comercio internacional?
• ¿En qué medida las prácticas de diagnóstico y de análisis en las etapas de identificación y de programación del ciclo del proyecto hacen que una combinación de actividades que contribuya a la obtención equilibrada de los objetivos sea más probable?
• ¿En qué medida las modalidades de puesta en marcha (inclusive los recursos y las herramientas que se ponen a disposición) determinan la obtención de los objetivos?
• ¿En qué medida las intervenciones de la Comisión han permitido que los países refuercen su marco institucional para los acuerdos comerciales regionales?
• ¿En qué medida los programas de la Comisión han logrado que los países sean capaces de identificar y de articular sus necesidades y de mejorar su posición en las negociaciones comerciales internacionales?
• En los países y regiones donde la Comisión ha financiado un mayor número de intervenciones para el comercio, ¿en qué medida los agentes del sector productivo han utilizado los productos de estas intervenciones con eficacia?
• En los países y regiones donde la Comisión ha financiado un mayor número de programas para el comercio, ¿en qué medida estas intervenciones han afectado más significativamente el volumen, el valor y la dirección de los flujos comerciales?
• ¿En qué medida las iniciativas de la C.E. han ayudado a contrarrestar las posibles consecuencias negativas del comercio sobre los derechos del hombre, los derechos sociales fundamentales, y las cuestiones ambientales?

.