Evaluation methodological approach

.

¿Qué representan?Objetivos y efectos. Definiciones

En general, la ayuda al desarrollo (traducida en proyecto, programa o estrategia) tiene una finalidad que puede presentarse ya sea como un objetivo que conseguir o como un efecto intencional.

El objetivo se expresa en términos de acción, y el impacto que se persigue en términos de situación, como consecuencia de la acción

La gran proximidad de ambos términos se ve confirmada por las definiciones propuestas en los glosarios de evaluación, como por ejemplo el de la OCDE (Glosario de los principales términos sobre evaluación y gestión basada en resultados).

El objetivo de la ayuda cubre realidades de envergadura variable, es decir, tanto acciones muy concretas (carreteras, formación…) como cambios macroeconómicos o sociales. En cambio, el término impacto se utiliza, en evaluación, para traducir un efecto a gran escala y a largo plazo; por convención, los efectos a medio plazo se denominan resultados y los efectos inmediatos de las actividades efectos directos. Para englobar el conjunto de las consecuencias de la ayuda (productos, resultados, impactos), se utilizará el término efectos.

Cuando el diagrama se utiliza como herramienta de estructura, los efectos representados son los efectos intencionales, es decir los efectos que se esperan de la ayuda.

El diagrama también puede utilizarse como herramienta de análisis de los resultados de la evaluación. En ese caso, los efectos representados son los efectos observados.

En la fase de planificación, la finalidad de la ayuda suele expresarse actualmente en objetivos. En la fase de evaluación, se utilizarán los conceptos de objetivo y de efectos según el caso.

El diagrama en la fase de planificaciónEl sistema de objetivos

Aunque sea simple, el objetivo estratégico global a largo plazo -que se haya calificado como objetivo de primer nivel- se alcanza mediante la consecución de diversos objetivos de segundo nivel, y cada uno de éstos puede depender a su vez de la consecución de diversos objetivos de tercer nivel, y así sucesivamente hasta llegar a los objetivos concretos, los proyectos de acción.

La mayoría de las veces, lo que se denomina objetivo es en realidad uno de los medios para alcanzar un objetivo de nivel superior, y a su vez depende para su consecución de la aplicación de un determinado número de medios (u objetivos) subordinados a él.

El sistema de objetivos representa el conjunto de los objetivos, de todos los niveles, así como los vínculos que los unen.

El sistema de efectos

Las consecuencias de la ejecución de un proyecto, de un programa o de una estrategia de ayuda son los productos que les son directamente atribuibles, los resultados a corto plazo vinculados a estos productos y los impactos (directos o indirectos) a mayor largo plazo. Estas consecuencias pueden agruparse bajo el término efectos y están vinculadas entre sí por un conjunto de relaciones de causalidad o de sinergia que constituyen el sistema de efectos.

El árbol de objetivos

En los procesos de elaboración de programas y de proyectos que implican una planificación por objetivo surgió la necesidad de jerarquizar de forma lógica el conjunto de los objetivos que convergen en la consecución de un objetivo de nivel superior. Por esta razón, la forma típica de representar el sistema de objetivos es mediante una arborescencia denominada árbol de objetivos.

Esta representación en árbol está sujeta a algunas reglas de principio o de construcción:

• sólo puede haber un objetivo de primer nivel u objetivo global;
• todo objetivo de determinado nivel va ligado a un objetivo (y uno solo) del nivel inmediatamente superior;
• las interacciones entre objetivos del mismo nivel y los "bucles de retroacción" (los efectos se convierten en causas y viceversa) no aparecen representados.

El nivel de un objetivo expresa su lugar en el sistema de causas y efectos. La representación gráfica traduce este nivel en su orden de clasificación.

Árbol de objetivos (forma clásica)

Los árboles de objetivos sujetos a estas limitaciones son pues representaciones muy simplificadas del sistema de objetivos definido en la elaboración de una estrategia (o de un programa).

En el contexto de la ayudade la Comisión Europea, describen la jerarquización de los objetivos que hay que poner en práctica para llevar a cabo una estrategia, ya sea geográfica (región, país), sectorial o temática, desde el objetivo global a largo plazo que se ha marcado la Unión Europea hasta las acciones emprendidas en el marco de los programas de ejecución.

La experiencia en el ámbito de la evaluación, ya sea temática, sectorial o geográfica, demuestra que la realidad de los sistemas de objetivos o de efectos llevados a la práctica es más compleja. En efecto, las estrategias y programas sometidos a evaluación no siempre son resultado de un proceso de planificación por objetivos y, en caso de ser así, la presentación y la jerarquización de los objetivos no es a veces fruto de un proceso de racionalización de las decisiones fundamentales, sino una representación de decisiones circunstanciales.

Esto puede dar lugar, entre otras cosas, a:

• una multiplicidad (dos o más) de objetivos de primer nivel, no reducibles a un solo objetivo global,
• objetivos de un determinado nivel vinculados a varios objetivos del nivel inmediatamente superior,
• objetivos de determinado nivel vinculados a un objetivo situado dos niveles más arriba,
• objetivos de mismo nivel con una intensa interacción.

Utilizar un árbol simple en el marco de una evaluación significa presuponer que ha habido una profunda racionalización en la definición de los objetivos, y en un campo estratégico que a su vez puede resumirse en representaciones simplificadas.

Por esta razón, en lugar de la forma clásica del árbol de objetivos, estrictamente codificado, se prefiere una representación más flexible: el diagrama de objetivos.

El diagrama de efectos

En la actualidad, la ayuda pública al desarrollo tiende a pasar progresivamente de la planificación y de la gestión por objetivos a la planificación y la gestión basada en resultados. Por ello cada vez se tiene más en cuenta en evaluación la consideración y la estructuración del sistema de efectos vinculados al programa o a la estrategia que hay que evaluar. El término diagrama de efectos se utilizará para designar la estructuración representada del sistema de efectos (productos, resultados a corto plazo e impactos intermedios) que conducen al impacto global intencional.

El diagrama de efectos presenta la jerarquía de productos, resultados e impactos que pueden esperarse de la búsqueda del sistema de objetivos. Se representa en forma arborescente, empezando por las actividades concretas proyectadas y los productos a los que deben dar lugar y llegando a los resultados directos, los impactos intermedios a medio-largo plazo y el impacto global intencional a largo plazo. También puede hacerse una lectura inversa: el impacto global intencional se consigue encadenando impactos intermedios, resultados, productos y actividades.

El diagrama de objetivos tiene su origen en la corriente de la gestión por objetivos desarrollada en la década de 1960, en en determinados sectores económicos norteamericanos que después se extendió al conjunto del mundo occidental.

Se adaptó a las necesidades del Departamento Norteamericano de Defensa y, más tarde, a finales de la década de 1960, a la gestión de la ayuda a países terceros por parte de la USAID, como componente del marco lógico.

Así pues, sus primeras utilizaciones conocidas, especialmente por parte de la USAID, están vinculadas a la construcción de marcos lógicos.

Forma parte de un conjunto de herramientas de decisión en la ayuda a países terceros, y se asocia especialmente al árbol de problemas en la planificación de proyectos orientada a objetivos (ZOPP).

A comienzos de la década de 1980, la GTZ procedió a una revisión del método de planificación ZOPP. Con voluntad pedagógica, fijó así las etapas del enfoque participativo que conduce al marco lógico.

La secuencia estándar es la siguiente :

Análisis de los problemas en la secuencia simplificada del ciclo del proyecto

Presenta entonces características específicas:

• se utiliza en la fase de concepción de los proyectos,
• es parte integrante de un método de planificación, en el que se deriva del árbol de problemas y desemboca en el marco lógico,
• es una herramienta de decisión participativa, que concierne a las principales partes interesadas en el proyecto, cuya propia identificación forma parte de la primera etapa del proceso.

Siguiendo los pasos de la GTZ, numerosos donantes públicos y agentes (agencias y ONG) adoptaron el árbol de problemas como elemento de planificación o de gestión des proyectos. Sin embargo, su utilización como herramienta de participación y adaptación no tiene siempre el carácter fundamental que le otorgaron los creadores del modelo ZOPP. La falta de análisis de las partes interesadas y/o la formalización de los procesos de participación lo transformaron en un ejercicio individualista, incluso con elementos de manipulación. El papel del marco lógico puede llegar entonces a reducirse a un proceso rígido de gestión de proyectos y programas, olvidando que se trata, ante todo, de una herramienta de aprendizaje y de negociación. Se destacó entonces el simplismo de sus formulaciones, sin la justificación de la finalidad pedagógica.

La crítica más profunda pasa por la hipótesis de que las partes interesadas (donante, operadores y beneficiarios) puedan consensuar los objetivos de desarrollo y la forma de llevarlos a cabo.

En la fase de evaluación, no pueden pasarse por alto las posibles carencias e irregularidades que hayan aparecido durante la fase de concepción de los programas. La evaluación debe examinar en particular el proceso de elaboración del sistema de objetivos, y descartar las herramientas que exijan o produzcan una representación simplista de este sistema.

El árbol clásico de objetivos responde plenamente a exigencias de tipo:

• la identificación de un solo objetivo global (nivel 1),
• la descomposición de cada uno de los objetivos de un nivel determinado en dos o más objetivos de nivel inferior (nivel 2),
• la vinculación de un objetivo determinado con uno (y uno solo) de los objetivos de nivel superior (nivel 3),
• la falta de relaciones horizontales,
• la falta de "bucles de retroacción" (los efectos se convierten en causas y a la inversa).

Cuando estos árboles se realizan en el marco de la planificación por objetivos, el objetivo de nivel 1 suele denominarse objetivo global. Los objetivos de nivel inferior reciben denominaciones diversas, entre las cuales elegiremos el término objetivos intermedios. Puede haber varios niveles de objetivos intermedios. En cuanto a los objetivos situados en la base del árbol, se denominarán objetivos operativos.

El diagrama de objetivos que se muestra a continuación es un sistema de objetivos sensiblemente más complejo:

• uno de los objetivos de nivel intermedio (2) aparece directamente vinculado al objetivo global, y no a un objetivo intermedio (1),
• se establece una interrelación entre dos objetivos de nivel intermedio (3),
• uno de esos mismos objetivos está relacionado con dos objetivos de nivel superior (intermedio 2),
• el nivel de objetivos intermedios (2) aparece incompleto.

Diagrama de objetivos (forma compleja)

Pueden presentarse sistemas de objetivos todavía más complejos, especialmente con dos objetivos globales y enlaces cruzados entre los objetivos intermedios. Sin embargo, mediante los diagramas de objetivos no pueden traducirse visualmente los vínculos de tipo "bucle de retroacción".

De aparición más reciente, la representación estructurada del sistema de efectos ha tenido en cuenta desde el comienzo las carencias de la representación en árbol, por lo que ha adoptado una forma de representación más flexible, el diagrama. Los sistemas de productos, resultados e impactos pueden tener el mismo grado de complejidad que el sistema de objetivos, análogamente, traducirse en diagramas.

Diagrama de efectos

Diagrama vertical u horizontal

La disposición de los diagramas puede ser vertical u horizontal.
En su forma vertical, los diagramas se leen de arriba hacia abajo o de abajo hacia arriba. En general, el objetivo global ocupa el nivel superior del diagrama.
En su forma horizontal, el diagrama se lee de derecha a izquierda o de izquierda a derecha.

Los objetivos y los efectos representados en el diagrama se relacionan entre sí mediante vínculos horizontales o verticales. Estos vínculos son lógicos cuando expresan una relación de inferencia (inducción o deducción) validada por la experiencia. Así, muestran que:

• la adopción de un objetivo/efecto de un determinado nivel induce a la adopción de objetivos/efectos subordinados,
• un objetivo/efecto de un determinado nivel se deduce de un objetivo/efecto de nivel (inmediatamente o no) superior,
• dos objetivos/efectos del mismo nivel se refuerzan mutuamente.

El carácter lógico de los vínculos entre objetivos o efectos se basa esencialmente en la experiencia y en eventuales teorías sobre el desarrollo que resultan de ella. En general, tanto mediante la experiencia como la teoría se puede definir en qué objetivos/efectos subordinados debe concretizarse un objetivo/efecto de determinado nivel para poder alcanzarse en buenas condiciones.

Sin embargo, en materia de desarrollo, las observaciones basadas en la experiencia no son siempre convergentes, y el alcance de las teorías es más o menos universal. Eso se debe, por ejemplo, a que las relaciones entre los objetivos o los efectos dependen de numerosos factores, en ocasiones poco conocidos.

Así, por ejemplo, incluso cuando están de acuerdo en la pertinencia de un objetivo global, los expertos pueden divergir en la definición de los objetivos intermedios y, por añadidura, en los objetivos operativos. El propio contenido de los grandes objetivos, por ejemplo la reducción de la pobreza, es materia de debate y evoluciona con el tiempo.

Verificación del carácter lógico del vínculo

En la práctica, el carácter lógico de un vínculo entre objetivos o efectos y, por lo tanto, de un diagrama de objetivos o de efectos, se verifica recurriendo simultáneamente a dos tipos de experiencia:

• la de reconocidos expertos que hayan realizado su labor en diversos países y en condiciones diferentes,
• la de los responsables de la elaboración y aplicación de programas en el ámbito de la evaluación.

Ambos grupos pueden validar unánime o parcialmente dicho carácter lógico.
La evaluación debe exponer claramente el proceso de validación y su resultado.

.

.

¿EN QUÉ CASOS UTILIZAR ESTA HERRAMIENTA?

Los tres elementos básicos de los programas de ayuda al desarrollo

Un programa de ayuda puede estudiarse desde diversos puntos de vista: resultados, procesos internos, asociación, etc. Cuando se evalúa en términos de eficacia, lo que suele ser el caso más habitual, se establece una relación entre sus resultados directos y/o impactos producidos y los objetivos o impactos intencionales a todos los niveles que se haya fijado. Esto implica que esos objetivos sean por una parte identificados o identificables y, por otra, jerarquizados o jerarquizables.

Programas establecidos a partir del marco lógico

Cuando el programa que hay que evaluar se ha establecido con la ayuda de un marco lógico  éste presenta claramente los objetivos de diferente nivel que el programa se propone alcanzar. El marco lógico sirve entonces de referencia para la evaluación, que dispone ipso facto de elementos para el diagrama de objetivos correspondiente a ese programa. El establecimiento de marcos lógicos basados en los resultados todavía no se ha generalizado, pero el diagrama de efectos puede deducirse generalmente del marco lógico de objetivos. Los evaluadores deben reproducir el diagrama de objetivos si está presente en el programa o, si no es así, reconstruirlo a partir de la primera columna del marco lógico y, si procede, transformarlo en diagrama de efectos.

Políticas y estrategias más complejas

La situación es diferente cuando la evaluación abarca un conjunto de intervenciones (proyectos y programas) que no tienen justificación explícita en un marco lógico, lo que suele ser frecuente en las políticas o estrategias complejas. A menudo, el evaluador no dispone de una presentación explícita y lógicamente estructurada de los objetivos que persigue o de los efectos previstos por el donante. Sin embargo, la evaluación sólo se justifica si está en condiciones de responder a las siguientes preguntas esenciales:

• ¿Se han alcanzado los objetivos o impactos intencionales de la política o de la estrategia evaluada?
• ¿En qué medida se han alcanzado esos objetivos o efectos intencionales?

Para hacerlo, el evaluador debe identificar y jerarquizar los objetivos o los efectos de esa estrategia o de esa política. En general, el diagrama de objetivos y el diagrama de efectos constituyen buenas herramientas para la reconstrucción y representación del sistema de objetivos y/o del sistema de efectos.

En ambos casos, la construcción del diagrama de objetivos y del diagrama de efectos deberá constituir una de las primeras tareas de la evaluación. Resultará de utilidad para guiar el primer ciclo de búsqueda de información y de coordinación de entrevistas destinadas a profundizar en el conocimiento del programa (política, estrategia) que se ha de evaluar.

El diagrama presenta de forma explícita los objetivos/efectos y los diferentes niveles en los que se sitúan, desde el objetivo global a más o menos largo plazo al conjunto de acciones emprendidas o previstas para su consecución.

Muestra también los vínculos lógicos entre esos objetivos/efectos o, por el contrario, las carencias lógicas de esos vínculos.

Definición de las preguntas de evaluación

Permite formular las preguntas que la evaluación debe afrontar para responder a la pregunta esencial:

¿En qué medida se han alcanzado los objetivos perseguidos o los efectos intencionales?

Presentación de la estrategia

Bien construida y claramente presentada, es una herramienta pedagógica muy valiosa para la presentación y la comprensión de la estrategia.

Si se prescinde de la representación en árbol (árbol de objetivos) y se utiliza el diagrama, desparecen la mayor parte de las dificultades para su construcción y los límites que éstas entrañan (con la excepción notoria de la no representación de los "bucles de retroacción").

Representación simplificada de la realidad

Sin embargo, como todo gráfico, se trata de una representación simplificada de la realidad; su eficacia pedagógica depende de que el grado de simplificación sea razonable.

Por otra parte, la simplificación excesiva puede evitarse empleando subdiagramas que desarrollen determinadas secciones del diagrama principal.

Coherencia engañosa

El diagrama establece el vínculo lógico entre un objetivo y otro objetivo de nivel superior, o entre un efecto y otro efecto de nivel superior. Todo objetivo se presenta como lógicamente derivado de un objetivo de nivel superior, del mismo modo que todo efecto se presenta como lógicamente derivado de un efecto de nivel superior. Los productos de las acciones llevadas a cabo o planeadas en el marco del programa aparecen así como una contribución a la consecución del objetivo/impacto global, otorgando generalmente una fuerte coherencia al sistema de objetivos y de efectos.

Los diagramas de objetivos y de efectos, ya se hayan extraído del marco lógico  del programa o se hayan reconstruido a partir de documentos justificativos del programa, ocultan no obstante una serie de decisiones. Cada uno de los objetivos o efectos de un nivel x se aplica por medio de objetivos o efectos subordinados, cuya elección debe estar justificada. Efectivamente, no es frecuente que una estrategia o un programa quiera cubrir la totalidad del campo correspondiente a su objetivo global. El campo se limita pues mediante una serie de elecciones llevadas a cabo en todos los niveles de objetivos o de efectos. Si los documentos estratégicos no justifican explícitamente tal o tal elección, la evaluación debe responder a una serie de preguntas:

• ¿Las elecciones que se han llevado a cabo son las únicas posibles?
• ¿Son las más pertinentes respecto al nivel x?
• ¿Cuáles son los factores externos que han conducido a su elección?
• ¿Qué razones han llevado a su eliminación?

Objetivos seleccionados, objetivos no seleccionados

Efectos seleccionados, efectos no seleccionados

Si no se plantean estas preguntas, la evaluación presentará el programa o la estrategia con una pertinencia y coherencia más formal que real.

El diagrama de objetivos se deduce frecuentemente, pero no siempre, del árbol de problemas.

Los diagramas de problemas dan una visión sintética de los aspectos de la situación que deben, al menos parcialmente, mejorar la estrategia. Así, los objetivos jerarquizados que se propone la estrategia deben poder deducirse del diagrama.

En la fase de planificación, su conversión en diagrama no es forzosamente automática. En efecto, puede darse el caso de que, por razones diversas, no se pueda hacer frente a todos los problemas que figuran en el diagrama con la misma prioridad.

Conversión del diagrama de problemas en diagrama de objetivos

En evaluación, la reconstrucción del diagrama de problemas incluye una etapa en la que se lleva a cabo una selección entre los problemas contextuales y los problemas relacionados directamente con la intervención. Por lo tanto, el diagrama resultante debe poder ser convertido integralmente en diagrama de objetivos: al problema principal le corresponde el objetivo global, y a cada nivel de problemas un nivel equivalente de objetivos.

Marco lógico

En los documentos de estrategia o de programación, el diagrama de objetivos se asocia en general al desarrollo del marco lógico, al que corresponde la información de la columna de la izquierda, así como la estructura.

Diagrama de decisiones

El análisis del proceso de elaboración del programa (diagrama de decisiones) puede utilizarse igualmente para explicar determinadas opiniones en la selección de objetivos de los diferentes niveles, especialmente de los niveles superiores.

En las evaluaciones intermedias del programa, puede pedirse al evaluador que reconstruya alguna de estas herramientas, además del propio diagrama de objetivos.

Cuando el diagrama de objetivos o el de efectos están presentes en los documentos iniciales del programa -o se deducen directamente de un marco lógico-, es indispensable acompañar su presentación de un análisis de las decisiones que han permitido su construcción. Ello supone la consulta de los documentos que han llevado a su construcción, así como la consulta de los actores directamente implicados en su elaboración.

En evaluación sectorial, los documentos de base son los documentos de estrategia sectorial, tanto a nivel de la Comisión Europea (comunicaciones, guías, manuales), como del Gobierno asociado y otros donantes.

A esto hay que añadir el resto de documentos estratégicos (DEP) y los programas indicativos nacionales (PIN) correspondientes al período que comprende el campo de la evaluación, así como los acuerdos bilaterales, como el Acuerdo de Asociación o el Acuerdo de Cooperación, y sus documentos de seguimiento.

Falta de actores implicados y de documentos

Si ni los documentos ni los actores están disponibles o no son accesibles, el evaluador podrá emitir un juicio sobre la pertinencia del sistema de objetivos presentado en el diagrama después, si es necesario, de la consulta a especialistas.

Cuando el equipo de evaluación haya reconstruido el diagrama a partir de los documentos que se hayan puesto a su disposición, deberá:

• asegurarse de la validez de esos documentos y, si es necesario, completarlos;
• comprobar la validez de los vínculos jerárquicos e interrelaciones que se muestran mediante una investigación documental y/o entrevistas.

El equipo de evaluación deberá argumentar las hipótesis que haya hecho para construir el diagrama. Para ello, indicará al lector las fuentes precisas (citas y referencias completas de los documentos) en las que se basan.

Por regla general, existe un marco lógico para todos los proyectos. El análisis deberá centrarse en este marco lógico, examinando la coherencia vertical y horizontal respecto al contexto dado. Si no existe ningún marco lógico, la evaluación intentará reconstruir la lógica de intervención basándose en los documentos de proyectos (ver Etapa 2: identificar los objetivos y los efectos).

A veces, el plazo trascurrido entre la preparación del proyecto y su puesta en marcha puede ser importante. En ese caso, al poner en marcha el proyecto, es necesario analizar si la validez del documento ha sido comprobada.

El resto de las intervenciones que conciernan a la zona del proyecto también pueden tenerse en cuenta para valorar la coherencia de las intervenciones en dicha zona.

¿Qué objetivos deben tenerse en cuenta?

La evaluación se apoyará en los objetivos mencionados en el marco lógico, o en el marco lógico reconstituido.

Es importante calcular en qué medida los diferentes tipos de actores se han apropiado de los diferentes objetivos del proyecto.

Este aspecto será particularmente importante en el caso de una evaluación participativa.

Una vez reconstruido, el diagrama razonado de objetivos desemboca en dos procesos paralelos que concurren en la evaluación del proyecto:

• el análisis de los criterios de calidad del proyecto (pertinencia, eficiencia, eficacia y durabilidad) en función de los diferentes niveles de intervención (actividades, resultados, objetivos específicos),
• la coherencia interna de la estrategia del proyecto (coherencia vertical) y su pertinencia respecto a los objetivos generales de la Unión Europea, de la política del Gobierno asociado y de la posición del conjunto de lo donantes.

.

.

La principal finalidad de la evaluación es poner de manifiesto los resultados de la ayuda, y compararlos con los objetivos fijados. La fase de estructuración requiere que se analicen los objetivos, y que de ello se deduzcan los efectos intencionales.

Tras delimitar el campo de la evaluación, los evaluadores construirán un diagrama de los objetivos identificados en los documentos de estrategia y programación y, a partir de éste, irán construyendo un diagrama razonado de los objetivos y, finalmente, un diagrama de efectos (intencionales).

ETAPA 1: DELIMITAR EL CAMPO DE LA EVALUACIÓN

Habitualmente, el campo de la evaluación viene delimitado con precisión en los términos de referencia de la evaluación, que concretan el periodo y los instrumentos financieros que hay que evaluar.

En cualquier caso, tanto en lo que respecta al periodo de la evaluación como a los instrumentos financieros, el equipo de evaluación debe obtener una definición extremadamente precisa del campo de la evaluación por parte de la autoridad responsable. Por otra parte, eso no debe impedirle señalar a dicha autoridad que tenga en cuenta las posibles consecuencias de una delimitación restrictiva.

Periodo de evaluación

El periodo de la evaluación se corresponde parcial o totalmente con el cubierto por el o los documentos de estrategia y/o de programación..

Sin embargo, durante el periodo de evaluación, pueden llevarse a la práctica proyectos o programas cuyo origen y justificación se encuentren en documentos anteriores.

Así pues ¿qué parte debe tenerse en cuenta respecto de objetivos o efectos?

Hay que considerar dos casos distintos, dependiendo de la continuidad o cambios en los documentos de estrategia y de programación con los precedentes.

Cuando hay cambios entre los documentos

Se sugiere hacer un análisis general de los cambios en cuanto a la estrategia global y el tipo de intervención (proyectos y programas), sin incluir los objetivos propios (o efectos) de esos proyectos y programas en el análisis. 

Cuando hay continuidad entre los documentos

Los objetivos propios (o efectos) de los programas y proyectos ejecutados durante el periodo sometido a evaluación deben estar incluidos en el análisis de los objetivos.

Instrumentos financierosTérminos de referencia explícitos

Los términos de referencia pueden precisar que la evaluación se aplique a las intervenciones hechas por una institución específica (una Dirección General de la Comisión) y con un instrumento financiero específico. El campo aparece entonces claramente delimitado. Sin embargo, el equipo de evaluación debe incluir las demás instituciones en la categoría de "otros donantes" y buscar en sus intervenciones los posibles elementos de coherencia que puedan faltar en el sistema de objetivos o de efectos de la institución objeto de evaluación.

Asimismo, debe examinar las modalidades de coordinación entre las intervenciones que abarca el campo de la evaluación y las demás, y emitir un juicio sobre las posibles consecuencias de una falta de coordinación. 

Términos de referencia no explícitos

Cuando los términos de referencia no precisen los límites de la evaluación, el análisis de los objetivos y de los efectos debe extenderse al conjunto de las intervenciones de la Comisión, sea cual sea la institución a la que conciernan y el instrumento financiero que las financie.

La primera etapa consiste en recopilar los documentos necesarios para establecer los diagramas. Por lo general, están disponibles en la unidad correspondiente de las Direcciones Generales de Relaciones Exteriores o de Desarrollo.

Estos documentos comprenden:

• documentos básicos que presentan las políticas, estrategias y programas,
• documentos complementarios de carácter oficial.

Sin embargo, varían según se trate de evaluaciones geográficas, sectoriales o temáticas.

Localizar las referencias a los objetivos en los documentos básicos

El trabajo comienza con una lectura atenta de los documentos básicos. Mediante esta lectura se identificará toda referencia hecha a un objetivo (cita exacta, fuente precisa), es decir, a lo que se pretende con la intervención de la Comisión Europea, así como a los vínculos explícitamente mencionados entre ese objetivo y otros.

Atención: los documentos no especifican siempre "X es un objetivo". En general, se localizarán en frases con fórmulas del tipo "para...,", "a fin de...,", "de forma que...", etc. Los objetivos también pueden ser calificados como "prioridades", "ámbitos de intervención", o incluso "sectores de concentración", entre otros.

A partir de esta identificación, debe elaborarse una tabla precisa.

Distinguir los objetivos estratégicos de los objetivos de segundo plano

Las citas localizadas en los documentos de referencia se traducen en objetivos. A cada uno de estos objetivos se le asignará un número de identificación que remita a las citas.

Los documentos indican a cuáles de todos esos objetivos está destinada a responder la intervención. El resto de los objetivos se considerarán de segundo plano o secundarios.

En los informes correspondientes (¿Cómo restituir los resultados?), y en forma de anexo, el equipo de evaluación propondrá una lista con todos los objetivos considerados, divididos en dos grupos: objetivos objeto de la intervención y objetivos de segundo plano o secundarios.

Deben tenerse en cuenta varias situaciones:

• el nivel está especificado, muy a menudo se trata del objetivo de nivel 1, calificado de global o a largo plazo;
• la relación causa-efecto con otro objetivo está especificada, con lo que se puede establecer una relación entre ellos;
• no se da ninguna indicación sobre el nivel (absoluto o relativo) del objetivo, por lo que habrá que recurrir a documentos complementarios o a otros documentos donde localizar los eventuales vínculos de causa-efecto; en su defecto, el equipo de evaluación deberá aplicar su lógica y/o recurrir al peritaje de un especialista en los ámbitos en los que considere no tener la competencia (Los recursos humanos y el tiempo de trabajo) necesaria.

Cada una de las clasificaciones por nivel deberá estar justificada, si lo preciso mediante interpretaciones en forma de hipótesis explícitas.

La primera clasificación podrá llevarse a cabo distinguiendo tres grandes categorías de objetivos:

• objetivos globales,
• objetivos intermedios a corto-medio plazo,
• objetivos operativos.

La definición de las relaciones lógicas entre objetivos es parte fundamental de la clasificación. Se trata, sobre todo, de una cuestión de experiencia. En efecto, el equipo de evaluación considerará que una relación entre dos fenómenos es lógica cuando es reconocida como tal por los expertos del ámbito en cuestión y por los responsables de la ejecución de la estrategia o de la política evaluada.

Establecer un diagrama provisional

A partir de la primera clasificación por niveles puede establecerse un primer diagrama de objetivos. Es posible que en él se observen incoherencias, que deberán corregirse. su corrección será fruto de interpretaciones, por lo que deben indicarse como tales.

¿Por dónde iniciar la construcción del diagrama: a partir del objetivo global o de objetivos operativos (p. ej. objetivos que definen los resultados previstos)?

La práctica demuestra que esos dos tipos de objetivos son los más identificables, mientras que los objetivos intermedios, son más difíciles de identificar, y todavía más de jerarquizar. Por lo tanto, se recomienda comenzar simultáneamente por ambos extremos.

En el diagrama, cada objetivo se representa en una casilla, donde se enuncia de forma resumida. Se recomienda añadir un número de identificación que remita a la lista de las citas. También resulta práctico asignar un color a las casillas, correspondiente a la categoría del objetivo.

También es útil relacionar los vínculos con una o varias citas (mediante el número de identificación).

El diagrama se completará indicando los medios específicos (financieros y no financieros) movilizados para la consecución de cada uno de los objetivos operativos.

Identificar a los autores de la formulación de los objetivos

Antes de proceder al test del diagrama provisional, conviene identificar a los actores que han contribuido, en primer o en segundo término, a la formulación de los objetivos (redacción del capítulo correspondiente, aportación sectorial, participación en las reuniones de elaboración, etc.).

También es útil comprobar el papel que esta formulación ha desempeñado en la definición de los objetivos operativos de las programaciones.

Comprobar el diagrama provisional

El diagrama debe comprobarse con los autores de los documentos básicos y de los documentos complementarios con el fin de validar las clasificaciones establecidas por niveles y los vínculos entre los objetivos. Se trata de comprobar que las interpretaciones del evaluador reflejen correctamente las intenciones de los autores. Con o sin éstos, toda otra persona que haya contribuido en la elaboración (redacción, debate) de los documentos puede aportar un testimonio útil.

Esto suele ser posible en el caso de los documentos más recientes, cuyos autores (o colaboradores) todavía ocupen un cargo o sean localizables en un servicio de la sede. En el caso de documentos más antiguos, resulta mucho más problemático, ya que puede ser difícil identificar a los autores, y todavía más localizarlos.

Además, por desgracia, no siempre será posible, al terminar las entrevistas, distinguir entre la reconstrucción fiel del proceso de elaboración de los documentos y las "tentaciones" de justificación más o menos conscientes que tuvieron lugar a posteriori.

Establecer la versión definitiva del diagrama de objetivos identificados

Esta versión incluye las opiniones recogidas durante el test de la versión provisional.

Por lo tanto, se considerará que da cuenta de las intenciones iniciales de la Comisión Europea, tal como aparecen en los documentos oficiales.

Hay diagramas de objetivos identificados que presentan una gran coherencia interna: salvo en el caso del objetivo o del impacto intencional global, todo objetivo x remite a un objetivo (inmediatamente o no) superior, se desarrolla en uno o varios objetivos subordinados.

Éste es especialmente el caso cuando esos diagramas de objetivos identificados se extraen de un marco lógico establecido correctamente. Pueden considerarse entonces plenamente lógicos y hacen las veces de diagrama razonado de objetivos.

Vínculos lógicos de un objetivo dado x (caso de los diagramas de objetivos)

En el caso ideal de que el sistema de objetivos presentado en los documentos de estrategia y de programación esté descrito de forma completa y coherente, evidentemente no será necesario establecer un diagrama razonado.

Límites

Sin embargo, los diagramas de objetivos identificados ponen de manifiesto un cierto número de carencias o errores o lógicos de construcción, realizada a partir de los documentos estratégicos o políticos, tales como:

• falta de formulación de un objetivo global,
• poca solidez de los vínculos causales entre los objetivos,
• objetivos de un determinado nivel que no remiten a ningún objetivo situado en un nivel superior o sin vínculo con objetivos de nivel inferior que contemplen las modalidades de aplicación,
• documentos estratégicos o políticas que presentan una multiplicidad de objetivos sin indicaciones suficientes que permitan jerarquizarlos.

En este caso, el equipo de evaluación deberá esforzarse en definir de forma precisa el campo temático de la evaluación y proponer las preguntas de evaluación en las que considere oportuno centrarse, lo que le conducirá a la construcción de un diagrama razonado.

Elaboración del diagrama razonado de objetivos

El equipo de evaluación deberá reconstruir un diagrama de objetivos completo y coherente con la ayuda de la documentación disponible, de su propia experiencia y, en caso necesario, de la de los especialistas. Este ejercicio de reconstrucción deberá ser totalmente transparente (¿Cómo restituir los resultados?): siempre que pueda, evidenciará gráficamente las reclasificaciones y desplazamientos de objetivos, las modificaciones de los vínculos entre objetivos y la introducción de objetivos intermedios que falten. Cada una de estas operaciones de racionalización se argumentará mediante una nota técnica.

Los diagramas de objetivos y diagramas de efectos intencionales obedecen a las mismas reglas generales de construcción.

La construcción del diagrama de efectos se realiza prácticamente mediante la transformación de cada uno de los objetivos que figuran en el diagrama en el efecto intencional correspondiente.

.

.

¿ES PRECISO UTILIZAR LOS DIAGRAMAS DE OBJETIVOS Y DE EFECTOS?

Todo donante debe justificar, explícita o implícitamente, la ayuda que concede a un país o a una región en el curso de un periodo determinado. Con ese fin, define los objetivos que persigue o los efectos que desea que se produzcan al conceder esa ayuda. Para ello, elabora periódicamente una serie de documentos en los que presenta sus objetivos generales, así como sus prioridades para ese periodo concreto. Esos documentos pueden presentar ya sea orientaciones, ya sea un programa preciso, o incluso una combinación de ambas cosas.

Estos documentos pueden presentar programas definidos conjuntamente por el donante y el beneficiario. En ese caso, las actividades previstas que se tengan en cuenta serán por una parte las de la Comisión Europea y, por otra, las del Gobierno asociado. Así, los resultados e impactos intencionales constituirán la consecuencia de la aplicación de estos dos tipos de actividades.

Respecto a los programas nacionales

Los programas nacionales ("Programas Indicativos Nacionales", PIN) pueden integrarse en un marco lógico único o en distintos marcos lógicos según los principales sectores de intervención. Lo normal es pues que la evaluación adopte los marcos lógicos (objetivos e indicadores de concretización) como base para los criterios de eficacia referencial, y que se marque el objetivo de valorar en qué medida el sistema de objetivos y de efectos iniciales han sido alcanzados mediante la puesta en práctica del programa.

Respecto a las estrategias país

Las estrategias país (DEP) (delete few words) no suelen apoyarse en un marco lógico global, pues son válidas para un largo periodo y se aplican mediante diversos programas sucesivos, cada uno de los cuales puede apoyarse en un marco lógico distinto. En este caso, la evaluación reconstruirá el sistema de objetivos y de efectos y construirá un diagrama que lo represente para cada uno de los programas.

En las estrategias y programas complejos de ayuda bilateral, el donante es la Comisión Europea, mientras que sus socios son, en general, Gobiernos o instituciones públicas nacionales. La Comisión y los Gobiernos asociados tienen cada uno sus propios objetivos globales, correspondientes a sus propios problemas. En cierta medida, sin embargo, y con cierto grado de detalle, los objetivos pasan a ser comunes.

En un acuerdo de asistencia bilateral entran en juego tres sistemas de objetivos o de efectos:

• un sistema específico de la Comisión, que corresponde a los problemas estratégicos que el donante espera resolver mediante la ayuda (por ejemplo inestabilidad regional, débil capacidad de absorción del mercado local, inmigración incontrolada);
• un sistema específico del Gobierno asociado, que corresponde a los problemas políticos más importantes a los que el Gobierno se enfrenta (desequilibrios macroeconómicos, inestabilidad social, bajo ritmo de crecimiento, desigualdades sociales o geográficas, etc.);
• un sistema común a la Comisión y a su socio, que corresponde a ciertas causas comunes a los problemas de ambos y relativas a los ámbitos que entran en el campo de la asistencia (, por ejemplo salud, PYME, irrigación, medio ambiente).

Salvo en el caso de la evaluación participativa, el equipo de evaluación centrará su interés en el primer y el tercer grupo de objetivos.

Una vez reconstruido, el diagrama razonado de objetivos , y después el diagrama de efectos, desembocan en dos procesos paralelos que concurren en la evaluación de la estrategia país:

• la formulación de las preguntas de evaluación, que de forma general se plantearán la eficacia e impacto de la ejecución, y también sobre la eficacia -e indirectamente la durabilidad- de los productos e impactos;
• la coherencia interna de la estrategia y su pertinencia respecto a los objetivos generales de la Unión Europea, de la política del Gobierno asociado y de la posición del conjunto de los donantes.

Ambos procesos aparecen en la tabla que se muestra a continuación. A partir del tronco común de elaboración del diagrama razonado de objetivos, el gráfico se escinde en dos ramas: la de la derecha tiene relación con las preguntas de evaluación, mientras que la de la izquierda concierne al análisis global de la estrategia.

Lugar de los diagramas de objetivos en una evaluación basada en las preguntas de evaluación

Observación

La pertinencia se examina en dos aspectos principales:

• (a) respecto a los objetivos globales de la Unión Europea y de la Comisión Europea,
• (b) respecto a las necesidades y/o peticiones del (de los) beneficiario(s).

Las preguntas comparan los efectos intencionales (productos, resultados, impactos secundarios) con los medios específicos y generales movilizados para su puesta en práctica.

El análisis general concierne a la construcción de la estrategia, es decir:

• la elección del impacto intencional,
• la elección de productos, resultados e impactos secundarios,
• su pertinencia respecto a la situación del país y a la política de los actores principales,
• la búsqueda de complementariedades y sinergias con los demás donantes.

Para establecer el referencial de las evaluaciones que tienen a su cargo, los evaluadores disponen de dos tipos de diagrama que describen los objetivos del programa o la estrategia que hay que evaluar.

El diagrama de objetivos identificados

El diagrama de objetivos identificados presenta dos utilidades:

• Reproduce estrictamente el sistema de objetivos de los marcos lógicos cuando los hay. Traduce también tan fielmente como es posible el sistema de objetivos, más o menos explícito en los documentos que no presentan marco lógico. En este sentido, constituye una etapa indispensable en la construcción del diagrama razonado.
• Si procede, pone de manifiesto los límites que presenta el sistema de objetivos Límites del diagrama de objetivos identificados). en lo que respecta a la coherencia. En este aspecto constituye una especie de evaluación ex ante -que no ha tenido lugar en sí- y ofrece pues un uso pedagógico para autores de documentos de estrategia y de programación.
• Se emplea como representación gráfica fiel de las declaraciones contenidas en los documentos de estrategia (DEP, DER) y de programación (PIN, PIR) relativos a los objetivos perseguidos y a los vínculos entre esos diferentes objetivos.

El diagrama razonado de objetivos

El diagrama razonado de objetivos define el campo temático de la evaluación.

Establece una jerarquía razonada del sistema des objetivos, tal como se presentan en los marcos lógicos o reconstruidos en el diagrama de objetivos identificados. Constituye también una reconstrucción lógica de la jerarquía de los objetivos que figuran en los documentos de estrategia (DEP, DER) y de programación (PIN, PIR).

Contribuye a la identificación de los puntos fuertes o débiles sobre los que se hará hincapié mediante las preguntas de evaluación:

• pertinencia de la selección de los objetivos,
• calidad de las formulaciones,
• vínculos lógicos entre niveles, etc.

Todavía se hace más indispensable cuando los documentos estratégicos o de orientación de la ayuda geográfica no incluyen una exposición sistemática (con o sin diagrama) del sistema de objetivos.

Debe presentarse, al menos en forma simplificada, en el informe final de la evaluación, y estar integralmente incluido en los anexos.

Observaciones

Conviene señalar que los diagramas no son las únicas herramientas que pueden emplearse en el análisis de los objetivos o de los efectos. También se suelen emplear otras herramientas de tipo matricial.

Si el análisis de la situación no cambia radicalmente durante el periodo y si la intervención se centra en un impacto intencional global único, basta con un solo diagrama.

Varios diagramas según las situaciones

Sin embargo, en otros casos en los que las estrategias muestran evoluciones sensibles, conviene reconstruir tantos diagramas de efectos como estrategias diferentes presente la Comisión Europea.

Si el evaluador no consigue identificar un único impacto global y cada uno de los impactos globales determina un sistema de efectos relativamente independiente, se pueden establecer tantos diagramas como impactos globales.

Diagramas intermedios

Para construir el diagrama de objetivos o el de efectos identificados, puede ser oportuno establecer diagramas intermedios que correspondan a cada una de las prioridades (o sectores de concentración) de la ayuda en el curso del (o de los) periodo(s) cubiertos por la evaluación. Ése es especialmente el caso cuando los programas presentan un marco lógico distinto para cada una de las prioridades.

Estos diagramas pueden ser útiles para definir y justificar las preguntas de evaluación.

Subdiagramas (Diagramas lupa)

Cuando los diagramas son muy complejos, su legibilidad y su calidad pedagógica pueden ser dudosas. Se aconseja entonces establecer, por un lado, un diagrama global simplificado y, por el otro, diagramas detallados que detallen ciertos aspectos del diagrama global.

Los documentos de base son los documentos estratégicos (DEP) y los programas indicativos nacionales (PIN) correspondientes al periodo que comprende el campo de la evaluación.

A ello hay que añadir los acuerdos bilaterales, como el Acuerdo de Asociación, el Acuerdo de Cooperación y sus documentos de seguimiento, así como los acuerdos multilaterales (Acuerdos de Lomé y Cotonou, por ejemplo) y documentos semejantes (Declaración de Barcelona, por ejemplo).

En general, se proporcionan al evaluador al comienzo de la misión.

Sin embargo éste debe asegurarse de dos puntos:

• que le son remitidos todos los programas sucesivos, incluidas posibles modificaciones ulteriores,
• que las versiones de los documentos remitidos son las versiones definitivas.

Documentos complementarios

Deben conseguirse tres tipos de documentos complementarios:

• los documentos de estrategia y de programación relativos a las intervenciones de la Comisión a nivel regional (DER y PIR) en el caso de las evaluaciones país,
• los documentos oficiales relativos a los otros recursos presupuestarios no geográficos movilizables por la ayuda geográfica (líneas presupuestarias denominadas horizontales, otras contribuciones),
• los documentos de orientación específicos relativos a los principales campos de la ayuda (sectores denominados de concentración o derivados).

Otros documentos de información

Hay otros documentos que también pueden ser útiles. Se trata especialmente de las sucesivas versiones de los documentos de base (hay que asegurarse de su datación exacta), así como las colaboraciones o reacciones de los que han sido objeto por parte de los servicios de la Comisión, de Gobiernos asociados y de otros donantes (especialmente Estados miembros). Pueden ser muy valiosos, pero no son fáciles de identificar, ni siempre están disponibles o son accesibles.

.

Los diagramas de objetivos y de efectos son instrumentos esenciales de la fase de estructuración de la evaluación. Su contribución es múltiple:

• proporcionan una descripción de la estrategia (geográfica) o de la política (sectorial, temática) a través del sistema de objetivos;
• permiten definir los temas de las preguntas de evaluación;
• presentan de forma muy pedagógica los puntos fuertes y los puntos débiles del sistema de objetivos que se busca alcanzar o de efectos intencionales

Descripción y análisis de la estrategia

Los diagramas ofrecen una visión sintética de la estrategia geográfica propuesta en los documentos oficiales. Cuando la evaluación abarca un periodo cubierto por dos o más documentos estratégicos (geográficos) o políticos (sectoriales, temáticos), es conveniente establecer diagramas para cada uno de los documentos (a menos que haya una continuidad total de línea estratégica o política).

Los diagramas presentan la jerarquía de los objetivos, desde el objetivo global hasta los proyectos y programas planeados para llevarlo concretamente a la práctica, o la jerarquía de los efectos, desde el impacto global a los productos y actividades (proyectos). El diagrama razonado de objetivos o de impactos es un medio pedagógico para introducir comentarios sobre:

• su coherencia interna,
• la pertinencia de los objetivos o de los efectos respecto al contexto (estrategia global de la Unión Europea en materia de ayuda a países terceros, situación de los países, temas o sectores y objetivos de los actores principales, campo de la intervención y objetivos de los demás donantes),
• la adecuación de los medios destinados a la consecución de los objetivos o de los efectos.

En lo que respecta al diagrama de objetivos identificados , restituye fielmente el sistema de los objetivos, por lo que permite además una primera apreciación de la calidad del pensamiento estratégico o político. Si el diagrama es confuso, incompleto o incoherente, puede en efecto poner en tela de juicio la pertinencia de la futura programación o su fidelidad al sistema inicial de objetivos.

Estos análisis deben presentarse en las notas e informes de la fase de evaluación dedicada a la estructuración. También aparecen en el informe final, de forma más resumida.

Definición de los temas de las preguntas de evaluación

Los análisis precedentes suscitan cuestiones que tratan especialmente sobre:

• la fidelidad de la estrategia o de la política a los objetivos globales de la UE en materia de ayuda a países terceros,
• su pertinencia respecto a la situación del país, del sector o del tema objeto de la evaluación, así como a la política de los actores principales (gobiernos en particular),
• la búsqueda de complementariedades y de sinergias con los otros donantes,
• las consecuencias de las posibles faltas de coherencia del sistema de objetivos,
• la pertinencia de los medios movilizados en relación con los objetivos.

Estas cuestiones permiten definir un conjunto de temas que pueden dar lugar a una profundización en las fases siguientes de la evaluación, en particular mediante las preguntas de evaluación.

Sin embargo, las preguntas de evaluación no podrían deducirse automáticamente de estos análisis. Durante la fase de estructuración pueden surgir otras cuestiones, formuladas por los principales responsables de la puesta en práctica de la estrategia y, en consecuencia, relacionadas con las dificultades encontradas en las fases de programación y realización. Por otra parte, el número de preguntas a las que puede responder una evaluación clásica es limitado, por lo que será necesario proceder a una selección.

Los diagramas de objetivos se establecen durante la fase de estructuración y, en consecuencia, se presentan en las notas e informes producidos durante esta fase. En esa etapa, la construcción de los diagramas debe describirse con precisión.

En el caso del diagrama de objetivos identificados, deben indicarse las fuentes precisas de donde se han extraído los objetivos o los efectos (citas exactas, referencias de los documentos originales). Su lugar en el diagrama debe estar justificado mediante referencias a los documentos, entrevistas y peritajes. Finalmente, deben especificarse las hipótesis que haya necesitado la construcción del diagrama.

Lo mismo sucede con el diagrama razonado. La forma en la que se ha extraído del diagrama de objetivos identificados debe estar claramente explicada.

Informe final

Dado que los diagramas no son simples etapas en la formulación de las preguntas, sino que conducen al análisis de la estrategia y su evaluación correspondiente deben mencionarse en el informe final.

Puede hacerse una presentación sucinta en el informe propiamente dicho; después, deben aparecer en forma de anexo, de forma que se recojan todos los pormenores.

Presentaciones orales

El equipo de evaluación presenta sus trabajos (método y resultados) ante distintos públicos (grupo de referencia de la evaluación, talleres de restitución). Si es fácilmente legible sin ser excesivamente simplificador, el diagrama de objetivos o el de efectos pueden ser un medio muy eficaz de comunicación.

La solución reside pues en la construcción de un diagrama principal y de subdiagramas que detallen las secciones esenciales del diagrama principal. Cada uno de estos diagramas no debería tener más de veinte casillas.

Observación:
El número de días necesarios depende principalmente de la amplitud del campo de la evaluación y del número de programas que haya que examinar y de diagramas que construir.

Desplazamientos

Hasta el momento, los documentos estratégicos se han establecido bajo la responsabilidad de los servicios de la sede (DG de Relaciones Externas o Desarrollo). Éstos desempeñan igualmente un papel esencial en la programación. En cuanto a EuropeAid, continúa siendo muy activa en la concepción de proyectos. Por ello, la gran mayoría de los documentos útiles (la totalidad de los documentos básicos) están disponibles en Bruselas. Es muy probable que esta situación cambie; las delegaciones deberían ver aumentadas sus responsabilidades.

Necesidades actuales (2004) de desplazamientos a Bruselas

Estos elementos (y los elementos presupuestarios correspondientes) deberán reconsiderarse cuando las delegaciones vean ampliadas sus competencias en materia de elaboración de la estrategia (2007).

Herramientas informáticas

La mayoría de los problemas gráficos pueden resolverse con la ayuda del programa MS PowerPoint.

.

• Ejemplos

.

.

El marco lógico y el árbol de objetivos

• "Manual de Gestión del Ciclo de Proyecto". Comisión Europea, EuropeAid, marzo de 2001.
• Gestion du Cycle de Projet - Guide récapitulatif des Formations. Comisión Europea, EuropeAid, Itad Ltd y Particip GmbH. Versión 1.1, febrero de 2001.
• 'Logical framework analysis' , BOND Guidance, notes nº 4, marzo de 2003. [EN]
• "The Logical Framework Approach (LFA) - A summary of the theory behind the LFA method". Agencia Sueca de Cooperación Internacional para el Desarrollo, junio de 2002 (borrador). [EN]
• "The Logical Framework Approach: Handbook for Objectives-oriented Planning". NORAD, 4.a edición, enero de 1999. [EN]
• "AusGuidelines 1: The logical framework approach", Agencia Australiana para el Desarrollo Internacional (AusAid), 2000. [EN]
• "Logical frameworks: a critical assessment. Working Paper 264". Gasper, Instituto de Estudios Sociales, La Haya, diciembre de 1997. [EN]

Utilización del marco lógico en evaluación

• "Project Appraisal 2(4); Logical Framework Approach to the Monitoring and Evaluation of Agricultural and Rural Development Projects". Coleman G., 1987, p. 251-259.

Otros enfoques

• "Program Theory in Evaluation: Challenges and Opportunities", en New Directions for Evaluation. Publicación de la Asociación Americana de Evaluación, otoño de 2000. [EN]

.