Evaluation methodological approach

.

¿Por qué utilizar esta herramienta en evaluación?

Las estrategias se conciben al final de un proceso que integra objetivos globales, elementos de contexto y orientaciones de los socios. El diagrama de decisiones representa el proceso de concepción, la consideración de la información clave, la intervención de las partes interesadas y la gestión del calendario. Visualiza las decisiones tomadas durante la elaboración de la estrategia y sus consecuencias sobre los objetivos seleccionados y los impactos esperados. El diagrama de decisiones constituye un complemento útil a los diagramas de objetivos y de efectos.

Los documentos que presentan las estrategias de cooperación exponen en general un conjunto de objetivos entre los cuales puede distinguirse uno o varios objetivos globales, objetivos operativos relativos a los proyectos concretos de ayuda y un conjunto de objetivos intermedios situados a distintos niveles. Las decisiones que toman los autores de los documentos de estrategia y de programación tienen en cuenta especialmente:

• Las recomendaciones de las instancias dirigentes de la Unión Europea (Consejo, Parlamento, Comisión).
• El análisis de hechos externos (acontecimientos importantes, situación del país).
• La intervención de actores externos (Gobierno asociado, Estados miembros u otros donantes).
• Las enseñanzas extraídas de programas o proyectos anteriores.

Son precisamente los efectos de estas orientaciones, datos contextuales y análisis lo que se escribe en el diagrama de decisiones. Cada una de las casillas de la columna central del diagrama representa las decisiones llevadas a cabo (objetivos seleccionados, objetivos no seleccionados), mientras que las casillas laterales representan los flujos de recursos, que constituyen las justificaciones externas de esas elecciones.

¿Cuándo utilizar el diagrama de decisiones?

El diagrama de decisiones hace visible:

• El conjunto de opciones posibles para el establecimiento del sistema de objetivos (objetivo global, objetivos intermedios seleccionados y descartados, etc.).
• Las incidencias externas que hayan conducido a las distintas decisiones.

El diagrama de decisiones contribuye al análisis de la estrategia tanto en términos de coherencia interna (sucesión lógica de las sucesivas decisiones) como de pertinencia respecto al exterior (consideración de los elementos contextuales y de las posturas de las partes interesadas).

Cuando los términos de referencia de la evaluación hacen hincapié en el examen de la cooperación entre socios, el diagrama permite visualizar la intervención de los principales socios (Gobierno, Estados miembros y otros donantes) en la concepción de la estrategia, el establecimiento de programas y la selección de proyectos.

Lo mismo ocurre en el análisis de las 3 C (Coherencia, Coordinación, Complementariedad).

¿Cómo construir el diagrama de decisiones?

Image

El proceso de elaboración de un diagrama de decisiones con fines de evaluación se apoya en dos pilares:

• La identificación de los momentos de decisión (elección de los objetivos).
• La localización, recopilación y tratamiento de la información correspondiente.

Etapas de construcción del diagrama de decisionesEtapa 1: identificar los momentos de decisión

En la mayoría de los casos, el establecimiento del diagrama de decisiones es la continuación de la construcción del diagrama de objetivos. El diagrama de objetivos es la herramienta básica para identificar los momentos de decisión. Excepto el momento en que se define el objetivo global, el resto de los momentos de decisión se sitúa en cada una de las ramificaciones del diagrama. Es precisamente ahí donde se formulan las siguientes preguntas: ¿Por qué se han seleccionado esos objetivos? ¿Por qué no otros?

Image

Etapa 2: formular las preguntas

¿Cómo identificar las preguntas que conciernen a la justificación de la decisión (elección de los objetivos)? Observemos que la identificación de los objetivos no seleccionados ayuda a precisarlas. En cada uno de los momentos de elección, pueden presentarse cuatro posibilidades:

• Los documentos de estrategia y de programación especifican los objetivos no seleccionados y aportan las razones que han llevado a descartarlos.
• Los documentos de trabajo (versiones provisionales, notas y correspondencia diversa) permiten localizarlos y a veces justifican las elecciones que se han hecho (lo que en principio es siempre el caso cuando se trata de reacciones de los Estados miembros y de las respuestas que generan).
• Ninguno de los documentos disponibles especifica las elecciones llevadas a cabo, pero las entrevistas con los responsables implicados en estas decisiones aportan aclaraciones pertinentes.
• Los evaluadores no han recopilado ninguna información escrita u oral que permita explicar las elecciones hechas.

En los tres primeros casos, los evaluadores basarán su primera hipótesis en la información aportada sobre los objetivos considerados y no seleccionados, además de las razones por las que han sido descartados. En el último caso, convendrá identificar los objetivos teóricamente posibles.

Etapa 3: recopilar información útil

Antes de la construcción del diagrama, hay que valorar la fiabilidad de las fuentes de información. Si ésta se revela insuficiente, se recomienda renunciar.

Generalmente, la información escrita debe buscarse en cuatro tipos principales de documentos:

• El documento estratégico y el programa pueden aportar información sobre experiencias y enseñanzas de actuaciones pasadas, el contexto político, económico y social, la intervención de los Estados miembros y la de los otros principales donantes.
• Los documentos preliminares (actas de reuniones, informes de misiones de avanzada, correspondencia y notas internas o entre servicios) pueden aportar luz respecto a la selección de prioridades.
• Las evaluaciones pueden informar sobre experiencias de las que extraer lecciones útiles.
• Los documentos más generales del Consejo y de la Comisión (conclusiones, recomendaciones, informes), además de tratados y acuerdos, presentan a menudo elementos de contexto, enseñanzas y prioridades que los autores de estrategias y programas tienen forzosamente en mente.

Le corresponde al equipo de evaluación emitir un juicio previo sobre la calidad de esas fuentes, en términos de cantidad, pertinencia, fiabilidad y accesibilidad. Este juicio, que debe estar suficientemente argumentado, será puesto en conocimiento de los responsables de la evaluación, que deberán validarlo.

Etapa 4: establecer el diagrama provisional

Tomando como base el diagrama de objetivos, se lleva a cabo una primera selección de la información pertinente, que pasa por:

• El establecimiento de uno o varios cronogramas que describen la sucesión de acontecimientos y/o información que intervienen en el proceso de elaboración de la estrategia y del programa.
• La selección en los documentos recopilados de textos relativos a la selección de los objetivos, así como a las modalidades de ayuda previstas o a los factores que influyen en esa selección.
• La clasificación e indización de los textos.

Las respuestas provisionales a las distintas preguntas se formularán a partir de la información recopilada. Es posible que algunas preguntas queden sin respuesta. El diagrama de objetivos sirve de base para la sucesión de decisiones. Identifica cuatro (a veces cinco) momentos de decisión relativos a:

• El objetivo global.
• Los objetivos intermedios a corto y medio plazo.
• Los objetivos operativos.

La elaboración de estrategias y programas no suele estar exclusivamente guiada por esa lógica. Los autores parten, explícita o implícitamente, de un objetivo global. Después examinan a través de qué medios concretos de los que disponga puede la Comisión Europea perseguir ese objetivo. La sucesión de decisiones se reduce entonces a dos momentos:

• Elección del objetivo global.
• Elección de los campos y modalidades de intervención.

El diagrama de conjunto, en forma de espina de pescado, se ve completado por diagramas detallados que corresponden a cada uno de los momentos de decisión. Una lupa a la izquierda del esquema permitirá especificar los resultados de la decisión, sobre todo los objetivos que han sido seleccionados y los que no lo han sido.

Fig. 3: Diagrama de decisiones de la elaboración de la estrategia de la Comisión en Tanzania 2000-2007

Image

Etapa 5: comprobar el diagrama provisional

Las decisiones tomadas y su explicación deben ser comprobadas por los actores principales de la elaboración estratégica y de la programación, si es posible especialmente por los servicios de la Comisión (sede y delegación), los representantes de las otras partes interesadas (Estados miembros, ONG, etc.), los interlocutores habituales en los países en cuestión y/o los Gobiernos beneficiarios.

Etapa 6: Establecer el diagrama definitivo

Puede suceder que el test desemboque en un replanteamiento de una parte del diagrama provisional, especialmente cuando se considere mayoritariamente que las justificaciones aportadas no reflejan la realidad de la elaboración estratégica y de programación.

En ese caso, podría hacerse necesaria una revisión de la información, e incluso una recopilación complementaria. El diagrama definitivo toma la misma forma que el diagrama provisional (diagrama principal y representación de los momentos de decisión). Va acompañado de una tabla explicativa sobre el tratamiento de la información recopilada.

¿Qué recursos se necesitan?

¿Cuáles son las ventajas y los límites de esta herramienta?

.