Evaluation methodological approach

.

¿Por qué utilizar estas herramientas en evaluación?

El diagrama de objetivos presenta la jerarquía de los objetivos, desde el objetivo global hasta los proyectos y programas planeados, para llevarlos concretamente a la práctica.

El diagrama de efectos presenta la jerarquía de productos, resultados e impactos que pueden esperarse de la búsqueda del sistema de objetivos.

Ambos diagramas guían la búsqueda de información y la realización de entrevistas destinadas a profundizar en el conocimiento del programa o de la estrategia que hay que evaluar. Los resultados directos y los efectos observables son vinculados a los objetivos y a los efectos intencionales del programa. La construcción de los diagramas debería ser una de las primeras tareas realizadas en la evaluación.

¿Cuándo utilizar el diagrama de objetivos y el diagrama de efectos?

Estos diagramas constituyen un medio pedagógico para introducir comentarios sobre:

• La coherencia interna.
• La pertinencia de los objetivos o de los efectos respecto al contexto (estrategia global de la Unión Europea en materia de ayuda a países terceros, situación de los países, temas o sectores y objetivos de los actores principales, campo de la intervención y objetivos de los demás donantes).
• La adecuación de los medios destinados a la consecución de los objetivos o de los efectos.

El diagrama de objetivos y el diagrama de efectos son de utilidad para la formulación de las preguntas de evaluación. Ofrecen una visión sintética de la estrategia propuesta en los documentos oficiales. Cuando la evaluación abarca un periodo cubierto por dos o más documentos estratégicos (geográficos) o políticos (sectoriales, temáticos), es conveniente establecer diagramas para cada uno de los documentos (a menos que haya una continuidad total de línea estratégica o política).

El diagrama de objetivos identificados permite una primera apreciación de la calidad del pensamiento estratégico. Si el diagrama es confuso, incompleto o incoherente, puede poner en tela de juicio la pertinencia de la futura programación o su fidelidad al sistema inicial de objetivos. 

Coherencia engañosa

Estos diagramas establecen vínculos lógicos entre objetivos o entre efectos. Todo objetivo/efecto se presenta como lógicamente derivado de un objetivo/efecto de nivel superior. Los productos de las acciones llevadas a cabo o planeadas en el marco del programa aparecen así como una contribución a la consecución del objetivo/impacto global, otorgando generalmente una fuerte coherencia al sistema de objetivos y de efectos.

No es frecuente que una estrategia o un programa cubra la totalidad del campo correspondiente a su objetivo global. Los diagramas no exponen las decisiones tomadas en todos los niveles de objetivos o de efectos, que de hecho limitan este campo. Para juzgar la coherencia y la pertinencia de los sistemas de objetivos y de efectos, la evaluación debe responder pues a una serie de preguntas:

• ¿Las decisiones que se han aplicado son las únicas posibles?
• ¿Son las más pertinentes respecto al nivel x?
• ¿Cuáles son los factores externos que han conducido a su elección?
• ¿Qué razones han llevado a su eliminación?

¿Cómo aplicar los diagramas?

Tras delimitar el campo de la evaluación, los evaluadores construyen un primer diagrama con los objetivos identificados en los documentos de estrategia y de programación. A partir de esta base, elaboran el diagrama de objetivos.

A veces, los documentos de estrategia mezclan los objetivos y los efectos intencionales; en ese caso hay que traducir los efectos intencionales en objetivos. El diagrama de efectos resulta de la relación entre los objetivos y los efectos intencionales.

Cuando el programa se ha establecido con la ayuda de un marco lógico, éste presenta claramente los objetivos que el programa se propone alcanzar. El marco lógico sirve entonces de referencia para la evaluación, que dispone ipso facto de elementos para el diagrama de objetivos correspondiente. El establecimiento de marcos lógicos basados en los resultados todavía no se ha extendido pero, generalmente, el diagrama de efectos puede deducirse del marco lógico de objetivos.

La situación es diferente cuando la evaluación abarca un conjunto de intervenciones (proyectos y programas) que no tienen justificación explícita en un marco lógico, lo que suele ser frecuente en las políticas o estrategias complejas. A menudo, el evaluador no dispone de una presentación explícita y lógicamente estructurada de los objetivos que persigue o de los efectos previstos por el donante. Sin embargo, la evaluación sólo se justifica si está en condiciones de responder a la siguiente y esencial pregunta: ¿se han alcanzado los objetivos o impactos intencionales de la política o de la estrategia evaluada?

Etapas de preparación de los diagramas
Etapa 1: delimitar el campo de la evaluación

Los términos de referencia de la evaluación concretan el periodo y los instrumentos financieros que hay que evaluar. Sin embargo, durante el periodo de evaluación, pueden llevarse a la práctica proyectos o programas cuyo origen y justificación se encuentren en documentos anteriores.

Hay pues que considerar dos casos distintos dependiendo de la continuidad o de los cambios en los documentos de estrategia y de programación con los precedentes.

Etapa 2: identificar los objetivos y los efectos

Hay que recopilar los documentos necesarios para establecer los diagramas. Se trata de:

• Documentos básicos que presentan las políticas, las estrategias y los programas.
• Documentos complementarios de carácter oficial.

Se recomienda realizar un análisis general de los puntos que difieran de la estrategia global y no incluir los objetivos de proyectos y programas en curso cuya estrategia difiera de la del período evaluado.

Establecer una lista de los objetivos identificados en los documentos.

Etapa 3: establecer el diagrama de objetivos identificados

Podrá llevarse a cabo una primera clasificación distinguiendo tres grandes categorías de objetivos:

• Objetivos globales.
• Objetivos intermedios a corto-medio plazo.
• Objetivos operativos.

La definición de las relaciones lógicas entre objetivos es parte fundamental de la clasificación. Se trata, sobre todo, de una cuestión de experiencia. En efecto, el equipo de evaluación considerará que una relación entre dos fenómenos es lógica cuando sea reconocida como tal por los expertos del ámbito en cuestión y por los responsables de la ejecución de la estrategia o de la política evaluada.

Etapa 4: pasar del diagrama de objetivos identificados al diagrama razonado de objetivos

Los diagramas de objetivos identificados ponen de manifiesto un cierto número de deficiencias lógicas de construcción, realizada a partir de documentos estratégicos o políticos, tales como:

• Documentos estratégicos o políticas que presentan una multiplicidad de objetivos sin indicaciones suficientes que permitan jerarquizarlos.
• Falta de formulación de un objetivo global.
• Poca solidez de los vínculos causales entre los objetivos.
• Objetivos de un determinado nivel que no remiten a ningún objetivo situado en un nivel superior o sin vínculo con objetivos de nivel inferior.

El equipo de evaluación deberá reconstruir un diagrama de objetivos completo y coherente con la ayuda de la documentación disponible, de su propia experiencia y, en caso necesario, de la de los especialistas. Este ejercicio de reconstrucción deberá ser totalmente transparente: siempre que se pueda, se evidenciará gráficamente las reclasificaciones y desplazamientos de objetivos, las modificaciones de los vínculos entre objetivos y la introducción de los objetivos intermedios que falten. Cada una de estas operaciones de racionalización se argumentará mediante una nota técnica.

Etapa 5: construir el diagrama de efectos

El diagrama de objetivos y el diagrama de efectos intencionales obedecen a las mismas reglas generales de construcción.

La construcción del diagrama de efectos se realiza prácticamente mediante la transformación de cada uno de los objetivos que figuran en el diagrama en el efecto intencional correspondiente:

• Al objetivo global corresponde el impacto global.
• A los objetivos intermedios corresponden impactos intermedios o resultados.
• A los objetivos operativos corresponden los productos.

Herramientas informáticas

La mayoría de los problemas gráficos pueden resolverse con la ayuda del programa MS PowerPoint.

¿Cómo restituir los resultados?

Los diagramas de objetivos se establecen durante la fase de estructuración y, en consecuencia, se presentan en las notas e informes producidos durante esa fase. En esa etapa, la construcción de los diagramas debe describirse con precisión.

En el caso del diagrama de objetivos identificados, deben indicarse las fuentes precisas de donde se han extraído los objetivos o los efectos (citas exactas, referencias de los documentos originales). Su lugar en el diagrama debe justificarse mediante referencias a los documentos, entrevistas y peritajes. Finalmente, deben especificarse las hipótesis que haya necesitado la construcción del diagrama.

Lo mismo sucede con el diagrama de efectos. La forma en la que se ha extraído del diagrama de objetivos debe estar claramente explicada.

Presentaciones orales

El equipo de evaluación presenta sus trabajos (método y resultados) ante distintos públicos (grupo de referencia de la evaluación, talleres de restitución). Si es fácilmente legible sin ser excesivamente simplificador, el diagrama de objetivos o el de efectos pueden ser un medio muy eficaz de comunicación.

La solución reside pues en la construcción de un diagrama principal y de subdiagramas que detallen las secciones esenciales del diagrama principal. Cada uno de estos diagramas no debería tener más de veinte casillas.

¿Qué recursos se necesitan?

¿Cuáles son las ventajas y los límites de estas herramientas?

.