Evaluation methodological approach

.

¿QUÉ REPRESENTA UN DIAGRAMA DE PROBLEMAS?¿A qué denominamos "problema"?

En un ámbito y una situación dados, los proyectos y programas de ayuda tienen por objeto satisfacer las necesidades que se juzgan prioritarias o responder a un determinado reto y, para ello, resolver un determinado número de problemas que impiden alcanzarlo. De forma más general, el éxito de una política o de una estrategia implica la solución de problemas que afectan en mayor o menor grado a los países socios y potenciales beneficiarios de esa política o estrategia.

En general, los problemas son múltiples. La mayor parte de las veces están vinculados entre sí por relaciones de causa-efecto, de manera que conforman un sistema que puede, en determinadas condiciones, representarse mediante un diagrama más o menos ramificado.

Además, los problemas presentan distintos niveles de gravedad. Así pues, en teoría es posible identificar un problema principal (o central) y articular a su alrededor un conjunto de causas y efectos.

Presentación del diagrama de problemas

En este caso, el diagrama adopta la forma de un árbol "completo", es decir, con tronco (el problema principal), raíces (las causas) y ramas (las consecuencias o efectos).

Efectivamente, es habitual disponer las causas y las consecuencias de esta forma: tomando el problema principal como eje virtual y colocando las causas en la parte inferior del diagrama, y las consecuencias en la parte superior. La lectura del diagrama se realiza entonces de abajo hacia arriba.

Ejemplo tipo: diagrama de problemas de doble ramificación

La eficacia de una estrategia, un programa o un proyecto aumentará en la medida en que se abordan las causas más profundas del problema o de los problemas que pretenden resolver. Por ello, una vez identificado el problema principal, a veces los diagramas sólo representan el sistema de las causas, y se representan entonces como árboles invertidos.

El diagrama que se muestra más abajo representa un caso sencillo en el que se han identificado tres niveles de problemas: les causas profundas, las causas intermedias y el problema principal.

Diagrama de problemas de ramificación simple

En el contexto de la ayuda de la Comisión Europea a países terceros, el diagrama de problemas describe el problema principal y sus causas inmediatas y profundas, así como, llegado el caso, sus principales consecuencias. A todo esto debe responder la estrategia de la ayuda, tal como se formula, principalmente, en los documentos estratégicos o políticos y en los programas correspondientes.

El diagrama de problemas tiene su origen, directo o indirecto, en la corriente de la gestión por objetivos desarrollada en la década de 1960, en determinados sectores económicos norteamericanos que después se extendió al conjunto del mundo occidental.

Con el nombre de diagrama de causas y efectos (o de causa-efecto), se utiliza en ámbitos muy diversos, como el diagnóstico clínico, la prevención y la búsqueda de las causas de los accidentes o la política de calidad total.

Aparece como herramienta de decisión para la ayuda a países terceros, asociada al árbol de objetivos, en la "planificación de proyectos orientada a objetivos" (ZOPP), forma revisada del marco lógico elaborado por la Agencia de Cooperación Alemana (GTZ) a comienzos de la década de 1980.

Con el nombre de árbol de problemas, presenta las siguientes características:

• se utiliza en la formulación de los proyectos;
• es parte integrante de un método de planificación, en el que conduce al árbol de objetivos y, a través de éste, al marco lógico;
• es una herramienta de decisión participativa, que concierne a las principales partes interesadas del proyecto, cuya propia identificación forma parte de la primera etapa del proceso.

Siguiendo los pasos de la GTZ, numerosos donantes públicos y agentes (agencias y ONG) adoptan el árbol de problemas como elemento de planificación o de gestión de proyectos. Sin embargo, no se utiliza muy amenudo como herramienta de participación y apropriación aunque estas fue la primera utilidad que le le otorgaron los creadores del modelo ZOPP.

Los esquemas de arborescencia simple y compleja presentan árboles clásicos de problemas, que dan respuesta a dificultades como:

• la identificación de un solo problema principal,
• la descomposición de cada uno de los problemas de un nivel determinado en dos o más problemas de nivel inferior,
• vinculación de un problema determinado con uno (y uno solo) de los problemas situados en un nivel superior,
• la falta de relaciones horizontales, la falta de bucles de retroacción (los efectos se convierten en causas y a la inversa).

Esta voluntad de simplificación, relativamente comprensible en un proceso de planificación por objetivos de carácter participativo, supone un hándicap en evaluación, ya que no refleja la complejidad de la realidad ni la falta de argumentos en determinados aspectos de los documentos estratégicos y de programación. Por ello se abandonó la forma clásica en árbol y se prefirió el término diagrama al de "árbol".

Diagrama de problemas (forma compleja)

Este diagrama representa un sistema de problemas sensiblemente más complejo:

• una de las causas intermedias de nivel 2 aparece directamente vinculada al problema principal, y no a una causa intermedia de nivel 1;
• se establece una interrelación entre dos causas intermedias de nivel 3;
• una de esas mismas causas está relacionada con dos causas de nivel superior (intermedia de nivel 2).

Pueden presentarse sistemas de problemas todavía más complejos, especialmente con dos problemas principales y enlaces cruzados entre las causas intermedias. Sin embargo, mediante los diagramas de problemas no pueden traducirse visualmente los vínculos de tipo "bucle de retroacción" (los efectos se convierten en causas y viceversa).

Diagrama vertical u horizontal

La disposición de los diagramas puede ser vertical u horizontal.
En su forma vertical, los diagramas se leen de arriba hacia abajo o de abajo hacia arriba. En general, el problema central ocupa el nivel superior del diagrama.
En su forma horizontal, el diagrama se lee de derecha a izquierda o de izquierda a derecha.

Otras formas

Además de éstas, se han desarrollado otras formas. Es el caso del diagrama "en espina de pescado" (o diagrama de Ishikawa). Se trata de una herramienta para buscar las causas de un efecto constatado, especialmente utilizada en control de calidad, diagnóstico clínico y prevención de accidentes.

Los problemas y causas representados en el diagrama se relacionan entre sí mediante vínculos horizontales o verticales. Estos vínculos son lógicos cuando expresan una relación de inferencia (inducción o deducción) validada por la experiencia. Así, muestran que:

• la adopción de un problema o causa de un determinado nivel induce a la adopción de problemas o causas más profundos;
• un problema (una causa) de un determinado nivel explica la existencia de un problema (una causa) de nivel (inmediatamente o no) superior;
• dos problemas (causas) del mismo nivel se refuerzan mutuamente.

El carácter lógico de los vínculos entre los problemas (causas) se basa esencialmente en la experiencia y en eventuales teorías sobre el desarrollo que resultan de ella. En general, tanto mediante la experiencia como las teorías se puede definir en qué problemas (causas) subordinados tiene habitualmente su origen un problema o causa de un determinado nivel.

Sin embargo, en materia de desarrollo, las observaciones basadas en la experiencia no son siempre convergentes, y el alcance de las teorías es más o menos universal. Eso se debe, por ejemplo, a que las relaciones entre los problemas o causas dependen de numerosos factores, en ocasiones poco conocidos. Incluso cuando están de acuerdo en la pertinencia de un problema central, los expertos pueden divergir sobre sus causas, intermedias y profundas. En consecuencia, la definición de problemas principales, como por ejemplo la pobreza, es materia de debate y evoluciona con el tiempo.

Verificación del carácter lógico del vínculo

En la práctica, el carácter lógico de un vínculo entre problemas o causas y, por lo tanto, de un diagrama de problemas, se verifica recurriendo simultáneamente a dos tipos de experiencia:

• las de reconocidos expertos que hayan realizado su labor en países y en condiciones diferentes,
• las de los responsables de la elaboración y de la aplicación de los programas cubiertos por la evaluación.

Este carácter lógico puede ser validado unánime o parcialmente por ambos grupos.

Por el contrario, un vínculo que se contradiga con la experiencia puede ser calificado de ilógico, por expertos o por agentes. Cuando de la experiencia se extraen lecciones contradictorias o ambiguas, el límite entre lo lógico y lo ilógico se sitúa en un espacio donde hay duda.

.

.

¿EN QUÉ CASOS UTILIZAR ESTA HERRAMIENTA?Evaluación de proyectos y de programas simples

En la medida en la que un programa se asigna objetivos que buscan resolver un determinado número de problemas que afectan a los beneficiarios potenciales (individuales o colectivos), resulta útil que en la evaluación se compruebe la validez del análisis que se ha realizado en este sentido. Efectivamente, cuando el programa que hay que evaluar se ha definido con la ayuda de un método basado en el marco lógico (ZOPP, PCM), en su preparación se ha tenido que incluir un análisis de los problemas. En ese caso, en la evaluación debe verificarse:

• La validez del proceso: ¿cómo se han identificado y jerarquizado los problemas?
• La coherencia manifiesta de su articulación: ¿son pertinentes los vínculos de causalidad?

La evaluación del análisis de los problemas y del diagrama que los representa es pues un medio para juzgar la validez del sistema de objetivos y del diagrama correspondiente.

Si el programa no parece haber establecido un diagrama lógico de problemas, forzosamente se ha procedido a un análisis de los problemas que el programa pretende resolver. En ese caso, puede pues resultar de utilidad reconstituir un diagrama, con una representación razonada, mediante el estudio de los documentos de definición y programación del proyecto.

Evaluación de estrategias o de programas complejos

La situación es diferente cuando la evaluación abarca un conjunto de intervenciones (proyectos y programas) que no tienen justificación explícita en un marco lógico, lo que suele ser un caso muy frecuente en las políticas o estrategias complejas. En ese caso, puede suceder que el equipo de evaluación no disponga de una presentación explícita y lógicamente estructurada de los objetivos perseguidos por el donante, y todavía menos de un análisis sistemático de las dificultades que esos objetivos deberían resolver.

Los documentos no explican siempre claramente la forma en que se consideran los diferentes tipos de problemas. El equipo de evaluación debe entonces plantearse lo siguiente:

• ¿Es porque se consideran contextuales?
• ¿O conciernen a la preocupación prioritaria de la estrategia?
• Muchas veces, las razones de esta diferenciación no se expresan claramente.

Por otro lado, el método utilizado para el análisis de la situación y para la clasificación de los problemas debería especificarse, pero no siempre es así:

• ¿Se ha trabajado desde casa mediante la recopilación de documentos?
• ¿O bien ha dado lugar a talleres o seminarios?
• ¿Lo ha hecho un solo redactor?
• ¿O se trata de un trabajo de equipo?
• ¿El autor o autores del análisis son los mismos que los redactores de las orientaciones estratégicas y del programa de intervención?

La respuesta a estas preguntas es objeto de evaluación.

Evaluación del análisis de la situación inicial

Los programas y estrategias se apoyan en un análisis de la situación en el momento de la concepción de la estrategia o del programa, que presenta una serie de datos de partida relativos a los problemas que deberían resolver, así como información sobre el contexto (económico, social, cultural, institucional, medioambiental) en el que se van a aplicar.

Este análisis es determinante, pues debe identificar:

• los problemas que deben acometer prioritariamente las intervenciones,
• los factores positivos en los que las intervenciones pueden apoyarse,
• los actores que deben movilizarse,
• las dificultades estructurales o dinámicas que puedan ser un obstáculo para el éxito de las intervenciones.

Así, puede pedirse explícitamente al equipo de evaluación que se pronuncie sobre la calidad del análisis y sobre la correspondencia entre el análisis de la situación y la estrategia/programa. El diagrama de problemas, como construcción, retrospectiva, puede utilizarse, entre otras herramientas, para comprobar la coherencia y pertinencia del análisis respecto a los problemas, tanto prioritarios como contextuales.

El equipo de evaluación no debe subestimar la envergadura de esta tarea, ni el nivel y la diversidad de las competencias (¿Cuáles son las tareas y competencias necesarias?) requeridas para construirla, especialmente si no sólo se trata de representar simplemente mediante un diagrama los problemas presentados en los documentos, sino de establecer el diagrama de problemas sobre el que debería haberse basado la construcción del diagrama de objetivos y, por lo tanto, la estrategia.

La literatura especializada sitúa el diagrama de problemas antes del diagrama de objetivos en el proceso de planificación o de gestión de los proyectos (ZOPP, PCM). La secuencia estándar es entonces la siguiente:

Análisis de los problemas en la secuencia simplificada del ciclo del proyecto

A veces se invierte el lugar respectivo del análisis de las partes interesadas y del de problemas. Pero el análisis de problemas siempre precede siempre al análisis de los objetivos. Es decir, en el ciclo de proyectos los objetivos se deducen del análisis de los problemas, y no a la inversa.

En el ciclo de estrategias

La elaboración de la intervención de un donante en una relación bilateral no se deriva forzosamente de un análisis de los problemas. Por el contrario, responde siempre a uno o a diversos objetivos generales (estratégicos, filosóficos), expresados o no en los documentos. A partir de esos objetivos, y solo o en asociación, el donante define el(los) campo(s) prioritario(s) de la asistencia.

El esquema que se muestra a continuación muestra el lugar lógico del análisis de los problemas en el ciclo de la estrategia, especialmente en relación con la consideración de los objetivos.

Análisis de los problemas en la secuencia simplificada del ciclo de la estrategia

La evaluación debe tener en cuenta esta situación. El análisis de los problemas y el diagrama que haya podido o pueda resultar de él derivan de la definición del campo de la intervención y, por lo tanto, de los objetivos generales del donante (Comisión Europea), y prepara así la definición de los objetivos específicos de la asistencia concreta que debe proporcionarse durante el periodo cubierto por la estrategia.

El diagrama presenta de forma explícita los problemas y los diferentes niveles en los que éstos se sitúan con relación al problema principal. Asimismo, expresa los vínculos lógicos de causalidad entre estos problemas o, por el contrario, las carencias lógicas de dichos vínculos.

Problemas prioritarios y problemas de contexto

En el análisis de la situación, sirve para establecer una distinción entre lo que concierne al contexto de la intervención y los problemas a los que la estrategia y la programación buscan dar solución. Así pues, contribuye a actualizar las prioridades de la asistencia y a justificar por qué determinados problemas se han considerado como prioritarios y otros no.

Definición de los objetivos

El diagrama de problemas permite:

• mostrar los objetivos no explícitos de la estrategia o del programa,
• comprobar si los objetivos que se han presentado en los documentos de estrategia y de programación están bien fundados.

Contribuye a organizar la evaluación, con el fin de responder a la pregunta esencial de toda evaluación:¿En qué medida se han alcanzado los objetivos?Límites

El diagrama organiza de forma lógica las dificultades reconocidas como prioritarias basándose en el análisis de la situación, lo que presenta diversos límites:

Acceso a la información

La insuficiencia de datos o las dificultades de acceso a la información pueden repercutir en la calidad del análisis de la situación. A este respecto, conviene pues plantearse:

• ¿Es la información suficientemente exhaustiva y abarca los principales aspectos de la realidad?
• ¿Está actualizada, es decir, se basa en datos (¿Con qué documentos trabajar?) suficientemente recientes?
• ¿Es dinámica, es decir, tiene en cuenta de igual modo los movimientos observables y las tendencias profundas de la sociedad?

Calidad del análisis

El método de análisis no garantiza la buena calidad de los datos. Por otro lado, puede suceder que ni el método utilizado ni las fuentes de información se especifiquen en los documentos estratégicos/políticos y de programación. Por lo tanto, el evaluador debe ampliar sistemáticamente su estudio al origen del análisis producido por esos documentos y preguntarse por el método utilizado, las fuentes principales de información e identificar a los redactores.

Problema prioritario / problema de contexto
La definición de las prioridades relativas a los problemas conduce de facto a su clasificación en dos categorías: problemas de contexto y problemas considerados prioritarios. Ello conduce a plantearse dos cuestiones:

• ¿Está justificada explícitamente la elección de estas prioridades?
• ¿Permiten los datos disponibles apreciar la pertinencia de las justificaciones?

Elección del problema principal

La elección del problema principal, esencial para la construcción del diagrama de problemas, es especialmente ardua cuando los objetivos de la intervención son generales y hay que considerar el conjunto de los problemas del país (de la región). Además, no hay que excluir la posibilidad de que los documentos indiquen dos problemas principales, sin vínculo directo entre ellos, o que no permiten designar un solo problema principal.

Representación en árbol

La organización clásica de las dificultades en forma de árbol define una jerarquización simple (¿Qué diagramas de problemas deben utilizarse en evaluación país?) que no da cuenta forzosamente de la complejidad de la realidad y de las interacciones entre las dificultades. La construcción de los diagramas se apoya efectivamente en convenciones gráficas, especialmente:

• la no representación de las interacciones entre problemas situados al mismo nivel,
• falta de "bucles de retroacción" (los efectos se convierten en causas y viceversa),
• la representación múltiple de un factor que actúa como causa de diversos problemas.

Por esta razón deben preferirse las representaciones más sofisticadas.

Conocimiento de la situación del país o de la región

El equipo de evaluación no dispone generalmente de un conocimiento suficiente sobre la situación del país o de la región para apreciar el grado de pertinencia del análisis que se ha hecho, del carácter prioritario atribuido a ciertos problemas, de la elección del problema principal y de la organización lógica de los problemas prioritarios.

Cuando se utiliza, el diagrama de problemas se asocia en general con el análisis de los objetivos (y por lo tanto con el diagrama de objetivos), así como con el desarrollo de un marco lógico.

Sirve para la construcción del diagrama de objetivos, a menudo por simple transposición.

Diagrama de decisiones

El análisis del proceso de elaboración del programa (diagrama de decisiones) puede utilizarse igualmente para explicar determinadas opiniones en la selección de los problemas prioritarios y del problema principal.

En las evaluaciones intermedias de programas, puede pedirse al equipo de evaluación que reconstruya alguna de estas herramientas, además del diagrama de problemas.

Diagrama de impactos reales

En una evaluación ex post, con algún componente ex post, el análisis inicial de la situación y la selección de los problemas prioritarios y del problema principal pueden compararse al análisis de la situación en la parte final del periodo, y confrontarse a un diagrama de impactos reales resultante de la aplicación de la estrategia con el fin de apreciar la contribución de la asistencia a la solución de los problemas.

Otras herramientas de análisis

El diagrama de problemas, especialmente en la reconstrucción retrospectiva, puede apoyarse en otras herramientas de análisis de la situación como:

• el análisis SWOT (DAFO),
• el análisis socioantropológico.

Cuando el diagrama de problemas está presente en los documentos iniciales del programa -o se deduce directamente de un marco lógico-, es indispensable acompañar su presentación de un análisis de las decisiones que han permitido su construcción. Ello supone la consulta de los documentos que han llevado a su construcción, así como la consulta a los actores implicados directamente en su elaboración.

Falta de documentos y de actores

El evaluador podrá emitir un juicio sobre la pertinencia del sistema de problemas presentado en el diagrama después, si es preciso, de la consulta a especialistas.

Cuando el evaluador haya reconstruido el diagrama a partir de los documentos que se hayan puesto a su disposición, deberá:

• asegurarse de la validez de esos documentos y, si es necesario, ampliar el análisis a documentos complementarios;
• comprobar la validez de los vínculos jerárquicos e interrelaciones que se muestran mediante una investigación documental y/o entrevistas.

Si el evaluador no puede acceder a los documentos de archivo y a los actores implicados, deberá argumentar las hipótesis que haya hecho para construir el diagrama. Para ello, indicará al lector las fuentes precisas (citas y referencias completas de los documentos) en las que se basan.

.

.

Etapa 1: ¿Cómo identificar los problemas?Localizar referencias a los problemas en los documentos

Los problemas se reconocen mediante la identificación de referencias a ellos en los documentos básicos de la evaluación. No hay que olvidar que puede que no aparezcan descritos como tales. A veces, aparecen referenciados como objetivos de la ayuda, o efectos esperados.

Así pues, se trata de identificar los problemas, que pueden aparecer como:

• problemas (expresados como tales),
• objetivos que intentan resolver explícita o implícitamente un problema,
• efectos esperados de la ayuda que prevé el DEP.

Identificar y anotar las referencias localizadas en los documentos

El análisis preliminar de las citas indica que hay:

• numerosas repeticiones, especialmente por la diversidad de las presentaciones (resumen, estrategia, programa, anexo),
• imprecisiones terminológicas (por ejemplo, "desarrollo económico y social", que valdría la pena especificar).

En consecuencia, debe llevarse a cabo una "limpieza".

Distinguir los problemas contextuales de los problemas prioritarios

Entre los distintos problemas, los documentos identifican bastante a menudo aquellos que la intervención está destinada a resolver. Así, el equipo de evaluación debe localizar en el análisis de la situación los problemas relacionados con la intervención para integrarlos en el diagrama. Los demás se considerarán contextuales.

A veces, los problemas que son directamente objeto de la intervención no estan explícitamente identificados. En ese caso, los problemas prioritarios y contextuales se confunden, lo que dificulta la construcción del diagrama. El evaluador solamente podrá distinguir los diferentes tipos de problemas al final de la construcción.

En cualquier caso, el evaluador presentará en forma de anexo la lista de todos los problemas que se hayan tenido en cuenta, divididos en dos categorías:

• contexto de la intervención,
• objeto de la intervención.

La identificación del problema principal entre los numerosos problemas identificados constituye la etapa crucial del proceso.

Pueden darse tres situaciones: En los documentos se indica el problema principal
En general se trata de un problema amplio y consensual, por ejemplo la pobreza estructural, o la reconstrucción después de un conflicto o una catástrofe natural.

El problema principal no se indica claramente, pero el objetivo global sí
El evaluador puede entonces deducir el problema principal a partir del objetivo global.

En estos dos primeros casos no hay por qué extenderse más. El evaluador identifica el problema principal, explícita o implícitamente indicado en los documentos, al margen de su opinión sobre esa elección.

Ni el problema principal ni el objetivo global están explícitamente indicados
El evaluador se encuentra entonces en la posición inicial del planificador. Debe seleccionar uno de los problemas como problema principal. Puede:

• hacer personalmente la elección que le parezca más lógica,
• proceder mediante consulta individual a especialistas, o mediante debate en el marco de una reunión de especialistas.

Sea cual sea el procedimiento adoptado, la elección del problema principal es indisociable de la clasificación de los problemas por niveles. La elección del problema central tiene su justificación en la coherencia del conjunto del diagrama. Proceder a una primera clasificación de los problemas por niveles

Deben tenerse en cuenta varias situaciones:

• el nivel está especificado;
• la relación causa-efecto con otro problema está especificada, con lo que se puede establecer una relación entre ellos;
• no se da ninguna indicación sobre el nivel (absoluto o relativo) del problema, por lo que el equipo de evaluación deberá aplicar su lógica y/o recurrir al peritaje de un especialista en los campos en los que considere no tener la competencia necesaria.

Cada una de las clasificaciones por nivel deberá estar justificada, si es preciso mediante interpretaciones en forma de hipótesis explícitas.

Una de las principales dificultades en la representación gráfica del sistema de problemas es distinguir entre el resumen elíptico y las incoherencias.

Si resumimos una sucesión de diversas causalidades, vemos que se establece un vínculo causal entre el primer y el último problema de la cadena.

Veamos el ejemplo de una cadena que expresa la incidencia de la insuficiencia de redes viales en la pobreza:

En el mismo documento, encontramos referencias que podrían traducirse así:

o así:

No se trata de incoherencias, sino de resúmenes de naturaleza meramente estilística.

The diagram may intend to faithfully reflect the problems system as stated in the strategic and planning documents with missing elements and inconsistencies. If no faithfully constructed diagram is explicitly requested, the evaluators will consider it as a step to the construction of a logically reconstructed problem diagram.

Etapas que deben seguirse para elaborar un primer diagrama

¿Por dónde iniciar la construcción del diagrama: a partir del problema principal o de las causas profundas?

La práctica demuestra que esos dos tipos de problemas/causas son los más identificables, mientras que las causas intermedias son más difíciles de identificar, y todavía más de jerarquizar. Por lo tanto, se recomienda comenzar simultáneamente por ambos extremos.

Identificar a los autores del análisis de los problemas

Antes de comprobar el diagrama provisional, conviene identificar a los actores que han contribuido, en primer o en segundo término, al análisis de la situación (redacción del capítulo correspondiente, aportación sectorial, participación en las reuniones de elaboración, etc.).

Resulta muy útil comprobar el papel que este análisis ha desempeñado en la definición de los objetivos operativos de la estrategia y de las programaciones.

Comprobar el diagrama provisional

Es indispensable comprobar el diagrama con los autores de los documentos utilizados con el fin de validar las clasificaciones establecidas por niveles y los vínculos entre los problemas. Se trata de comprobar que las interpretaciones del equipo de evaluación reflejen correctamente las intenciones de los autores. Toda otra persona que haya contribuido en la elaboración (redacción, debate) de los documentos puede aportar un testimonio útil, a falta del testimonio de los autores o como complemento a éste.

Esto suele ser posible en el caso de los documentos más recientes, cuyos autores (o colaboradores) todavía ocupen un cargo o sean localizables en un servicio de la sede. En el caso de documentos más antiguos, resulta más problemático, ya que puede ser complicado identificar a los autores, y todavía más localizarlos.

Establecer la versión definitiva del diagrama de problemas

Esta versión incluye las opiniones recogidas durante el test de la versión provisional.

Por lo tanto, se considerará que da cuenta fielmente de los análisis iniciales de la Comisión Europea, presentes en los documentos oficiales.

Si el análisis de la situación no cambia radicalmente en el curso del periodo de evaluación y si la intervención se centra en un solo problema principal, será suficiente un solo diagrama.

Varios diagramas

• Si la situación del país (su situación propia o su contexto estratégico) ha cambiado durante el período de la evaluación y los análisis reflejan sustancialmente los cambios.
• En caso de que el equipo de evaluación no consiga identificar un solo problema principal y/o los diferentes problemas principales procedan de un sistema causal relativamente independiente, se impone la misma necesidad de establecer tantos diagramas como problemas principales. Por supuesto, se utilizarán todos los procedimientos de verificación necesarios para justificar esa pluralidad. En efecto, se conducirá al equipo de evaluación a concluir la existencia de una pluralidad de objetivos globales.
• Además, si la información es suficiente, se puede considerar la posibilidad de establecer un diagrama para cada una de las prioridades o sectores donde se concentra la ayuda.

Los diagramas de problemas son instrumentos esenciales en la fase de estructuración de la evaluación cuando no es posible establecer directamente diagramas de objetivos. En este sentido, su función es doble.

Conversión en diagrama de objetivos

Los diagramas de problemas ofrecen une visión sintética de los aspectos de la situación que debe, al menos parcialmente, mejorar la estrategia. Así, los objetivos, jerarquizados de ésta deben poder deducirse del diagrama.

Fase de planificación

Cuando el diagrama de problemas se utiliza en la fase de planificación (proyecto o programa), su conversión en diagrama de objetivos no es forzosamente automática. Puede suceder que, por razones diversas, no se pueda hacer frente a todos los problemas que figuran en el diagrama con la misma prioridad.

Fase de evaluación

En la fase de evaluación, la reconstitución del diagrama de problemas incluye una etapa en la que se lleva a cabo una selección entre los problemas contextuales y los problemas relacionados directamente con la intervención. El diagrama resultante puedeser convertido integralmente en diagrama de objetivos: el problema principal corresponde al objetivo global, y cada nivel de problemas es equivalente a un nivel de objetivos.

Conversión del diagrama de problemas en diagrama de objetivos

Extraído de: The Logical Framework Approach (LFA) - A summary of the theory behind the LFA method. Agencia Sueca de Cooperación Internacional para el Desarrollo, junio de 2002.

El diagrama de objetivos presenta la jerarquía de los objetivos, desde el objetivo estratégico global hasta los proyectos y programas proyectados, para su correcta ejecución. Puede provocar observaciones sobre:

• su coherencia interna,
• la pertinencia de los objetivos respecto al contexto general (estrategia global de la Unión Europea en materia de ayuda a países terceros, la situación de los países elegibles y los objetivos de los actores principales, el campo de la intervención y objetivos de los otros donantes),
• la adecuación de los medios destinados a la consecución de los objetivos.

Dichas observaciones deben estar presentes en los informes y notas de la fase de evaluación dedicada a la estructuración. También aparecen en el informe final, de forma más resumida.

Definición de los temas de las preguntas de evaluación

Los análisis precedentes plantean las siguientes cuestiones:

• la fidelidad de la estrategia respecto a los objetivos globales de la Unión Europea en materia de ayuda a países terceros,
• la pertinencia de la estrategia respecto a la situación de los países elegibles y a la política de los actores principales (gobiernos en particular),
• la búsqueda de complementariedades y de sinergias con los otros donantes,
• las consecuencias de las posibles faltas de coherencia del sistema de objetivos,
• la pertinencia de los medios movilizados en relación con los objetivos.

Estas cuestiones permiten definir un conjunto de temas que pueden dar lugar a profundizaciones en las fases siguientes de la evaluación, en particular mediante las preguntas de evaluación.

Sin embargo, las preguntasde evaluación no pueden deducirse automáticamente de estos análisis. Durante la fase de estructuración pueden surgir otros temas, formulados por los principales responsables de la puesta en práctica de la estrategia y, en consecuencia, relacionadas con las dificultades encontradas en las fases de programación y realización. El número de preguntasa las que la evaluación clásica puede responder es limitado, por lo que es necesario proceder a una selección.

Los diagramas de problemas se establecen durante la fase de estructuración y, en consecuencia, se presentan en las notas e informes producidos durante esta fase. En esa etapa, la construcción de los diagramas debe describirse con precisión.

Deben proporcionarse las fuentes precisas de donde se han extraído los problemas (citas exactas, referencias de los documentos originales). La posición de los problemas en el diagrama debe ser argumentada mediante referencias a los documentos, entrevistas, peritajes. Finalmente, deben especificarse las hipótesis a las que la construcción del diagrama haya debido recurrir.

El informe final

Dado que los diagramas de problemas no son simples etapas en la formulación de las preguntas, sino que conducen al análisis de la estrategia y su evaluación correspondiente si se da el caso, deben mencionarse en el informe final.

Puede hacerse una presentación sucinta en el informe propiamente dicho; después, deben aparecer en forma de anexo, de forma que se recojan todos los pormenores.

Las presentaciones orales

El equipo de evaluación presenta sus trabajos (método y resultados) ante distintos públicos (grupo de referencia de la evaluación, talleres de restitución). Si es fácilmente legible sin ser excesivamente simplificador, el diagrama de problemas puede ser un instrumento muy útil para este tipo de exposiciones.

La solución reside pues en la construcción de un diagrama principal y de subdiagramas que detallen las secciones esenciales del diagrama principal. Cada uno de estos diagramas no debería tener más de veinte casillas.

Los recursos humanos necesarios varían notablemente según se trate de reconstituir el diagrama de problemas a partir del análisis de la situación presentada en los documentos o de la construcción retrospectiva de un diagrama de problemas como debería haberse establecido para ser totalmente pertinente con la estrategia o el programa evaluados.

La tabla que se muestra más abajo presenta, en la columna de la derecha, una horquilla muy abierta de días de trabajo.

Relación entre las competencias necesarias, el personal apropiado y el número de días de trabajo (caso general)

¿Qué desplazamientos hay que prever?

Hasta el momento, los documentos estratégicos han sido establecidos bajo la responsabilidad de los servicios de la sede (Relaciones Exteriores o Desarrollo). Éstos desempeñan igualmente un papel esencial en la programación. En cuanto a EuropeAid, continúa siendo muy activa en la concepción de proyectos. Por ello, la gran mayoría de los documentos útiles (la totalidad de los documentos básicos) están disponibles en Bruselas. Es muy probable que esta situación cambie; las delegaciones deberían ver aumentadas sus responsabilidades.

No obstante, en el caso de la evaluación país, el ejercicio de construcción retrospectiva requiere una misión de 5 a 10 días por parte de 2 o 3 expertos en el país en cuestión.

¿Qué herramientas informáticas pueden utilizarse?

La mayoría de los problemas gráficos pueden resolverse con la ayuda del programa MS PowerPoint.

También se pueden probar los programas concebidos como herramientas de ayuda a la decisión, tales como MS Visio, TeamUP-PCM para Windows o Palisade PrecisionTree.

.

.

¿CUÁNDO ES NECESARIO UTILIZAR EL DIAGRAMA DE PROBLEMAS EN EVALUACIÓN PAÍS?

Todo donante debe justificar, explícita o implícitamente, la ayuda que concede a un país o a una región durante un periodo dado. Con ese fin, define los objetivos que persigue a través de esa ayuda y que intentan resolver un determinado número de problemas, ya sean los suyos propios o los del beneficiario de la ayuda.

La evaluación no tiene como objetivo proceder a un análisis de los problemas y establecer el diagrama que lo traduce, sino reconstituir el análisis que se haya hecho y traducirlo en un diagrama.

En este sentido, en evaluación país, el uso del diagrama de problemas se justifica en dos casos:

Análisis detallado de los problemas en los documentos

Su transformación (Etapa 2: ¿Cómo establecer el diagrama de problemas?) en diagrama puede permitir comprobar la coherencia del análisis y la pertinencia de los objetivos respecto a ese análisis. Será pues conveniente reconstruir el(los) diagrama(s) de problemas y el de objetivos, (¿Cómo utilizar los diagramas?) y confrontarlos.

Análisis de los problemas no especificado en los documentos

Puede ser útil estudiar el análisis que se ha hecho de la situación y, a partir de ahí, trazar un diagrama de problemas a los que busca hacer frente la ayuda. De esta manera debe ser posible, si no reconstituir directamente el diagrama de objetivos, al menos validar el esbozo del diagrama establecido a partir de los documentos.

En una estrategia de ayuda bilateral, el donante es la Comisión Europea, y el socio, es por lo general un Estado, o instituciones públicas nacionales. La Comisión y sus socios tienen sus propios objetivos globales, correspondientes a los problemas de cada uno. No obstante, y en cierto grado, los problemas se tornan comunes.

Efectivamente, en un acuerdo de asistencia bilateral entran en juego tres sistemas de problemas.

Un sistema específico para el donante

Este sistema corresponde a los problemas estratégicos que el donante espera resolver mediante la ayuda (ejemplos: inestabilidad regional, débil capacidad de absorción del mercado local, inmigración incontrolada).

Un sistema específico para el país beneficiario

Este sistema corresponde a problemas políticos importantes con los que se enfrenta el Estado (ejemplos: desequilibrios macroeconómicos, inestabilidad social, bajo ritmo de crecimiento, desigualdades sociales o geográficas, etc.).

Un sistema común para el donante y el país beneficiario

Este sistema corresponde a ciertas causas comunes a los problemas de ambos y relativas a los ámbitos que entran en el campo de la asistencia (ejemplos: salud, PYME, irrigación, medio ambiente).

Salvo en el caso de la evaluación participativa, el equipo de evaluación centrará su interés en el primer y en el tercer sistema de problemas, que conciernen directamente al donante.

Relativos a la estrategia de la Comisión Europea
Los problemas a largo plazo para los que la Comisión busca una solución -al menos parcial- mediante la aplicación de su estrategia no están siempre especificados en los documentos estratégicos (DEP) producidos por la Comisión Europea. A veces aparecen en la presentación de los objetivos de la estrategia, y otras solamente pueden localizarse en documentos políticos del Consejo, donde éste expresa sus preocupaciones respecto a la situación del país.

Relativos a los programas de ayuda

Los problemas que deben resolver los proyectos y programas de ayuda aparecen en el capítulo "Análisis de la situación" de los DEP. No obstante, en ese capítulo a veces no se distingue entre los problemas que formarían parte del contexto de los proyectos y programas y los problemas que constituyen la razón de ser de esos proyectos y programas.

Por esta razón, el establecimiento de un diagrama de problemas exige una distinción previa entre problemas contextuales y problemas prioritarios (Distinguir los problemas contextuales de los problemas prioritarios).

¿Qué documentos se deben utilizar?

En un documento dado (estrategia o programa), el análisis de la situación es en raras ocasiones el objeto de varias versiones sucesivas. El equipo de evaluación trabajará en la versión definitiva del documento, asegurándose de que en las versiones anteriores no haya análisis más detallados y totalmente válidos.

Los documentos básicos son los documentos estratégicos (DEP) y los programas indicativos correspondientes (PIN) para el periodo que comprende el campo de la evaluación.

En general se proporcionan al equipo de evaluación al comienzo de la misión.

Por supuesto, el periodo de evaluación, tal como está definido en los términos de referencia, comprende varios documentos de estrategia y de programación, y cada uno de ellos puede incluir análisis o información sobre la situación del país, de ciertos sectores o de ciertas regiones.

La situación y los problemas se analizan al comienzo del periodo cubierto por la estrategia y/o los programas que hay que evaluar. Sin embargo, el análisis puede tropezar con dificultades relativas a la información:

• retraso en la publicación de los datos,
• difícil acceso a la información,
• calidad mediocre o poco segura de los datos.

A veces, estas dificultades pueden afectar a la propia pertinencia de los objetivos y, por lo tanto, deben tenerse en cuenta en la evaluación.

Utilizado en planificación participativa, el diagrama de doble ramificación permite disponer los problemas identificados por las partes interesadas en dos partes distintas respecto del problema principal.

El diagrama de arborescencia simple

En el marco de los proyectos destinados a acometer las causas de los problemas, sólo la parte inferior del diagrama resulta de interés para la evaluación.

El diagrama de arborescencia compleja

Por regla general, el equipo de evaluación se contentará con intentar reconstituir un diagrama de arborescencia o ramificación única (simple o compleja, según los casos), derivada del problema principal.

El diagrama en red

Este tipo de diagrama refleja con mayor fidelidad la complejidad de una situación concreta. Para reconstituirlo, el equipo de evaluación debe disponer de abundante información, lo que sucede en raras ocasiones. Además, su transformación en diagrama de objetivos no es automática.

.

.

• Ejemplos

.

.

Marco lógico (y árbol de problemas) en planificación

• "Manual de Gestión del Ciclo de Proyecto". Comisión Europea, EuropeAid, marzo de 2001.
• Gestion du Cycle de Projet - Guide récapitulatif des Formations. Comisión Europea, EuropeAid, creado por Itad Ltd y actualizado por Particip GmbH. Versión 1.1, febrero de 2001.
• 'Logical framework analysis , BOND Guidance, notes n° 4, marzo de 2003. [EN]
• "The Logical Framework Approach (LFA) - A summary of the theory behind the LFA method". Agencia Sueca de Cooperación Internacional para el Desarrollo, junio de 2002.
• "The Logical Framework Approach: Handbook for Objectives-oriented Planning". NORAD, 4.a edición, enero de 1999.
• "AusGuidelines 1: The logical framework approach", Agencia Australiana para el Desarrollo Internacional (AusAid), 2000.
• "Logical frameworks: a critical assessment. Working Paper 264". Gasper, Instituto de Estudios Sociales, La Haya, diciembre de 1997.

Utilización del marco lógico en evaluación

• "Using the Engendered Logframe for Monitoring and Evaluation". Helen Hambly Odame, ISNAR, agosto de 2001.
• "Project Appraisal 2(4); Logical Framework Approach to the Monitoring and Evaluation of Agricultural and Rural Development Projects". Coleman G., 1987, p. 251-259.

Otros enfoques

• "Program Theory in Evaluation: Challenges and Opportunities", en New Directions for Evaluation. Publicación de la Asociación Americana de Evaluación, otoño de 2000.

.