Evaluation methodological approach

.

¿QUÉ REPRESENTA EL DIAGRAMA DE DECISIONES?Definición general

El diagrama de decisiones describe el proceso por el que los objetivos estratégicos o políticas generales expresados por las más altas instancias de la Unión Europea en materia de cooperación con los países terceros en general se traducen en decisiones de cooperación bilateral a medio y corto plazo.

Presenta la sucesión de las decisiones -formales o informales- que conducen a la programación de la ayuda.

Los factores de decisión

Los factores de decisión son, en principio, de dos tipos:

• factores propios al proceso, en los que cada objetivo seleccionado justifica los objetivos de rango inferior,
• factores externos que influencian la elección.

Estos factores externos son flujos de información que provienen, ya sea de las instituciones de la Unión Europea, ya sea de otras fuentes (coyuntura estratégica, situación del país en cuestión, política gubernamental, posición de los Estados miembros y de otros donantes, etc.). Se denominan recursos.

La toma de decisiones es un tema importante en la teoría de la gestión. En la definición de las políticas públicas (especialmente en el ámbito de la defensa), en la decisión médica y en las decisiones de empresa se han propuesto varias herramientas para guiar la toma de decisiones ante varias alternativas. Estas se completan con las herramientas de racionalización de dichas decisiones (por ejemplo, el análisis coste-eficacia).

La utilización de esta herramienta en el análisis retrospectivo de un proceso de toma de decisiones estratégicas se propuso por primera vez, salvo error, de forma simplificada en la evaluación de la estrategia de cooperación de la Comisión Europea con Egipto, aunque sin embargo no llegó a utilizarse.

Razones de su utilización

Su objetivo es racionalizar el proceso de decisión, hacerlo más eficaz teniendo en cuenta los problemas que haya que resolver y los objetivos que se desean alcanzar. Responde a la siguiente pregunta:

¿Qué elementos deben tenerse en cuenta para llegar a la decisión operativa más pertinente, respecto a los objetivos buscados y a los medios movilizables?

Esta herramienta puede apoyarse en alguno de los numerosos programas informáticos (Herramientas informáticas) que sirven de guía durante el proceso. Son, pues, normativas y, por naturaleza propia, simplificadoras.

Sin embargo, el evaluador necesita una herramienta que pueda describir un proceso complejo, de racionalidad a veces opaca y que implique a actores múltiples con finalidades diferentes. A esos procesos los guía la búsqueda del compromiso más que la de la eficacia y muy a menudo no obedecen a ningún modelo formalizado de racionalización de la toma de decisiones.

¿Se puede combinar con otras herramientas?

El diagrama des decisiones se combina perfectamente con el diagrama de objetivos y de efectos (e, indirectamente, con el de problemas). Aunque sea útil por sí mismo, se concibió para paliar las insuficiencias del diagrama de objetivos.

Su construcción puede apoyarse en un análisis DAFO (SWOT) y/o en un análisis socioantropológico, en los que se encontrarán informaciones del contexto al que atañe la estrategia.

Para transcribir las tres categorías principales de elementos del proceso de toma de decisiones, puede utilizarse el diagrama en forma de "espina de pescado". De esa forma, en un diagrama teórico de decisiones de la Comisión Europea en materia de ayuda a países terceros, aparecerán representados:

• en el eje del diagrama (columna central), la cadena de decisiones de planificación, que abarca desde las orientaciones más generales hasta las decisiones más concretas, pasando por las decisiones estratégicas y políticas a medio plazo y las decisiones operativas;
• en la parte izquierda, los recursos procedentes de las instancias de la Unión Europea (Consejo, Parlamento, Comisión), tales como decisiones, posturas, comunicaciones, directivas, lecciones aprendidas en la ejecución de estrategias y programas anteriores, revisión de los proyectos en curso o en cartera, etc.;
• en la parte derecha, los recursos de otras procedencias, es decir, las informaciones relacionadas con los sucesos y momentos cruciales de la situación mundial o regional, la evolución y necesidades de los Gobiernos asociados y las posturas e intervenciones de otros donantes.

Diagrama de decisiones simplificado (en espina de pescado) 

El diagrama permite representar retrospectivamente las distintas etapas de la toma de decisiones y los principales flujos de información de origen externo que intervienen en la formulación de la decisión estratégica o política.

.

.

¿EN QUÉ CASOS UTILIZAR ESTA HERRAMIENTA?En la fase de concepción de estrategias

Las estrategias de intervención exterior de la Comisión Europea son fruto de un proceso complejo que integra por igual elementos de contexto y posturas de las partes interesadas.

Este proceso es generalmente empírico, y más bien opaco. Todo esfuerzo por racionalizarlo y hacerlo más explícito conducirá a decisiones (elección de prioridades, adopción de programas) mejor justificadas y, de esta forma, influenciará de manera positiva la apropiación de las estrategias por parte de los gobiernos asociados de la Comisión Europea (Estado beneficiario y Estados miembros en particular).

El recurso a una herramienta de toma de decisiones como el diagrama de decisiones permitiría organizar el proceso de concepción, en particular en lo que concierne a la consideración de la información clave, la intervención de las partes interesadas y la gestión del calendario.

No obstante, la utilización de esta herramienta tiene en principio fines evaluativos (fase de estructuración), por lo que su empleo en esta fase requerirá una adaptación.

En la fase de evaluación de estrategias

Representación explícita de las elecciones
Las estrategias de cooperación y las políticas de intervención de los donantes, nacionales o multinacionales, obedecen a objetivos explícitos o implícitos. Los documentos que los presentan exponen en general un conjunto de objetivos más o menos jerarquizados (véase la forma compleja del diagrama de objetivos), entre los cuales pueden distinguirse uno o (más raramente) varios objetivos globales, los objetivos operativos relativos a los proyectos concretos de ayuda y los objetivos intermedios de distintos niveles.

De esa forma, los elementos operativos de un programa (proyectos en preparación y/o en curso) encuentran su justificación en el sistema de objetivos expuestos en los documentos estratégicos o en las políticas.

En un diagrama de objetivos, la elección del objetivo global, su articulación en un cierto número de objetivos intermedios y, sucesivamente, de objetivos operativos proceden, a menudo, de decisiones no explícitas.

Salvo en el caso de decisiones puramente arbitrarias, las elecciones que realizan los autores de los documentos de estrategia y de programación tienen en cuenta:

• las recomendaciones de las instancias dirigentes de la Unión Europea (Consejo, Parlamento, Comisión),
• el análisis de hechos externos (acontecimientos importantes, situación del país),
• la intervención de actores externos (Gobierno asociado, Estados miembros u otros donantes),
• las enseñanzas de programas o proyectos anteriores.

Lo que se describe en el diagrama de decisiones es precisamente la incidencia de tales flujos de información sobre las elecciones sucesivas y sobre la eliminación de opciones alternativas . Cada una de las casillas de la columna central del diagrama representa las decisiones llevadas a cabo (objetivos seleccionados, objetivos no seleccionados), mientras que las casillas laterales representan los flujos de recursos, es decir las justificaciones externas de esas decisiones.

Los documentos de estrategia se establecen actualmente para períodos presupuestarios de siete años. La información que les atañe incluye acontecimientos importantes, tendencias o cambios con fuerte y durable impacto, de ámbito mundial (por ejemplo los atentados del 11 de septiembre de 2001) o regional (el desencadenamiento de la segunda Intifada en el 2000 o la invasión militar de Irak en el 2003). Si tales sucesos se dan durante el período estratégico, pueden justificar una revisión del documento estratégico (en particular la revisión intermedia del proyecto). Por regla general, estos documentos se mantienen intactos hasta la finalización de los períodos para los que se han elaborado.

Los programas son, por lo general, más cortos; duran de dos a tres años. Pueden verse afectados por cambios sustanciales en la orientación política del Gobierno asociado, por catástrofes que afecten sensiblemente la situación del país (tifones, sequías), por la firma de acuerdos de asociación o de cooperación, por cambios de política de los donantes más importantes, etc. Su revisión en período presupuestario o la elaboración de nuevos programas considerablemente reorientados son prácticas habituales.

Resulta pues lógico en evaluación dividir en dos secuencias el diagrama teórico (diagrama de decisiones simplificado). De esta división resultarán un diagrama de decisiones estratégicas y un diagrama de decisiones operativas.

Es útil no obstante conservar una presentación resumida del conjunto del proceso de toma de decisiones (representada mediante un diagrama resumido).

Diagrama simplificado de decisiones estratégicas

Diagrama simplificado de decisiones operativas

Esta división resulta también interesante en el sentido de que reduce el número de casillas de cada uno de los diagramas y facilita así su legibilidad.

La elaboración de los documentos de estrategia y de programación se realiza en principio en colaboración con los Gobiernos asociados.

Esos documentos se negocian con los Gobiernos asociados en la región ACP. En otras zonas geográficas, sólo los programas son objeto de acuerdo con el Gobierno asociado, mientras que las estrategias les son simplemente notificadas.

En lo que respecta a los Estados miembros, el intercambio de opiniones respecto a todos los documentos de estrategia y de programación es obligatorio para todos los países. La experiencia revela que el partenariado entre asociados se traduce de formas diversas, y a veces reviste un aspecto bastante formal.

Es pues concebible que la Comisión desee un examen en profundidad del proceso de decisión, sea como parte de una evaluación país, o como evaluación temática. En ambos casos, el diagrama de decisiones debería resultar una herramienta de gran interés.

El diagrama de decisiones evidencia:

• el conjunto de opciones posibles para el establecimiento del sistema de objetivos (objetivo global, objetivos intermedios seleccionados y descartados, etc.),
• las incidencias externas que conducen a las distintas elecciones.

El diagrama de objetivos completa el diagrama de decisiones puesto que facilita el análisis de la estrategia tanto en términos de coherencia interna (sucesión lógica de las decisiones) como de pertinencia respecto al exterior (consideración de los elementos contextuales y de las posturas de las partes interesadas).

Visualización de las intervenciones de las principales partes interesadas y del examen de las 3 C
Cuando los términos de referencia de la evaluación hacen hincapié en el examen de la cooperación entre gobiernos asociados, el diagrama permite visualizar la intervención de los principales socios (Gobierno, Estados miembros y otros donantes) en la concepción de la estrategia, el establecimiento de programas y la selección de proyectos.

Lo mismo ocurre en el análisis de las 3 C (Coherencia, Coordinación, Complementariedad).

¿Cuáles son sus límites?

Los principales límites que presenta la utilización de este instrumento son:

• la disponibilidad de la información (etapa 3),
• la incertidumbre sobre las causalidades.

Información de base

La información directa sobre los factores que intervienen en el proceso de formulación estratégica y de programación son a veces escasas en los documentos oficiales que presentan estrategias y programas. Hay otros documentos públicos, como las evaluaciones, que pueden aportar algunas indicaciones, aunque su aportación es limitada. Los documentos no públicos (estudios, notas, correspondencia) son en principio más ricos. Por desgracia, pueden no estar disponibles o ser de difícil acceso.

La información oral está sujeta a los mismos límites de disponibilidad y de accesibilidad de los informadores.

Interpretación causal

Incluso cuando se aportan elementos potencialmente explicativos (intervención de los otros donantes o prioridades del Gobierno, por ejemplo), las relaciones de causalidad no son siempre explícitas. A veces es necesaria una interpretación, con los riesgos de error que ello comporta, especialmente cuando las decisiones pueden encontrar su justificación en la conjunción de varias causas.

El uso del diagrama de decisiones está sometido a tres condiciones importantes.

Existencia de un diagrama de objetivos

La existencia de un diagrama de objetivos en los documentos de estrategia o de programas es requisito indispensable para la construcción del diagrama de decisiones. Si no existe, el evaluador deberá construir un diagrama de objetivos.

Existencia y pertinencia de la información

La disponibilidad y el acceso a la información de carácter fiable (etapa 3), ya sea escrita u oral, es decir, que sea suficientemente abundante y contrastable, es también un requisito indispensable.

Colaboración estrecha con los servicios de la Comisión Europea

La buena colaboración entre los evaluadores y los distintos servicios de la Comisión Europea (servicios competentes de las DG Desarrollo y Relaciones Exteriores, así como con las delegaciones) garantiza el acceso a la información y su interpretación.

.

.

Una vez reunidas todas las condiciones de viabilidad, el proceso de elaboración de un diagrama de decisiones con fines de evaluación se apoya en dos pilares:

• la identificación de los momentos de decisión (elección de los objetivos),
• la localización, colecta y tratamiento de la información correspondiente.

Dado que la información útil no se encuentra en uno o varios documentos identificables, el proceso no puede partir de la recopilación de documentos. Debe basarse en una definición previa del tipo de documento en el que se buscará la información.

La identificación de objetivos a los distintos niveles (global, intermedio y operativo) remite a una serie de elecciones que pueden traducirse en preguntas: ¿por qué ese objetivo? ¿por qué no otro?

Es pues la formulación de estas preguntas lo que orienta la búsqueda de información susceptible de aportar respuestas. La pertinencia de tales respuestas es objeto de una verificación, que puede conducir a la búsqueda de nueva información (escrita u oral), e incluso a la reformulación de las preguntas, especialmente sobre los objetivos no seleccionados.

El diagrama de decisiones (existente o por construir) identifica los momentos en los que, explícita o implícitamente, se ha realizado la elección de los objetivos.

Mientras que el diagrama de objetivos permite evaluar la coherencia interna del sistema de objetivos, el diagrama de decisiones representa, para cada uno de los momentos de elección, los factores externos que conducen a seleccionar unos objetivos en lugar de otros.

Identificación de los momentos de elección de los objetivos

En la mayoría de los casos, el establecimiento del diagrama de decisiones es la continuación de la construcción del diagrama de objetivos. Conviene proceder en primer lugar a su construcción utilizando la herramienta concebida a tal efecto.

El diagrama de objetivos es la herramienta básica para identificar los momentos de elección. Excepto el momento en que se define el objetivo global, el resto de los momentos de elección se sitúa en cada una de las ramificaciones del diagrama. Por ejemplo, en el diagrama de objetivos hay representadas tres ramificaciones. Es precisamente ahí donde se formulan las siguientes preguntas:

¿Por qué se han seleccionado esos objetivos? ¿Por qué no otros?

Los momentos de elección en los que merece la pena consultar el diagrama de decisiones son:

• le elección inicial del objetivo global,
• las elecciones ulteriores de objetivos intermedios y/o operativos.

Sin embargo, hay que decir que el ejercicio de planificación es a la vez estratégico (puesta en práctica de los mejores medios para alcanzar los objetivos de distinto nivel) y empírico (utilización de los medios conocidos para perseguir ciertos objetivos). Sea cual sea el proceso, implica elecciones que el diagrama de objetivos permite identificar.

Se recomienda dotar a cada uno de los momentos de un código de identificación (que puede incluir una indicación cronológica) que permita facilitar su representación en las tablas de análisis (ver etapa 3).

Las preguntas tratan sobre la justificación de la elección de los objetivos, y logran ser mucho más precisas mediante la identificación de los objetivos no seleccionados. ¿Cómo identificarlos? En cada uno de los momentos de elección, pueden presentarse cuatro posibilidades:

• Los documentos de estrategia y de programación especifican los objetivos no seleccionados y aportan las razones que han llevado a descartarlos.
• Los documentos de trabajo (versiones provisionales, notas y correspondencia diversa) permiten localizarlos y a veces justifican las elecciones que se han hecho (lo que en principio es siempre el caso cuando se trata de reacciones de los Estados miembros y de las respuestas que generan).
• Ninguno de los documentos disponibles especifica las elecciones llevadas a cabo, pero las entrevistas con los responsables implicados en estas elecciones aportan aclaraciones pertinentes.
• Los evaluadores no han recopilado ninguna información escrita u oral que permita explicar las elecciones hechas.

En los tres primeros casos, los evaluadores basarán su primera hipótesis en la información aportada sobre los objetivos considerados y no seleccionados, además de las razones por las que han sido descartados.

En el último caso, convendrá identificar los objetivos teóricamente posibles recurriendo a la propia competencia del equipo de evaluación o a expertos externos. Las propuestas realizadas de esta forma podrán apoyarse especialmente en:

• informaciones y análisis presentados en los documentos disponibles (por ejemplo sobre la situación del país socio o en los compromisos de otros donantes),
• casos de países relativamente análogos.

Formulación de las preguntas

De todos modos, el resultado será la siguiente pregunta:

¿Por qué ese objetivo posible no se ha seleccionado?

Todos los momentos de elección pueden suscitar varias preguntas de este tipo.

Antes de la construcción del diagrama, los responsables de la evaluación, o en su defecto el equipo de evaluación, deben llevar a cabo una valoración de las fuentes de información. Si ésta revela insuficiencia o poca fiabilidad de las fuentes, se recomienda renunciar.

¿Qué información es útil?

Las informaciones útiles, ya sean escritas u orales, no pueden identificarse ni limitativa ni exhaustivamente. Aquí solo se propondrá una identificación general aplicable a todos los tipos de evaluación. 

Información escrita

Generalmente, la información escrita debe buscarse en cuatro tipos de documentos:

• el documento estratégico y el programa pueden aportar información sobre experiencias y enseñanzas de actuaciones pasadas, el contexto político, económico y social, la intervención de los Estados miembros y la de los otros principales donantes;
• los documentos preliminares (actas de reuniones, informes de misiones de avanzada, correspondencia y notas internas o entre servicios) pueden aportar luz respecto a la selección de prioridades;
• las evaluaciones país, temáticas o sectoriales, así como las evaluaciones de proyectos, pueden informar sobre experiencias de las que extraer lecciones útiles;
• los documentos más generales del Consejo y de la Comisión (conclusiones, recomendaciones, informes), además de tratados y acuerdos, presentan a menudo elementos de contexto, enseñanzas y prioridades que los autores de estrategias y programas deben tener en cuenta.

Información oral

Si puede accederse a ellos, los autores y colaboradores de los documentos principales (documentos de estrategia y programas) también deberían poder aportar explicaciones sobre las decisiones tomadas.

¿Cuál es la información específica para la evaluación país?

Por las razones expresadas anteriormente, la información útil no puede ser objeto de una identificación limitativa, ni exhaustiva.

Información escrita

La siguiente lista es indicativa, tanto por la naturaleza de los documentos que se pueden utilizar como por el tipo de información que contienen:

• La versión definitiva del DEP (documento estratégico país) indica las prioridades y el programa definitivo. Especifica -a veces- las enseñanzas extraídas de experiencias anteriores, así como los problemas económicos y sociales del país y las prioridades del Gobierno socio. Incluye también, casi por sistema, los compromisos de cooperación de los Estados miembros y del resto de los principales donantes. Las versiones sucesivas de este documento pueden presentar las prioridades y la programación proyectadas y finalmente no llevadas a cabo.
• Las actas de reuniones e informes de misiones de avanzada pueden justificar la selección de las prioridades y de la programación.
• La correspondencia, las notas internas y la notas entre distintos servicios producidas durante la elaboración de los documentos pueden aportar precisiones y explicaciones sobre la elección de las prioridades y de la programación.
• Los documentos que reflejan las reacciones de los Estados miembros ante los proyectos, en lo relativo a las decisiones tomadas y sus solicitudes de aclaraciones, muestran los tipos de cuestiones que se plantean.
• La respuesta de la Comisión a los Estados miembros, obligatoria, presenta las justificaciones correspondientes a las decisiones impugnadas.
• Los documentos que recogen las reacciones del Gobierno socio ante los proyectos especifican a veces las prioridades gubernamentales.
• Las evaluaciones temáticas o sectoriales, así como las evaluaciones de proyectos, pueden contener enseñanzas y recomendaciones que justifiquen las elecciones ulteriores.
• En principio, las revisiones intermedias reexaminan los análisis sobre los que se ha basado la elección de las prioridades y de la programación.
• Los acuerdos particulares (de cooperación, de asociación), bilaterales o multilaterales y las actas de los órganos comunes de seguimiento especifican las orientaciones comunes o particulares de los dos Gobiernos asociados.

La mayoría de estos documentos existen en lo que respecta a las estrategias establecidas a partir del año 2001. En periodos anteriores, su existencia es más problemática. Aunque exista una relación de confianza entre los evaluadores y los servicios de la Comisión, el acceso a dichos documentos no está garantizado.

Información oral

Los propios autores y colaboradores de los documentos principales (documentos de estrategia y programas), así como los responsables de la elección de los proyectos efectivamente implementados, pueden ser informadores extremadamente valiosos, si no hay información escrita o como complemento a ella. Claro que esto supone que se pueda acceder a ellos o que tengan cierta antigüedad en su cargo en la sede (DG de Desarrollo y de Relaciones Exteriores, EuropeAid) o en una de sus delegaciones.

¿Cómo recopilar información útil?

Colecta de información escrita
Ante todo se buscará en los servicios de la Comisión, a saber, las unidades geográficas competentes (países y regiones) de las DG Relaciones Exteriores y Desarrollo, así como la delegación de la Comisión Europea en el país en cuestión (especialmente con ocasión de la misión preliminar para las evaluaciones país).

Colecta de información oral

Los principales interlocutores son los responsables de los mencionados servicios. Si se da el caso, también podrá recurrirse a antiguos responsables, si son fáciles de encontrar o contactar.

¿Es suficiente la información?

Si los responsables de la evaluación no han hecho ningún inventario de las fuentes de información, le corresponde al equipo de evaluación emitir un juicio previo sobre la calidad de esas fuentes, en términos de cantidad, pertinencia, fiabilidad y accesibilidad. Este juicio, que debe estar suficientemente argumentado, será puesto en conocimiento de los responsables de la evaluación, que deberán validarlo.

Tomando como base el diagrama de objetivos, se lleva a cabo una primera selección de la información pertinente, que para por:

• el establecimiento de uno o varios cronogramas que describen la sucesión de acontecimientos y/o información que intervienen en el proceso de elaboración de la estrategia y del programa;
• la selección en los documentos recopilados de textos relativos a la selección de los objetivos, así como a las modalidades de ayuda previstas o a los factores que influyen en esa selección;
• la clasificación e indización de los textos.

El análisis de los textos puede llevar, ya sea a una selección complementaria de información en los documentos ya recopilados, o a la búsqueda de nuevos documentos (proceso de resultados inciertos).

Formulación de explicaciones

Las respuestas provisionales a las distintas preguntas se formularán a partir de la información recopilada. Es posible que algunas preguntas queden sin respuesta.

Los resultados del tratamiento de la información podrán reflejarse en una tabla de preguntas, que puede tener la estructura siguiente:

Tabla A: resultados del tratamiento de la información recopilada

En esta tabla A, las columnas recopilan los siguientes datos:

• momento de la elección; resulta práctico identificarlo mediante un código que dé cuenta de la sucesión de las distintas decisiones y del lugar de los momentos sucesivos en esta sucesión. Este código puede ser la fecha en que se realiza la elección;
• pregunta relativa a la justificación de la elección; a cada momento le corresponden en general varias preguntas sobre los objetivos seleccionados y no seleccionados;
• respuesta a las preguntas; permite aportar la justificación a las elecciones llevadas a cabo por las estrategias y los programas;
• identificación de los textos fuente; se refiere a los textos previamente seleccionados e indizados.

Establecimiento de un diagrama provisional

El diagrama de objetivos sirve de base a la cadena de decisiones. Identifica cuatro (a veces cinco) momentos de elección relativos a:

• el objetivo global,
• los objetivos intermedios de primer rango,
• los objetivos intermedios de segundo rango,
• los objetivos operativos.

Sin embargo, muy a menudo la elaboración de estrategias y programas no está estrictamente y exclusivamente guiada por esa lógica e integra de hecho una buena dosis de empirismo. Los autores parten, explícita o implícitamente, de un objetivo global. Después examinan a través de qué medios concretos de los que disponga puede la Comisión Europea perseguir ese objetivo. La sucesión de las decisiones se reduce entonces a dos momentos:

• elección del objetivo global,
• elección de los campos y modalidades de intervención.

Previamente a cada uno de estos momentos, los recursos identificados mediante el tratamiento de la información escrita y oral recopilada se colocan a uno y otro lado de la cadena de decisiones.

Una lupa a la izquierda del esquema permitirá especificar los resultados de la elección:

• objetivos seleccionados,
• objetivos no seleccionados.

De esta forma, el diagrama de conjunto, en forma de espina de pescado, se ve completado por diagramas detallados que corresponden a cada uno de los momentos de elección.

Representación de los momentos de elección: caso de los objetivos intermedios de primer rango

Las elecciones llevadas a cabo y su explicación deben ser comprobados por los actores principales de la elaboración estratégica y de la programación, si es posible especialmente por los servicios de la Comisión (sede y delegación), los representantes de las otras partes interesadas (Estados miembros, ONG, etc.), los interlocutores habituales en los países en cuestión y/o los Gobiernos beneficiarios.

Las observaciones de los responsables consultados pueden consignarse en la tabla siguiente:

Tabla B: resultados del test del diagrama provisional

En la tabla B, las columnas recogen los siguientes datos:

• momento de la elección; identifica su lugar en la sucesión de elecciones (código idéntico al de la tabla A, columna 1);
• elección llevada a cabo según el diagrama provisional; identificación de los objetivos seleccionados y de los objetivos no seleccionados, que han sido objeto de las preguntas que se muestran en la columna 2 de la tabla A;
• justificación según el diagrama provisional; resulta de las respuestas a las preguntas que aportan la justificación de las elecciones llevadas a cabo por las estrategias y programas (columna 3 de la tabla A);
• observaciones de los responsables consultados, que pueden aprobar -con o sin reservas- o rechazar las elecciones llevadas a cabo y su justificación.

Si las observaciones de los responsables consultados son poco importantes, el diagrama provisional se corrige para dejar lugar a sus observaciones. De ello resulta un diagrama definitivo.

Puede suceder que el test desemboque en un replanteamiento de una parte del diagrama provisional, especialmente cuando se considere mayoritariamente que las justificaciones aportadas no reflejan la realidad de la elaboración estratégica y de programación.

En ese caso, podría hacerse necesaria una revisión de la información, e incluso una colecta complementaria. Los evaluadores y los responsables de la evaluación deberán valorar la necesidad de construir un nuevo diagrama provisional y de comprobarlo. Puede suceder que las observaciones recogidas en el momento de efectuar el test sean suficientemente precisas como para que pueda evitarse hacer un nuevo test y pueda establecerse así el diagrama definitivo.

El diagrama definitivo toma la misma forma que el diagrama provisional (diagrama principal y representación de los momentos de elección). Va acompañado de una tabla explicativa sobre el tratamiento de la información recopilada.

.

.

¿CUÁNTOS DIAGRAMAS ES PRECISO ESTABLECER?
Diagrama de decisiones estratégicas

En principio se deben construir tantos diagramas como documentos de estrategia se hayan elaborado durante el periodo de evaluación.

Sin embargo, puede ocurrir que tanto los evaluadores como los responsables de la evaluación coincidan en que la antigüedad de los primeros documentos suponga su falta de accesibilidad y una dificultad para contactar con los informadores, lo que difícilmente permitiría la construcción de un diagrama de decisiones. En ese caso, sólo el último documento será objeto de dicho diagrama.

En cualquier caso, se recomienda que las revisiones estratégicas que puedan derivarse de una revisión intermedia sean objeto de un diagrama de decisiones.

Diagrama de decisiones operativas

En principio debe establecerse un diagrama de este tipo para cada uno de los programas de ayuda.

Ahora bien, un documento de estrategia puede corresponder a varios programas. Así, un periodo de evaluación de diez años de duración puede incluir cuatro o cinco programas.

Sin embargo, la construcción de tal cantidad de diagramas supone una carga de trabajo importante y costes elevados, con resultados aleatorios dada la incertidumbre relativa a la disponibilidad de la información (documentos e informadores). Los evaluadores y responsables de la evaluación pueden juzgar razonable limitarse a los programas correspondientes al último documento de estrategia.

El conjunto de los análisis y propuestas hechas aquí en lo que respecta a la utilización del diagrama de decisiones son de total aplicación en el caso de las evaluaciones país. Por otra parte, se basan en la experiencia de este tipo de evaluaciones.

La construcción de un diagrama de decisiones debería realizarse cada vez que el objetivo de la evaluación sea verificar en qué medida los objetivos perseguidos eran pertinentes respecto a las finalidades de la Unión Europea, a la situación del país y a un contexto más general.

La experiencia demuestra, en efecto, excepto en casos extremos, que los objetivos y las intervenciones presentan coherencia, sin significar esto que la oportunidad de las decisiones pueda demostrarse de manera irrefutable. El diagrama de decisiones pretende precisamente cubrir esta laguna.

Así pues, la utilización del diagrama de decisiones en las evaluaciones temáticas y sectoriales parece posible, aunque sujeta a verificación y, sin duda, a una adaptación.

Evaluación de la pertinencia de la estrategia y de la programación

Las explicaciones y justificaciones de las decisiones recogidas en los documentos y entre los informadores correspondientes merecen ser evaluadas.

Se sugiere que, en un primer momento, y tomando como base las competencias de los informadores o recurriendo a un peritaje externo, los evaluadores emitan un juicio sobre la pertinencia de las explicaciones correspondientes a cada una de las decisiones. Ese juicio considera en qué medida está justificado el rechazo de un objetivo.

La justificación de la elección del objetivo global (mediante el descarte de otros objetivos globales posibles) se analizará respecto a las finalidades estratégicas formuladas por las instituciones de la Unión Europea (Consejo, Parlamento, Comisión). La justificación de otros objetivos se estudiará respecto a una parte del objetivo global o a los que derivan de éste, y por otra parte de los insumos de la cadena de decisiones.

Evaluación de la cooperación

La cooperación con las autoridades del país tercero y los representantes de los Estados miembros puede ser evaluada teniendo en cuenta determinados flujos de insumos.

De esta forma es posible emitir un juicio sobre la consideración en el proceso de decisión de estrategias y programas de los siguientes factores:

• estrategias, programas y compromisos de los Estados miembros,
• postura de los Estados miembros ante la intervención de la Comisión Europea,
• prioridades y compromisos del Gobierno socio,
• deseos del Gobierno socio relativos a la intervención de la Comisión Europea.

Evaluación de las 3 C

De la misma forma puede analizarse:

• la coherencia de la estrategia de ayuda con las demás políticas de la Unión Europea (migraciones, comercio, agricultura, etc.);
• la coordinación entre la política de cooperación de la Comisión y la de los Estados miembros;
• la complementariedad de la programación de la Comisión con la de otros donantes (incluido el BEI).

Herramientas complementarias

Estas herramientas pueden utilizarse cuando los factores de decisión no estén explícitos en los documentos recopilados o cuando su interpretación plantee dudas.

Por regla general se reservan para las evaluaciones en las que los términos de referencia incluyen explícitamente el análisis de la toma de decisiones (es el caso de las evaluaciones temáticas sobre los procesos de toma de decisiones en particular).

Los evaluadores exponen sus juicios sucesivos en una serie de tablas que constituyen herramientas complementarias al diagrama.

Validación del diagrama a cargo de los responsables consultados durante el test

En la tabla C, las columnas recopilan los siguientes datos:

• momento de la elección; identifica su lugar en la sucesión de decisiones (código idéntico al de la tabla A, (etapa 4) columna 1;
• elección llevada a cabo según el diagrama definitivo; es decir, identificación de los objetivos seleccionados y de los objetivos no seleccionados;
• justificación según el diagrama definitivo; teniendo en cuenta los resultados del test consignados en la tabla B (etapa 5), columna 4;
• observaciones de los responsables consultados; aprobación -con o sin reservas- o rechazo de las elecciones llevadas a cabo y su justificación;
• juicio emitido por los evaluadores; es decir, haciéndose cargo -con o sin reservas- o rechazando las observaciones de los responsables consultados.

Validación del diagrama a cargo de un panel de funcionarios de la Comisión y de expertos independientes
Esta evaluación podría ser después sometida a un panel compuesto por representantes de los servicios de la Comisión (unidad geográfica, delegación) y expertos independientes y reconocidos. Los resultados serían entonces consignados en una tabla, como por ejemplo:

Tabla D: evaluación definitiva de la elección de objetivos

En la tabla D, las columnas recopilan los siguientes datos:

• momento de la elección; identifica su lugar en la sucesión de decisiones (código idéntico al de la tabla A (etapa 4), columna 1;
• elección llevada a cabo según el diagrama definitivo; identificación de los objetivos seleccionados y de los objetivos no seleccionados (columna 2 de la tabla C);
• opiniones favorables; relativas al diagrama definitivo y por parte de los miembros del panel;
• opiniones desfavorables al diagrama definitivo; por parte de los miembros del panel;
• juicio de los evaluadores; aceptando (en su totalidad o parcialmente) o rechazando las opiniones de los miembros del panel.

Los documentos intermedios están dirigidos a los responsables y al grupo de referencia de la evaluación. Deben incluir gráficos y tablas de forma detallada.

Informe final

El informe final está destinado a un público amplio, en general más interesado por los resultados que por el método de la evaluación.

Se aconseja agrupar en un anexo los gráficos y las tablas de análisis y presentar en el informe principal una síntesis de los resultados estructurada en tres secciones:

• pertinencia de las elecciones estratégicas y programáticas,
• práctica de la cooperación con los Estados miembros y el Gobierno beneficiario,
• coherencia, coordinación, complementariedad (las 3 C).

También puede incluirse un diagrama simplificado de las decisiones estratégicas y operativas en el informe principal.

Restituciones

Merece la pena mostrar el diagrama simplificado con ocasión de las presentaciones de los resultados de la evaluación.

Desplazamientos

Hasta el momento, los documentos estratégicos se establecían bajo la responsabilidad de las Direcciones Generales de la Comisión (Relaciones Exteriores o Desarrollo). Estas últimas desempeñan también un papel esencial en la programación.
En cuanto a EuropeAid, continua muy activa en la concepción de proyectos.
A raíz de ello, la gran mayoría de los documentos útiles (la totalidad de los documentos de base) están disponibles en Bruselas. Esta situación ha evolucionado recientemente y las distintas delegaciones han pasado a intervenir en la elaboración de los documentos más recientes, y deberían ver aumentar sus responsabilidades.
Además, los responsables de los países ACP beneficiarios de la ayuda son en teoría parte interesada en la elaboración de las estrategias y programas de los que son cofirmantes.

Herramientas informáticas

Existen programas informáticos que sirven de apoyo en el proceso de toma de decisiones. A primera vista, su pertinencia en evaluación no está muy clara. Es pues más útil seguir utilizando programas de tipo más general como PowerPoint o Excel.

.

.

• Ejemplos

.

.

• Carluer F. y Richard A.: "Analyse stratégique de la décision", 2002.
• Cox y Jacobson: "The anatomy of influence: decision making in international organization", 1973.
• Muller P. y Y. Surel: "L'analyse des politiques publiques", 1998.
• Muller P. y Y. Surel (eds.): "Les approches cognitives des politiques publiques", Revista Francesa de Ciencia Política, abril de 2000.
• Simon H. A.: "Administration et processus de décision", 1983.

.