Evaluation methodological approach

¿Qué es?

La razón de ser de una intervención es tratar las necesidades, problemas o desafíos considerados prioritarios en un contexto dado, y que no pueden ser tratados de manera más eficaz por medio de una opción alternativa.



La razón de ser de la intervención ha de ser justificada en la etapa de la programación. En la etapa de la evaluación, conviene recordar los principales elementos o reconstruirlos si los documentos de programación no son precisos.



La evaluación identifica las razones por las que se eligieron las prioridades, por ejemplo: prioridades de la política en la que la intervención tiene lugar, urgencia de las necesidades a satisfacer, ventajas comparativas con respecto a las opciones alternativas.

¿Qué hay que procurar?

• Ayudar a definir los criterios de la familia de la pertinencia.
• Presentar la intervención en el informe de evaluación.

¿Cómo formular aclaraciones?

-Examen de los problemas y de las respuestas

El informe de evaluación presenta de manera sucinta los siguientes elementos:

• Contexto de la intervención en el momento en el que fue iniciada.
• Principales problemas (necesidades, desafíos) diagnosticados.
• ¿Por qué la institución responsable de la intervención, y sus socios llegado el caso, están mejor ubicados para resolver los problemas diagnosticados?
• ¿Por qué se eligieron determinadas opciones estratégicas y no otras?

El equipo de evaluación busca estos elementos en los documentos oficiales que instituyeron la intervención y en los trabajos preparatorios de diseño. Completa su comprensión por medio de entrevistas con los informadores clave.



Ciertas preguntas de evaluación pueden tratar sobre los problemas abordados en la intervención, por ejemplo:

• ¿Había opciones alternativas para resolver los problemas identificados?
• Los problemas que han justificado la intervención, ¿cambiaron de naturaleza?
• ¿Cuál es la amplitud precisa de las necesidades que justifican la intervención?

-Examen de la razón de ser

Cada vez que sea pertinente, el informe de evaluación saca a la luz los siguientes elementos:

• Justificación del hecho de que las necesidades, los problemas y los desafíos no pueden resolverse espontáneamente con iniciativas privadas.
• Justificación del hecho de que no pueden resolverse de manera más eficaz por medio de otras iniciativas públicas.

El equipo de evaluación investiga estos elementos en los documentos oficiales que constituyeron la intervención. Completa su comprensión de la razón de ser por medio de entrevistas con los informadores clave.



Ciertas preguntas de evaluación pueden tratar sobre la razón de ser de la intervención, por ejemplo:

• La institución que ha iniciado la intervención, ¿habría podido aliarse a otras para tratar estos problemas?
• La intervención, ¿habría sido más eficaz bajo la dirección de otras instituciones públicas?

Recomendationes

Los documentos oficiales a menudo privilegian las opciones estratégicas que se retuvieron in fine. Si se busca comprender cuáles fueron las alternativas, puede resultar útil realizar entrevistas con los informadores clave, prestando debida atención al riesgo que representan los sesgos.

¿Qué es?

Se trata del conjunto de actividades puestas en práctica, de los efectos esperados (productos, resultados e impactos) así como de los supuestos que explican cómo las actividades van a conducir a los efectos en el contexto de la intervención.



La lógica de intervención puede ser "fiel" a los documentos de programación y a los documentos de origen de la política en la que se inscribe la intervención. En este caso, se deducen los efectos esperados de los objetivos establecidos en los documentos oficiales.



Al construir la lógica de intervención en el momento de la evaluación, se pueden tener en cuenta aquellos efectos que se esperan implícitamente pero que no han sido evocados en los documentos iniciales. Eso significa un distanciamiento de la lógica "fiel", lo cual se debe especificar. El enfoque "fiel" es pertinente cuando se expresan los objetivos con la suficiente precisión y de un modo verificable. Si son demasiado vagos u ambiguos, es preferible recurrir a la otra opción.



Con frecuencia, la lógica de una intervención evoluciona a través del tiempo. Llegado el caso, ello justifica la reconstrucción de varias lógicas correspondientes a períodos sucesivos.



La lógica de intervención es una simplificación útil de la realidad, sin embargo, hay que estar siempre consciente de la complejidad del mundo real. Además de la reconstrucción de la lógica de intervención, resulta útil, pues, identificar los principales factores externos que condicionan o que coaccionan la puesta en marcha y los efectos. Es necesario también tener presente el hecho de que las explicaciones causales reales se revelan a menudo más complejas que los supuestos establecidos al inicio.

¿Qué hay que procurar?

• Ayudar a aclarar los objetivos y a traducirlos en una jerarquía de efectos esperados de tal manera que ello permita su evaluación.
• Sugerir preguntas de evaluación sobre dichos efectos.
• Ayudar a evaluar la coherencia interna de la intervención.

¿Cómo reconstruirla?

Recabar y analizar los documentos de referencia:

• Recabar los documentos oficiales fundadores de la intervención que asignan recursos.
• Identificar las principales actividades.
• Identificar los objetivos.
• Traducir los objetivos para que adopten la forma de resultados e impactos esperados.
• Conectar las actividades con los impactos esperados reconstituyendo relaciones causa - efecto lógicas (si… entonces…)
• Verificar que las relaciones de causa y efecto sean lógicas, es decir, que se las pueda considerar plausibles a la luz de los conocimientos disponibles.
• Debatir la lógica reconstruida con algunos informadores clave (diseñadores y responsables) y con expertos en el tema o país aludido.
• Presentar y debatir la lógica de intervención en una reunión del grupo de referencia.

Las presentaciones más comunes

Marco lógico

Esta técnica consiste en producir una presentación en forma de matriz que especifique los objetivos (primera columna), cómo se los deberá verificar (segunda columna: indicadores, y tercera columna: fuentes) y los principales supuestos acerca de los factores externos (cuarta columna).



Las líneas del marco lógico retoman una presentación simplificada de la lógica de intervención, en sólo cuatro líneas: actividades, resultados, finalidad (purpose = ventaja directa para el público al que está dirigida) y objetivo global.



Esta representación es conveniente para una intervención simple, tal como un proyecto o un programa bien acotado. En cambio, esta representación no logra captar correctamente la complejidad de una intervención heterogénea como lo es un programa de desarrollo rural integrado, una estrategia país o el apoyo a una política sectorial.



Debido a su simplicidad, el marco lógico permite detallar los indicadores que se deberán utilizar en cada línea, así como los factores externos.

Diagrama de objetivos

This Esta técnica funciona por medio de la identificación de objetivos oficialmente establecidos y una presentación gráfica que muestre las cadenas lógicas entre objetivos, desde los más operativos hasta los más globales. La lógica de intervención está representada en forma de casillas y de flechas.



Una forma particular de representación consiste en el árbol de objetivos. Se aplica cuando cada objetivo de rango inferior contribuye a un solo objetivo de rango superior.



Contrariamente al marco lógico, el diagrama puede tener cadenas de objetivos tan largas como sea necesario. Permite también poner en evidencia sinergias y relaciones complejas entre objetivos (excepto en el caso del árbol de objetivos).



Esta representación conviene en los casos de intervenciones complejas como pueden ser los programas integrados, las estrategias país o las políticas sectoriales.

Diagrama de efectos esperados

Esta técnica se asemeja al diagrama de objetivos ya que se apoya en objetivos oficialmente declarados. Sin embargo, los objetivos se traducen en efectos esperados antes de ser presentados en un diagrama. La traducción de los objetivos en efectos esperados permite trabajar con conceptos más concretos y más fáciles de verificar.

Recomendaciones

• Reexaminar siempre la lógica de intervención. En un mundo ideal, la lógica de intervención debería formar parte del diseño de la intervención, y debería estar a disposición en el momento de la evaluación adoptando la forma de un marco o de un diagrama. En el mundo real, estos puntos merecen ser verificados.
• En el caso de intervenciones complejas (y particularmente en las evaluaciones a nivel país), resulta útil producir varios diagramas detallados y un diagrama de síntesis. De hecho, un diagrama muy complejo no resulta utilizable.
• Tener cuidado con el riesgo de racionalización ex post. Para reducir este riesgo, explicar claramente el proceso de reconstrucción y las opciones elegidas.

¿Qué son?

Los objetivos son una visualización inicial y formal de los cambios que debe producir la intervención. Los objetivos pueden aludir a los productos, los resultados o los impactos.



Se pueden expresar de manera verificable, precisando con claridad los cambios esperados. También pueden ser expresados de un modo más político o retórico, sin tener una clara conexión con un cambio específico.



El proceso de evaluación puede revelar objetivos implícitos, es decir, hipótesis causales que son necesarias para explicar cómo se puede alcanzar un objetivo explícito.

¿Qué hay que procurar?

La identificación y la aclaración de los objetivos es una etapa necesaria para:

• Reconstruir la lógica de intervención.
• Plantear preguntas y definir criterios de evaluación pertenecientes a la familia de la pertinencia y de la eficacia.
• Juzgar la coherencia interna.

¿Cómo aclararlos?

Examen de la claridad de los objetivos

La evaluación identifica los objetivos, y expone los siguientes elementos para cada uno de ellos:

• Enunciado del objetivo.
• Eventuales ambigüedades en ciertos términos y aclaraciones propuestas.
• Medios propuestos para verificar el logro del objetivo.
• Plazo en el que se deberá alcanzar el objetivo.

El equipo de evaluación busca los objetivos en los documentos oficiales que han instituido la intervención y en los documentos que enmarcan la intervención en un nivel más global ya sea político o estratégico.



Cuando el enunciado de un objetivo contiene ambigüedades, el equipo de evaluación propone aclaraciones apoyándose en las entrevistas con los informadores clave.

Examen de la jerarquía de los objetivos

La evaluación clasifica los objetivos de intervención por nivel jerárquico:

• Los objetivos globales correspondientes a la razón de ser de la intervención.
• Los objetivos operativos correspondientes a los productos y servicios suministrados por la intervención (productos).
• Se pueden identificar uno o varios niveles de objetivos intermedios.

La reconstrucción de la lógica de la intervención ayuda a diferenciar los niveles de los objetivos así como los efectos, resultados directos e impactos que les corresponden.



Determinadas preguntas de evaluación pueden estar basadas en la articulación de los objetivos, por ejemplo:

• ¿Existe una buena coherencia interna entre los objetivos operativos y los objetivos globales?

Recomendaciones

Si la intervención está enmarcada por numerosos documentos de nivel político o estratégico y dichos documentos contienen numerosos objetivos en sí mismos, el equipo de evaluación se enfrenta a una superabundancia de objetivos. Más que realizar una presentación completa, menciona este estado de hecho y los riesgos que ello implica, luego se concentra en los objetivos que aparecen como los más importantes en el contexto de la intervención evaluada.



Existe una continuidad entre los objetivos más o menos explícitos:

• Objetivo claramente establecido en los textos oficiales.
• Objetivo ambiguo aclarado con la ayuda de las partes interesadas.
• Efecto intermedio que se debe obtener para lograr un objetivo (objetivo implícito).
• Efecto esperado por las partes interesadas pero que no estaba previsto en el inicio, ni siquiera implícitamente.

Todos estos elementos merecen ser explicados en el informe, aunque se debe precisar el estado de cada uno de ellos.

¿Qué son?

Se trata de identificar las principales intervenciones conexas y situar la intervención evaluada con respecto a ellas.

¿Qué hay que procurar?

• Ayudar a definir los criterios de juicio pertenecientes a las familias de la coherencia / complementariedad externa y de la pertinencia.
• Si fuera necesario, examinar la calidad del diseño de la intervención, y, en especial, el hecho de que los objetivos se complementen con los de las otras políticas conexas.

¿Cómo se debe proceder?

El informe de evaluación expone de manera sucinta los siguientes elementos:

• Principales organismos nacionales e internacionales que intervienen en el mismo territorio, en el mismo sector y / u orientados al mismo público.
• Principales políticas aplicadas por dichos organismos en el mismo territorio, en el mismo sector y / o en dirección del mismo público.

Este análisis permite dar una idea somera de las principales políticas conexas, en lo posible incluyendo las fechas de inicio y fin, los instrumentos utilizados, los públicos y los objetivos perseguidos y los recursos adjudicados.



Algunas preguntas de evaluación pueden referirse a las políticas conexas a fin de permitir una mayor profundización, por ejemplo:

• La intervención, ¿es coherente y se complementa con las políticas y las prioridades del país asociado? ... ¿con las otras políticas comunitarias?
• La puesta en marcha, ¿estuvo sujeta a una coordinación con las acciones de otros donantes?, y la complementariedad, ¿fue mejorada gracias a esta coordinación?
• ¿En qué medida hubo un valor agregado por el hecho de conducir la intervención a nivel de la CE en vez de los Estados Miembros?