Evaluation methodological approach

.

Existen límites técnicos que impiden tratar múltiples preguntas, o más precisamente, aportar respuestas de buena calidad a una cantidad excesiva de preguntas. Esta guía recomienda no exceder las diez preguntas.

Cómo elegir las preguntas claveIdentificar las preguntas

Se propone una primera versión de las preguntas de evaluación sobre la base de:

• El análisis de la lógica de intervención.
• El análisis de la razón de ser de la intervención.
• Cuestiones que han justificado la decisión de lanzar la evaluación.
• Cuestiones a estudiar, según esté establecido en los términos de referencias.
• Preguntas planteadas en la evaluación ex ante, llegado el caso.

En una segunda versión, la lista y la formulación de las preguntas además tienen en cuenta:

• Las cuestiones planteadas por los informantes clave al inicio de la evaluación.
• Las expectativas de los miembros del grupo de referencia.

Evaluar la potencial utilidad de las respuestas

Más tarde, conviene evaluar la potencial utilidad de las respuestas, bajo el supuesto de que la evaluación aportará respuestas de buena calidad. Para cada pregunta prevista, se trata de saber:

• ¿Quién debería utilizar la respuesta?
• ¿Cuál es la utilización esperada: conocimiento, negociación, decisión, comunicación?
• La respuesta, ¿llegará a tiempo para ser utilizada?
• ¿No se conoce ya la respuesta?
• ¿No existe otro estudio (auditoría, balance) en vías de desarrollo y susceptible de aportar respuestas?

Si se somete la elección de las preguntas a un debate en reunión, tal vez sea interesante clasificarlas en tres categorías de potencial utilidad: más elevada, media y menos elevada.

Verificar que no haya un olvido grave

La experiencia muestra que los olvidos más perjudiciales para la calidad de una evaluación tienen que ver con:

• Las preguntas de eficiencia y de sostenibilidad.
• Las preguntas que se refieren a efectos negativos, en particular si dichos efectos incumben a los grupos desfavorecidos.
• Las preguntas correspondientes a los efectos a muy largo plazo.

Evaluar la factibilidad de las preguntas

Se debe examinar la factibilidad (evaluabilidad) de una pregunta, siempre que antes se haya examinado su utilidad.

A tal efecto, conviene consultar:

• El servicio que gestione la intervención.
• Uno o varios expertos en el tema.
• Uno o varios profesionales de la evaluación.

Si se somete la elección de las preguntas a un debate en reunión, tal vez sea interesante clasificarlas en tres categorías:

• Probabilidad elevada de obtener una respuesta de buena calidad.
• Probabilidad media.
• Probabilidad débil.

Si una pregunta es potencialmente muy útil pero difícil de tratar, conviene investigar si no hay otra pregunta similar que sea a la vez más fácil e igualmente útil. Por ejemplo, si una pregunta se refiere al impacto relativamente lejano o global, probablemente se podrá mejorar su factibilidad basándola en el impacto inmediatamente anterior en la lógica de intervención.

Debatir sobre la elección de las preguntas clave

La elección de las preguntas clave está sujeta al debate en la etapa de la reunión inicial.

La selección es incluso más exitosa cuando se han consultado los potenciales usuarios, quienes se apropiaron de las preguntas seleccionadas y no se ha censurado ningún punto de vista legítimo.

.

.

Porque alguien la ha planteado

La persona que solicita el tratamiento de una pregunta tiende a cooperar en la construcción de la respuesta y a apropiarse de las conclusiones.

Entonces, es preferible privilegiar las preguntas para las cuales los actores expresan claramente una demanda, por ejemplo:

• Las autoridades o servicios de la Comisión, en especial los que participan en el grupo de referencia.
• Los informantes clave consultados por el responsable de la evaluación o por el equipo de evaluación.

A veces sucede que un actor plantea una pregunta con la intención principal de influir o incluso de contrariar la acción de otro actor. Se debe examinar con atención la utilidad potencial de este tipo de preguntas.

Porque es útil

Una pregunta es particularmente útil si:

• La intervención o uno de sus aspectos es innovador y varios actores esperan una validación.
• Se ha de tomar una decisión y las conclusiones pueden llegar a tiempo para ayudar a tomar dicha decisión.
• Se prevé un debate público y las conclusiones pueden llegar a tiempo para alimentarlo.

Porque no se conoce la respuesta

Una pregunta es inútil si:

• Otra evaluación, una auditoría u otro estudio acaba de dar respuesta a la misma.
• Ya ha sido planteada en muchas otras evaluaciones y siempre recibió la misma respuesta.

No obstante ello, puede resultar útil plantear la pregunta nuevamente si la respuesta requiere verificación.

Evaluación de la intervención en general a través de una cantidad limitada de preguntas

El hecho de concentrarse en las preguntas clave no impide sacar conclusiones sobre la intervención en general. Al contrario, permite formular una evaluación global que se apoya en la recolección y el análisis profesional de datos y evita el riesgo de ser superficial e impresionista.

Esto se puede explicar a través de una analogía con la exploración petrolera. No se puede descubrir petróleo con sólo observar la superficie del suelo. La búsqueda de petróleo implica una exploración del subsuelo. Lo mismo es aplicable a una intervención en vías de evaluación. Se puede ver la superficie de todo gracias a los informes, a la información del seguimiento y a los cambios sufridos por los indicadores, pero lo que se necesita descubrir permanece invisible (por ejemplo: la contribución de la CE a los cambios observados, la sustentabilidad, etc.).

Se pueden comparar las preguntas de evaluación con los pozos de exploración de petróleo. Cada pregunta de evaluación ofrece una visión estrecha pero profunda de lo que por lo general es invisible. Al sintetizar lo aprendido de la respuesta a las preguntas, es posible lograr una evaluación global de la intervención. Este proceso puede ser comparable a un trabajo de cartografía de yacimientos petrolíferos tras una campaña de excavación exploratoria.

                                                                                                                                           .

                                                                                                                                           .

Concentrar una evaluación en varias preguntas esenciales es particularmente necesario cuando las dimensiones de la intervención en cuestión son múltiples y la evaluación en sí también posee múltiples dimensiones. En dicho caso, si se desearan tratar todas las dimensiones de la ayuda y todas las dimensiones de la evaluación, el trabajo sería extremadamente costoso o bien extremadamente superficial. Por lo tanto, es necesario elegir.

Intervenciones con múltiples dimensiones

Una intervención tiene múltiples dimensiones si está relacionada con varios sectores, si pone en práctica varios instrumentos, si tiene varios objetivos, si está dirigida a varias categorías de públicos y/o varias categorías de territorios.

Evaluaciones con múltiples dimensiones

Una evaluación tiene múltiples dimensiones si hace referencia a varias familias de criterios de evaluación, si cubre varios aspectos transversales y/o políticas cercanas.

.