Evaluation methodological approach

.

¿Qué son?

Las conclusiones aportan respuestas claras a las preguntas de evaluación. Integran juicios de valor.
Las lecciones son conclusiones transferibles a los siguientes ciclos de la misma intervención o de otras intervenciones.

¿Qué hay que procurar?

• Que el informe aporte verdaderas respuestas a las preguntas planteadas.
• Identificar correctamente los momentos en los que la evaluación implica un juicio de valor y evitar que dichos juicios estén implícitos o mal justificados, lo que representaría una debilidad.

¿Cómo se elaboran?

Las conclusiones y lecciones emanan de las etapas precedentes de la siguiente manera:

Las conclusiones responden a las preguntas

Las preguntas planteadas al inicio de la evaluación obtienen su respuesta a través de las conclusiones. Una conclusión puede responder a varias preguntas y varias conclusiones pueden responder a una sola pregunta.

El equipo de evaluación puede presentar conclusiones adicionales para tener en cuenta información y resultados inesperados pero importantes, siempre y cuando todas las preguntas planteadas hayan recibido su respuesta.

Las conclusiones se desprenden de los datos y hallazgos

Al redactar una conclusión, lo que se juzga es un aspecto de la intervención, por ejemplo: una orientación estratégica (¿es pertinente?), una práctica (¿es eficiente?), un efecto esperado (¿fue obtenido?), un efecto inesperado (¿es positivo?).

Las conclusiones derivan entonces de los datos y elementos de pruebas recabados, de los análisis e interpretaciones efectuados, de hallazgos y nuevos conocimientos generados.

Las conclusiones se basan en criterios de juicio

Para formular las conclusiones, el equipo de evaluación aplica los criterios de juicio (también llamados "criterios de evaluación razonada") acordados durante la primera fase de la evaluación (desk). La recolección y el análisis de datos están estructurados de acuerdo a estos criterios. Siempre que sea posible, se comparan los hallazgos con los niveles meta (targets).

• Ejemplo: la ayuda ha contribuido a un incremento del 30% de la cantidad de docentes calificados y experimentados en las zonas en las que se concentra la minoría étnica X (hallazgo), lo que le ha permitido a dicha zona nivelarse con el promedio del país (nivel meta).

En la etapa del informe final provisorio, el equipo de evaluación puede tener que afinar sus criterios de juicio y niveles meta. En este caso, se debate la cuestión junto con el grupo de referencia.

Una lección es una conclusión transferible

Una lección es una conclusión transferible a los siguientes ciclos de la misma intervención o a otras intervenciones.

• Ejemplo: al conectar sus desembolsos con los indicadores de desempeño especialmente diseñados, la C.E. puede contribuir satisfactoriamente a la mejora de la capacidad de recibir alumnos provenientes de grupos desfavorecidos.

Un capítulo del informe presenta las conclusiones relativas a cada pregunta así como aquéllas que emergen de puntos no abordados por las preguntas. El capítulo organiza las conclusiones en grupos homogéneos (clusters) para dar una visión global del tema evaluado. No sigue el orden de las preguntas ni de los criterios de evaluación (eficacia, eficiencia, coherencia, etc.).

El capítulo contiene referencias a las secciones del informe o a los anexos que muestran de qué manera las conclusiones derivan de la información, las interpretaciones, los análisis y los criterios de juicio. El informe contiene además una auto evaluación de los límites metodológicos que pueden cercenar el alcance o el uso de algunas conclusiones.

Un párrafo o un subcapítulo, evitando siempre caer en la repetición, retoma las 3 o 4 conclusiones principales organizadas por orden de importancia. Este ejercicio permite destacar mejor los mensajes de la evaluación dirigidos a los responsables políticos dentro de la Comisión.

El capítulo de las conclusiones presenta tanto los éxitos constatados como los temas que requieren una reflexión sobre posibles modificaciones o reorientaciones.

Sugerencias

• Redactar una conclusión de buena calidad requiere un esfuerzo considerable de aclaración y de justificación del juicio. Por lo tanto es preferible concentrar este esfuerzo en algunas conclusiones clave en vez que en una multitud de juicios mal justificados. Es conveniente entonces que el equipo de evaluación y las personas a cargo de la garantía de calidad relean atentamente el informe final para eliminar todos los juicios de valor no indispensables o involuntarios.
• Es difícil tratar con serenidad los criterios de juicio y los niveles meta con el grupo de referencia al final de la evaluación, porque todo el mundo observa inmediatamente la influencia del debate sobre las conclusiones. Por ello, es preferible ir lo más lejos posible al explicitar los criterios en la etapa inicial.
• En la medida de lo posible, el informe de evaluación enuncia por separado los hallazgos (que se desprenden únicamente de los hechos y de los análisis) y luego las conclusiones (que implican un juicio de valor). Este enfoque exige criterios de juicio explícitos y mejora la calidad.
• El equipo de evaluación expone sus conclusiones de manera equilibrada, sin privilegiar sistemáticamente las conclusiones negativas o bien las positivas.
• En la medida de lo posible, el informe de evaluación identifica una o más lecciones transferibles, las cuales son destacadas en el resumen ejecutivo y presentadas en respectivos seminarios o reuniones a fin de ser capitalizadas y transferidas.

.

.

¿Qué es?

Las recomendaciones derivan de las conclusiones. Tienen por objetivo mejorar o reformar la intervención en el marco del ciclo en curso, o bien preparar el diseño de una nueva intervención para el siguiente ciclo.

¿Qué hay que procurar?

• Optimizar la utilización de la evaluación en forma de retroalimentación (feedback).
• Crear un enfoque positivo y una apropiación más cómoda en los momentos en los que la evaluación revela dificultades.

¿Cómo se las elabora y presenta?

Las recomendaciones deben estar vinculadas a las conclusiones sin llegar al extremo de ser su copia. Una recomendación deriva directamente de una conclusión o de varias.
Se las debe agrupar y priorizar. El informe menciona a quién están destinadas, por ejemplo: la Delegación de la C.E., los servicios a cargo del diseño de la próxima intervención, etc.
Las recomendaciones son útiles, operativas y factibles. Se especifican las condiciones de puesta en práctica. Siempre que se pueda y sea pertinente, las principales recomendaciones se presentan en forma de opciones, con las condiciones vinculadas a cada opción, así como las consecuencias previsibles de la implementación de cada una de ellas.
Se las presentan en un capítulo específico, el cual resalta las recomendaciones derivadas de las tres o cuatro conclusiones principales. 

Las recomendaciones tienen valor siempre y cuando sus destinatarios las tengan en consideración, y en lo posible, se apropien de ellas.

Para promover esta apropiación, el responsable prepara una fiche contradictoire que permite:

• Enumerar las recomendaciones en forma resumida.
• Recabar las respuestas de los servicios destinatarios.
• Informar acerca del seguimiento que en realidad se le da a las recomendaciones.

Consejos

• Si una recomendación no deriva de las conclusiones con claridad, es probable que refleje ideas preconcebidas o los intereses de una de las partes interesadas. Su presencia en el informe corre el riesgo de desacreditar la evaluación. Por ello, el responsable de la evaluación debe tener cuidado de rechazar todas las recomendaciones que no estén apoyadas en los datos recabados y analizados, así como en las conclusiones.

.

.

¿Qué es?

Las conclusiones integran juicios sobre el valor y los méritos de la intervención. Esta dimensión del ejercicio de evaluación es particularmente sensible y exige que el equipo de evaluación respete principios de ética específicos.

¿Qué hay que procurar?

• Garantizar un juicio imparcial y creíble (también llamado " evaluación razonada ").
• Que el juicio no atente contra las personas.

¿Cuáles son los principios esenciales?-La responsabilidad del juicio

Las conclusiones responden prioritariamente a preguntas. Los miembros del grupo son en parte responsables del juicio en la medida en la que lo orientan a través de las preguntas de evaluación que validan.

El equipo de evaluación externo también interviene en la preparación del juicio formulando propuestas para definir las preguntas, explicitar los criterios de juicio y fijar los niveles meta a alcanzar.

En la fase de síntesis, el equipo de evaluación aplica los criterios de juicio convenidos de la manera más fiel que sea posible, y desarrolla sus propias conclusiones. Se debaten las conclusiones dentro del grupo de referencia aunque siguen estando bajo la plena responsabilidad del equipo de evaluación.

A modo de proceso de garantía de calidad, el responsable de la evaluación puede exigir que se justifique mejor un juicio o que se aplique mejor un criterio de juicio convenido de antemano. En cambio, no puede exigir que se suprima o se enmiende una conclusión si su calidad metodológica es buena.

-La legitimidad del juicio

Las preguntas y criterios tienen en cuenta las necesidades y el punto de vista de la institución pública que a iniciado la evaluación.

Los miembros del grupo de referencia pueden aportar puntos de vista diferentes, lo que refuerza la legitimidad de la evaluación.

En el transcurso de la fase de documentación, el equipo de evaluación conduce entrevistas que eventualmente permiten identificar otros puntos no expresados en el grupo de referencia. Rinde cuentas de ello en las reuniones del grupo de referencia y, llegado el caso, lo tiene en cuenta en el criterio de juicio.

De manera más general, el equipo de evaluación tiene la responsabilidad de rendir cuentas de los hallazgos importantes y de los criterios de juicio que surgieron durante el proceso de evaluación, incluso si estos últimos no están cubiertos por las preguntas de evaluación, y con la condición de que dichos puntos sean legítimos.

Un punto de vista es legítimo siempre y cuando:

• Esté expresado por las partes interesadas o a su nombre.
• Exprese un aspecto de interés público y no el interés individual de una persona o el interés privado de una organización.
• Sea compatible con los derechos fundamentales del ser humano.

-La imparcialidad del juicio

La imparcialidad del juicio concierne al conjunto de la evaluación, es decir, a la selección de las preguntas y de los criterios de juicio, la determinación de los niveles meta a alcanzar y la formulación de las conclusiones.

El proceso entero está expuesto a riesgos de parcialidad, por ejemplo:

• El equipo de evaluación privilegia sus propias ideas preconcebidas.
• El equipo de evaluación implícitamente privilegia el punto de vista de una de las partes interesadas.
• El equipo de evaluación no escucha, no comprende o no tiene en cuenta el punto de vista de una de las partes interesadas.
• El equipo de evaluación se concentra sistemáticamente en las conclusiones negativas o positivas.

Cuando existen divergencias sobre la manera de juzgar, sobre los criterios de juicio o los niveles meta a alcanzar, la imparcialidad consiste en:

• Garantizar que los miembros del equipo de evaluación estén familiarizados y sean respetuosos de las creencias y los usos y costumbres de los grupos aludidos.
• Respetar todas las culturas y todas las opiniones, ajustándose al mismo tiempo a los valores universales referentes a las minorías y a los grupos particulares tales como las mujeres. La Declaración Universal de los Derechos del Hombre de las Naciones Unidas (1948) es la referencia aplicable en la materia.
• Estar consciente de las relaciones de poder asimétricas y corregir los sesgos que resulten de las mismas.
• Proceder de manera tal que se escuchen todas las opiniones, incluso cuando no estén transmitidas por las voces más poderosas o más numerosas.
• Rendir cuentas de las divergencias en los informes y en las reuniones del grupo de referencia.
• Explicar la elección de manera transparente (¿quién hizo la elección?, ¿por qué?, ¿cuáles eran las alternativas?)

En caso de divergencia, una solución puede consistir en juzgar haciendo referencia a varios criterios y/o formular varias conclusiones que correspondan a diferentes puntos de vista. Esta solución tiene el inconveniente de diluir las conclusiones y por consiguiente, hacer que la evaluación sea menos concluyente.

A menudo es preferible hacer elecciones y explicarlas de manera transparente.

-Protección de las personas

Las conclusiones están basadas en los méritos de la intervención evaluada, no en las personas que la aplican o que se benefician de ella.

Se citan los nombres de las personas únicamente cuando ello refuerza la credibilidad de la evaluación. El equipo de evaluación debe respetar el derecho de las personas a proporcionar información de manera confidencial y asegurarse de que no se pueda rastrear el origen de la información sensible. Antes de citar una persona o una organización, el equipo de evaluación o cualquier otro actor de la evaluación le anticipa y advierte acerca de los riesgos que puede correr.

Las evaluaciones a veces descubren pruebas de disfunción. Las malas prácticas profesionales jamás son informadas de manera tal que se puedan rastrear. Sin embargo, un miembro del equipo de evaluación que descubre actos ilegales o delictivos los debe tratar como lo haría cualquier otro ciudadano. En este último caso, se debe discutir el problema con el responsable de la evaluación.

.