Evaluation methodological approach

¿De qué estamos hablando?

La evaluación está destinada a una variedad de usuarios:

• Responsables de tomar decisiones políticas y diseñadores de intervenciones.
• Responsables, socios y operadores que trabajan en la puesta en marcha.
• Instituciones que hayan aportado fondos y ante quienes se deba rendir cuentas.
• Autoridades públicas que dirigen las intervenciones conexas o similares.
• Actores de la sociedad civil.
• Expertos.

¿Qué hay que procurar?

Optimizar la utilidad de la evaluación para los diferentes socios y en particular:

• Asegurarse de que la evaluación responda a las expectativas de los usuarios previstos, en un formato adaptado a sus necesidades y de manera oportuna.
• Asegurarse de que la evaluación tenga la credibilidad necesaria ante los usuarios previstos.

Responsables de tomar decisiones políticas y diseñadores

Los responsables de la toma de decisiones políticas y los diseñadores utilizan la evaluación para preparar el lanzamiento de nuevas intervenciones, la reforma de intervenciones existentes, la elección de las orientaciones estratégicas, las decisiones de asignación de recursos presupuestarios, humanos, etc.



Necesitan una información:

• Que sea directamente utilizable en el proceso de decisión.
• Que llegue a tiempo.
• Que responda a sus preguntas de manera clara, concisa y fiable.

Están interesados en lo que está en juego desde el punto de vista estratégico, en la coherencia externa y en los impactos globales, que constituyen la finalidad primordial de la intervención.

Responsables, socios y operadores

Los responsables tienen a cargo la puesta en marcha y el seguimiento de la intervención, desde los servicios centrales hasta el terreno. Los operadores de terreno pertenecen ya sea a la C.E. o bien a instituciones asociadas que compartan la responsabilidad de la puesta en marcha.



Utilizan los resultados de las evaluaciones para contar con un feedback sobre los resultados de su acción.



Necesitan una información lo antes posible para corregir las diferencias o validar los cambios. Están preparados para interpretar mensajes complejos y técnicos.



Están interesados en los resultados directos de la intervención, en las necesidades y en las reacciones del público al que se dirigen, así como en las interacciones entre los socios.

Las instituciones que han aportado fondos esperan que se les rindan cuentas. Esta expectativa es válida tanto para el Parlamento como para el Consejo de Ministros, pero también para todos los co-financiadores. Los contribuyentes y los ciudadanos también son destinatarios de la evaluación.



Las autoridades públicas que dirigen intervenciones conexas o similares son potenciales usuarios de la evaluación, en especial, bajo la forma de transferencia de lecciones aprendidas. Lo mismo ocurre con las redes de expertos aludidos por la intervención.



Por último, la evaluación puede ser utilizada por los actores de la sociedad civil, en particular aquellos que representan los intereses de los públicos beneficiarios.

Recomendaciones

• A partir de la fase de lanzamiento, hacer un inventario de los diferentes usuarios y clasificarlos en las categorías antes mencionadas.
• Interrogar a los informadores clave para comprender las expectativas de los usuarios.
• Elegir las expectativas a privilegiar, sobre todo en función de los desafíos y de las responsabilidades de la institución que inicia la evaluación.
• Prever un plan de comunicación y de difusión adaptado a los principales usuarios a los que se dirigen.
• Tener en cuenta los diferentes niveles de información útil en función de los usuarios: estratégica para los responsables de tomar decisiones, técnica y operativa para la puesta en marcha y general para los actores externos.

¿De qué estamos hablando?

Una evaluación puede utilizarse:

• Como ayuda en la toma de decisiones.
• Como ayuda en la formulación de juicios y en la información a la opinión pública.
• Para promover el conocimiento y la comprensión.

Estos tres modos de utilización no son excluyentes entre sí: hay que comprender para poder juzgar y hay que juzgar para poder decidir.

¿Qué hay que procurar?

Optimizar la utilidad de la evaluación, es decir:

• Elegir y redactar las preguntas en función de la utilización esperada.
• Adaptar el calendario y la difusión en función de la utilización esperada.

Ayudar a la toma de decisiones

Se puede conducir la evaluación en beneficio de aquellos que van a decidir o negociar un ajuste o una reforma de la intervención evaluada. Se la utiliza pues para corregir la implementación, para diseñar el siguiente ciclo de intervención o para redefinir las orientaciones políticas.



Para favorecer este modo de utilización, denominado también retroalimentación (feedback), se deben plantear las preguntas de evaluación en función de las expectativas de los responsables de la toma de decisiones anticipando la programación de sus decisiones en el momento de la entrega del informe.



La evaluación puede ayudar a la toma de decisiones de dos maneras diferentes:

• Formulando conclusiones de manera independiente y luego proponiendo recomendaciones. Este tipo de evaluación es conocida como "sumativas" (en inglés: summative).
• Favoreciendo la implicación de los respectivos responsables de tomar las decisiones, o por lo menos de sus colaboradores cercanos, con miras a crear un fenómeno de apropiación o de retroalimentación (feedback) directa. Las evaluaciones de este tipo son conocidas como "formadoras" (en inglés: formative).

Las evaluaciones pueden asistir a la toma de decisiones de diferentes maneras, dependiendo del contexto de la decisión:

• Las recomendaciones pueden estar dirigidas a los responsables y/o a los diseñadores de la intervención. Las evaluaciones que privilegian este tipo de utilización son conocidas con el nombre de "gerenciales" (en inglés: managerial).
• Las recomendaciones pueden estar dirigidas a todos los socios y cofinanciadores de la intervención. Las evaluaciones que privilegian este tipo de utilización son denominadas "societarias o partenariales" (en inglés: partnership).
• Por último, la evaluación puede estar concebida como una ayuda a la negociación y a la resolución de problemas entre las partes interesadas de la intervención, es decir, las instituciones responsables, los grupos de interés y los actores de la sociedad civil. Las evaluaciones que privilegian este tipo de utilización son conocidas como "pluralistas" (en inglés: pluralistic).

Ayudar a la formulación de los juicios

La evaluación puede ayudar a los usuarios a formar sus opiniones sobre los méritos de la intervención.



La formulación de una evaluación global es particularmente útil para rendir cuentas. En este caso, la evaluación examina los méritos de la intervención según los diferentes puntos de vista (evaluación sumativa). Responde a las preguntas que son importantes para las instituciones que asignaron los fondos. El informe es accesible al público en general. Se pone de relieve tanto la independencia de la evaluación como la transparencia del juicio.



En esta instancia, se presta particular atención a la definición de los criterios de juicio (también llamados "criterios de evaluación razonada"). Sin embargo, el juicio en sí recién queda establecido definitivamente en el momento de la entrega del informe final y del debate sobre las conclusiones. La utilización de una evaluación para rendir cuentas supone entonces esperar hasta el final del proceso.

Conocer y comprender

Además de ayudar a la formulación de decisiones y de juicios, que son por lo general las dos formas principales de utilización, la evaluación permite a los usuarios aprender de la intervención, entender mejor lo que funciona y lo que no y acumular conocimientos. Indirectamente, contribuye a la transferencia de conocimientos así adquirida para beneficio de las redes profesionales que pueden no tener un vínculo directo con la intervención evaluada.



Contrariamente a la retroalimentación (feedback), que alude directamente a los responsables de la intervención evaluada, la transferencia de las lecciones es un proceso indirecto que pasa por las redes de expertos tanto en el interior como en el exterior de la Comisión Europea.



La capitalización de los conocimientos a menudo comienza durante el proceso de evaluación, por intermedio de los expertos sectoriales implicados en el equipo de evaluación y el grupo de referencia. Sin embargo, la transferencia de lecciones aprendidas comienza verdaderamente después de la entrega del informe final. La presentación de la evaluación en las redes especializadas es una etapa clave desde este punto de vista. Adopta la forma de seminarios o de artículos técnicos.

Recomendaciones

Desde el inicio, el responsable de evaluación debe dar la prioridad a uno o más tipos de usos, y luego optimizar el proceso de evaluación para que sea tan "ameno" para el usuario como sea posible, por ejemplo ajustando:

• La composición de los miembros del grupo de referencia.
• Las preguntas de evaluación.
• La estrategia de difusión.

¿De qué se trata?

La evaluación permite una retroalimentación (feedback) en el sentido de que ayuda a tomar decisiones tales como corregir la puesta en marcha, diseñar el siguiente ciclo de intervención o ayudar a redefinir las orientaciones políticas. En dicho contexto, la formulación y el seguimiento de las recomendaciones constituyen etapas clave.

¿Qué hay que procurar?

El principal tipo de utilización de una evaluación consiste en facilitar las futuras decisiones. Se trata entonces de estar atentos a las necesidades de los responsables de formular las decisiones durante todo el proceso de evaluación para serles lo más útil posible.

¿Cuál es el vínculo entre la evaluación y la decisión?

Algunas evaluaciones tienen la principal intención de enriquecer las decisiones de gestión o de reforma de la intervención evaluada. Están dirigidas a los operadores de terreno, los servicios administrativos, las autoridades responsables de la intervención o a sus asociados. Con esta perspectiva, cabe privilegiar la evaluación en curso y prestar gran atención a la formulación y al seguimiento de las recomendaciones. Estas evaluaciones se denominan "formativas".



Otras evaluaciones buscan principalmente extraer las lecciones de la experiencia bajo una forma transferible para enriquecer las decisiones en otros contextos. Desde este punto de vista, cabe privilegiar la evaluación ex post y prestar gran importancia a la formulación y a la transferabilidad de las lecciones aprendidas. Estas evaluaciones se denominan "recapitulativas" (summative).



Sin embargo, hay que ser realistas: los responsables de la toma de decisiones no son necesariamente los que están a cargo del seguimiento de las recomendaciones y lecciones. De hecho, el proceso de decisión implica casi siempre la intervención de múltiples actores y factores, la evaluación es simplemente uno de ellos.

Consejos para realizar una evaluación orientada hacia la ayuda a la decisión

• Desde el comienzo, realizar entrevistas acotadas para comprender las expectativas precisas de los responsables de formular las decisiones y anticipar el calendario de las decisiones.
• Acotar las preguntas a tratar y definir el calendario de la evaluación en función del proceso de decisión.
• Hacer participar a aquellas personas que compartan el punto de vista de los responsables de la toma de decisiones en el grupo de referencia.
• Organizar el control de calidad, la redacción de los documentos y su difusión en función de las necesidades de los responsables de formular las decisiones.
• Hacer hincapié en la calidad de las recomendaciones y verificar su carácter operativo desde el punto de vista de los responsables de la toma de decisiones.
• Respetar los plazos para permitir una retroalimentación (feedback) oportuna en el proceso de decisión.
• Garantizar un seguimiento solicitando a los responsables de la toma de decisiones aludidos que adopten rápidamente una posición con respecto a las recomendaciones e indicar al cabo de un año cuáles fueron las reales consecuencias.

¿De qué se trata?

La evaluación contribuye a capitalizar las lecciones extraídas de la experiencia y transferir los conocimientos adquiridos con la perspectiva de que aquellos actores que no tengan un vínculo directo con la intervención evaluada puedan utilizarla. En dicho contexto, la identificación de las buenas prácticas y de las lecciones transferibles constituye una etapa clave.

¿Por qué hay que prestarle atención a la transferencia de conocimientos?

Porque:

• Sin un esfuerzo de capitalización y de gestión de los conocimientos, las organizaciones tienen tendencia a olvidar las lecciones aprendidas y a repetir errores onerosos.
• La evaluación revela y valida ciertos conocimientos de los actores implicados en la intervención que son potencialmente útiles para las personas que trabajan en otros países, otras instituciones u otros sectores.

Redactar el informe para favorecer la acumulación de conocimientos

Entre las numerosas páginas que comprende un informe de evaluación, sólo aquéllas que se refieren a las buenas prácticas y a las lecciones aprendidas están orientadas hacia la transferencia de conocimientos. Por lo tanto es importante identificarlas y redactarlas con esa perspectiva.



Identificar una buena práctica es juzgar que la misma haya posibilitado la obtención de los efectos esperados de una manera particularmente eficaz, eficiente o duradera.



Identificar una lección trasferible significa juzgar que una práctica dada, por lo general, logra (o no) producir los efectos esperados en un contexto determinado.



El resumen del informe de la evaluación pone en relieve las principales lecciones aprendidas con el objetivo de facilitar su acumulación y transferencia. Por cada lección, las referencias que se encuentran a lo largo del desarrollo del informe permiten precisar:

• El contenido exacto de la lección aprendida.
• La robustez de las conclusiones sobre las que están fundadas.
• El contexto en el que se aprendieron los conocimientos y los factores del contexto que condicionan o limitan la transferencia.

Movilizar los conocimientos disponibles

Ciertas instituciones públicas o redes profesionales buscan acumular los conocimientos que se encuentran almacenados en bases de datos, en intranet o Internet. También se puede acumular el saber de manera informal, por medio de redes de expertos que capitalizan las lecciones referentes a un sector o un tema determinado. En este último caso, los miembros de la red se esfuerzan en validar los conocimientos antes de capitalizarlos, por medio de meta-evaluaciones o paneles de expertos.



La evaluación no sólo colabora en la acumulación de conocimientos, sino que también contribuye a la circulación de los conocimientos adquiridos. En efecto, el equipo de evaluación moviliza tanto la idoneidad como la documentación disponible a fin de aportar una primera respuesta parcial a las preguntas planteadas. Si se aprendieron lecciones transferibles gracias a otras evaluaciones y fueron capitalizadas correctamente, entonces, el equipo de evaluación las identifica y las reutiliza.

¿Qué es?

La difusión concierne al informe final de la evaluación, pero además a todas las otras maneras de dar a conocer los resultados, las conclusiones, las lecciones aprendidas y las recomendaciones. La difusión está dirigida a los servicios de la Comisión, las instituciones europeas, los socios externos, las redes de expertos, los medios de comunicación y el público en general.

¿Qué hay que procurar?

La difusión favorece el uso de la evaluación si está bien hecha. Ella permite:

• Transmitir los mensajes clave de la evaluación a los responsables de la toma de decisiones, diseñadores, responsables, operadores y socios aludidos por la intervención evaluada.
• Rendir cuentas ante las autoridades e instituciones correspondientes (Rendición de cuentas / accountability).
• Hacer evolucionar los conocimientos dentro de las redes profesionales.
• Hacer evolucionar las opiniones en la sociedad en el amplio sentido de la palabra.

¿Qué medidas hay que tomar?

• Prever la difusión desde la etapa de los términos de referencia, anunciando en particular cómo se publicará el informe, y cuál será la función del equipo de evaluación en esta fase.
• A lo largo del proceso, tener presente la calidad de la evaluación y de sus productos (informe, resumen, anexos) y evaluar formalmente la calidad al final del proceso.
• Durante la última reunión del grupo de referencia, identificar los principales mensajes pronunciados por la evaluación y los públicos a los que hay que anotar.
• Tras la aprobación del informe, completar el plan de comunicación eligiendo los mensajes a destacar y los canales de información mejor adaptados para cada público.
• Obtener la cooperación necesaria para la instrumentación del plan de difusión y dividir los roles entre el responsable de la evaluación, el equipo de evaluación (verificar que esta acción entre en su mandato y que esté mencionada expresamente en los términos de referencia) y los miembros grupo de referencia.

¿Qué canales se utilizan para la difusión?

El informe de evaluación es difundido por Internet de manera que sea accesible a todo tipo de público. Sin embargo, se emprende una difusión más activa para los públicos específicos:

• Se envía el informe y/o su resumen a los servicios correspondientes y a los asociados.
• Se prepara un resumen de una página exclusivamente para la jerarquía del servicio que ha gestionado la evaluación. El mismo señala las conclusiones y recomendaciones principales.
• Asimismo se publica un resumen en las páginas web pertinentes, acompañado de un vínculo hacia el informe.
• Se envía un resumen de 2 a 3 páginas para su publicación en la página web de la OCDE, con destino a la comunidad internacional de la ayuda al desarrollo. El mismo señala las lecciones aprendidas en la medida en la que sean transferibles.
• Se pueden redactar uno o varios artículos para el público en general o medios especializados.
• Por último, el informe puede ser presentado en reuniones, talleres o seminarios.

Recomendaciones

• Establecer las reglas de citación de nombres en el informe en función de la difusión prevista.
• Prever un presupuesto para el plan de comunicación en el momento del lanzamiento de la evaluación (mencionar si el equipo de evaluación externa lo debe incluir en su propuesta).

¿De qué estamos hablando?

Dado que la versión completa de los informes de evaluación se publican en Internet, es conveniente difundir uno o varios textos más cortos adaptados a los diferentes públicos a fin de presentar la evaluación de manera accesible y atractiva.

¿Para qué sirven?

Los textos tienen como finalidad:

• Dar a conocer las principales conclusiones y recomendaciones.
• Informar al público en general, los medios y los expertos sobre la existencia y el contenido del informe de evaluación.
• Favorecer la transferencia de conocimientos, en particular, las buenas prácticas y las lecciones aprendidas.
• Favorecer la rendición de cuentas (accountability) y reforzar el uso democrático de la evaluación.
• Dar incentivos para consultar el informe en Internet.

Formatos y usos de los diferentes documentos

El resumen ejecutivo es uno de los puntos de partida para la redacción de las presentaciones. Por lo general su extensión es de tres páginas y el contenido no está dirigido a un público en particular. Más allá del resumen ejecutivo, se producen - o pueden producirse -diferentes textos:

• Nota de una página enfocada hacia las conclusiones y recomendaciones de nivel estratégico y destinada a los responsables de la formulación de decisiones políticas.
• Resumen de dos páginas publicado por la OECD (EvInfo) para informar a la comunidad de la ayuda al desarrollo. En la medida de lo posible, este resumen señala las lecciones aprendidas siempre que sean transferibles.
• Párrafo de presentación para los documentos de síntesis.
• Breve artículo destinado a un público en particular.

Consejos para redactar un documento de presentación

Elegir la orientación del documento

Definir el objetivo: ¿texto para el público en general o para un público especializado? Si es así, ¿qué público?



Seleccionar algunos mensajes a destacar en el título y los subtítulos, en función del público meta.



Elegir la extensión del texto y un estilo que se adapte al público al que estará dirigido.

Describir la intervención evaluada

• ¿Quién decidió y financió la intervención? ¿Cuándo?
• Presupuesto y productos típicos.
• Efectos esperados y razón de ser.

Describir la evaluación

• ¿Quién decidió efectuar la evaluación? ¿Por qué?
• Alcance de la evaluación.
• Principales preguntas planteadas.

Principales mensajes

• Hallazgos, nuevos conocimientos aportados.
• Conclusiones.
• Lecciones transferibles, buenas prácticas reproductibles.
• Recomendaciones.

Método

Describir el diseño metodológico de manera no técnica y formular un enunciado sobre la solidez de los principales mensajes.



Si un aspecto del método es particularmente interesante para el público al que se apunta, proporcionar un marco más técnico.

Recomendaciones

• Evitar la jerga técnica de la evaluación, el lenguaje especializado del sector de la intervención y las siglas administrativas, sobre todo al dirigirse a un público amplio.
• Concentrarse en algunos mensajes esenciales y establecer hipervínculos dirigidos al resumen ejecutivo y el informe publicado en la página web de la Comisión.

¿Para qué hay que hacerlo?

En un ámbito de superabundancia de información escrita, un medio eficaz de llegar a los potenciales usuarios consiste en presentar los resultados de la evaluación en reuniones o seminarios.



Una presentación oral de la evaluación ayuda a:

• Favorecer la transferencia de conocimientos, en particular, las buenas prácticas y las lecciones aprendidas en las redes profesionales.
• Informar a las personas que van a transmitir los mensajes a los responsables de tomar las decisiones o a un público más amplio.
• Llamar la atención de las instituciones ante las que hay que rendir cuentas y reforzar el uso democrático de las evaluaciones.
• Abrir las conclusiones al debate.

Consejos prácticos

Una presentación breve (de 10 a 20 minutos) es suficiente para presentar lo esencial, pero se debe reservar más tiempo para las preguntas (20 a 40 minutos).



La presentación aborda los siguientes puntos:

La intervención evaluada

• ¿Quién ha llevado a cabo la intervención, cuándo, con qué recursos? ¿Qué productos, qué objetivos, qué razón de ser?
• Líneas generales de la lógica de la intervención

La evaluación

• ¿Quién ha decidido hacer la evaluación?, ¿cuándo?, ¿por qué?
• ¿Quién ha realizado la evaluación?, ¿quién es responsable de las conclusiones?
• ¿Qué parte de la intervención ha sido evaluada?, ¿qué preguntas se plantearon?

Mensajes resultantes de la evaluación

Q Algunos mensajes particularmente importantes desde el punto de vista del público intervienen en la reunión o en el seminario (información clave, hallazgos, conclusiones, lecciones transferibles y/o recomendaciones).

Fortalezas y debilidades de los mensajes

Explicación del método empleado y de las razones por las que un mensaje determinado es más bien sólido (válido) o frágil. Recomendaciones sobre el uso de los mensajes en el caso de que sean frágiles.

Recomendaciones

• Adaptar el nivel del lenguaje en función del público presente: evitar las jergas cuando el público sea general; será más técnico cuando el público esté compuesto de expertos sectoriales, etc.
• Indicar cómo se accede al informe final y al resumen, en especial por Internet.