Evaluation methodological approach

.

¿Por qué utilizar esta herramienta en evaluación?Objetivos

El análisis multicriterio se utiliza para emitir un juicio comparativo entre proyectos o medidas heterogéneas.

En el ámbito de la evaluación, el análisis multicriterio se emplea especialmente en evaluaciones ex ante, más concretamente en la definición de opciones estratégicas de intervención.

En el ámbito de las evaluaciones ex post, el análisis multicriterio puede contribuir a la evaluación de un programa o de una política valorando los efectos de las acciones realizadas con respecto a varios criterios.

Utilizaciones posibles en evaluación de paísEn evaluación ex ante o intermedia

El análisis multicriterio puede servir para:

• Evaluar la capacidad de diversas acciones de un programa para alcanzar un determinado objetivo. Este trabajo puede realizarse para registrar las valoraciones sobre su eficacia por parte de responsables y beneficiarios.
• Estructurar las valoraciones de los responsables de proyecto o de programa sobre acciones en curso.
• Discutir sobre el contenido de los programas y las asignaciones de los recursos entre acciones durante la elaboración de las estrategias y los programas.

En evaluación ex post

En terceros países, la introducción de este tipo de análisis en áreas como la lucha contra la pobreza, el mantenimiento de la seguridad, el control de la inmigración o el desarrollo del comercio sería sin duda de utilidad para formular juicios sobre esas estrategias complejas.

¿CÓMO APLICAR EL ANÁLISIS MULTICRITERIO?Condiciones para su utilización

El tiempo y el coste que puede requerir un análisis multicriterio de alto nivel pueden llegar a ser poco compatibles con los plazos y presupuestos asignados habitualmente a este tipo de tareas en evaluación.

Los análisis multicriterio que pueden articularse en una evaluación de país deben limitarse a la comparación de acciones sencillas y a partir de criterios limitados.

Etapa 1: determinar el ámbito de aplicación e identificar la lógica de intervención

En el contexto de la evaluación, el análisis multicriterio no se suele emplear para el conjunto de los temas objeto de estudio.

Cuando el equipo de evaluación haya determinado el ámbito de aplicación del análisis, es importante tener presente el marco lógico de la intervención o, si no existe, reconstituirlo.

Etapa 2: designar al grupo de juicio

El análisis multicriterio se basa en puntuaciones y en la selección por preferencias que efectúan las personas que van a formar el grupo de juicio. Para formar dicho grupo, el equipo de evaluación puede realizar la selección entre los actores a los que atañe el programa o entre delegados de estos actores. En general, se suele elegir a los miembros del grupo en esta última categoría, con vistas a limitar los riesgos de incompetencia y facilitar la identificación de estas personas.

Etapa 3: designar al equipo técnico

La función del equipo técnico es apoyar al grupo de juicio. Está formado por las siguientes personas:

• El coordinador.
• El ayudante técnico. Es la persona que domina perfectamente el funcionamiento de los programas necesarios para realizar determinados análisis multicriterio.
• Los expertos encargados de recopilar datos para el grupo de negociación con vistas a completar la información conforme se avanza en el ejercicio.

Etapa 4: elaborar la lista de las acciones que se van a comparar

Según sean sus objetivos, el análisis multicriterio ayudará a comparar:

• Escenarios o soluciones potenciales en un ejercicio de planificación o de evaluación ex ante.
• Alternativas de un proyecto de infraestructura.
• Acciones ejecutadas en el marco de un programa.

El final de esta cuarta etapa consistirá en la elaboración de una lista de las acciones, escenarios o alternativas que se incluirán en el análisis.

Etapa 5: identificar y seleccionar los criterios de juicio

Se trata de una etapa central del análisis multicriterio. Las reglas básicas para establecer los criterios de juicio pueden resumirse de la siguiente forma:

• Los criterios deben definirse antes de realizar el análisis, a partir de unas reglas que todos los participantes conozcan y acepten.
• Deben contemplar todos los puntos de vista expresados por los miembros del grupo.
• No deben ser redundantes entre sí.
• Deben formar un conjunto coherente que conduzca a resultados plausibles e indiscutibles.

Por ejemplo, si una empresa busca contratar a un empleado de determinado nivel, el equipo directivo puede utilizar los siguientes criterios:

• Superación de un examen.
• Valoración de la motivación y de la experiencia del candidato mediante una entrevista de trabajo.
• Nivel de salario solicitado por el candidato.
• Los criterios no son redundantes, aunque probablemente exista cierta relación entre el salario solicitado y el grado de experiencia. Los criterios son coherentes, es decir, si dos candidatos obtienen la misma puntuación en dos de los tres criterios, el tercero permitirá el desempate sin que pueda haber reclamación.

Etapa 6: determinar el peso relativo de cada criterioMétodos de ponderación de los criterios

Una de las reglas del análisis multicriterio consiste en ponderar estos criterios para valorar su importancia relativa a los ojos de los actores.

En el caso de la enseñanza media, los coeficientes asignados a las materias durante la evaluación de los alumnos constituirían un ejemplo sencillo de ponderación de los criterios.

Se han desarrollado diferentes métodos de ponderación que ayudan a formalizar estas ponderaciones (utilización de coeficientes, método del juego de cartas).

Establecimiento de umbrales de veto, indiferencia y preferencia

Determinados criterios pueden tener tanta importancia que requieran un tratamiento distinto de los demás. Es el caso de los criterios en los que puede introducirse la noción de umbral de veto (algunos de los cuales corresponden a exigencias normativas).

La definición de umbrales de preferencia y de indiferencia es también digna de consideración, especialmente en análisis largos y complejos. Si los umbrales de preferencia e indiferencia no se han definido claramente, dos actores con opiniones muy similares pueden clasificar dos acciones uno al mismo nivel y otro a niveles distintos.

Test de sensibilidad

Este test consiste en la observación del efecto de las modificaciones de los parámetros elegidos por el grupo sobre los resultados del análisis.

Etapa 7: juicio por criterio
Estudio del impacto de las acciones

Se trata de intentar asignar valores a los impactos de cada acción en relación con el criterio. Esta evaluación puede ser cuantitativa, pero también cualitativa.

Puntuación y juicio de las acciones por criterio

El juicio es emitido por el grupo, mientras que el estudio de impactos puede ser realizado previamente por especialistas en el tema objeto de estudio.

El objetivo de esta fase es llegar a otorgar a cada acción una puntuación por criterio. Gracias a estas calificaciones se pueden comparar, por un lado, las acciones entre sí y, por el otro, las opiniones entre los distintos actores respecto de una misma acción.

Etapa 8: agregación de los juicios

Se trata de un punto crucial del análisis, y no precisamente el más sencillo. Primero hay que comprobar que los juicios se expresan de forma homogénea (p. ej., se prefiere tal superficie para la realización de una obra cuando ésta es más reducida). Sin embargo, es importante comprobar si diversas maneras de dirigir la operación conducen a resultados similares o, por el contrario, exageradamente dispares (p. ej. una acción que ocupe el primer lugar en una matriz y el último en otra tan solo modificando una escala en un parámetro).

Existen distintos métodos de agregación de juicios: la suma ponderada, el producto ponderado, las relaciones de superación, etc. Independientemente de los métodos elegidos para la realización de los cálculos y agregaciones, con el análisis multicriterio se llega a una tabla (o varias) de valoración que permite sintetizar los resultados obtenidos por acción respecto de cada criterio (y eventualmente respecto de cada actor).

Si se trata de un trabajo en el marco de un consenso de grupo o si se manejan criterios con pesos idénticos para todos (por ejemplo, para los profesores en la calificación de los alumnos), la tabla de valoración representa el resultado del análisis multicriterio.

¿Qué recursos se necesitan?

¿Cuáles son las ventajas y los límites de esta herramienta?