Evaluation methodological approach

.

¿QUÉ ES EL ANÁLISIS MULTICRITERIO?Objetivos

El análisis multicriterio es un método que permite orientar la toma de decisiones a partir de varios criterios comunes. Este método se destina esencialmente a la comprensión y a la resolución de problemas de decisión. Se utiliza para emitir un juicio comparativo entre proyectos o medidas heterogéneas, por lo que puede emplearse en evaluación.

De esta forma, tomando como base diversos criterios, los decisores pueden integrar, en un contexto prospectivo o retrospectivo, la diversidad de las opiniones relativas a los proyectos para emitir un juicio.

Este método implica la participación de los distintos actores (decisores, técnicos, beneficiarios, etc.) y conduce a la obtención de consejos operativos y recomendaciones.

Su objetivo es alcanzar una solución mediante la simplificación del problema, respetando en todo momento las preferencias de los actores.

Origen

En un principio, este método fue desarrollado en el ámbito de las ciencias económicas y en el de la ingeniería industrial.

Desde la segunda mitad de la década de 1970, el análisis multicriterio, también conocido como "ayuda multicriterio a la decisión", empezó a experimentar un importante desarrollo, hasta convertirse, de por sí, en una herramienta científica.

Principales aplicaciones 

Las formas de utilización de este instrumento han evolucionado de forma paralela a su propio desarrollo. Hoy en día, se utiliza principalmente para proporcionar a los decisores una serie de herramientas que les faciliten el camino en la resolución de problemas relacionados con la toma de decisiones, de forma que en éstas intervengan distintos puntos de vista, aunque sean contradictorios.

Condiciones de utilización

Para poder guiar un análisis multicriterio, es necesario disponer de un conjunto de acciones o alternativas competitivas. Para cada una de estas acciones, a través del análisis se elaborará :

• una familia de criterios que permita formar juicio sobre estas acciones;
• una tabla de valoración de las acciones por criterio;
• una agregación de los resultados para realizar una clasificación por orden de preferencia.

El análisis multicriterio puede realizarse a partir de datos tanto objetivos como subjetivos.

El análisis multicriterio puede llevarse a cabo según múltiples métodos, que pueden agruparse en cuatro categorías distintas:

Sin compensación

Los métodos sin compensación incluyen una jerarquización de criterios y una definición de índices binarios para cada criterio. Mediante el examen sistemático de las acciones en relación con cada criterio, se llega a la eliminación o a la selección de éstas; las opciones que siguen estando en la lista se analizan según el criterio siguiente, y así sucesivamente.

Por ejemplo, las etapas preliminares en la evaluación de las candidaturas a las distintas convocatorias de la Comisión Europea se enmarcan en esta categoría de métodos: criterio de exclusión, criterio de selección, etc.

Agregación completa

En los métodos por agregación completa, se procede por síntesis a determinar un valor que permite representar la agregación de todos los criterios. Esto implica que todos ellos sean mesurables, y que las preferencias sean matemáticamente racionales.

En esta categoría del análisis multicriterio se permiten realizar compensaciones y todas las alternativas son comparables. Se aplica en situaciones sencillas y delimitadas.

Algunos métodos que pertenecen a esta categoría son: media ponderada, utilidad aditiva (UTA), Goal Programming ("programación por metas"), Analytic Hierarchy Process ("proceso analítico jerárquico", AHP), Multi Attribute Utility Theory ("teoría de la utilidad multiatributo", MAUT)...

El más sencillo de estos métodos, el de la media ponderada, podría emplearse, por ejemplo, para analizar la media obtenida por un alumno en un examen. Los criterios corresponderían a las distintas materias, su ponderación a los coeficientes correspondientes y los resultados a las notas obtenidas en cada materia.

Agregación parcial

Los métodos por agregación parcial se caracterizan por la consideración de situaciones no comparativas, para las que se adopta un sistema de preferencias.

El análisis se centra en la comparación de acciones clasificadas por pares, y toma como base un índice de superación.

Este tipo de métodos presenta la ventaja de permitir la comparación entre situaciones complejas, originalmente incomparables, incluyendo criterios de carácter muy diverso (objetivos y subjetivos).

Esta categoría engloba los métodos más conocidos (como Electre, Prométhée, Oreste, Macbeth, etc.)

Agregación local

La particularidad de los métodos por agregación local radica en su carácter iterativo, basado en las preferencias del decisor.

En este tipo de métodos se selecciona una opción, se elabora una propuesta con algunas alternativas y luego se retoma el análisis en bucle.

Estos enfoques sólo permiten abarcar un número reducido de acciones y requieren una gran implicación por parte de los decisores.

Entre estos métodos se encuentran: programación lineal múltiple, PREFCALC, UTA interactivo, etc.

.

.

POSIBLES APLICACIONES DEL ANÁLISIS MULTICRITERIOAyuda a la planificación

El análisis multicriterio es ante todo una herramienta vinculada a la toma de decisiones, por lo que se emplea a menudo como apoyo en el proceso de planificación y en las posibles evaluaciones que pueden realizarse en este contexto.

El análisis multicriterio sirve sobre todo para comparar diferentes alternativas (trazados de carreteras, opciones de ordenación territorial, ofertas de empleo público, etc.) o diversas medidas de un programa.

En evaluaciónEn evaluación ex ante

En el ámbito de la evaluación, el análisis multicriterio se emplea especialmente en evaluaciones ex ante, más concretamente en la definición de opciones estratégicas de intervención. También se puede utilizar como instrumento de negociación, como material de apoyo en las discusiones en torno a la selección de las prioridades estratégicas de intervención.

En evaluación ex post

En evaluaciones ex post, el análisis multicriterio puede contribuir a la evaluación de un programa o de una política realizando el balance de sus efectos.

Una de las particularidades de esta herramienta es que, cuando se aplica a situaciones complejas, con actores con opiniones a menudo opuestas, su puesta en práctica requiere verdadera pericia.

Además de su grado de tecnicidad, el tiempo y el coste que puede requerir un análisis multicriterio de alto nivel corren el riesgo de ser poco compatibles con los plazos y presupuestos asignados habitualmente a este tipo de tareas en evaluación.

Los análisis multicriterio que pueden articularse en una evaluación país deben emplear métodos simples y de fácil aplicación, ya que las situaciones son a menudo complejas y eso no facilita la labor. En definitiva, es aconsejable limitar el empleo de este tipo de análisis a la comparación de acciones sencillas y a partir de criterios limitados.

Posibles aplicacionesEn evaluacionesn ex ante o intermedias

En estos casos, el análisis multicriterio puede utilizarse para:

• evaluar la aptitud de diversas acciones de un programa para alcanzar un determinado objetivo (p. ej. en un programa destinado a mejorar el nivel de salud de una población). Este trabajo puede realizarse tanto en fase ex ante como durante la fase de ejecución del programa, para registrar las valoraciones sobre su eficacia por parte de responsables y beneficiarios;
• estructurar las valoraciones de los responsables de proyecto o de programa sobre acciones en curso;
• discutir sobre el contenido de los programas y las asignaciones de los recursos entre acciones durante la elaboración de los Documentos Estrategia País o Regional (DEP) o de los Programas Indicativos Nacionales (PIN).

En evaluaciones ex post

Con toda probabilidad sería interesante utilizar más a menudo este instrumento en evaluación ex post, como método de análisis de objetivos complejos en los que existan divergencias entre los actores respecto a estrategias e intereses.

En el caso de terceros países, la introducción de este tipo de análisis en áreas como la lucha contra la pobreza, el mantenimiento del orden o la seguridad, el control de la inmigración o el desarrollo del comercio sería sin dudad de utilidad, con los medios correspondientes.

Consejos de utilización
Para llevar a buen puerto un análisis multicriterio en el marco de una evaluación país, se debe:

• determinar el tema objeto de análisis o reconstruir su lógica de intervención;
• seleccionar y constituir un grupo de juicio, teniendo en cuenta que debería estar formado por actores representativos de los distintos puntos de vista sobre el tema;
• definir una serie limitada de criterios  sobre los puntos más importantes en relación con los objetivos del programa;
• guiar a estos actores en la ponderación de los criterios (colectiva o individual) y en la valoración de la eficacia de las acciones por criterio;
• elaborar, tras los estudios de los actores, la tabla de valoración y, si es posible, discutirla con ellos.

La principal ventaja del análisis multicriterio es su utilidad para simplificar situaciones complejas. Efectivamente, se ha comprobado que, más allá de determinados criterios, la mayoría de los decisores no son capaces de integrar la totalidad de la información en su valoración. Descomponiendo y estructurando el estudio, el análisis multicriterio permite avanzar paso a paso hacia la búsqueda de una solución, con toda transparencia.

Un método comprensible

Aunque las herramientas matemáticas o cartográficas empleadas para tratar la información puedan ser complejas, las bases sobre las que se realiza la selección de los criterios y la puntuación de los resultados son a menudo sencillas, compresibles y determinadas por el grupo que conduce el análisis. Gracias a ello, los actores implicados pueden seguir con claridad el proceso y las selecciones realizadas.

Un método racional

Gracias al estudio homogéneo y simultáneo de un gran número de factores, este método permite también una valoración estable de los diferentes elementos incluidos en el análisis. En este sentido, racionaliza el proceso que conduce a las decisiones. 

Una herramienta de negociación útil en discusiones complejas

Dadas sus ventajas, el análisis multicriterio se ha convertido en un instrumento muy utilizado en la resolución de problemas complejos y en contextos conflictivos, como por ejemplo el de la ordenación territorial.

La claridad del método contribuye a "sosegar pasiones" durante el debate y a aumentar y desarrollar la comunicación entre los actores. Es, pues, una herramienta de negociación de gran utilidad en las discusiones entre los usuarios.

LímitesCondiciones previas

Un requisito previo para a realización del análisis es la existencia de un mínimo de puntos de acuerdo entre los actores. Así, por ejemplo, el análisis multicriterio de los objetivos operativos de un programa sólo puede llevarse a cabo si los actores coinciden en su objetivo global y, si es posible, en su objetivo específico. Por ejemplo: para hacer que los actores trabajen en el estudio de las variantes de un proyecto vial, es necesario que estén de acuerdo en la necesidad de mejorar la circulación automovilística en una zona determinada.

Dificultad de las discusiones

No hay que subestimar las dificultades operativas para seleccionar las acciones o alternativas a estudiar, para definir los criterios de comparación y elaborar las tablas de puntuación. A veces, las discusiones para resolver estos puntos, esenciales para el éxito del ejercicio, pueden ser largas y complicadas.

Disponibilidad de los datos

En determinadas situaciones, la falta de datos fiables en el plazo necesario para establecer y validar los métodos puede suponer un problema.

Factor tiempo

La duración de la ejecución del análisis (y su coste) es a menudo el factor más limitativo en el marco de una evaluación. Los análisis multicriterio suelen basarse en procesos prolongados e iterativos, que pueden requerir un importante y largo período de negociación. En el contexto de la evaluación, el factor tiempo en este tipo de análisis puede constituir un límite.

Tecnicidad del método

Es evidente que este tipo de análisis conlleva cierto grado de tecnicidad. Además de las herramientas informáticas que hay que saber manejar, los conceptos y los métodos matemáticos de agregación de datos requieren la cualificación adecuada; de lo contrario, se puede el análisis de forma confusa y llegarse a conclusiones erróneas.

Dimensión subjetiva del análisis

Aunque, sin lugar a dudas, el análisis multicriterio racionaliza el enfoque de problemas complejos, incluyendo datos objetivos y subjetivos, es cierto que puede ser considerado, por su detractores, como un método subjetivo.

El análisis multicriterio es un instrumento que funciona de forma independiente. Sin embargo, puede combinarse con herramientas de colecta y de análisis, según las necesidades específicas de cada situación. A continuación se muestran algunas de estas combinaciones (ni de forma exhaustiva ni limitativa).

Dados los costes asociados al uso de estas técnicas, en el marco de la evaluación estas combinaciones suelen ser limitadas.

Análisis coste-eficacia

Alguno de los criterios elegidos para el análisis multicriterio puede ser objeto de un análisis coste-eficacia.

Análisis SWOT (DAFO)

Como etapa previa al análisis multicriterio, el análisis SWOT(DAFO) puede ser de ayuda para definir los criterios de selección.

Panel de expertos

En un tema muy técnico, el panel de expertos puede ayudar al grupo de negociación a precisar su juicio sobre dicho tema, a participar en las ponderaciones, etc.

Herramientas de observación

Estudios de caso, encuestas con cuestionario o entrevistas de grupo pueden aportar información de base necesaria para el grupo, facilitando de este modo la selección de los criterios y su valoración.

Generalmente, la realización de este análisis lleva requiere tiempo, salvo en situaciones muy simples o en caso de recopilación de opiniones a posteriori. En las situaciones ex ante de ayuda a la decisión, los análisis multicriterio suelen durar varios meses.

Recursos humanos

Salvo en casos muy sencillos, el análisis multicriterio implica la intervención de diversos grupos de actores.

Salvo en casos muy sencillos, el análisis multicriterio implica la intervención de diversos grupos de actores.
Básicamente, el análisis multicriterio requiere la intervención de los siguientes actores:

• el grupo de negociación (en planificación) o de juicio (en evaluación), denominado en este documento "el grupo": formado por las personas que aportan su conocimiento y punto de vista sobre el tema analizado;
• el coordinador: guía al grupo en las diferentes etapas del análisis. Debe conocer bien el método y, en casos de fuertes divergencias en el seno del grupo de negociación, desbloquear la situación.

Grupo o equipo técnico

Según la envergadura y la tecnicidad de la misión, pueden intervenir en el análisis otros actores:

• un ayudante técnico que domine a la perfección el uso de los programas necesarios para la realización de determinados análisis multicriterio (por ejemplo programas informáticos específicos o sistemas de información geográfica) y que, por otro lado, debe ser capaz de elaborar datos fácilmente comprensibles por un público no especializado;
• expertos encargados de la recopilación de datos para el grupo de negociación, con el fin de completar la información según se avanza en el estudio.

Recursos financieros

La envergadura de los recursos financieros puede ser muy variable. En el marco de la evaluación de la ayuda al desarrollo, la factibilidad de un análisis multicriterio implica cierto grado de sencillez y coste reducido.

Sin embargo, en el marco de la evaluación ex ante, y según los presupuestos asignados, el análisis multicriterio puede llegar a ser bastante complejo, de una envergadura comparable a los realizados en el contexto de la ayuda a la planificación o a la decisión en los programas de ordenación.

.

.

ETAPA 1: Determinar el ámbito de aplicación e identificar la lógica de intervenciónDeterminar el ámbito de aplicación

En el contexto de la evaluación, el análisis multicriterio no se suele emplear para el conjunto de los temas objeto del estudio. Por esta razón, a menudo es aconsejable precisar ante todo en qué ámbito de la evaluación va a aplicarse.

Identificar la lógica de intervención

Cuando el equipo de evaluación ya haya determinado el ámbito de aplicación del análisis, es importante tener presente el marco lógico de la intervención o, si no existe, definirlo. En efecto, es fundamental que, en un proceso en que los actores van a tener que valorar acciones alternativas, la lógica de intervención esté absolutamente clara y a disposición de todos.

El análisis multicriterio se basa en valoraciones (puntuaciones) y la selección por preferencias que efectúan los miembros de un grupo de negociación (en el contexto de la planificación) o de un grupo de juicio (en el contexto de la evaluación).
Para poder guiar el análisis, el equipo de evaluación debe, pues, seleccionar a dicho grupo.
Se trata de una selección crucial y compleja a la vez. Los actores del ámbito analizado pueden pertenecer a dos grandes categorías:

Actores directos

Los actores "directos" son aquellos a quienes atañe el ámbito de la evaluación porque el programa les concierne directamente (por ejemplo beneficiarios, o víctimas), así como los especialistas en el tema, los responsables administrativos en el ámbito en cuestión, etc.

Delegados de los actores directos

Los delegados pueden ser autoridades y representantes (territoriales o profesionales), responsables de ONG (por ejemplo asociaciones de personas afectadas, para la protección del medio ambiente, para la defensa del consumidor, representantes de los intereses de la mujer, etc.), responsables administrativos directamente relacionados con el ámbito del estudio, representantes de los donantes implicados, etc.

Los miembros del grupo suelen pertenecer a esta segunda categoría.

Competencias de los miembros del grupo

Los miembros del grupo deben conocer adecuadamente el tema objeto de debate y, sobre todo, saber que su punto de vista podrá ser discutido y replanteado por otras personas.

Representatividad de los miembros del grupo

Es responsabilidad del equipo de evaluación controlar que todos los grupos de actores relacionados con las acciones que se cotejan tengan la representación necesaria, y de forma equitativa.

Posibilidad de designar a más de un grupo

En algunas evaluaciones, se constituyen dos grupos distintos. Por un lado, un grupo de especialistas capaces de puntuar las acciones que se comparan en relación con el criterio de juicio (por ejemplo la aptitud de una acción determinada para garantizar la supervivencia de las empresas beneficiarias de la ayuda) y, por el otro, un grupo de responsables que, a un nivel más decisorio, se encargue de la ponderación de los criterios de juicio. Esta forma de estructurar el grupo no suele llevarse a cabo en las evaluaciones país ya que puede hacer más compleja la organización del estudio y aumentar sus costes.

Necesidad de acuerdo entre los miembros del grupo respecto del objetivo global

Para que el grupo pueda funcionar, es fundamental que exista acuerdo entre sus miembros respecto del objetivo global de la intervención (por ej. mejorar el grado de protección del entorno natural en una zona determinada). Si hay desacuerdo en el objetivo general, será muy difícil trabajar en objetivos específicos (por ej. proteger la biodiversidad forestal), y aún más en objetivos operativos o acciones destinadas a la consecución de dicho objetivo (por ej. impulsar la certificación de gestión forestal sostenible, crear reservas naturales, etc.).

Según la envergadura y complejidad de los estudios, este equipo puede ser más o menos grande.

El coordinadorPrincipales cometidos

Se trata de una persona clave e imprescindible en el dispositivo. Su función es fundamental, ya que es imposible que un grupo sea capaz de realizar tal ejercicio sin que haya una coordinación.

Sus principales cometidos son:

• delimitar el tema objeto del análisis y dilucidar la problemática estudiada;
• ayudar a los participantes en la tarea de reelaboración del marco lógico del proyecto o del programa evaluado;
• participar en la definición de las acciones, alternativas o escenarios que haya que incluir en el análisis multicriterio;
• ayudar al grupo a identificar criterios de juicio y a elaborar reglas de ponderación;
• ayudar al grupo en la puntuación de las acciones por criterio;
• decidir, de común acuerdo con el grupo, la realización de estudios complementarios llevados a cabo por expertos para facilitar las decisiones del grupo;
• garantizar, en caso necesario, la asistencia técnica de una persona que domine a la perfección los programas informáticos necesarios para realizar determinados tipos de análisis multicriterio;
• coordinar el funcionamiento del proceso de análisis en su globalidad, manteniendo la cohesión del grupo y asegurándose de que todos participen.

Requisitos

La elección del coordinador debe basarse en su experiencia en este tipo de tarea. También se valorarán sus conocimientos en el campo objeto de estudio. Es importante que el coordinador conozca a la perfección los posibles sesgos del método, a fin de evitar la formulación de resultados erróneos; en efecto, determinadas operaciones matemáticas pueden resultar algo opacas para los miembros del grupo (por ej.: diferencia de clasificación entre dos acciones según se emplee la suma ponderada o el producto ponderado).

En evaluaciones país, es fundamental que el coordinador esté suficientemente familiarizado con el contexto de la ayuda al desarrollo.

La asistencia técnica y los expertosLa asistencia técnica

Es proporcionada por una persona ("ayudante técnico") que domina el funcionamiento de los programas necesarios para realizar determinados análisis multicriterio.

En la mayor parte de análisis multicriterio de importancia es necesario recurrir a programas informáticos de cálculo, a veces incluso cartográficos. El empleo de estas herramientas requiere evidentemente la cualificación adecuada, por lo que es imprescindible recurrir a una persona con los conocimientos técnicos necesarios para manejar estos programas. Finalmente, es importante que el técnico sepa formular los resultados de forma que sean fácilmente comprensibles.

Los expertos

Puede suceder que, lo largo del análisis, el grupo requiera información adicional para poder continuar con su trabajo (por ej. una mayor precisión en determinados efectos sobre el medio ambiente que pueda producir una acción). En estos casos, es necesario recurrir a uno o a diversos expertos competentes en la materia.

La participación de estos expertos puede reducirse a una sencilla opinión o, en determinados casos, llegar hasta la realización de estudios en mayor profundidad.

Según sean sus objetivos, el análisis multicriterio ayudará a comparar:

• escenarios o soluciones potenciales en un ejercicio de planificación o de evaluación ex ante (p. ej. medidas susceptibles de disminuir el índice de pobreza);
• alternativas de un proyecto de infraestructura (p. ej. situación de un puerto, trazado de una carretera, etc.);
• acciones ejecutadas en el marco de un programa (p. ej. valoración de distintas acciones dentro de un mismo programa de educación).

Evidentemente, la selección de las distintas alternativas es crucial, y todos los participantes deben entender sus mecanismos. A veces las soluciones son de fácil visualización (como por ejemplo dos trazados viarios mostrados sobre plano), pero en otros casos resulta más complejo (por ejemplo distintas modalidades de ayuda a las empresas).

El coordinador será el encargado de comprobar que todos los miembros del grupo han comprendido bien el contenido de cada una de las acciones que se comparan.

Elaboración de una lista de acciones

El final de esta cuarta etapa consistirá en la elaboración de una lista de las acciones, escenarios o alternativas que se incluirán en el análisis.

Definición del contenido de las acciones

En algunos métodos, esta lista puede irse ampliando a medida que se avanza en el estudio gracias a un reiterado proceso de reflexión que sirve tanto para elegir la solución óptima (o consensuada según el caso) como para pulir el contenido de las acciones.

En determinados ejercicios, la definición de las acciones puede ser especialmente prolongada y sofisticada. A menudo, el evaluador interviene una vez finalizada esta etapa para ayudar a elegir entre las posibles acciones de un programa, por ejemplo en el contexto de una evaluación ex ante.

Se trata de una etapa central del análisis multicriterio; puede llegar a ser muy técnica y, como mínimo, debe responder a una serie de reglas.

Reglas de selecciónCaracterísticas generales de los criterios

Las reglas básicas para establecer los criterios de juicio pueden resumirse de la siguiente forma:

• los criterios deben definirse antes de realizar el análisis, a partir de unas reglas que todos los participantes conozcan y acepten;
• deben contemplar todos los puntos de vista expresados por los miembros del grupo (p. ej. inquietudes económicas o ecológicas de algunos actores);
• no deben ser redundantes entre sí (p. ej. no debe considerarse una misma preocupación en diversos criterios);
• deben formar un conjunto coherente que conduzca a resultados plausibles e indiscutibles.

Ejemplo: oposiciones o prueba de selección para acceder a un puesto de trabajo

Imaginemos que una empresa busca contratar a un empleado de determinado nivel y, para ello, saca la plaza a concurso; para ello, podría utilizar los siguientes criterios:

• superación de un examen escrito organizado por la empresa, con exigencia de notas mínimas en las materias consideradas más importantes;
• valoración de la motivación y de la experiencia del candidato mediante entrevista de trabajo;
• nivel de salario solicitado por el candidato.

En este ejemplo, los criterios son de fácil comprensión y aceptación. Se establecen antes de sacar la plaza a concurso, de forma que no puedan producirse sesgos a causa de la preferencia de un miembro de la empresa por uno de los candidatos. La dirección de la empresa se asegura previamente de que todas las opiniones respecto al sistema de contratación establecido se hayan tenido en cuenta.

Los criterios no son redundantes, aunque probablemente exista cierta relación entre el salario solicitado y el grado de experiencia del candidato. Los criterios son coherentes, es decir, si dos candidatos obtienen la misma puntuación en dos de los tres criterios, el tercero permitirá el desempate sin que pueda haber reclamación.

Este ejemplo, deliberadamente simplificado, muestra el razonamiento empleado para la elaboración de los criterios en una situación corriente.

Familias de criteriosCuatro familias de criterios

Los criterios pueden ser muy variados. En la literatura sobre el análisis multicriterio, es habitual encontrar las siguientes familias de criterios, fácilmente aplicables a todos los campos:

• económicos,
• medioambientales,
• sociales u organizativos,
• legales y políticos.

Si es necesario, a estos grupos pueden añadirse criterios tecnológicos, especialmente vinculados a la fiabilidad de determinadas tecnologías y de los criterios de utilidad del programa.

Criterios en el ámbito de la ayuda al desarrollo

Partiendo de las cuatro familias antes mencionadas, véanse a continuación algunos ejemplos relacionados con el ámbito de la ayuda al desarrollo:

• criterios económicos: coste de la acción, aptitud de una acción para crear empresas viables o empleos, para suscitar la entrada de divisas, reducir el índice de pobreza, etc.;
• criterios medioambientales: aptitud de una acción para mejorar la calidad del agua, para articular el reciclaje de residuos, para proteger determinada especie vegetal, etc.;
• criterios sociales: aceptabilidad social de la acción, adecuación a las costumbres locales, efecto de la acción en las minorías, idoneidad para mejorar la tasa de alfabetización, la salud materna, el ratio niños/niñas en la escuela, etc.;
• criterios legales y políticos: riesgos políticos que comporta una acción, conformidad de la acción con las normativas nacionales, etc.

¿Cómo definir los criterios con el grupo?

Las técnicas son muy variadas, desde el brainstorming ("tormenta de ideas") hasta una lista predeterminada por el coordinador o por subequipos técnicos de trabajo.

Al finalizar este ejercicio, que en ocasiones puede ser largo, el sistema de criterios definido debe incluir todos los puntos de vista, de un modo u otro.

Salvo que el grupo no conozca debidamente el tema analizado y olvide puntos importantes, dicha selección de criterios podrá considerarse completa cuando el grupo no tenga nada que objetar al respecto. Esto ocurre generalmente cuando cada miembro del grupo dispone de un criterio para el que la acción que él prefiere se sitúa en primer lugar.

Utilización de las familias de criterios

Es importante remitirse a las familias de criterios para asegurarse de no olvidar ninguno.

Ejemplo: criterios para el análisis multicriterio de un programa de gestión de residuos urbanos

Veamos a modo de ejemplo los criterios que podrían seleccionarse para realizar la evaluación ex ante de una serie de acciones en el marco de un programa de gestión de residuos urbanos en un país en desarrollo:

• criterios económicos: coste de las instalaciones de recogida y tratamiento de los residuos, de su transporte, del personal y del mantenimiento, etc.;
• criterios medioambientales: sensibilidad a la contaminación de los centros de almacenamiento (vertederos...), control de las emisiones en los humos de incineración, superficie necesaria, etc.;
• criterios sociales u organizativos: necesidad de desplazar a población, implicación de los beneficiarios, necesidad de soporte técnico, etc.;
• criterios legales y políticos: conformidad de las futuras instalaciones con la legislación y las normativas nacionales, oportunidad de crear empleos locales, aceptabilidad de las instalaciones por parte de la población, etc.

Si es necesario, cada uno de los criterios puede dividirse en subcriterios, por ejemplo la implicación de los beneficiarios podría subdividirse en criterios como: accesión a sufragar gastos, a proporcionar una parte del trabajo, etc.

Una vez los criterios definidos, una de las reglas del análisis consiste en ponderar estos criterios asignándoles un peso relativo que sea el indicador de su importancia relativa a los ojos de los actores.

Así, en el caso de la enseñanza media, los coeficientes asignados a las materias durante la evaluación de los alumnos constituiría un ejemplo sencillo de ponderación de los criterios: una materia se juzga más importante que otra y, por lo tanto, su peso en la media será mayor.

Algunos análisis multicriterio parten del consenso respecto al peso de los criterios (por ejemplo en los concursos públicos, en los que las reglas de juicio fijan de antemano el peso de los criterios). En ese caso, el grupo de juicio (que sería en el ejemplo la comisión de licitaciones) se limita a atribuir puntuaciones por criterio a cada propuesta.

Sin embargo, en la mayoría de los casos, el peso de los criterios no depende de un consenso, por lo que cada actor puede asignar un peso distinto a cada criterio.

Como en la etapa de selección de los criterios, en esta fase pueden manifestarse importantes divergencias de opinión entre los actores. 

Ponderación mediante el uso de coeficientes

El ejemplo de uso de coeficientes más conocido es el de la evaluación de los alumnos a lo largo de su trayectoria.

En los casos más sencillos, se le puede pedir al grupo que otorgue a los criterios una escala de valores cardinales, asignándoles por ejemplo coeficientes (p. ej., a cada criterio se le asigna un coeficiente entre 1 y 5, que refleja su peso o importancia relativa).

Otra solución sencilla sería la designación de una cantidad total de puntos que cada uno de los actores debería distribuir entre los distintos criterios (p. ej. repartir un total de 20 puntos entre un total de 6 criterios). En este último caso, y si se emplea el método del producto ponderado, habrá que asegurarse de que no se haya dado valor 0 a ningún criterio.

Tabla de ponderación de los seis criterios mediante el empleo de coeficientes

En esta tabla vemos como los distintos actores pueden asignar su particular puntuación a los criterios a partir de una cantidad total (en este caso de 20 puntos). La columna de la derecha muestra el nivel de consenso (o de desacuerdo) que puede existir entre los actores en relación con cada uno de los criterios.

Ponderación mediante el método del 'juego de naipes'

Para los casos más complejos, se han desarrollado diferentes métodos que ayudan a formalizar estas ponderaciones (método Macbeth, matriz de resistencia, etc.).

Entre estos métodos hay uno que, por un lado, es lo bastante sencillo como para que todos los interesados puedan entenderlo y, por el otro, lo bastante elaborado como para considerar nociones como la equivalencia, la preferencia y la clara preferencia. Como si de un juego de naipes se tratase, funciona de la forma siguiente:

• Todos los criterios se anotan en una serie de tarjetas o cartulinas, tipo baraja, y también pueden dejarse algunas en blanco (sin criterio escrito).
• Cada uno de los miembros del grupo recibe una serie de cartas con los criterios, y tantas cartas blancas como desee.
• Se trata de clasificar los criterios por orden (generalmente por orden decreciente de importancia). Este método contempla dos interesantes posibilidades: se pueden colocar diversos criterios en el mismo nivel (equivalencia), y se pueden insertar cartas blancas entre dos criterios para marcar la intensidad de la preferencia.
• Entre todos los participantes se deben fijar dos sencillas reglas al principio: el número de niveles de cartas admitidos (p. ej., no se admiten más de 8 niveles de clasificación de los criterios) y el modo de puntuación (p. ej., la distancia entre la mejor y la peor puntuación no puede superar una razón de 5). El siguiente ejemplo emplea los valores mencionados.

Gracias a este método se obtiene una clasificación de los criterios cuya ponderación refleja de forma bastante afinada la noción de preferencia.

Método del 'juego de naipes'

En este ejemplo, la puntuación de los distintos niveles posibles refleja las distancias decididas: los 8 niveles reciben de forma lineal puntuaciones entre 5 y 1. Para el actor x, los criterios C1 y C5 son los más importantes, pero no expresa ninguna preferencia entre ellos. El criterio C7 obtiene un buen puesto en la clasificación pero el actor ha querido señalar la diferencia de importancia que para él separa a este criterio de los dos primeros insertando una carta blanca. Y así sucesivamente hasta llegar al criterio C6, que no sólo es el menos importante para esta persona, sino que subraya el grado de esta opinión separándolo de los demás mediante tres cartas blancas.

Establecimiento de umbrales de veto, indiferencia y preferencia

Definición del umbral de veto

Determinados criterios pueden tener tanta importancia que requieran un tratamiento distinto de los demás. Es el caso de los criterios en los que puede introducirse la noción de umbral de veto. Según las decisiones del grupo, puede aplicarse en valor absoluto o relativo, intervenir solo o en serie, etc.

Ejemplos

En un examen para la obtención de un título, se puede exigir a los candidatos que saquen una media superior a 10 y que, al mismo tiempo, no obtengan menos de 5 en cada materia. Se trata de dos umbrales límites o de veto que intervienen en serie.

En caso de diferencia de coste entre dos proyectos u ofertas, podrían aplicarse valores relativos: por ejemplo, se puede fijar un criterio según el cual, independientemente de la diferencia de calidad entre los proyectos, el coste del mejor proyecto no supere en ningún caso el doble del siguiente.

Umbral de veto impuesto por la normativa

También pueden intervenir umbrales de veto correspondientes a la normativa vigente en un ámbito determinado. Si, por ejemplo, durante el estudio del trazado de una carretera los análisis detallados realizados a medida que se avanza en el proceso de definición del trazado muestran que una variante puede destruir un biotopo determinado, la propia normativa al respecto puede actuar como umbral de veto y eliminarse la posibilidad de dicha variante.

Definición del umbral de preferencia y del umbral de indiferencia

La definición de umbrales de preferencia y de indiferencia es también digna de consideración, especialmente en análisis largos y complejos.

Puede darse el caso de que haya actores que sólo dispongan de material de referencia general sobres estos temas y no apliquen las reglas de la misma forma, lo que a veces puede comportar sesgos.

Por ejemplo, si los umbrales de preferencia e indiferencia no se definen claramente al principio del proceso, dos actores con opiniones muy similares pueden clasificar dos acciones de forma distinta: uno las puede situar al mismo nivel y otro a niveles distintos.

Así pues, estos umbrales deben quedar bien claros, por criterio y por actor; generalmente, se fijan en función del grado de precisión de los datos que permiten medir el criterio.

Test de sensibilidad Objetivos

Cuando se ha elaborado junto con el grupo el conjunto del sistema para preparar el análisis, es importante probar su sensibilidad. El test de sensibilidad consiste en la observación del efecto de las modificaciones de los parámetros elegidos por el grupo sobre los resultados del análisis.

De esta forma se pueden someter a prueba las reglas fijadas por el grupo para averiguar, por ejemplo, si variaciones en la puntuación de los resultados por criterio, en la ponderación, en la agregación de subcriterios en un solo criterio o en la definición de un umbral tienen un efecto importante o no en los resultados del análisis.

En los análisis largos y complejos, este tipo de tests puede realizarse en diversas etapas del proceso. 

Utilidad de los programas informáticos

La realización de estos tests puede simplificarse bastante si el análisis se lleva a cabo con la ayuda de un programa informático que permita reproducir de forma instantánea los resultados de estas simulaciones. 

Ventaja del test

Además de permitir comprobar el buen funcionamiento del sistema establecido, estos tests -que preferiblemente deben ser realizados por los miembros del grupo- resultan muy didácticos y contribuyen a demostrar la fiabilidad del sistema.

Una vez definidos los criterios, corresponde a cada uno de los actores emitir su juicio sobre cada una de las acciones que se comparan, en relación con cada uno de los criterios.

Estudio del impacto de las acciones en relación con los criterios En evaluación ex ante

En el marco de una evaluación ex ante, este estudio es prospectivo. Puede basarse en la opinión de expertos, en estadísticas o, según la complejidad del asunto, en modelos predefinidos.

En esta fase, se trata pues de intentar asignar valores a los impactos de cada acción en relación con el criterio (p. ej., al criterio "efecto de la acción sobre la seguridad vial" se intenta aportar una respuesta en términos de disminución del número de accidentes en carretera).

En evaluación ex post

En el marco de una evaluación ex post, se puede realizar el mismo ejercicio que en la evaluación ex ante a partir de los resultados obtenidos. A veces, estas estadísticas pueden presentar lagunas; en ese caso, los datos pueden ser reconstruidos a partir de la opinión de los expertos.

Ejemplo: realización de un estudio de impactos por parte de expertos

Esta evaluación puede ser cuantitativa (p. ej. número de empleos creados), pero también cualitativa (p. ej. se puede responder al criterio "impacto paisajístico" mediante una escala del tipo "moderado, medio, fuerte").

Asimismo, la evaluación puede ser relativa; por ejemplo, al criterio "aceptabilidad social de la acción x", se puede responder simplemente que, según el actor y, la acción A es más aceptable que la acción B.

Así, los resultados de este análisis de impactos pueden ser de carácter muy diverso, proceder de cálculos técnicos muy complejos o sencillamente de la opinión de expertos en la materia en cuestión.

Puntuación y juicio de las acciones por criterio

El resultado del trabajo anterior es la calificación y, por ende, la valoración mediante un juicio de cada una de las acciones en relación con cada criterio.

El juicio es emitido por el grupo, mientras que el estudio de impactos puede ser realizado previamente por especialistas en el tema objeto de estudio.

El objetivo de esta fase es llegar a otorgar a cada acción una puntuación por criterio. Gracias a estas calificaciones se pueden comparar, por un lado, las acciones entre sí y, por el otro, las opiniones entre los distintos actores respecto de una misma acción.

Transformación de juicios cualitativos en valores

Si no se tiene la posibilidad de recurrir a programas informáticos que permitan acceder a las distintas posibilidades del análisis multicriterio, se pueden facilitar los cálculos y el progreso del análisis transformando las opiniones cualitativas en valores, aunque esta operación empobrezca a veces la calidad de la información manejada.

Ejemplo de puntuación de las acciones

Veamos las dificultades que podría suponer la expresión en valores en el caso del estudio de impactos realizado por expertos que se mostraba en la tabla anterior, es decir, dos acciones evaluadas en relación con tres criterios (número de empleos creados, impacto paisajístico y riesgo de oposición de los habitantes).

El número de empleos creados podría ordenarse por categorías mediante la asignación de una nota a cada categoría, por ejemplo 1 para cero empleos creados, 2 para la creación de 1 a 50 empleos, etc., hasta una puntuación máxima definida por el grupo (por ejemplo 5).

En cuanto a la noción relativa a la oposición por parte de los lugareños, que puede ser más o menos fuerte para cada acción, la transformación en valor es más compleja. Una forma de salvar esta dificultad es conseguir que los actores expresen su percepción de la distancia entre dos situaciones.

Si, en el ejemplo mencionado, el riesgo de oposición por parte de los habitantes es más grande en el caso de A que en el caso de B, ¿es posible describir el grado de esta distancia (p. ej. con "bajo, medio, alto, muy alto, etc.)? 

Utilización de programas adecuados

El desarrollo de las herramientas informáticas de apoyo para la realización de análisis multicriterio permite integrar fácilmente estas nociones de preferencia, a las que no corresponde ningún valor absoluto.

Se trata de un punto crucial del análisis, y no precisamente el más sencillo. 

Comprobación de las posibilidades de agregación

Cuando ya se han puntuado las distintas acciones por criterio, la primera idea que suele proponerse es la aplicación de operaciones matemáticas simples para comparar las acciones. Sin embargo, es importante controlar bien los métodos empleados ya que, de lo contrario, el riesgo de incoherencias y de resultados poco o nada fiables es elevado.

Para empezar, hay que comprobar que todos los datos funcionan en el mismo sentido en relación con la preferencia de los actores del grupo (p. ej., se prefiere tal superficie para la realización de una obra aunque ésta sea más reducida). El empleo de puntuaciones por criterio empleando clases (p. ej. clase de superficie de construcción) o rangos (p. ej. acción clasificada en primer lugar para un criterio determinado) permite relativizar las distancias entre los criterios.

Sin embargo, sigue existiendo riesgo de llegar a resultados poco satisfactorios. En esta fase, es importante comprobar si diversas maneras de dirigir la operación conducen a resultados similares o, por el contrario, exageradamente dispares (p. ej. una acción que ocupe el primer lugar en una matriz y el último en otra tan solo modificando una escala en un parámetro).

Métodos de agregación de juiciosSuma ponderada

El método de la suma ponderada es perfectamente aplicable a medidas de valores reales, comparables entre sí. Sin embargo, enseguida se revela confusa cuando intervienen valores de distinta naturaleza.

Si el grupo decide aplicar el método de la suma ponderada para agregar los resultados, significa que acepta que entre los criterios es posible toda compensación.

Producto ponderado

El método del producto ponderado también se utiliza muy a menudo. A pesar de los riesgos matemáticos, su empleo permite considerar mejor los extremos. En este sentido, es más adecuado para incluir lo que algunos miembros del grupo puedan considerar como no (o mal) compensable. Por otro lado, con este sistema el veto se puede expresar con valor igual a cero en la puntuación de un criterio.

Ejemplo de análisis de los resultados según el método de agregación

La tabla que aparece a continuación muestra el resultado de un análisis simple a partir de tres acciones y tres criterios valorados mediante puntuaciones comprendidas entre 0,05 y 1, utilizando los métodos de la suma ponderada y del producto ponderado.

En esta tabla se hace patente que el resultado del análisis no es el mismo según se emplee la suma ponderada o el producto ponderado.

La introducción del valor 0 en el producto ponderado conduciría a suprimir la acción, actuando como veto.

Asimismo, la tabla muestra la relativa fragilidad de estos métodos, aunque sean frecuentemente empleados en situaciones como, por ejemplo, la calificación de los alumnos en clase, o en la adjudicación de licitaciones.

Existen otras técnicas matemáticas para intentar evitar los posibles desvíos, como los que muestra el ejemplo. Se trata de métodos que pueden llegar a ser muy técnicos y requerir la ayuda de un especialista, especialmente para conocer los límites que implica su uso.

Métodos basados en las relaciones de superación ('outranking')Conceptos básicos para calificar la preferencia de los actores

Los especialistas en el ámbito de la decisión multicriterio enseguida se vieron enfrentados a una serie de dificultades cuando las acciones alternativas eran poco o incluso nada comparables entre sí (por ejemplo, en el marco de un programa de salud, una acción de vacunación y otra acción de carácter informativo).

A partir de ahí, se han desarrollado tres conceptos básicos para valorar la noción de preferencia en los análisis multicriterio más recientes:

• la preferencia, que indica claramente que un actor se decanta más por una acción que por otra;
• la indiferencia, que se da cuando el actor no se inclina de manera suficientemente clara y razonable por ninguna de las dos acciones (equivalencia);
• la incomparabilidad, que es la dificultad con que tropieza un actor para comparar dos acciones entre sí. La relación de superación se basa entonces en la premisa de que, entre dos acciones incomparables o de difícil comparación, el actor se pronuncia de esta manera: "la acción A es al menos tan buena, o no peor, que la acción B".

En evaluaciónUtilización de programas informáticos

Los métodos que abarcan conceptos tan sutiles como estos, indispensables en el análisis de preferencias, se basan en el empleo de programas informáticos que facilitan enormemente la elaboración de los resultados, del test de sensibilidad, de los procesos iterativos, etc., así como la excesiva complejidad de los cálculos (¿Cuáles son las ventajas y los límites del análisis multicriterio?)

En évaluation

En el contexto de la evaluación ex ante, herramientas como estas pueden utilizarse en tipos de programación que justifiquen su empleo desde el punto de vista financiero.

En las evaluaciones de estrategias de ayuda externa en las que el evaluador no interviene realmente ni en ex ante ni en ex post y en las que los plazos son muy reducidos y los medios limitados, el uso de este tipo de instrumentos se hace más difícil.

Elaboración de la tabla de valoración

Independientemente de los métodos elegidos para la realización de los cálculos y agregaciones, con el análisis multicriterio se llega a una tabla (o varias) de valoración que permite sintetizar los resultados obtenidos por acción respecto de cada criterio (y eventualmente respecto de cada actor). 

En el caso de una ponderación consensuada de los criterios

Si se trata de un trabajo en el marco de un consenso de grupo (por ejemplo la dirección de una empresa) y/o si se manejan criterios con pesos idénticos para todos (por ejemplo para los profesores en la calificación de los alumnos), la tabla de valoración representa el resultado del análisis multicriterio.

En el caso de distinta ponderación según los actores

Si el análisis multicriterio se realiza a partir de ponderaciones propias de cada actor, es necesario interpretar las tablas de valoración, e incluso es posible que haya que volver a recurrir al grupo para poder seguir avanzando en el análisis.

Esta última operación puede llevarse a cabo a partir de:

• • la simple restitución al grupo de los juicios de cada miembro en el caso de que el análisis multicriterio no conlleve negociación, lo que puede ser el caso en evaluación;

• la búsqueda de la mejor o de las mejores soluciones para el grupo. Existen diferentes técnicas: eliminar las acciones "menos buenas" (las que han obtenido las puntuaciones más bajas o el nivel mínimo de preferencia) o intentar encontrar las mejores (nivel máximo de preferencia). Estas técnicas, a menudo iterativas en esta fase, tienen por objeto tender hacia un verdadero consenso.

.

.

• Ejemplos

.

.

• COMISIÓN EUROPEA, cuadernos MEANS: "Evaluer les programmes socio-économiques. Fonds Structurels communautaires". Colección Means, 1999.
• ROY, Bernard y BOUYSSOU, Denis: "Aide multicritère à la décision: méthodes et cas". Ed. Economica, París, 1993.
• MAYSTRE, Lucien Yves y BOLLINGER, Dominique: "Aide à la négociation multicritère. Pratique et Conseils". Ed. Presses polytechniques et universitaires romandes, Lausana, 1999.
• SCHÄRLIG A.: "Décider sur plusieurs critères, panorama de l'aide à la décision multicritère". Ed. Presses polytechniques et universitaires romandes, Lausana, 1990.

Existen también diversos programas informáticos que pueden utilizarse como herramienta de apoyo para la realización de estos análisis (como la serie de los Electre, Prométhée, etc.)