Evaluation methodological approach

.

Qu'est ce que l'analyse multicritère?Objectifs

L'analyse multicritère est une méthode qui permet d'orienter un choix sur la base de plusieurs critères communs. Cette méthode est essentiellement destinée à la compréhension et à la résolution de problèmes de décision. Elle est utilisée pour porter un jugement comparatif entre des projets ou des mesures hétérogènes. De ce fait elle peut être utilisée en évaluation.

Ainsi, sur la base de plusieurs critères, les décideurs sont en mesure d'intégrer, dans un cadre prospectif ou rétrospectif, la diversité des opinions concernant les projets, pour formuler un jugement.

Cette méthode implique la participation des acteurs (décideurs, techniciens, bénéficiaires, etc.) et aboutit à des conseils opérationnels et à des recommandations.

Son but est d'aboutir à une solution par la simplification du problème, tout en respectant les préférences des acteurs.

Origine

A l'origine, cette méthode a été développée dans le cadre des sciences économiques et du génie industriel.

L'analyse multicritère, également nommée " aide multicritère à la décision ", connaît un développement très important depuis la deuxième moitié des années 1970 et peut être désormais considérée comme un outil scientifique à part entière.

Principales utilisations

Parallèlement au développement de l'outil, ses formes d'utilisation ont évolué. L'analyse est dorénavant principalement utilisée pour fournir aux décideurs des outils leur permettant de progresser dans la résolution de problèmes décisionnels faisant intervenir plusieurs points de vue, même s'ils sont contradictoires.

Conditions d'emploi

Pour pouvoir être conduite, l'analyse multicritère nécessite de disposer d'un ensemble d'actions ou variantes en compétition. Pour ces actions l'analyse va successivement bâtir :

• une famille de critères, permettant de juger ces actions,
• un tableau de performance des actions par critère,
• une agrégation des résultats aboutissant à un classement par préférence.

L'analyse multicritère peut se faire à partir d'informations à la fois objectives et subjectives.

Il existe de nombreuses méthodes de mise en œuvre de d'analyse multicritère qui peuvent se regrouper en 4 catégories distinctes.

Sans compensation

Les méthodes sans compensation comprennent une hiérarchisation des critères et une définition de seuils binaires pour chaque critère. Elles conduisent lors de l'examen systématique des actions pour chaque critère, à leur exclusion ou à leur maintien, pour examen au regard du critère suivant, et ainsi de suite.

Par exemple, les phases préliminaires d'évaluation des offres de candidats aux appels d'offres de la Commission européenne utilisent cette catégorie de méthodes : critère d'exclusion, puis critère de sélection, etc.

Agrégation complète

Dans les méthodes par agrégation complète, un indice de synthèse permet de représenter l'agrégation de tous les critères. Ceci implique que les critères soient tous mesurables et que les préférences soient mathématiquement rationnelles. 

Dans cette catégorie d'analyses multicritère, les compensations peuvent se faire et toutes les variantes sont comparables. Elle s'applique aux situations simples et circonscrites.

Les méthodes : moyenne pondérée, Utilité Additives (UTA), Goal Programming, Analytic Hierarchy Process (AHP) et Multi Attribute Utility Theory (MAUT) font partie de cette catégorie.

La plus simple de ces méthodes, la moyenne pondérée, analyse, par exemple, la moyenne obtenue par un élève lors d'un examen. Les critères correspondent aux matières, leur pondération aux coefficients et les performances aux notes attribuées par matière.

Agrégation partielle

Les méthodes par agrégation partielle se caractérisent par la prise en compte de situations d'incomparabilité en adoptant un système de préférence.

L'analyse est conduite sur la base d'une comparaison entre des actions classées par couple et basée sur un indice de surclassement.

Ces méthodes présentent l'avantage de pouvoir comparer des situations complexes, naturellement incomparables en incluant des critères de natures très différentes (objectifs et subjectifs).

C'est dans cette catégorie que se trouvent les méthodes les plus connues comme Electre, Prométhée, Oreste, Macbeth etc.

Agrégation locale

La particularité des méthodes par agrégation locale repose sur un caractère itératif, basé sur les préférences du décideur.

Ce type de méthodes sélectionne une variante, élabore un proposition de quelques alternatives puis reprend l'analyse en boucle.
Ces approches ne mettent en jeu qu'un petit nombre d'actions et nécessitent une grande implication des décideurs.
Parmi ces méthodes figurent la programmation linéaire multiple, PREFCALC, UTA interactive, etc.

.

.

Quels sont les usages de l'analyse multicritère?Aide à la planification

L'analyse multicritère est avant tout un outil lié à la prise de décision. Elle est donc souvent utilisée pour aider à la planification et dans les analyses ex ante qui peuvent y être associées.

L'analyse multicritère sert surtout à comparer plusieurs variantes (tracés routiers, choix d'aménagement du territoire, offres d'un marché public, etc.) ou plusieurs mesures d'un programme.

En évaluationEn évaluation ex ante

Dans le cadre de l'évaluation, l'analyse multicritère est plutôt un outil de l'évaluation ex ante. Elle est plus particulièrement utilisée dans l'élaboration des choix stratégiques d'intervention. Elle peut être encore utilisée comme outil de négociation pouvant alimenter les débats autour des choix des priorités stratégiques d'intervention.

En évaluation ex post

Dans le cadre de l'évaluation ex post, l'analyse multicritère peut contribuer à l'évaluation d'un programme ou d'une politique à partir d'un bilan de ses effets.

Une des particularités de l'outil, lorsqu'il est appliqué à des situations complexes, avec des acteurs aux opinions souvent opposées, est qu'il requiert un savoir-faire certain pour être mis en œuvre.

Au-delà de cette technicité requise, le temps nécessaire et le coût d'une analyse multicritère de haut niveau risquent d'être peu compatibles avec les délais et les budgets habituellement alloués à ces tâches en évaluation.

Les analyses multicritère pouvant être conduites dans le cadre d'une évaluation pays doivent utiliser des méthodes simples et faciles à mettre en œuvre, les conditions souvent difficiles ne facilitant pas la tâche. Il conviendra donc de limiter ces analyses à la comparaison d'actions simples et à partir de critères limités.

Utilisations possiblesEn évaluation ex ante ou intermédiaires

Dans ces conditions, l'analyse multicritère peut servir pour :

• évaluer les capacités de diverses actions d'un programme à remplir un objectif donné (ex : dans un programme visant à améliorer la santé des populations). Ce travail pourrait se faire à la fois en ex ante ou durant la mise en œuvre pour recueillir l'avis des responsables et des bénéficiaires sur leur efficacité,
• structurer les avis de responsables de projet ou de programme sur des actions en cours,
• discuter du contenu de programmes et des allocations entre actions lors de l'élaboration des DSP ou des PIN.

En évaluation ex post

Il serait sûrement intéressant d'utiliser davantage cet outil en évaluation ex post, comme méthode d'analyse des objectifs complexes où les stratégies et les intérêts des acteurs sont divergents.

Dans les pays tiers, des domaines comme la lutte contre la pauvreté, le maintien de la sécurité, la maîtrise de l'immigration, le développement du commerce sont autant de domaines où ce type d'analyse gagnerait à être introduit, avec les moyens correspondants.

Conseils d'utilisation

Pour mener à bien les analyses multicritère dans le cadre d'une évaluation pays, il conviendrait:

• d'identifier le sujet à traiter et de recueillir ou reconstruire sa logique d'intervention,
• d'identifier et de former un groupe de jugement, en prenant soin d'y inviter des acteurs compétents aux sensibilités différentes sur le sujet,
• d'élaborer une série limitée de critères (voir Etape 5 : identification et sélection des critères de jugement) sur les points les plus importants en relation avec les objectifs du programme,
• de guider ces acteurs dans la pondération des critères (collective ou individuelle) et dans la notation des performances (voir Etape 7 : jugement par critère) des actions par critère,
• d'élaborer, suite aux travaux des acteurs, le tableau de performance et si possible d'en débattre avec eux.

L'avantage le plus important de l'analyse multicritère est sa capacité à pouvoir simplifier des situations complexes. Il est en effet admis qu'au-delà de quelques critères, la plupart des décideurs ne sont plus capables d'intégrer la totalité de l'information dans leur jugement. L'analyse multicritère permet alors en décomposant et en structurant l'analyse de procéder pas à pas vers la recherche d'une solution, en toute transparence. 

Une méthode compréhensible

Même si les outils mathématiques ou cartographiques utilisés pour traiter l'information peuvent être complexes, les bases sur lesquelles s'effectuent les choix des critères et la notation des performances sont en revanche souvent simples, compréhensibles et mis au point par le groupe qui conduit l'analyse. De ce fait, les acteurs impliqués dans le processus ont une bonne visibilité de la démarche et des choix opérés successivement. 

Une méthode rationnelle

Grâce à une approche homogène et simultanée lors de l'évaluation d'un grand nombre d'objets, la méthode permet également une appréciation stable des différents éléments entrant dans l'analyse. En ce sens, elle rationalise le processus conduisant aux choix.

Un outil de négociation utile aux débats complexes

Du fait de ses avantages, l'analyse multicritère est devenue un outil très utilisé dans larésolution de problèmes complexes, dans des contextes conflictuels comme l'aménagement du territoire par exemple. 

La clarté de la méthode permet de " dépassionner " le débat et de surcroît, de développer la communication entre les acteurs. Elle constitue ainsi un outil de négociation utile aux débats entre les usagers.

LimitesConditions préalables

Un minimum de points d'accord entre les acteurs est un préalable indispensable à l'analyse. Ainsi, par exemple, une analyse multicritère des objectifs opérationnels d'un programme ne peut être conduite que si les acteurs sont d'accord avec l'objectif global et si possible l'objectif spécifique du programme. Par exemple, il faut que les acteurs soient d'accord sur la nécessité d'améliorer la circulation automobile dans un secteur pour envisager de les faire travailler sur les variantes d'un projet routier. 

Lourdeurs des débats

Les difficultés opérationnelles pour choisir des actions ou des variantes à étudier, pour définir des critères de comparaison et pour produire des grilles de notation, ne sont pas à sous estimer. Les débats pour résoudre ces points essentiels à la réussite de l'exercice peuvent parfois être très longs et compliqués. 

Disponibilité des données

Le manque de données fiables, sur une durée suffisante pour mettre en place et valider les méthodes peut se révéler être un handicap dans certaines situations. 

Facteur temps

La durée de réalisation des analyses (et leur coût) est souvent le facteur le plus limitant dans le cadre d'une évaluation. Les analyses multicritères sont souvent basées sur des processus lents et itératifs, qui peuvent nécessiter une part de négociation importante et de longue durée. Dans le cadre de l'évaluation, ce besoin de temps peut s'avérer être une limite. 

Technicité de la méthode

La technicité nécessaire à une bonne conduite de la démarche est évidente. Outre les outils informatiques qu'il faut savoir manier, les concepts ainsi que les méthodes mathématiques d'agrégation des données (voir étape 8) nécessitent un savoir-faire de haut niveau pour ne pas produire des conclusions erronées ou conduire l'analyse dans la confusion. 

Dimension subjective de l'analyse

Enfin, bien que l'analyse multicritère rationalise sans conteste l'approche des problèmes complexes, incluant des données objectives et subjectives, il n'en demeure pas moins qu'elle peut être considérée, par ses détracteurs, comme une approche subjective.

L'analyse multicritère est un outil qui fonctionne de manière autonome. Toutefois elle peut être couplée avec des outils de collecte et d'analyse selon les besoins propres à chaque situation. Les combinaisons suivantes ne sont ni exhaustives ni limitatives. 

Dans le cadre de l'évaluation, compte tenu des coûts attachés à l'usage de ces techniques, ces combinaisons demeurent limitées.

Analyse coût - efficacité

Une analyse coût-efficacité peut être faite pour l'un des critères pris en compte dans l'analyse multicritère.

Analyse SWOT

L'analyse SWOT faite préalablement à une analyse multicritère peut aider dans la définition des critères de choix.

Panel d'experts

Le panel d'experts sur un sujet très technique peut aider le groupe de négociation à affiner son jugement sur ce sujet, à participer aux pondérations, etc.

Outils d'observation

Des études de cas, des enquêtes par questionnaire ou des entretiens de groupe peuvent fournir des informations de base nécessaires au " groupe ", facilitant de fait le choix des critères et leur notation.

L'analyse prend généralement du temps, sauf dans des situations très simples ou pour recueillir des avis a posteriori. Dans les situations ex ante d'aide à la décision, les analyses multicritères durent, en général, plusieurs mois.

Les ressources humaines

En dehors de cas très simples, l'analyse multicritère implique la contribution de plusieurs catégories d'acteurs. 

Le groupe de négociation ou de jugement et le facilitateur

L'analyse multicritère implique principalement les acteurs suivants :

• le groupe de négociation (en planification) ou de jugement (en évaluation) - appelé dans la suite de ce document "groupe" - : ce sont les personnes qui apportent la connaissance et leurs points de vue sur le sujet analysé.
• le facilitateur : il assiste le groupe dans la conduite des différentes phases de l'analyse. Il connaît bien la méthode et peut dans des cas d'oppositions fortes à l'intérieur du groupe de négociation, débloquer les situations.

Groupe technique

Selon l'ampleur et la technicité de la mission, d'autres acteurs peuvent participer à l'analyse multicritère :

• un assistant technique qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères (ex : logiciel d'analyse multicritère ou Systèmes d'information géographique) et qui a également en charge de produire des données facilement compréhensibles par un auditoire de non-spécialistes,
• des experts chargés de collecter des données pour le compte du groupe de négociation, en vue de compléter l'information, au fur et à mesure de l'exercice.

Les ressources financières

Les ressources financières peuvent être d'ampleur très variable. Dans le cadre de l'évaluation de l'aide au développement, une analyse multicritère considérée comme faisable signifie qu'elle est simple et peu coûteuse.
Toutefois, dans le cadre de l'évaluation ex ante, selon les budgets alloués, l'analyse multicritère peut devenir lourde, d'une ampleur comparable à celles menées dans le cadre de l'aide à la planification ou à la décision dans les programmes d'aménagement.

.

.

Etape 1 : choix du domaine d'application de la logique d'intervention Choix du domaine d'application

Dans le cadre de l'évaluation, l'analyse multicritère n'est généralement pas employée sur l'ensemble des sujets à évaluer. Il convient donc souvent de préciser d'abord à quel domaine de l'évaluation elle s'applique.

Identification de la logique d'intervention

Une fois le domaine d'application établi par l'équipe d'évaluation, il est important de collecter le diagramme logique de l'intervention ou de le reconstituer lorsqu'il n'existe pas. Il est en effet capital que, dans un exercice où les acteurs vont avoir à juger des actions en concurrence, la logique de l'intervention soit parfaitement claire et connue de tous.

L'analyse multicritère est basée sur des notations et des choix de préférence effectués par des individus appartenant au groupe de négociation (lorsqu'il s'agit de planification) ou au groupe de jugement (dans le cadre de l'évaluation).

Ceci implique donc la sélection d'un tel " groupe " par l'équipe d'évaluation pour conduire l'analyse.
Ce choix est à la fois crucial et complexe. Les acteurs du domaine étudié peuvent être issus de deux principales catégories. 

Les acteurs " simples "

Les acteurs " simples " sont ceux qui sont concernés par le domaine parce qu'ils sont touchés par le programme (ex : bénéficiaire ou victime), ce sont également les techniciens du sujet, des responsables administratifs en rapport avec le domaine, etc. 

Les délégués des " acteurs simples "

Les délégués peuvent être des élus (territoriaux ou professionnels), des responsables d'ONG (ex : association des personnes affectées, de protection de l'environnement, de défense des consommateurs, de représentation des intérêts des femmes, etc.), des responsables administratifs en lien étroit avec le domaine, des représentants de bailleurs impliqués dans ce même domaine, etc.
C'est dans cette deuxième catégorie que sont en général choisis les membres du " groupe ".

Compétences des membres du groupe
Ces derniers doivent être suffisamment au courant du sujet à débattre et surtout être convaincus que leur point de vue pourra être discuté et remis en question par d'autres.Représentativité des membres du groupe

L'équipe d'évaluation doit veiller à ce que tous les groupes d'acteurs ayant un rapport avec les actions comparées soient bien représentés et de manière équitable.

Possibilité de choisir plusieurs groupes

Dans certaines évaluations, deux groupes distincts sont constitués. Un groupe de spécialistes capables de noter les actions comparées par rapport au critère de jugement (ex : capacité de telle action à assurer une bonne survie des entreprises aidées) et un groupe de responsables qui, à un niveau plus décisionnel, assure la pondération des critères de jugement. Cette forme de structuration du " groupe " sera peu développée dans les évaluations pays dans la mesure où elle complexifie l'organisation de l'étude et peut augmenter son coût.

Nécessité d'un accord entre les membres sur l'objectif global

Un point capital pour que ce groupe puisse fonctionner est qu'il doit y avoir accord entre les membres sur l'objectif global de l'intervention (ex : améliorer la protection de l'environnement naturel de telle zone). S'ils ne sont pas d'accord sur cet objectif, alors il sera difficile de travailler sur les objectifs spécifiques (ex : protéger la biodiversité forestière) et encore moins sur les objectifs opérationnels ou actions permettant de réaliser cet objectif (ex : promouvoir la certification de gestion forestière durable, créer des réserves naturelles, etc.).

Selon l'ampleur et la complexité des études, cette équipe peut être de taille plus ou moins importante.

Le facilitateurMissions principales

Un acteur clé du dispositif dont il est impossible de se passer est le facilitateur. Son rôle est capital car il est impensable de trouver un " groupe " capable de mener seul un tel exercice.

Celui-ci a pour missions principales de :

• circonscrire le sujet de l'analyse et clarifier la problématique étudiée,
• assister les participants dans la reconstitution du cadre logique du projet ou du programme étudié,
• participer à la définition des actions, variantes ou scénarios à intégrer dans l'analyse multicritère,
• aider le " groupe " dans l'identification des critères de jugement et ensuite dans l'élaboration des règles de pondération,
• aider le " groupe " dans la notation des actions par critère,
• décider, en accord avec le " groupe ", de réaliser des études complémentaires menées par des experts, pour éclairer les décisions du " groupe ",
• assurer si nécessaire la relation avec l'assistant technique qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères,
• coordonner la conduite du processus d'analyse dans sa globalité, en maintenant la cohésion du " groupe " et en s'assurant de la participation de tous.

Compétences requises

Le choix du facilitateur doit se baser sur son expérience dans ce type d'intervention. Une bonne connaissance du domaine étudié est un plus. Il est important que le facilitateur connaisse parfaitement bien les biais possibles de la méthode afin d'éviter de formuler des résultats erronés. Les opérations mathématiques peuvent en effet avoir une certaine opacité pour les membres du groupe (ex : différence de classement entre deux actions entre une somme pondérée et un produit pondéré).

Dans le cadre de l'évaluation pays, il est indispensable que le facilitateur ait une bonne habitude du contexte de l'aide au développement.

L'assistant technique et les expertsL'assistant technique

C'est la personne qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères.

En effet, la plupart du temps, pour les analyses multicritère importantes, le recours à des logiciels de calcul et parfois de cartographie est nécessaire. Le maniement de tels outils nécessite bien entendu une qualification particulière. Il est donc indispensable d'avoir recours à un assistant technique connaissant l'usage de ces outils. Par ailleurs, il est important que cet assistant ait la capacité de formuler les résultats de telle façon qu'ils soient facilement compréhensibles de tous. 

Les experts

Il peut arriver que le " groupe " ait besoin d'informations supplémentaires au cours de l'analyse, pour pouvoir poursuivre son travail (ex : précision sur les effets sur l'environnement de telle action). Dans ce cas, il est nécessaire d'avoir recours à un ou plusieurs experts compétents en la matière.

Le recours peut se limiter à un avis. Dans certains cas, il peut aller jusqu'à la conduite d'études plus approfondies.

L'analyse multicritère, selon ses objectifs, aidera à comparer :

• des scénarios ou des solutions potentielles dans un exercice de planification ou d'évaluation ex ante (ex : des mesures susceptibles de réduire la pauvreté),
• des variantes d'un aménagement (ex : choix de la localisation d'un port, du tracé d'une route, etc.),
• des actions mises en œuvre dans un programme (ex : avis sur différentes actions d'un même programme d'éducation).

Le choix de ces solutions à comparer est évidemment crucial et doit être compris de tous les participants. Des solutions peuvent parfois être simples à visualiser (ex : deux tracés routiers différents reportés sur carte), d'autres sont plus complexes (ex : différentes modalités d'aides à des entreprises).

Le facilitateur doit donc s'assurer que les membres du " groupe " ont tous bien compris le contenu de chacune des actions à comparer.

Production d'une liste d'actions

A la fin de cette quatrième étape une liste des actions, des scénarios ou des variantes entrant dans l'analyse sera produite.

Définition du contenu des actions

Dans certaines méthodes, cette liste peut être enrichie au fur et à mesure par un processus de réflexion itératif qui permet à la fois de choisir la solution optimale (ou consensuelle selon les cas) et d'affiner le contenu de ces actions.

La définition des actions peut, dans certains exercices, être particulièrement longue et sophistiquée. Toutefois, l'évaluateur intervient souvent après cette étape pour, dans le cadre d'une évaluation ex ante par exemple, aider à faire des choix parmi les actions possibles d'un programme.

Cette étape est centrale dans l'analyse multicritère. Elle peut être très technique et doit au minimum répondre à certaines règles.

Les règles de choix des critèresCaractéristiques générales des critères

Les règles de base pour la définition des critères peuvent être résumées ainsi :

• les critères doivent être définis avant de réaliser l'analyse, à partir des règles connues et acceptées de tous,
• ils doivent tenir compte de tous les points de vue exprimés par les membres du " groupe ", (ex : préoccupations économiques de certains acteurs et écologiques d'autres),
• ils ne doivent pas être redondants entre eux (ex : une même préoccupation ne doit pas être prise en compte dans plusieurs critères),
• ils doivent former un ensemble cohérent qui aboutit à des résultats plausibles et incontestables.

Exemple : le concours de recrutement en entreprise

Lorsqu'une entreprise cherche à recruter un salarié d'un niveau donné, sa direction peut faire passer un concours aux candidats et utiliser les critères suivant :

• l'obtention à un examen écrit organisé par l'entreprise, de notes minimales dans quelques matières importantes,
• une appréciation des motivations et de l'expérience lors d'un entretien d'embauche,
• le niveau de salaire demandé par le candidat.

Dans cet exemple, les critères sont simples à comprendre et facilement acceptables par tous. Ils sont établis avant le concours de recrutement si bien qu'aucun biais de préférence d'un membre de l'entreprise pour un candidat ne peut s'opérer ensuite. La direction s'est assurée au préalable qu'en son sein tous les points de vue sur le mode de recrutement étaient bien pris en compte.
Les critères ne sont pas par ailleurs redondants, même si une relation existe probablement entre le salaire demandé et le niveau d'expérience. Ils sont cohérents, c'est-à-dire que si deux candidats sont à égalité sur deux des trois critères, le troisième permettra de départager les candidats sans susciter de réclamation.
Cet exemple volontairement simplifié, montre la logique de construction des critères dans une situation courante.

Les familles de critèresQuatre familles de critères

Les critères peuvent être très variés. Dans la bibliographie sur l'analyse multicritère, il est courant de trouver les quatre familles de critères suivantes, facilement applicables à tous les domaines :

• économiques,
• environnementaux,
• sociaux ou organisationnels,
• légaux et politiques.

A ces familles, peuvent s'ajouter si nécessaire des critères technologiques liés en particulier à la fiabilité de certaines technologies et des critères d'utilité du programme.

Critères dans le domaine de l'aide au développement

Certains exemples par famille peuvent être donnés dans le domaine de l'aide au développement et selon les familles :

• critères économiques : coût de l'action, capacité d'une action à créer des entreprises viables, à créer des emplois, à faire rentrer des devises, à réduire la pauvreté, etc.,
• critères environnementaux : capacité d'une action à améliorer la qualité de l'eau, à permettre le recyclage des déchets, à sauvegarder tel groupe d'espèces végétales, etc.,
• critères sociaux : acceptabilité sociale de l'action, adéquation aux pratiques locales, effet de l'action sur les minorités, capacité d'une action à améliorer le taux d'alphabétisation, à améliorer la santé maternelle, le ratio fille garçon en classe, etc.,
• critères légaux et politiques : risques politiques que comporte une action, conformité de l'action aux règles nationales, etc.

Comment construire les critères avec le groupe ?

Cette étape de l'analyse est la plus souvent pilotée par le facilitateur. Il s'assure entre autres que les règles d'établissement sont respectées et que le système proposé est cohérent et complet.

Techniques de choix des critères

Les techniques sont très variées depuis le " brain storming " jusqu'à la liste préétablie par le facilitateur ou par des sous-groupes techniques de travail.

A l'issue de l'exercice, qui peut parfois être long, tous les points de vue doivent être intégrés d'une manière ou d'une autre dans le système de critères.

Sauf si le " groupe " n'a pas une bonne connaissance du sujet et oublie des points importants, le système de critères peut être jugé complet quand plus aucune réclamation n'est formulée par le " groupe ". Ceci intervient généralement lorsque chaque membre du groupe dispose d'un critère pour lequel l'action qu'il préfère arrive en tête.

Utilisation des familles de critères

Pour être sûr de ne pas oublier de critère il est important de se référer aux familles de critères.

-Exemple : critères de l'analyse multicritère d'un programme de gestion de déchets urbains

A titre d'exemple, les critères suivants pourraient être choisis pour l'évaluation ex ante d'une série d'actions d'un programme de gestion des déchets urbains dans un pays en développement :

• Critères économiques : prix des installations de collecte et de traitement, coûts des transports, coûts de personnel et de maintenance, etc.
• Critères environnementaux : sensibilité à la pollution des sites de stockage, contrôle des émissions de fumées, surface nécessaire au projet, etc.
• Critères sociaux ou organisationnels : nécessité de déplacements de populations, implication des bénéficiaires, nécessité de recours à l'assistance technique, etc.
• Critères légaux et politiques : conformité des futures installations aux lois et règlements du pays, opportunités d'emplois locaux, acceptabilité des installations par les populations locales, etc.

Chacun des critères peut, si besoin, être décomposé en sous critères, par exemple l'implication des bénéficiaires peut être décomposée en sous critères du type : consentement à payer, consentement à fournir une partie du travail, etc.

Une fois les critères établis, une des règles de l'analyse multicritère est de pondérer ces critères entre eux afin, de prendre en compte leur importance relative aux yeux des acteurs.

Dans l'enseignement secondaire, le cas des coefficients affectés aux matières lors de l'évaluation des élèves est un exemple simple de pondération des critères. Telle matière est jugée plus importante qu'une autre, son poids dans la moyenne sera donc supérieur.

Certaines analyses multicritères partent d'un consensus sur les poids des critères (ex : les grilles d'appels d'offres publics où les règles de jugement fixent à l'avance le poids des critères). Le groupe de jugement qui est alors la commission d'appel d'offres se limite à attribuer à chaque offre, des notes par critère.

Dans la plupart des cas, le poids des critères ne fait pas l'objet d'un consensus. Il est donc possible pour chaque acteur de donner un poids différent à chaque critère.

Cette étape peut alors révéler, tout comme l'étape du choix des critères, d'importantes divergences d'opinion entre les acteurs.

Méthode de pondération par l'utilisation de coefficients

L'exemple le plus connu d'utilisation des coefficients est celui de l'évaluation des élèves durant leur cursus scolaire.

Dans les cas les plus simples, on peut demander au " groupe " de placer sur une échelle cardinale les critères en affectant, par exemple, des coefficients (ex : chaque critère est affecté d'un coefficient entre 1 et 5 qui reflète son poids).

L'attribution d'un montant total de points à répartir, par chaque acteur, entre les différents critères (ex : 20 points au total à placer au choix sur 6 critères) est aussi une solution simple. Dans ce dernier cas, une attention particulière doit être portée au fait qu'il n'y ait pas de note 0 donnée à un critère si la méthode du produit pondéré a été adoptée.

Tableau de pondération des 6 critères utilisant des coefficients

Ce tableau montre comment des acteurs peuvent répartir leurs points sur des critères, à partir d'un montant maximal de 20. La colonne de droite du tableau montre le niveau de consensus ou d'opposition qu'il peut y avoir entre les acteurs autour d'un critère.

Méthode du " jeu de cartes "

Pour les cas plus complexes, différentes méthodes ont été élaborées pour aider à la formalisation de ces pondérations (ex : méthode Macbeth, Matrice de résistance, etc.).

Parmi les méthodes, l'une d'entre elles est à la fois assez simple pour être comprise de tous et suffisamment élaborée pour tenir compte de notions telles que l'égalité, la préférence et la nette préférence. Cette méthode appelée jeu de cartes, se déroule de la façon suivante :

• tous les critères sont reportés sur des cartes de type cartes à jouer, il est possible de laisser des cartes blanches (sans aucune inscription de critères),
• chaque membre du groupe reçoit une série de cartes par critère et autant de cartes blanches qu'il le désire,
• la règle est qu'il classe les critères par ordre (en général d'importance décroissante). Deux possibilités intéressantes lui sont offertes par cette méthode : la première est qu'il peut mettre plusieurs critères à égalité, la seconde est qu'il peut insérer plusieurs niveaux de cartes blanches entre deux critères, marquant ainsi sa différence de préférence entre les critères.
• deux règles simples doivent être choisies par tous au départ : l'une sur le nombre de niveaux de cartes admis (ex : on n'admet pas plus de 8 niveaux de classement des critères) et l'autre sur la manière de noter (ex : l'écart entre la meilleure et la moins bonne note ne peut excéder un rapport de 5). L'exemple suivant retient ces valeurs.

Ainsi, on obtient un classement entre les critères dont la pondération reflète assez finement la notion de préférence.

La méthode du " jeu de cartes "

Dans cet exemple, les notes de différents niveaux possibles reflètent l'écart décidé : les 8 niveaux se distribuent linéairement des notes entre 5 et 1. Aux yeux de l'acteur x, les critères C1 et C5 sont les plus importants, mais il n'a pas de préférence entre eux. Le C7 est bien classé mais l'acteur a voulu marquer sa différence d'importance avec les deux premiers en insérant une carte blanche. Ainsi de suite jusqu'au C6 qui est le critère le moins important pour lui et tellement moins qu'il l'a séparé des précédents par trois cartes blanches.

Instauration de seuils de veto, d'indifférence et de préférenceDéfinition de seuils de veto

Certains critères peuvent avoir une importance telle qu'ils ne peuvent pas être traités de la même manière que les autres. C'est le cas des critères pour lesquels peut s'appliquer la notion de seuil de veto. Ils peuvent être en valeur absolue ou relative, intervenir seuls ou en série, etc. selon les choix faits par le groupe.

-Exemples

Ainsi dans un examen il peut être exigé des candidats pour obtenir le diplôme d'avoir plus de 10 de moyenne mais également pas moins de 5 à chaque matière. Il y a ici deux seuils de veto qui interviennent en série.

Des valeurs relatives peuvent intervenir, par exemple, dans des variantes de prix entre deux projets ou deux offres. Il peut ainsi être décidé comme critère que, quel que soit l'écart de qualité entre les projets, le prix du meilleur projet ne pourra jamais être supérieur au double du suivant.

-Seuil de veto imposé par la réglementation

Des seuils de veto correspondant à des exigences réglementaires peuvent également intervenir. Si par exemple dans l'étude de plusieurs variantes autoroutières, les études détaillées conduites au fur et à mesure du processus de précision du tracé montrent qu'une variante détruit un biotope rare alors l'exigence réglementaire agit comme seuil de veto et cette variante est éliminée.

Définition de seuils de préférence et d'indifférence

Les seuils de préférence et d'indifférence méritent également d'être définis, surtout dans les analyses longues et complexes.

Il peut arriver que des acteurs ne disposant pas de référentiel commun sur ces sujets n'appliquent pas les règles de la même manière, ce qui peut parfois conduire à des biais

Ainsi par exemple, si ces seuils ne sont pas clairement définis en amont, deux acteurs ayant des avis très proches peuvent classer deux actions l'un au même niveau et l'autre à des niveaux différents, parce que les seuils de préférence et d'indifférence n'auront pas été assez bien définis.

Ces seuils doivent donc être bien clairs par critère pour chaque acteur. Ces seuils sont généralement établis en fonction du degré de précision des données qui permettent de mesurer le critère.

Test de la sensibilité
Objectifs

Il est important lorsque l'on a construit avec le " groupe " l'ensemble du système préparant l'analyse, de tester sa sensibilité. Ce test consiste à observer l'effet de modifications des paramètres choisis par le " groupe ", sur les résultats de l'analyse.

L'ensemble des règles fixées par le " groupe " peut ainsi être testé afin de voir par exemple, si des variations de notation de performances par critère, de pondération, d'agrégation de sous critères dans un critère, de définition d'un seuil, etc. ont un effet important ou non sur les résultats de l'analyse.
Dans les analyses longues et complexes des tests peuvent se faire à plusieurs étapes du processus. 

Utilité d'un logiciel

Ces tests peuvent être assez faciles si l'analyse est conduite à l'aide d'un logiciel permettant de restituer instantanément les résultats de ces simulations.

Avantage du test

Au-delà de la vérification du bon fonctionnement du système établi, ces tests qui doivent, de préférence, être pratiqués avec les membres du " groupe ", ont un effet très didactique et participent à la démonstration de la fiabilité du système.

Une fois les critères établis, il convient pour chaque acteur de juger chaque action à comparer au regard de chacun des critères.

Etude des impacts des actions au regard des critèresEn évaluation ex ante

Dans le cadre de l'évaluation ex ante, cette étude est prospective. Elle peut être basée sur des avis d'experts, sur des statistiques ou selon la complexité du sujet sur des modèles pré-établis.

Ainsi, on tente à ce stade, de donner des valeurs aux impacts de chaque action au regard du critère ( ex : au critère "effet de l'action sur la sécurité routière", on va tenter d'apporter une réponse en terme de diminution du nombre d'accidents de la route). 

En évaluation ex post

Dans le cadre de l'évaluation ex post, le même exercice que dans une évaluation ex ante peut être conduit à partir des résultats obtenus. Parfois ce type de statistique peut faire défaut, dans ce cas, les données seront reconstruites à partir d'avis d'experts. 

Exemple : mise en œuvre par des experts d'une étude des impacts

Tableau des résultats de l'étude des impacts des actions au regard des critères

Cette évaluation peut être quantitative (ex : nombre d'emplois créés) mais aussi qualitative (ex: au critère " impact sur le paysage " la réponse peut être faite sur une grille du type " faible, moyen, fort ").

L'évaluation peut également être relative, par exemple au critère " acceptabilité sociale de telle action " il peut être simplement répondu que l'action A selon tel acteur est plus acceptable que l'action B.

Les résultats qui sortent de cette analyse d'impacts peuvent donc être de nature très diverse, être issus de calculs techniques très poussés ou plus simplement d'avis d'experts.

Notation et jugement des actions par critère

La notation et, in fine, le jugement porté sur chaque action par rapport à chaque critère, est le résultat du travail précédent.

Ce jugement est fait par le " groupe ", alors que le travail d'étude des impacts peut avoir été fait au préalable par des techniciens du sujet étudié.

L'intérêt de cette étape est d'arriver au final à doter chaque action d'une note par critère. Cette notation permet de comparer à la fois les actions entre elles et les avis entre acteurs, pour une même action. 

Transformation des jugements qualitatifs en valeur

Pour faciliter les calculs, si on n'a pas recours à des logiciels autorisant toutes les possibilités de l'analyse multicritère, la transformation des avis qualitatifs en valeur permet de faciliter la suite de l'analyse, même si cette opération conduit parfois à un appauvrissement de la qualité de l'information détenue. 

Exemple de notation des actions

Suite à l'étude des impacts menée par des experts concernant deux actions jugées au regard de 3 critères (nombre d'emploi créé, l'impact sur le paysage et le risque d'opposition de la population), leur notation en valeur peut poser certaines difficultés.

Le nombre d'emplois créés pourrait être ordonné dans des classes avec attribution d'une note à chaque classe, soit 1 pour aucun emploi créé, puis 2 pour la création de 1 à 50 emplois, etc. jusqu'à une notation maximum définie par le groupe : par exemple 5.

Le traitement de la notion relative à l'opposition de la population, qui peut être moins forte pour une action est plus délicat à transformer en valeur. Une façon de contourner cette difficulté est d'arriver à faire exprimer aux acteurs leur perception de l'écart entre deux situations.

Si dans l'exemple cité, le risque d'opposition de la population qui existe est plus forte pour A que pour B, est-il possible de décrire leur degré d'écart (ex : faible, moyen, fort, très fort, etc.)? 

Utilisation de logiciels adaptés

Le développement des outils informatiques d'aide à la réalisation d'analyse multicritère permet d'intégrer facilement ces notions de préférence, auxquelles aucune valeur absolue n'est attachée.

C'est un point crucial de l'analyse et c'est loin d'être le plus facile à réussir.

Vérification des possibilités d'agrégation

Une fois les actions notées par critère, la tentation est grande d'appliquer les opérations mathématiques simples pour comparer les actions. Or, il est nécessaire de maîtriser les méthodes employées, sinon le risque est élevé d'aboutir à des incohérences et à des résultats peu ou pas crédibles.

Il faut d'abord vérifier que toutes les données fonctionnent dans le même sens par rapport à la préférence des acteurs du groupe (ex : la surface d'un ouvrage est préférée lorsqu'elle est plus réduite). L'usage de notations par critère utilisant des classes (ex : classe de surface d'emprise) ou un rang (ex : action classée première sur tel critère) permettent de relativiser les écarts entre critères.

Cependant, le risque d'aboutir à des résultats peu satisfaisants demeure. Il est important à ce stade de tester si plusieurs manières de conduire l'opération aboutissent ou non à des résultats similaires ou extravagants (ex : action classée première dans une grille et dernière dans l'autre en changeant juste une échelle sur un paramètre).

Méthodes d'agrégation des jugements-Somme pondérée

La somme pondérée s'applique parfaitement à des mesures de valeurs réelles, comparables entre elles. En revanche, cette méthode d'agrégation devient vite incertaine lorsqu'elle cumule des valeurs de nature différente. 

Si la somme pondérée est maintenue par le " groupe " comme manière d'agréger les résultats, cela signifie que ceux-ci reconnaissent en fait que toutes les compensations sont possibles entre critère.

-Produit pondéré

Le produit pondéré est également souvent utilisé. Malgré les risques mathématiques, son usage permet de mieux tenir compte des extrêmes. Il permet en cela de mieux considérer ce que certains membres du " groupe " pensent comme non ou mal compensable. Par ailleurs, le veto peut être exprimé ici par une valeur égale à zéro d'une note sur un critère.

-Exemple d'analyse des résultats selon la méthode d'agrégation

Le tableau ci-dessous montre le résultat d'une analyse simple sur trois actions et trois critères notés à partir de notes comprises entre 0,05 et 1, en utilisant la somme pondérée et le produit pondéré.

Tableau de comparaison entre les résultats d'une analyse
multicritère utilisant la somme pondérée ou le produit pondéré

Ce tableau montre que le résultat de l'analyse n'est pas le même selon que l'on utilise la somme pondérée ou le produit pondéré.
L'introduction de la valeur 0 dans le produit pondéré aboutirait à éliminer l'action et agirait comme un veto.

Ce tableau met également en évidence la relative fragilité de ces approches, même si ces méthodes sont couramment employées par exemple pour la notation des élèves en classe ou dans les attributions d'appel d'offres.

D'autres approches mathématiques sont pratiquées pour tenter de retirer les biais comme ceux relevés dans l'exemple. Celles-ci peuvent toutefois être très techniques et requérir l'appui d'un spécialiste, en particulier pour connaître les limites de leur usage.

L'approche par le surclassementConcepts de bases pour qualifier la préférence des acteurs

Les spécialistes de l'analyse multicritère se sont rapidement heurtés à des difficultés lorsque les actions en compétition étaient peu, voire pas comparables entre elles (ex : dans un programme de santé une action de vaccination et une action d'information).

Dès lors, trois concepts de base pour qualifier la préférence ont été développés dans les analyses multicritères plus récentes :

• la préférence, qui marque clairement le choix d'un acteur pour une action plutôt qu'une autre,
• l'indifférence, lorsque l'acteur n'arrive pas à distinguer de manière suffisamment nette deux actions,
• l'incomparabilité qui représente la difficulté que rencontre un acteur à comparer deux actions entre elles. La notion de surclassement est alors basée sur le fait qu'entre deux actions incomparables ou difficiles à comparer, un acteur va se prononcer sous la forme suivante : " l'action A est au moins aussi bonne ou pas pire que l'action B ".

Mise en oeuvre-Utilisation de logiciels

Les méthodes ayant recours à ces concepts très subtils, indispensables dans une analyse des préférences, sont toutes basées sur des logiciels qui facilitent grandement l'élaboration des résultats, du test de sensibilité, des démarches itératives, etc. et qui évitent les lourdeurs de calculs (Quels sont les avantages et les limites de l'analyse multicritère ?)

-En évaluation

Dans le cadre de l'évaluation ex ante, de tels outils peuvent être utilisés pour aider dans des programmations le justifiant sur le plan financier. Dans les évaluations de stratégies d'aide extérieure, où l'évaluateur n'intervient réellement ni en ex ante, ni en ex post, où les délais sont toujours très courts et les moyens limités, l'emploi de tels outils paraît plus difficile.

Construction du tableau de performance

Quelles que soient les méthodes retenues pour réaliser les calculs et les agrégations, l'analyse multicritère produit un (ou plusieurs) tableau(x) de performance permettant de synthétiser les résultats obtenus par action pour chaque critère (éventuellement pour chaque acteur). 

Cas d'une pondération consensuelle des critères S'il s'agit d'un travail dans le cadre d'un groupe consensuel (ex : direction d'une entreprise) et/ou travaillant avec des critères aux poids identiques pour tous (ex : professeurs pour la notation des élèves en classe), le tableau des performances représente le résultat de l'analyse multicritère.

Tableau des performances dans le cas d'une pondération identique des critères

Cas d'une pondératin des facteurs

Si l'analyse multicritère est faite à partir d'une pondération propre à chaque acteur, alors une interprétation des tableaux de performance est nécessaire et un retour éventuel vers le " groupe " pour pouvoir progresser à nouveau dans l'analyse est possible.

Ce retour peut se faire à partir :

• d'une simple restitution au groupe des jugements de chaque membre du " groupe " si aucune négociation n'est liée à l'analyse multicritère, ce qui est peut être le cas en évaluation,
• d'une recherche de la meilleure ou des meilleures solutions pour le " groupe ". Différentes techniques existent : en éliminant les actions les moins bonnes (celles qui ont les scores les plus bas ou le minimum de préférence) ou en essayant de trouver les meilleures (maximum de préférence). Ces techniques souvent itératives à ce stade ont pour but de tendre vers un certain consensus.

.

.

• Exemples

.

.

• Cahiers Means : Evaluer les programmes socio-économiques. Fonds Structurels communautaires. Collections Means. 1999
• ROY, Bernard, BOUYSSOU, Denis : Aide multicritère à la décision : méthodes et cas
• MAYSTRE Lucien Yves, BOLLINGER Dominique. Aide à la négociation multicritère. Pratique et Conseils. Presses polytechniques et universitaires romandes. 1999.
• SCHARLIG A, Décider sur plusieurs critères, panorama de l'aide à la décision multicritère. Presses polytechniques et universitaires romandes. 1990.

Par ailleurs, plusieurs logiciels existent pour aider à mener ces analyses comme la série des Electre, Prométhée, etc.