Evaluation methodological approach

.

Quelle définition donner au panel d'experts en évaluation?Qu'est ce qu'un panel d'experts ?Définition

Le panel d'experts peut être défini comme un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par le programme à évaluer, réuni pour produire un jugement collectif et consensuel sur ce programme. Selon la commande, ce jugement pourra porter sur la mise en œuvre ou les effets de l'ensemble ou d'une partie du programme.

Si sur des questions particulières, le consensus n'est pas obtenu, le panel doit faire état des différentes prises de position des experts.

Ce groupe, constitué spécialement pour l'évaluation selon des procédures standard, suit une méthode de travail précise et répliquable, pour tenir ses réunions et produire son jugement. C'est en ce sens un outil jugé fiable.

L'objectif de l'outil est donc de se servir de la connaissance d'un domaine que des experts possèdent, pour évaluer des politiques, programmes, ou projets menés dans ce contexte précis. 

Les formes principales d' un panel d'experts en évaluation

Le panel d'experts est utilisé régulièrement en évaluation de programme par certains bailleurs comme la Commission Européenne, la Banque Mondiale, les pays scandinaves, le Canada, les USA, etc.

Dans les évaluations environnementales de projets, certains bailleurs ont recours à une autre forme de panel d'experts (en particulier la Banque Mondiale) pour évaluer la qualité du travail des prestataires et suggérer des améliorations. Ces panels accompagnent la réalisation du travail depuis les études préliminaires jusqu'à la réalisation concrète du projet et même sur les premières années de mise en œuvre.

Une autre forme de consultations d'experts en évaluation est l'enquête Delphi, fondée sur une enquête anonyme et itérative d'experts par sondage postal (voir Cahiers Means).

Quel est son contexte d'origine et ses évolutions successives ?Contexte d'origine

Dans le domaine de la recherche, le jugement de travaux scientifiques ou de programmes par des pairs est à l'origine du concept. Historiquement, c'est donc dans ce domaine que le panel d'experts s'est développé en tant qu'outil d'évaluation.

Principales évolutions

Deux principales évolutions au cours des dernières années peuvent être mentionnées.

• Diversification de la composition du panel. Alors qu'à l'origine, l'usage de panels d'experts étaient très ciblé sur des domaines limités, on a assisté progressivement à la diversification du contenu des missions d'évaluation, et donc à la diversification de la composition du panel. En plus des spécialistes d'un domaine, des économistes, des spécialistes de l'évaluation, des représentants des utilisateurs du programme, etc. sont à présent sollicités pour couvrir ces différentes facettes de l'évaluation.
• Professionnalisation des panels. L'apparition de méthodes plus rigoureuses (ex : études de soutien au travail du panel faites par des consultants extérieurs) a fini de transformer le panel d'experts en véritable outil d'évaluation fiable et donc plus crédible. Ces évolutions successives ont conduit à une professionnalisation progressive de l'évaluation par panel d'experts.

Le panel d'experts est un outil que l'on peut mobiliser dans de nombreuses situations.

Le panel d'expert est particulièrement adapté en évaluation quand :

• le sujet est bien circonscrit et nécessite l'avis d'experts de haut niveau dans ce domaine. C'est typiquement le cas de la recherche. La Commission Européenne pratique beaucoup d'évaluations avec cet outil dans ce domaine.
• le domaine à évaluer est très limité (ex : évaluation de l'aide pour le bénéfice d'un très petit pays) et ne justifie pas qu'on y consacre des moyens trop importants.
• le domaine est au contraire très complexe et difficile à aborder par d'autres outils, au moins à un coût raisonnable (ex : aide budgétaire). Dans ce cas, l'avis d'experts maîtrisant le sujet, et/ou le pays, peut permettre d'obtenir un jugement crédible.

Les rôles possibles d'un panel d'experts

Avec quels outils le panel d'experts peut-il être combiné ?

Le panel d'experts peut être combiné avec pratiquement tous les outils classiques d'évaluation. 

Au-delà de la combinaison avec d'autres outils, l'adjonction au panel d'experts d'un certain nombre d'études externes faites pour le compte du panel tend à se généraliser dans certains domaines (ex : évaluation de la recherche). Elles permettent de faciliter le travail des experts et de leur procurer des informations sur le programme évalué. Peuvent être citées les études préliminaires, les enquêtes, l'exploitation de bases de données, etc. qui sont un complément logique au travail du panel d'experts.

Les avantages de l'outil proviennent essentiellement de la très bonne connaissance des sujets à évaluer par les experts. Cette connaissance préalable permet :

• un gain de temps significatif par rapport aux autres outils d'évaluation,
• un faible coût par rapport aux autres outils, du fait du gain de temps,
• une forte crédibilité des conclusions du fait de la notoriété des experts,
• une grande adaptabilité aux différentes situations rencontrées en évaluation.

Les limites

Les inconvénients de l'outil ressortent principalement d'une série de risques, qu'il convient de maîtriser au mieux.

• Le fonctionnement du panel qui, devant aboutir à un jugement consensuel, tend par construction à éliminer les avis minoritaires et édulcorer les conclusions.
• L'avis de certains experts "dominant" le groupe peut devenir prépondérant, aux dépens des autres avis.
• Un risque de biais d'empathie dans le cas de panels intervenant dans l'évaluation d'un domaine bien spécifique, provenant de l'appartenance des experts au groupe de spécialistes du domaine évalué. Constituer le panel d'experts en ayant comme objectif premier l'indépendance de ses membres est une manière sûre d'éviter ce biais.
• Une tendance des experts à excéder le domaine de leurs compétences reconnues. Il s'agit donc de bien circonscrire le travail du panel dans l'évaluation, sinon la crédibilité des conclusions en serait largement affectée.

Malgré la maîtrise de ces risques, les conclusions des panels d'experts restent toujours contestables aux yeux de certains.

La rapidité de mise en œuvre d'un panel d'experts représente un des avantages de cet outil. Ainsi, pour une évaluation, il faut compter 3 à 6 mois de travail, et éventuellement moins pour un avis portant sur un domaine technique d'une évaluation.

Les ressources humaines

C'est le point central de l'outil. Les personnes constituant le panel doivent avoir une expérience reconnue dans le domaine à évaluer, être indépendantes par rapport au programme évalué, être capables de travailler en groupe et disponibles pour assurer une présence effective tout au long de l'évaluation.

Les ressources financières

Le panel d'experts est reconnu comme un des outils d'évaluation bon marché. Cependant, si des voyages lointains sont prévus, et assortis de visites de terrain, l'enveloppe financière pour rémunérer le panel et ses frais risque d'augmenter significativement.

Les principaux postes de dépenses auxquels il faut penser en préparant l'estimation sont :

• les honoraires des experts, du secrétaire, et des éventuels sous contractants effectuant des études pour le panel,
• les coûts de déplacement, de communication, de publication, de duplication et dissémination des rapports.
• les coûts de traduction, si nécessaire.

Le panel d'experts en évaluation pays ou région peut être utilisé dans plusieurs circonstances :

• pour étudier des domaines extrêmement spécifiques, nécessitant une formation de haut niveau (ex : aide à la recherche, hautes technologies, etc.),
• pour étudier des sujets pour lesquels les autres outils peuvent difficilement être mis en œuvre (ex : aide budgétaire),
• pour réaliser des petites évaluations (ex : aide à des petits pays),
• pour aider en appui à étayer le jugement des évaluateurs sur un sujet donné, dans des évaluations plus importantes,
• pour finir de formaliser les effets probables d 'un programme en évaluation ex ante.

Les conditions d'emploi de l'outil en évaluation pays

Il n'y a pas de conditions particulières autre que la nécessaire connaissance du contexte de l'aide aux pays tiers.

Exemples d'utilisation de l'outil en évaluation pays

Aucune utilisation de panel dans l'aide aux pays tiers n'a été trouvée. En revanche, cet outil est très utilisé pour évaluer des programmes dans les pays occidentaux. Une série d'exemples illustrent l'utilisation des panels d'experts, avec, selon le cas, des termes de références, des profils de recrutement, des exemples de rapports, etc.

.

.

Quels sont les critères de sélection des experts?

Les trois critères à la base du fonctionnement du panel d'experts

L'expérience professionnelle

L'expérience professionnelle dans le domaine considéré est un pré-requis, l'expert devant être très qualifié dans le domaine évalué, reconnu par ses pairs et respecté. La crédibilité de ses jugements en dépend complètement.

L'indépendance

L'indépendance vis-à-vis du programme à évaluer est capitale, un évaluateur ne pouvant être juge et partie. Sont donc naturellement exclus les experts ayant un conflit d'intérêt avec le programme évalué (ex : ils ont participé au programme ou sont issus d'un organisme ayant bénéficié du programme).

Toutefois, cette indépendance est parfois difficile à garantir dans les domaines où le nombre d'experts est particulièrement restreint. Dans ce cas, au-delà de l'indépendance de chaque expert par rapport au programme évalué, il convient de s'assurer alors de l'indépendance du panel en tant que tel (les différents points de vue possibles sur le programme doivent être représentés au sein du panel).

Enfin, il conviendra de préciser à chaque expert qu'il est nommé à titre personnel, c'est à dire qu'il ne représente pas l'institution dont il est issu et, par conséquent, qu'il n'est pas remplaçable.

L'aptitude au travail collectif

Les capacités de travail en équipe, d'écoute des autres, d'ouverture d'esprit sont également fondamentales. Sans celles-ci, l'atmosphère de travail au sein du panel peut rapidement devenir insupportable et conduire les travaux à un échec.

Autres critères

Au delà des trois critères de base (professionnalisme, indépendance et capacité de travail en équipe), et des éventuelles exigences relatives aux profils des experts du panel, certains commanditaires peuvent avoir des exigences de composition (ex : experts de nationalité spécifique, recherche d'équilibre entre les experts représentant des points de vue différents sur un programme, demande de représentation d'une catégorie de personne dans le panel comme les bénéficiaires, les consommateurs, etc.).

Il convient que les experts du panel aient autant que possible la pratique de la langue utilisée sur le territoire où se déroule l'évaluation.

Schéma de la sélection des membres du panel

Les différents cas de figure du recrutement des experts

Suivant l'ampleur de la tâche à accomplir et la complexité des thèmes à aborder, le recrutement du panel peut être assez rapide et simple, ou au contraire nécessiter un procédure de sélection.

Le cas d'une sélection rapide

Dans ce cas, les responsables de l'évaluation ont accès à une liste d'experts reconnus dans un domaine et se contentent de s'assurer de leur indépendance vis-à-vis du programme évalué.

Le cas d'une sélection par étape, selon les thèmes de l'évaluation

Cette situation devient de plus en plus fréquente. Il convient d'abord de construire les profils des experts recherchés en fonction des thèmes à aborder par l'évaluation. Ces profils sont fondamentaux pour pouvoir assurer un recrutement adéquate à l'évaluation.

Si l'intervention du panel se borne aux domaines techniques de l'évaluation, l'absence d'indépendance des experts par rapport aux domaines considérés a peu de conséquences sur l'évaluation. C'est en effet l'évaluateur qui se charge des principales tâches.

Si, en revanche, les experts doivent réaliser une part significative de l'évaluation, il est impératif que le panel d'experts comporte, en plus des experts de la spécialité, au moins un membre ayant une grande expérience de l'évaluation en tant que telle et un socio-économiste. Cette liste peut être largement enrichie, selon la mission confiée aux experts.

Constitution des profils

La Société Royale du Canada détaille les points du programme à prendre en compte pour constituer les profils du panel. Ces points sont :

• la nature du programme : l'étude sera-t-elle limitée à des problèmes techniques ou devra-t-elle traiter de problèmes plus larges de politique publique ?
• le degré de controverse : les problèmes à traiter ont-ils des solutions alternatives qui sont sujettes à controverse ? Affectent-ils des protagonistes qui ont des enjeux émotionnels, politiques ou financiers par rapport aux résultats ?
• les données à disposition : les conclusions du panel et les recommandations, seront-elles basées sur l'analyse de données ou sur le jugement des experts ?
• les incertitudes : les conclusions du panel discuteront-elles des incertitudes ?
• le nombre de disciplines nécessaires : les problèmes à évaluer impliquent-t-ils la maîtrise d'une seule ou de plusieurs disciplines ?

La procédure de sélection

Une fois ces profils déterminés, l'institution en charge de l'évaluation les recueille, et fait un éventuel premier tri dans cette liste en particulier sur les conflits d'intérêt identifiés. Elle prend ensuite contact avec les personnes pressenties.

Selon le nombre d'experts à retenir au final (en général entre 5 et 10), il sera bon de présélectionner le double voire le triple d'experts dans la liste, car la disponibilité de tous n'est pas assurée. A l'intérieur de cette liste parfois longue, certains commanditaires sélectionnent les "titulaires préférés" et les suppléants, les premiers étant contactés en premier afin de s'assurer de leur disponibilité. Il est de ce fait recommandé d'appliquer cette technique pour le futur président du panel et pour les experts "clés".

Une fois la sélection terminée, les experts sont engagés et un des membres est désigné comme président, par le panel lui-même ou le commanditaire de l'évaluation, selon le cas. Les conséquences du choix du président sont très importantes, son rôle étant primordial dans le fonctionnement du groupe. C'est lui qui va donner le ton et le rythme de travail du panel.

Enfin, il apparaît très souhaitable de confier le secrétariat à une personne suffisamment disponible, car en général, les experts eux-mêmes le sont peu. Le rôle du secrétaire demande en effet beaucoup de temps pour rédiger les comptes-rendus, intégrer les remarques, éventuellement piloter les études de soutien, etc.

Les évaluateurs devront consacrer du temps à expliquer au panel le contexte de son intervention, et à bien répondre aux questions des experts sur le programme, les procédures, les méthodes d'évaluation, afin que leur avis soit formulé en parfaite connaissance de l'environnement du domaine évalué. Le contenu des séances de travail du panel d'experts est normalement confidentiel.

Les documents mis à la disposition du panel d'expertsLes termes de référence

Pour faciliter le travail du panel, la rédaction des termes de référence (TDR) est souvent nécessaire. Ces TDR doivent spécifier :

• la nature de l'évaluation,
• la place du panel dans celle-ci, et son mode de fonctionnement,
• les questions posées au panel ou la nature des investigations à mener (ex : avis sur la pertinence, la cohérence, l'efficacité, etc.),
• les données (ex : mise en œuvre) ainsi que les moyens (ex : possibilité de visite de site) mis à disposition du panel,
• la forme des rapports, ainsi que les délais d'intervention par phase de travail.

Les guides d'entretien type

Pour les évaluations où le recours à des panels d'experts est systématique, des procédures de conduite du travail et des guides d'entretien peuvent être élaborés, afin de faciliter le travail du panel (ex : lors des entretiens avec les autorités, des visites de terrain, des entretiens avec les bénéficiaires, etc.) et d'avoir des types de productions comparables entre différents panels (cas des évaluations répétitives).

Ces guides peuvent également être fournis aux équipes qui n'ont pas l'habitude de l'évaluation, afin des les aider dans leurs tâches.

Il n'existe pas de méthode de travail unique et le panel d'experts est libre de s'organiser comme il l'entend. Le travail peut être concentré sur la lecture de la documentation et des réunions de travail, ou être élargi à la rencontre de responsables de projets, de visites de terrain, d'envoi de questionnaires, etc. Le choix de la méthode dépend beaucoup du domaine étudié, de la mission des experts, de l'information et des ressources qu'on met à leur disposition.

Les experts ont pour rôle d'étudier ce qui leur est demandé et de produire leurs conclusions sous la forme d'un rapport. Une attention particulière doit donc être apportée à la préparation et à la rédaction de ce rapport.

On attend généralement d'un panel d'experts :

• des travaux intégrant les standards scientifiques et techniques des disciplines étudiées,
• une indépendance totale vis-à-vis des programmes étudiés, et donc un jugement dénué de tout intérêt particulier,
• un consensus sur les conclusions et les recommandations.

Sur ce dernier point, certains commanditaires refusent que la recherche du consensus aboutisse à la production d'un rapport sans intérêt et peu réaliste. Ils préconisent dans ce cas de produire un rapport faisant apparaître les différences de points de vue entre les experts et les raisons de ces différences.

Parmi les autres règles applicables aux travaux des panels figurent la confidentialité des débats, et la non divulgation des résultats intermédiaires.

Les règles générales de conduite des réunionsLa première réunion du panel d'experts

La première réunion du panel a un contenu proche de celui des termes de référence. Elle doit conduire à une parfaite compréhension des experts et de leur rôle dans l'évaluation.

Lors de cette réunion, la méthode selon laquelle seront conduits les travaux doit également être discutée et validée. La discussion devra comprendre :

• l'organisation du panel et rôle de chacun dans le panel.
• le type d'investigation, méthode d'acquisition des données, et conduite des travaux confiés à chacun (ex: visite de terrain).
• le calendrier d'intervention, organisation des futures réunions, contenu de ces réunions.

Il est également capital lors de cette réunion de rappeler à tous les membres du panel les règles générales de fonctionnement (ex : indépendance, consensus, etc.) car les experts sont familiers des sujets étudiés, mais peu en général des outils d'évaluation.

Les éventuels conflits d'intérêt des experts avec le programme étudié doivent être systématiquement abordés, débattus et tranchés lors de cette réunion.

Les réunions suivantes

Les réunions suivantes (au nombre de 3 à 5 environ) seront directement liées aux travaux du panel. Y seront systématiquement abordés :

1. les travaux réalisés depuis la réunion précédente,
2. les résultats des investigations achevées ou en cours,
3. les problèmes rencontrés (ex : difficultés pour collecter l'information, problèmes concernant le calendrier d'intervention, le budget, etc.),
4. l'état d'avancement de la rédaction des différents documents et le processus de relecture et contrôle de ces derniers,
5. les travaux à réaliser avant la prochaine réunion et le contenu de celle-ci.

Afin d'assurer une confidentialité totale des travaux du panel, certains commanditaires recommandent de détruire les enregistrements, les minutes et les rapports intermédiaires des réunions, afin de ne conserver que le rapport final qui est la seule véritable production demandée au panel.

L'organisation de la mission

Celle-ci peut être très variable selon les missions confiées au panel. Dans la mesure où l'on a affaire à des experts dont l'activité principale n'est pas l'évaluation et dont la résidence peut être éloignée du lieu de rencontre, il est fondamental d'organiser le calendrier de leur intervention dès le début de la mission et de s'y tenir autant que possible. 

Afin d'éviter les biais d'interprétation ou d'empathie, on recommande souvent aux experts qui conduisent entre deux réunions des travaux pour le compte du panel (comme la visite d'un site, par exemple) de le faire par binôme au moins. Ces binômes ou petits groupes doivent alors être constitués de telle sorte que les différents points de vue possible sur le programme y soient représentés.

Le rôle du président du panel est central. C'est lui qui dirige les travaux, propose la méthode de travail, intègre les résultats, stimule les contributions, facilite les débats, représente le panel lors des réunions. C'est souvent de lui que dépend l'ambiance de travail du panel.

Les différentes fonctions du président du panel 

Un rôle de facilitateur

• Lors de la première réunion de travail, c'est lui qui guide le panel dans l'élaboration du plan de travail et de l'architecture du rapport.
• Ensuite, il organise le travail des équipes, la production des documents et leur révision.
• Il s'assure tout au long de l'étude que la totalité des membres du panel prend part au travaux et s'approprie l'évaluation.
• Enfin, lors des discussions et échanges entre les membres et en particulier ceux ayant des points de vue différents, il s'assure en permanence de la recherche du consensus entre les experts, ce qui demande parfois beaucoup de tact et de flexibilité.

Un rôle d'intégrateur

Le président a la responsabilité de diriger l'étude, de définir les méthodes, de revoir les productions, de faire respecter les délais et de consigner les résultats des travaux des autres membres.

Et ce concernant :

• la production des autres membres du panel, il doit assurer une critique constructive afin d'améliorer les réflexions produites plutôt que de les contrôler,
• les productions du panel dans son ensemble, c'est lui qui le plus souvent travaille avec le secrétaire et le commanditaire à l'élaboration des différentes versions des réflexions en cours avant de nouvelles discussions avec le panel.

Un rôle de gestionnaire de projet

Le président a également pour rôle de s'assurer que les ressources disponibles sont suffisantes et qu'elles sont bien employées tout au long du travail du panel. Il est donc en relation permanente avec le commanditaire pour ces questions financières et techniques. Si des sous-contractants sont mis à la disposition du panel pour réaliser des études pour le compte du panel, c'est lui qui supervise ces travaux, leur conduite et leur finalisation. Il s'assure que les réunions du panel ont bien été préparées par le secrétaire, que tous les documents sont fournis aux experts dans les délais et que les moyens nécessaires pour leur participation aux réunions sont bien réunis. Si des réajustements de budget, de délais ou de contenu de la mission s'avèrent nécessaires, c'est lui qui en débat avec le commanditaire pour trouver une solution.

Un rôle de représentant du panel

Le panel doit être représenté dans différentes instances comme les comités de pilotage de l'évaluation, d'éventuelles réunions avec le commanditaire, avec la presse, etc. Comme il n'est pas possible de systématiquement déplacer tout le panel pour ces réunions, c'est le président du panel qui en assure la représentation. Celui-ci peut néanmoins déléguer certaines de ces activités, mais il est toujours préférable que ce soit lui qui assure les réunions les plus importantes.

A la fin de leur mission, les experts produisent un rapport. Ce rapport est la seule production visible du panel, sur lequel le jugement de la partie de l'évaluation confiée au panel sera basé. La rédaction de ce rapport doit donc être faite avec un très grand soin.

Le plan type du rapport final

Le plan type de ce rapport dépend évidemment de la nature de la mission confiée. Pour les missions ayant un caractère technique ou scientifique, le plan doit au moins contenir :

• un résumé, si possible pas trop technique,
• les termes de référence de la mission,
• la composition du panel, en détaillant si possible (si besoin en annexe) les références des experts,
• les preuves rassemblées et les hypothèses retenues, ainsi que les éventuelles incertitudes et leurs éventuelles conséquences sur les conclusions,
• les analyses conduites,
• le jugement en explicitant les points de consensus. Si celui-ci n'a pas été atteint, le rapport doit détailler les points sur lesquels un consensus a été trouvé et les points de désaccord en les explicitant.

Ce dernier point est évidemment le point le plus difficile dans la mise en œuvre de cet outil. Le consensus doit être autant que possible visé : le jugement du panel en est largement renforcé. Le rôle du président est fondamental pour tenter d'atteindre le consensus ou pour formuler la position finale du panel, y compris si des divergences subsistent.

.

.

• Exemples

.

.

Références générales

• Expert panels: manual of procedural guidelines. The Royal Society of Canada. 1998. [EN] 
• "La gestion stratégique de la recherche et de la technologie", Chap. 1 Édition Economia. 1995.
• Cahiers Means.

Références spécifiques à l'utilisation de panels d'experts en évaluation pays

• Rapport du panel d'experts, de l'évaluation du forum Megascience de l'OCDE, 21 octobre 1998. [EN]
• Rapport du panel d'experts portant sur les pesticides, Radio New Zealand, 11 septembre 2000. [EN]