Evaluation methodological approach

.

De quoi parle-t-on ?

Un critère de jugement précise un aspect de l'intervention évaluée qui va permettre d'apprécier son mérite ou son succès. Bien que " critère de jugement " soit le terme approprié, une alternative acceptable est " critère d'appréciation raisonnée ". Le critère est utilisé pour répondre de façon positive ou négative à une question d'évaluation. Chaque question se décline en un ou plusieurs critères de jugement.

Pour quoi s'en préoccuper ?

• Pour éviter la subjectivité et formuler les jugements sur des bases acceptées.
• Pour renforcer la transparence de l'évaluation en rendant le jugement explicite
• Pour structurer la réponse aux questions posées car les critères de jugement vont déterminer les indicateurs et plus généralement la nature des données collectées et le type d'analyse.

Comment expliciter un critère de jugement à partir d'une question ?

Toutes les questions d'évaluation sont accompagnées d'un ou plusieurs critères de jugement, sauf si elles visent seulement à connaître ou comprendre l'intervention ou ses effets.
Un exemple de question est:

Comme la plupart des questions d'évaluation, celle-ci comporte deux parties :

• Ce qui est jugé, " l'aide de la CE … "
• La façon de juger, " … a-t-elle amélioré la capacité du système d'enseignement primaire à accueillir les élèves des groupes défavorisés sans discrimination? "
• Cette question appartient à la famille de l'efficacité.

Les critères de jugement développent et précisent la deuxième partie de la question, par exemple :

Les critères de jugement dérivent de la question, par exemple dans le cas du premier critère :

• Il porte sur la façon de juger et non pas sur ce qui est jugé. C'est pourquoi le début de la question concernant " l'aide de la CE " a été enlevé.
• Il précise le type de succès que l'on cherche à évaluer, c'est-à-dire une amélioration de la " capacité du système d'enseignement primaire à accueillir les élèves des groupes défavorisés sans discrimination " et spécialement " les élèves de minorité ethnique X ".
• Il met l'accent sur le jugement et non pas sur l'analyse de causalité. C'est pourquoi les termes " Dans quelle mesure … a-t-elle amélioré " ont été enlevés.

Pour être utilisé en pratique, chaque critère de jugement doit être accompagné d'un niveau cible (target) et d'un ou plusieurs indicateur(s).

• Toujours définir le critère de jugement avant de sélectionner un indicateur existant ou de concevoir un nouvel indicateur. Cela est indispensable pour clarifier les concepts. Si l'on porte trop vite attention aux indicateurs, on risque de rester prisonnier de l'information existante, même si elle est peu adaptée pour répondre à la question posée.
• Faire discuter sur la définition des critères de jugement par le groupe de référence de façon à tenir compte de la diversité des points de vue pertinents à propos de l'intervention.
• Il peut exister des désaccords sur les critères de jugement, par exemple un même effet peut avoir une dimension jugée positivement par certains membres du groupe de référence et une autre dimension jugée négativement par d'autres. Deux options sont possibles dans ce cas : (1) choisir un seul critère de jugement, mais il faut alors éviter de biaiser l'évaluation, ou (2) choisir plusieurs critères, mais la conséquence sera d'augmenter et de compliquer le travail de collecte et d'analyse d'information.
• Pour optimiser la collecte et l'analyse de l'information, l'idéal est de définir un nombre limité de critères de jugement pour chaque question. Cette recommandation tient compte de la capacité des utilisateurs à s'approprier l'information.
• Justifier, le cas échéant, les écarts qui pourraient exister entre les critères utilisés pour formuler le jugement à la fin du processus d'évaluation et ceux identifiés dans la première phase de l'évaluation (desk).

Attention à na pas confondre les concepts

Dans ce site, le terme critère est utilisé pour trois concepts différents :

• Les critères de jugement présentés dans cette page
• Les critères d'évaluation : pertinence, efficacité, efficience, durabilité, impact, valeur ajoutée communautaire et cohérence/complémentarité..
• Les critères d'appréciation de la qualité des rapports d'évaluation

Selon la C.E., la valeur ajoutée d'une évaluation est de formuler des jugements de valeur sur la base de preuve et de critères de jugement explicites. Lorsqu'on travaille avec des organisations qui ne sont pas familières avec l'évaluation, il peut être judicieux de ne pas utiliser le terme " jugement " qui peut provoquer des résistances. Une alternative acceptable est " appréciation " ou plutôt " appréciation raisonnée ".

.

.

De quoi parle-t-on ?

Le concept de " niveau cible " est largement utilisé dans le contexte du management public pour établir un objectif vérifiable ou un niveau de performance à atteindre. Dans le contexte de l'évaluation, il est utilisé avec un sens encore plus large puisque l'intervention évaluée peut avoir à être jugée au regard de niveaux cibles qui n'ont pas été établis à l'avance, mais qui sont identifiés de façon ad hoc tels qu'une norme, un seuil de succès ou une bonne pratique comparable.

Pourquoi s'en préoccuper ?

• Pour éviter la subjectivité et formuler un jugement sur des bases acceptées et reconnues.

Comment les déterminer ?-Par référence à un objectif défini de façon vérifiable

Le niveau cible peut apparaître dans les objectifs de l'intervention, si toutefois ils ont été établis de façon vérifiable. Dans ce cas particulier, le même indicateur sert à définir l'objectif, à opérationnaliser le critère de jugement et à déterminer le niveau cible.

• Exemple: le nombre d'enseignants qualifies et expérimentés pour 1 000 enfants en âge d'aller en école primaire est au moins de 20.

Dans ce cas, le niveau cible est établi au cours de l'évaluation. Il ne se réfère pas à un objectif ou à un système de mesure des performances préexistant à l'évaluation.

• Exemple: l'accès à une éducation primaire avec des professeurs qualifiés et expérimentés est au moins aussi satisfaisant que dans le cas de X (bonne pratique reconnue au niveau régional).

La procédure se déroule comme suit :

• Identifier une pratique comparable et reconnue pour sa qualité (intervention similaire de la CE dans un autre pays intervention d'un autre bailleur, intervention dans un autre secteur mais qui utilise les mêmes instruments).
• Se renseigner sur la pratique à comparer (cela est plus facile si elle a déjà été évaluée).
• Vérifier que les conditions de contexte sont suffisamment proches pour permettre la comparaison.
• Procéder à la comparaison (essentiellement qualitative).
• Discuter et valider la comparaison avec le groupe de référence.

Le niveau cible peut être trouvé au sein même de l'intervention évaluée, pendant la phase de synthèse. Cela est possible si l'on a identifié des pratiques jugées bonnes au regard des critères de jugement considérés.

Dans ce cas, les bonnes pratiques serviront de norme pour juger les autres. Il conviendra évidemment de vérifier que les conditions de contexte sont suffisamment proches pour permettre la comparaison.

• Exemple: Dans des zones où la minorité ethnique X est concentrée, le nombre d'enseignants qualifiés et expérimentés pour 1 000 enfants en âge d'aller à l'école primaire est proche des zones les plus performantes dans le pays.

Si le niveau cible découle d'un objectif vérifiable ou d'un système de mesure des performances, alors il peut être défini dans les toutes premières étapes du processus d'évaluation.
Si le niveau cible est construit à partir d'une référence de comparaison externe (benchmark), alors il convient de l'identifier pendant les premières étapes de l'évaluation. Cependant, le processus peut impliquer une collecte d'information secondaire en vue de la comparaison, ainsi qu'un examen attentif de la comparabilité. Cela veut dire que le niveau cible ne sera pas complètement défini pendant les premières phases de l'évaluation.
Si le niveau cible doit être déduit des meilleures pratiques découvertes au sein de l'intervention par l'équipe d'évaluation, il sera déterminé à la phase de synthèse.

-Après avoir choisi le critère de jugement

La détermination du niveau cible prend place dans un processus en trois temps :

• Choix et finalisation de la question d'évaluation
• Choix du critère de jugement (ou des critères)
• Détermination des niveaux cibles, des indicateurs et des sources d'information en même temps lors de la troisième étape.

Les niveaux cibles pour l'évaluation et les autres

Lorsque la question d'évaluation porte sur un résultat ou impact attendu, le niveau cible est généralement dérivé d'un objectif vérifiable ou emprunté aux systèmes de mesure des performances.

Le suivi des performances peut cependant se révéler peu ou pas utile dans le cas où une question d'évaluation concerne les aspects transversaux, les facteurs de durabilité, les effets non attendus, l'évolution des besoins ou des problèmes, la cohérence, etc.

.

.

De quoi parle-t-on ?

L'équipe d'évaluation peut utiliser toute type d'information ou élément de preuve à sa disposition pour juger si l'intervention est réussie ou non au regard d'un critère de jugement et d'un niveau cible, l'équipe d'évaluation utilise toute information ou élément de preuve à sa disposition.
Les données peuvent être collectées de manière structurée en utilisant des indicateurs. Ces derniers spécifient de manière précise les données qui doivent être collectées. Un indicateur peut être quantitatif ou qualitatif. Dans le second cas, on peut utiliser la technique de la notation.
Des données non structurées sont également collectées durant l'évaluation, soit de façon incidente, soit parce qu'on a employé des outils tels que des études de cas. Il s'agit d'éléments de preuve qui peuvent avoir une force suffisante pour fonder des conclusions, mais ce ne sont pas des indicateurs.

Pour quoi s'en préoccuper ?

• Pour collecter et traiter les données sous une forme qui sera directement utilisable au moment de répondre aux questions.
• Pour éviter de collecter une trop grande masse d'information non pertinente et pour se concentrer sur la réponse aux questions posées.

Les principaux indicateurs d'évaluation sont ceux qui sont liés aux critères de jugement et qui précisent quelles informations vont être collectée pour porter un jugement selon ces critères.
Un indicateur peut être construit spécifiquement pour une évaluation (indicateur ad hoc) et renseigné par exemple dans le cadre d'une enquête. Il peut aussi être tiré des bases de données de suivi, d'un système d'appréciation de performance ou de sources statistiques.
Un indicateur quantitatif est fondé sur un comptage (ex : nombre d'enseignants qualifiés et expérimentés). L'indicateur élémentaire est le comptage proprement dit. Il peut être utilisé pour calculer des indicateurs dérivés (ratios, taux) tels que le coût par élève scolarisé ou le nombre d'enseignants qualifiés et expérimentés pour 1 000 enfants en age de fréquenter l'école primaire.
Les indicateurs peuvent appartenir à différentes catégories: ressources, réalisations, résultats ou impacts.

Quand une question d'évaluation concerne un résultat ou un impact attendu, il convient de vérifier si ce résultat ou cet impact a fait l'objet d'un suivi de performance. Dans ce cas, l'équipe d'évaluation utilise les indicateurs et les données correspondantes, ce qui constitue une aide considérable, surtout si le point zéro a été enregistré.
Le suivi des performances peut cependant se révéler peu ou pas utile dans le cas où une question d'évaluation concerne les aspects transversaux, les facteurs de durabilité, les effets non attendus, l'évolution des besoins ou des problèmes, la cohérence, etc.

Il mesure ou qualifie précisément le critère de jugement ou la variable que l'on cherche à observer (validité de construction). A défaut on peut avoir recours à plusieurs indicateurs approchés (proxies) pour obtenir une meilleure validité.
Il fournit une information simple, facilement communicable et comprise de la même façon par le fournisseur et l'utilisateur de l'information. Il est précis, c'est à dire qu'il est associé à une définition qui ne comporte aucun terme ambigu.
Il est sensible, c'est-à-dire qu'il génère des données qui varient significativement s'il y a un changement dans ce que l'on observe.
Il est souvent demandé aux indicateurs de performance et niveaux cible d'être SMART (Spécifiques, Mesurables, Ambitieux, Réalistes, et produits dans les Temps). La qualité d'un indicateur d'évaluation s'apprécie différemment.

L'indicateur employé pour l'évaluation d'un effet n'est pas en lui-même une mesure ou une preuve de cet effet. L'indicateur informe seulement sur les changements intervenus, lesquels peuvent résulter de l'intervention (effet) ou d'autres causes.
Il est toujours nécessaire que l'équipe d'évaluation analyse ou interprète l'indicateur pour estimer un effet.

Des indicateurs sont utilisés tout au long du cycle de l'intervention. Tout d'abord pour l'analyse du contexte, puis pour le choix et la validation de la stratégie d'intervention, ensuite pour le suivi des réalisations et des résultats et enfin pour l'évaluation.

-Indicateurs et conception de l'intervention

Les indicateurs de contexte peuvent être utilisés pour l'identification des besoins, problèmes et défis qui justifient l'intervention.
Autant que possible, les objectifs et niveaux cible sont définis de manière mesurable par le recours à des indicateurs.

-Indicateurs, suivi et mesure de performance

Les systèmes de suivi et de mesure de performance utilisent également des indicateurs dérivés du diagramme des effets attendus (également appelés chaînes de résultats).
Les indicateurs de suivi sont surtout liés aux ressources et réalisations. Les indicateurs de performance sont surtout concentrés sur les résultats et impacts attendus. Le suivi axé sur les résultats de la CE (ROM) ne s'appuie pas réellement sur des indicateurs. Il fournit des appréciations systématiques sur les projets d'aide extérieure sous la forme d'une notation portant sur les résultats et impacts attendus.

-Indicateurs et évaluation

Les indicateurs d'évaluation sont utilisés pour aider à répondre aux questions d'évaluation spécifiques. Suivant la question, ils peuvent être liés aux besoins, problèmes et défis qui ont justifiés l'intervention, ou sur l'obtention des réalisations, résultats et impacts attendus, ou sur tout autre chose.

Les indicateurs globaux ou contextuels s'appliquent à l'ensemble d'un territoire, d'une population ou d'une catégorie de population, sans faire de distinction entre ceux qui ont été atteints par l'intervention et ceux qui ne l'ont pas été. Ils sont principalement recherchés dans les données statistiques. Ce site propose une aide à la recherche d'indicateurs de contexte.

Les indicateurs spécifiques concernent seulement la partie ou la catégorie du public ou la partie d'un territoire qui a été effectivement atteinte. Les indicateurs spécifiques permettent de suivre à la trace les changements qui apparaissent chez ceux qui ont été affectés par l'intervention. Ils sont principalement produits par des enquêtes et des bases de gestion.

Les indicateurs de ressources informent sur les moyens financiers, humains, matériels, organisationnels ou réglementaires mobilisés pour la mise en œuvre de l'intervention. La plupart des indicateurs de ressources sont quantifiés de façon permanente par les systèmes de gestion et de suivi (pour autant que celui-ci soit opérationnel).

Indicateurs de réalisations

Les indicateurs de réalisations informent sur l'activité des opérateurs, et en particulier sur les produits et services qu'ils délivrent et dont ils ont la responsabilité. Pour simplifier, on peut dire que les réalisations correspondent à ce qui est acheté avec l'argent public.

Indicateurs de résultats

Les indicateurs de résultats informent sur les effets immédiats de l'intervention pour ses destinataires directs. Un effet est immédiat si l'opérateur peut s'en rendre compte facilement pendant qu'il est au contact du destinataire. Etant facilement connus des opérateurs, les indicateurs de résultats directs peuvent souvent être quantifiés de façon exhaustive par le système de suivi.

Indicateurs d'impacts

Les indicateurs d'impacts informent sur les conséquences directes ou indirectes à long terme de l'intervention.
Une première catégorie concerne les conséquences qui apparaissent ou qui perdurent à moyen ou long terme chez les bénéficiaires directs.
Une seconde catégorie d'impacts concerne les personnes ou organismes qui ne sont pas des bénéficiaires directs.
Les indicateurs d'impact ne peuvent généralement pas être produits à partir des informations de gestion. Ils font plutôt appel à des données statistiques ou à des enquêtes spécifiquement conduites dans le cadre de l'évaluation.

Une note fait la synthèse d'un ensemble d'informations, généralement qualitatives, et/ou d'opinions. L'attribution des notes est guidée par une grille de notation préparée à l'avance. Du point de vue de l'évaluation, les termes notation (scoring) et cotation (rating) sont équivalents.

Pour quoi s'en préoccuper ?

La notation permet de produire une information structurée et comparable à propos de critères de jugement qui ne se prêtent pas à une mesure au moyen d'indicateurs quantitatifs.

Comment construire une grille de notation

• Examiner plusieurs dimensions possibles pour le critère qu'il s'agit de noter (sous-critères).
• Pour chaque dimension ou sous-critère, écrire une courte phrase qui définit la réussite de l'intervention (descripteur de succès complet).
• Pour chaque dimension ou sous-critère, écrire une autre phrase (descripteur) qui définit l'échec de l'intervention.
• Ecrire une ou plusieurs phrases (descripteurs) qui représentent des niveaux de succès intermédiaires.
• Associer une note à chaque descripteur (ex : de 0 à 10, de 0 à 3, de -3 à +3).
• Pondérer éventuellement des sous-critères.
• Tester la grille sur quelques exemples pilotes.
• Discuter le test avec le groupe de référence si cela est pertinent.

Comment utiliser une grille de notation

Les grilles de notation sont appliquées le plus souvent à des projets ou à des composantes de l'intervention et elle permet de les comparer.
L'équipe d'évaluation réunit toutes les informations dont elle dispose sur le projet ou la composante à noter. Elle choisit ensuite parmi les niveaux (ou descripteurs) de la gille de notation celui qui correspond le mieux (ou le moins mal) à ses informations ou à son opinion. Elle constate la note qui résulte de son choix.

Plus la grille de notation est détaillée, moins la subjectivité intervient et plus les notes attribuées par deux notateurs différents sont comparables.

.

.

Des questions aux critères de jugement

Le critère de jugement (également appelé critère d'appréciation raisonnée) précise un aspect de l'intervention évaluée qui va permettre d'évaluer son mérite ou sa valeur de façon à répondre à la question évaluative. Par exemple :

Le critère de jugement donne une indication claire de ce qui est positif ou négatif, par exemple : " renforcement des effets attendus " est préférable à " prise en compte des effets potentiels ".

Un critère de jugement plus précis que la question

La question est rédigée de façon non technique dans un langage facilement compréhensible par tous, quitte à être peu précise.
Le critère de jugement focalise la question sur les éléments les plus essentiels pour le jugement.
Toutefois, le critère de jugement n'a pas besoin d'être totalement précis. Dans le premier exemple, le terme " qualité satisfaisante " pourra être précisé ultérieurement (au stade de l'indicateur).

Pas trop de critères

Il est souvent possible de définir de nombreux critères de jugement pour une même question, mais cela alourdirait la collecte d'information et de rendrait la réponse moins claire.
Dans l'exemple ci-dessous, la question est traitée avec trois critères de jugement (approche multicritère) :

• " capacité du système d'enseignement primaire à accueillir les élèves de la minorité ethnique X avec une qualité satisfaisante "
• " capacité du système d'enseignement primaire à accueillir les élèves des zones urbaines les plus pauvres avec une qualité satisfaisante "
• " capacité du système d'enseignement primaire à accueillir les filles "

Un critère de jugement fidèle à la question

Le critère de jugement ne doit pas trahir la question. Dans l'exemple suivant, deux critères de jugement sont envisagés pour traiter la même question :

• " capacité du système d'enseignement primaire à recruter des élèves de la minorité ethnique X avec une qualité satisfaisante"
• " les élèves de ma minorité ethnique X quittent l'école primaire en réussissant l'examen final "

Le premier critère de jugement est fidèle à la question alors que le second l'est moins dans la mesure où il concerne le succès à l'école primaire, alors que la question porte seulement sur l'accès. Peut-être avait-on mal rédigé la question et est-il encore temps de la modifier.

Préciser également le champ de la question

La plupart des questions comportent un champ (ce qui est jugé) et un critère de jugement (la façon de juger). En plus du critère de jugement, il est donc souvent souhaitable de préciser le champ de la question, par exemple : " l'aide européenne allouée au cours des X dernières années ", " la conception du programme X ", " le principe de décentralisation adopté pour mettre en œuvre l'action X ".

Préciser également le type d'analyse de causalité

Certaines questions impliquent une analyse de cause-à-effet préalable au jugement. Il peut donc être également souhaitable de préciser le type d'analyse souhaité à l'aide de termes tels que " l'aide européenne a-t-elle conduit à ", " a-t-elle contribué à ", " est-elle susceptible de ".

Un indicateur décrit de façon précise l'information qui doit être recherchée pour répondre à la question selon le critère de jugement choisi, par exemple :

Pas trop d'indicateurs

Il est possible de définir beaucoup d'indicateurs pour un même critère de jugement. Se baser sur plusieurs indicateurs permet de croiser les données et de renforcer les éléments de preuve sur la base desquels on répond à la question. A l'inverse, un nombre excessif d'indicateurs alourdit le travail de recueil de données sans nécessairement améliorer la robustesse de la réponse à la question.
Dans les exemples ci-dessous, un critère de jugement (" capacité du système d'enseignement primaire à accueillir les élèves de la minorité ethnique X avec une qualité satisfaisante ") est traité avec trois indicateurs :

• " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire dans les zones où la minorité ethnique X est concentrée "
• " Nombre d'élèves par enseignant dans les zones où la minorité ethnique X est concentrée "
• " Niveau de qualité des locaux (échelle de 1 à 3) affectés à l'enseignement primaire dans les zones où la minorité ethnique X est concentrée "

Indicateur fidèle au critère de jugement

L'indicateur ne doit pas trahir le critère de jugement. Deux indicateurs sont envisagés ci-dessous:

• " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire dans les zones où la minorité ethnique X est concentrée "
• " Taux de scolarisation à l'école primaire dans les zones où la minorité ethnique X est concentrée "

Le premier indicateur est fidèle dans la mesure où il décrit un aspect essentiel du critère de jugement. Le second indicateur est moins fidèle car il ne reflète pas le concept de " qualité satisfaisante ". On dit que sa validité de construction n'est pas bonne.

Indicateurs sans ambiguïté

Un indicateur doit être défini sans aucune ambiguïté et doit pouvoir être compris de la même façon par tous les membres de l'équipe d'évaluation. Par exemple, dans les exemples précédents, il convient de préciser ce qu'est un " enseignant qualifié et expérimenté ". Cela peut se faire par référence à une définition existante. A défaut, il convient de rédiger la définition, aussi précisément que nécessaire jusqu'à ce qu'il n'y ait plus aucune ambiguïté.

Indicateurs indépendants du champ d'observation

Un même indicateur doit pouvoir servir à collecter l'information dans plusieurs contextes, par exemple :

• " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire" - dans les zones où la minorité ethnique X est concentrée.
• " Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire" - dans les zones où la minorité ethnique X est absente.

Dans ce cas, le même indicateur est appliqué dans les deux types de zones et sert à faire une comparaison, sur la base de laquelle un jugement sera formulé.

Indicateurs quantitatifs ou qualitatifs

Les deux exemples qui suivent présentent une alternative entre un indicateur quantitatif et un indicateur qualitatif pour traiter le même critère de jugement :

• "Nombre d'enseignants qualifiés et expérimentés pour 1000 enfants en age de fréquenter l'enseignement primaire " (quantitatif)
• "Les parents interrogés confirment que leurs enfants ont la possibilité d'aller à l'école primaire et bénéficient d'un enseignant qualifié et expérimenté " (qualitatif)

De préférence, un indicateur est associé à un niveau cible

Le niveau cible indique quelle comparaison devra être faite pour permettre de répondre à la question, par exemple : " Dans les zones où la minorité ethnique X est concentrée, l'indicateur est au moins aussi bon que dans la moyenne du pays "
Le niveau cible et l'indicateur sont souvent précisés de façon interactive par étapes successives. Attention à ne pas s'éloigner du critère de jugement pendant ce processus.
Quand la question d'évaluation se rapporte à un résultat ou un impact attendu, le niveau cible est habituellement dérivé d'un objectif vérifiable ou emprunté à un système d'appréciation des performances.

Indicateurs faisables

L'indicateur permet de focaliser et de structurer la collecte d'information, mais il ne sert à rien si cette information n'existe pas. Pour s'assurer de la faisabilité d'un indicateur, il convient donc d'indiquer la source d'information à utiliser, par exemple :

• données de gestion du système éducatif national,
• enquêtes nationales périodiques sur le système éducatif,
• enquête par questionnaire réalisée dans quelques zones spécialement sélectionnées et dans le cadre de l'évaluation.

Si aucune source n'est disponible ou faisable, alors il convient de changer l'indicateur. S'il n'est pas possible de trouver un indicateur faisable, alors il faut envisager d'abandonner la question.

• La question fait référence à une famille de critères d'évaluation : cohérence/complémentarité.

Critère de jugement

Le critère de jugement est dérivé de la question de la façon suivante :

• Il montre le type de succès que l'on cherche à évaluer en posant la question, c'est-à-dire la "cohérence entre l'aide et les autres politiques de la CE".
• Il précise plusieurs concepts : principalement celui de cohérence, mais aussi le terme "autres politiques"
• Il porte sur la façon de juger et non pas sur ce qui est jugé. C'est pourquoi le début de la question concernant " Dans quelle mesure la CE assure-t-elle " a été enlevé.

Indicateur

L'indicateur est dérivé du critère de jugement de la façon suivante :

• L'indicateur est fidèle au critère de jugement.
• Il décrit de façon précise l'information qui doit être collectée pour appliquer le critère de jugement choisi. Cependant, des termes tels que "synergie positive/négative" doivent encore être précisés. Il convient de rédiger la définition, aussi précisément que nécessaire jusqu'à ce qu'il n'y ait plus aucune ambiguïté.
• Il est qualitatif, mais on aurait pu définir un indicateur quantitatif, par exemple : " proportion de synergies positives parmi les synergies identifiées ".
• Il va permettre de définir un niveau cible, par exemple en comparant l'importance respective des synergies positives et négatives.
• Sa faisabilité doit encore être vérifiée en s'assurant qu'une ou plusieurs sources d'information et outils d'évaluation seront disponibles, par exemple : opinion d'un panel d'experts indépendants, questionnaire passé à la fin d'un focus group réunissant des administrateurs.

La question fait référence à une famille de critères d'évaluation : l'efficacité.

Critère de jugement

Le critère de jugement est dérivé de la question de la façon suivante :

• Il montre le type de succès que l'on cherche à évaluer en posant la question, c'est-à-dire la meilleure "capacité du système éducatif à accueillir les élèves des groupes défavorisés sans discrimination?".
• Il précise plusieurs concepts tels que "système éducatif ", "groupes défavorisés" et "discrimination". Cependant le terme "qualité satisfaisante" reste à préciser.
• Il porte sur la façon de juger et non pas sur ce qui est jugé. C'est pourquoi le début de la question concernant "l'aide de la CE" a été enlevé.
• Il met l'accent sur le jugement et non pas sur l'analyse de causalité. C'est pourquoi les termes " … a-t-elle amélioré … " ont été enlevés.

Indicateur

L'indicateur est dérivé du critère de jugement de la façon suivante :

• Il décrit de façon précise l'information qui doit être recherchée pour juger selon le critère de jugement choisi. Cependant, la définition n'est pas encore complète. En particulier, il faut encore préciser ce qu'est un "enseignant qualifié et expérimenté". Cela peut se faire par référence à une définition existante. A défaut, il convient de rédiger la définition, aussi précisément que nécessaire jusqu'à ce qu'il n'y ait plus aucune ambiguïté.
• L'indicateur est fidèle au critère de jugement ("capacité du système d'enseignement primaire à accueillir les élèves avec une qualité satisfaisante"). Il n'englobe pas toutes les dimensions du critère de jugement mais il met en lumière ce qui est considérée comme essentiel.
• Il est quantitatif, mais on aurait pu définir un indicateur qualitatif, par exemple : " les parents interrogés confirment que leurs enfants ont la possibilité de fréquenter une classe primaire bénéficiant d'un enseignant qualifié et expérimenté "
• Il va permettre de définir un niveau cible, par exemple en comparant les "zones où la proportion des élèves de la minorité ethnique X est supérieure à la moyenne" avec "l'ensemble du pays".
• Sa faisabilité doit encore être vérifiée en s'assurant qu'une ou plusieurs sources d'information seront disponibles, par exemple : données de gestion du système éducatif national, enquêtes nationales périodiques sur le système éducatif, enquête par questionnaire réalisée dans le cadre de l'évaluation.