Evaluation methodological approach

.

¿De qué estamos hablando?

Un criterio de juicio especifica un aspecto de la intervención evaluada que va a permitir apreciar su mérito o éxito. Si bien "criterio de juicio" es la palabra adecuada, una alternativa aceptable es "criterio de evaluación razonada". El criterio es utilizado para responder de manera positiva o negativa a una pregunta de evaluación. Cada pregunta se desglosa en uno o varios criterios de juicio.

¿Qué hay que procurar?

• Evitar la subjetividad y formular los juicios sobre bases aceptadas.
• Reforzar la transparencia de la evaluación haciendo que el juicio sea explícito.
• Estructurar la respuesta a las preguntas planteadas, ya que los criterios de juicio van a determinar los indicadores y, más en general, la naturaleza de los datos recabados y el tipo de análisis.

¿Cómo explicitar un criterio de juicio a partir de una pregunta ?

Todas las preguntas de evaluación van acompañadas de un criterio de juicio o varios, excepto si tienen como única intención conocer o comprender la intervención o sus efectos.

Un ejemplo de pregunta es el siguiente:

Como la mayoría de las preguntas de evaluación, ésta consta de dos partes:

• Lo que se juzga, "la ayuda de la CE …"
• La manera de juzgar, " … ha mejorado la capacidad del sistema educativo primario para recibir los alumnos provenientes de grupos desfavorecidos sin discriminación?"
• Esta pregunta pertenece a la familia de la eficacia.

Los criterios de juicio desarrollan y especifican la segunda parte de la pregunta, por ejemplo:

Los criterios de juicio derivan de la pregunta, por ejemplo, en el caso del primer criterio:

• Se basa en la manera de juzgar y no en lo que se juzga. Es por ello que el comienzo de la pregunta relacionada con "la ayuda de la CE" fue suprimido.
• Especifica el tipo de éxito que se desea evaluar, es decir, una mejora en la "capacidad del sistema de educación primaria para recibir a alumnos provenientes de grupos desfavorecidos sin discriminación" y en especial, "los alumnos de la minoría étnica X".
• Hace hincapié en el juicio y no en el análisis de causalidad. Es por ello que se suprimieron los términos "En qué medida.... ha mejorado".

Para ser utilizado en la práctica, cada criterio de juicio debe estar acompañado de un nivel meta (target) a alcanzar y uno o varios indicador(es).

• Siempre definir el criterio de juicio antes de seleccionar un indicador existente o de diseñar uno nuevo. Ello es indispensable para aclarar los conceptos. Si se presta atención a los indicadores de manera precipitada, se corre el riesgo de quedar prisioneros de la información existente, incluso si la misma no es suficiente para responder a la pregunta planteada.
• Hacer que el grupo de referencia debata la definición de los criterios de juicio de modo que se tenga en cuenta la diversidad de los puntos de vista pertinentes con respecto a la intervención.
• Pueden existir discrepancias sobre los criterios de juicio, por ejemplo, un mismo efecto puede tener una dimensión juzgada de manera positiva por determinados miembros del grupo de referencia y otra dimensión juzgada negativamente por otros. En este caso, hay dos opciones posibles: (1) elegir un solo criterio de juicio, aunque en ese caso hay que evitar sesgar la evaluación, o bien (2) elegir varios criterios, aunque traiga como consecuencia el aumento y la complicación del trabajo de recolección y de análisis de información.
• Para optimizar la recolección y el análisis de información, lo ideal es definir una cantidad limitada de criterios de juicio por cada pregunta. Además, esta recomendación tiene en cuenta la capacidad que tienen los usuarios para absorber la información.
• Justificar, llegado el caso, las diferencias que podrían existir entre los criterios utilizados para formular el juicio al final del proceso de evaluación y los identificados en la primera fase de la evaluación (desk).

¡Atención! No confundir los conceptos

En este capítulo se emplea el término criterio para tres conceptos diferentes:

• Los criterios de juicio presentados en esta página.
• Los criterios de evaluación: pertinencia, eficacia, eficiencia, sustentabilidad, impacto, valor agregado comunitario y coherencia / complementariedad.
• Los criterios de apreciación de la calidad de los informes de evaluación.

Según la C.E., el valor agregado de una evaluación consiste en la formulación de los juicios de valor sobre la base de pruebas y de criterios de juicio explícitos. Cuando se trabaja con organizaciones que no están familiarizadas con la evaluación, puede resultar prudente no emplear la palabra "juicio", ya que ésta puede generar resistencias. Una alternativa aceptable es "evaluación", o mejor aun "evaluación razonada".

.

.

¿De qué estamos hablando?

El concepto de "nivel meta" es ampliamente utilizado en el contexto de la gestión pública para establecer un objetivo verificable o un nivel de desempeño a alcanzar. En el contexto de la evaluación, se lo utiliza en un sentido aún más amplio ya que es posible que la intervención evaluada sea juzgada respecto de niveles meta no establecidos de antemano pero sí identificados de manera específica, como por ejemplo un benchmark, un umbral de éxito o una buena práctica comparable.

¿Qué hay que procurar?

• Evitar la subjetividad y formular un juicio sobre bases aceptadas y reconocidas.

¿Cómo se lo determina?-Haciendo referencia a un objetivo definido de manera verificable

El nivel meta a alcanzar puede aparecer en los objetivos de la intervención, siempre y cuando se hayan establecido de manera verificable. En ese caso en particular, el mismo indicador sirve para definir el objetivo, para hacer que el criterio de juicio sea operativo y para determinar el nivel meta.

• Ejemplo: la cantidad de docentes calificados y con experiencia por cada 1.000 niños en edad escolar primaria es al menos 20.

En este caso, el nivel meta se establece al inicio de la evaluación. No está relacionado con un objetivo o un sistema de medición de desempeño existente previo a la evaluación.

• Ejemplo: el acceso a la educación primaria con docentes calificados y experimentados es por lo menos tan satisfactorio como en el caso de X (buena práctica reconocida a nivel regional).

El procedimiento es el siguiente:

• Identificar una práctica comparable y reconocida por su calidad (intervención similar de la CE en otro país, intervención de otro donante, intervención en otro sector pero que utiliza los mismos instrumentos).
• Informarse sobre la práctica a comparar (es más fácil si ya ha sido evaluada).
• Garantizar que las condiciones del contexto sean lo suficientemente parecidas como para permitir la comparación.
• Proceder a la comparación (esencialmente cualitativa).
• Discutir y validar la comparación con el grupo de referencia.

El nivel meta a alcanzar puede hallarse en el seno mismo de la intervención evaluada, durante la fase de síntesis. Ello es posible si antes se identificaron las prácticas juzgadas como buenas respecto de los criterios de juicio considerados.

En este caso, las buenas prácticas servirán como norma para juzgar las otras. Convendrá, por supuesto, verificar que las condiciones del contexto sean lo suficientemente parecidas como para permitir la comparación.

• Ejemplo: en las zonas en las que se concentra la minoría étnica X, la cantidad de docentes calificados y experimentados por cada 1.000 niños en edad escolar primaria se acerca a la de las áreas con mejor desempeño del país.

Si el nivel meta a alcanzar se desprende de un objetivo verificable o de un sistema de medición de desempeño, entonces se lo puede definir en la primera etapa del proceso de evaluación. Si el nivel meta está construido a partir de una referencia de comparación externa (benchmark), pues conviene entonces identificarlo durante la primera etapa de la evaluación. No obstante ello, el proceso puede implicar una recolección de información secundaria con miras a la comparación, así como un examen detallado de la comparabilidad. Es decir que no se definirá completamente el nivel meta durante la primera fase de la evaluación.

Si se ha de deducir el nivel meta a alcanzar a partir de las mejores prácticas descubiertas por el equipo de evaluación en la intervención, su determinación se efectuará en la fase de síntesis.

-Después de haber elegido el criterio de juicio

La determinación del nivel meta se lleva a cabo en un proceso dividido en tres etapas:

• Elección y finalización de la pregunta de evaluación.
• Elección del criterio (o criterios) de juicio.
• Determinación de los niveles meta, de los indicadores y de las fuentes de información simultáneamente durante la tercera etapa.

-Niveles meta de la evaluación y otros

Cuando la pregunta de evaluación trata de un resultado o impacto esperado, el nivel meta por lo general deriva de un objetivo verificable o se lo pide prestado al sistema de medición de desempeño.

El seguimiento del desempeño, sin embargo, puede ser poco útil o completamente inútil en el caso en el que una pregunta de evaluación se refiera a los aspectos transversales, los factores de sustentabilidad, los efectos no esperados, la evolución de las necesidades o de los problemas, la coherencia, etc.

.

.

¿De qué estamos hablando?

El equipo de evaluación puede utilizar todo tipo de datos fiables o cualquier prueba que tenga a su disposición para juzgar si la intervención ha sido exitosa o no con respecto a un criterio de juicio y un nivel meta.

Los datos pueden ser recabados de manera estructurada utilizando indicadores. Estos últimos especifican con precisión los datos que deben ser recogidos. Un indicador puede ser cuantitativo o cualitativo. En el segundo caso se puede utilizar la técnica del puntaje.

Durante la evaluación se recaban también datos no estructurados, ya sea de manera fortuita o porque se utilizan herramientas inductivas, tales como estudios de casos prácticos. Este tipo de pruebas puede tener la suficiente solidez como para servir de base para las conclusiones, pero no es un indicador.

¿Qué hay que procurar?

• Recabar y tratar los datos bajo un formato que sea directamente utilizable en el momento de responder a las preguntas.
• Evitar recoger una masa demasiado grande de información no pertinente y concentrarse en la respuesta a las preguntas planteadas.

Los principales indicadores de evaluación son aquellos que están vinculados a los criterios de juicio y especifican qué información se debe recabar para emitir un juicio según dichos criterios.

Un indicador puede ser construido específicamente para una evaluación (indicador ad hoc) y medido, por ejemplo, en el marco de una encuesta. También puede ser extraído de bases de datos de seguimiento, de un marco de evaluación o de fuentes estadísticas.

Un indicador cualitativo (o descriptor) adopta la forma de una declaración que deberá ser verificada durante la recolección de información (Ej.: la opinión de los padres es que sus hijos tengan la posibilidad de asistir a clases en una escuela primaria con un docente calificado y experimentado).

Un indicador cuantitativo está fundado en un recuento (Ej.: cantidad de docentes calificados y experimentados). El indicador básico es el recuento propiamente dicho. Puede ser utilizado para calcular indicadores derivados (razones, índices) tales como el costo por alumno escolarizado o la cantidad de docentes calificados y experimentados por cada 1.000 niños en edad de asistir a la escuela primaria.

Los indicadores pueden pertenecer a diferentes categorías: insumos, rendimientos, resultados o impactos. 

Cuando una pregunta de evaluación se refiere a un resultado o a un impacto esperado, conviene verificar si dicho resultado o impacto ha sido objeto de un monitoreo del desempeño. En esos casos, el equipo de evaluación utiliza los indicadores y los datos correspondientes, lo que representa una ayuda considerable, sobre todo si se registraron datos de línea de base.

El monitoreo del desempeño, sin embargo, puede resultar de poca o nula utilidad cuando una pregunta de evaluación se refiere a los aspectos transversales, los factores de sustentabilidad, los efectos no esperados, la evolución de las necesidades o de los problemas, la coherencia, etc.

Calidad de un indicador

Mide o califica con precisión el criterio de juicio o la variable que se busca observar (validez de construcción). En su defecto, se puede recurrir a varios indicadores similares (proxies) para lograr una mejor validez.

Proporciona una información simple, fácilmente comunicable y comprendida de la misma manera tanto por el proveedor como por el usuario de la información.

Es preciso, es decir que está asociado a una definición que no posee ningún término ambiguo.

Es sensible, es decir que genera datos que varían significativamente si hay un cambio en lo que se observa.

A menudo se exige que los indicadores del desempeño y los niveles meta sean SMART (en inglés: Specific, Measurable, Attainable, Realistic and Timely): específicos, mensurables, ambiciosos, realistas y oportunos. La calidad de un indicador de evaluación se evalúa de manera diferente. 

El indicador empleado para la evaluación de un efecto no es una medida o una prueba de dicho efecto en sí mismo. El indicador sólo da información acerca de los cambios suscitados, los cuales pueden resultar de la intervención (efecto) o de otras causas.

El equipo de evaluación siempre debe analizar o interpretar el indicador a fin de estimar un efecto.

.

.

-Indicadores y el ciclo de intervención

A lo largo de todo el ciclo de la intervención se utilizan indicadores. Se los utiliza en primer lugar para el análisis del contexto, luego para elegir y validar la estrategia de la intervención, después para el seguimiento de los productos y resultados, y por último, para la evaluación.

Indicadores y diseño de la intervención

Se pueden utilizar los indicadores de contexto como apoyo a la identificación de las necesidades, problemas y desafíos que justifican la intervención.

En la medida de lo posible, se definen los objetivos y niveles meta de manera mesurable a través de indicadores.

Indicadores, seguimiento y evaluación de desempeño

Los sistemas de seguimiento y de medición de desempeño también hacen uso de los indicadores derivados del diagrama de los efectos esperados (también llamados cadenas de resultados).

Los indicadores de seguimiento están relacionados sobre todo con los recursos y los productos. Los indicadores de desempeño se concentran principalmente en los resultados e impactos esperados. El seguimiento basado en los resultados de la CE (ROM) en realidad no se apoya tanto en indicadores. Proporciona evaluaciones sistemáticas sobre los proyectos de ayuda externa bajo la forma de un puntaje relacionado con los resultados e impactos esperados.

Indicadores y evaluación

Los indicadores de evaluación sirven para ayudar a responder las preguntas de evaluación específicas. Dependiendo de la pregunta, pueden guardar relación con las necesidades, los problemas y los desafíos que han justificado la intervención, o con el logro de productos, resultados e impactos esperados, o con cualquier otra cosa.

-Indicadores globales y específicos

Los indicadores globales o contextuales se aplican a la totalidad de un territorio, población o grupo, sin hacer distinción entre los que están aludidos por la intervención y los que no. Se los extrae principalmente de los datos estadísticos. Esta página web ofrece una ayuda para la búsqueda de indicadores contextuales.

Los indicadores específicos conciernen sólo al grupo o territorio realmente aludido. Los indicadores específicos permiten el monitoreo de los cambios que ocurren entre los afectados por la intervención. La mayor parte de estos indicadores provienen de las encuestas y de las bases de datos de gestión.

-Indicadores y lógica de intervenciónIndicadores de recursos

Los indicadores de recursos ofrecen información sobre los medios financieros, los recursos humanos, materiales, organizativos o reglamentarios movilizados para poner en marcha la intervención. Los sistemas de gestión y seguimiento cuantifican la mayoría de los indicadores de recursos periódicamente (siempre y cuando sean operativos).

Indicadores de productos

Los indicadores de productos brindan información acerca de la actividad del operador, y en particular, de los productos y servicios que provee y de los que es responsable. Para simplificar, se puede decir que los productos corresponden a lo que se compra con el dinero público.

Indicadores de resultados

Los indicadores de resultados informan acerca de los efectos inmediatos de la intervención en sus destinatarios directos. Un efecto es inmediato si el operador lo percibe fácilmente durante su contacto con un destinatario. Como los operadores los reconocen con facilidad, los indicadores de resultados directos pueden ser cuantificados de manera exhaustiva por el sistema de seguimiento.

Indicadores de impactos

Los indicadores de impactos proporcionan información sobre las consecuencias de la intervención ya sean directas o indirectas a largo plazo.

Una primera categoría atañe a las consecuencias que aparecen o que perduran a mediano o largo plazo en los beneficiarios directos.

Una segunda categoría de impactos atañe a aquellas personas o actores que no son beneficiarios directos.

Por lo general no se pueden producir indicadores de impacto a partir de la información de gestión. Los mismos requieren datos estadísticos o encuestas conducidas especialmente dentro del marco del proceso de evaluación.

Una puntuación sintetiza el conjunto de la información, que por lo general es cualitativa, y / o de opiniones. La atribución de la puntuación está guiada por una plantilla de puntuación que se prepara de antemano. 

Desde el punto de vista de la evaluación, los términos de puntuación (scoring) y calificación (rating) son equivalentes.

¿Qué hay que procurar?

La puntuación permite producir datos estructurados y comparables sobre criterios de juicio que no se puede medir por medio de indicadores cuantitativos.

¿Cómo se construye una plantilla de puntuación?

• Examinar varias dimensiones posibles según el criterio que se deba calificar (sub-criterios).
• Por cada dimensión o sub-criterio, escribir una frase corta que defina el éxito de la intervención (descriptor de éxito completo).
• Por cada dimensión o sub-criterio, escribir otra frase (descriptor) que defina el fracaso de la intervención.
• Escribir una o varias frases (descriptores) que representen los niveles de éxito intermedios.
• Asociar una puntuación a cada descriptor (por Ej.: de 0 a 10, de 0 a 3, de -3 a +3).
• Eventualmente, ponderar los sub-criterios.
• Hacer una prueba de la plantilla utilizando algunos ejemplos piloto.
• Si fuera pertinente, discutir sobre la prueba con el grupo de referencia.

Cómo utilizar una plantilla de puntuación

Muy a menudo las plantillas de puntuación se aplican a proyectos o a componentes de la intervención y éstas permiten compararlos. 

El equipo de evaluación reúne toda la información de la que dispone acerca del proyecto o del componente a calificar. Luego elige a partir de los niveles (o descriptores) de la plantilla de puntuación el que mejor corresponde (o el más adecuado) a su información o a su opinión. Verifica la puntuación resultante de su elección. 

Recomendaciones

Cuanto más detallada es la plantilla de puntuación, menos interviene la subjetividad y más comparables son las puntuaciones atribuidas por dos calificadores diferentes.

.

.

De las preguntas a los criterios de juicio

El criterio de juicio (también denominado criterio de evaluación razonada) especifica un aspecto de la intervención evaluada que permitirá evaluar sus méritos o valor a fin de responder la pregunta de evaluación. Por ejemplo:

El criterio de juicio indica con claridad lo que es positivo o negativo, por ejemplo: es preferible "refuerzo de los efectos esperados" a "consideración de los efectos potenciales".

Un criterio de juicio más preciso que la pregunta

La pregunta está redactada de manera no técnica en un lenguaje que todos pueden comprender con facilidad, aunque sea poco precisa.

El criterio de juicio centra la pregunta en los elementos más esenciales para el juicio.

Sin embargo, el criterio de juicio no tiene necesidad de ser totalmente preciso. En el primer ejemplo, se podrá precisar el término "calidad satisfactoria" con posterioridad (en la etapa del indicador).

No demasiado criterios

A menudo es posible definir muchos criterios de juicio para una misma pregunta, pero ello complicaría la recolección de datos y haría la respuesta menos clara.

En el ejemplo que sigue a continuación, se trata la pregunta según tres criterios de juicio (enfoque multicriterio):

• "capacidad del sistema de educación primaria para inscribir alumnos provenientes de la minoría étnica X con una calidad satisfactoria".
• "capacidad del sistema de educación primaria para inscribir alumnos provenientes de las zonas urbanas más pobres con una calidad satisfactoria".
• "capacidad del sistema de educación primaria para inscribir niñas".

Un criterio de juicio fiel a la pregunta

El criterio de juicio no debe traicionar a la pregunta. En el siguiente ejemplo, se contemplan dos criterios de juicio para tratar la misma pregunta:

• "capacidad del sistema de educación primaria para inscribir alumnos provenientes de la minoría étnica X con una calidad satisfactoria".
• "alumnos de la minoría étnica X que terminan la escuela primaria aprueban su examen final".

El primer criterio de juicio es fiel a la pregunta mientras que el segundo no lo es tanto, en la medida en que se refiere al éxito alcanzado en la educación primaria, mientras que la pregunta trata solamente acerca del acceso a la misma. Tal vez la pregunta estaba mal redactada, en cuyo caso puede ser modificada si todavía hay tiempo.

Precisar también el campo de la pregunta

La mayor parte de las preguntas contienen un campo (lo que se juzga) y un criterio de juicio (la manera de juzgar). Además del criterio de juicio, a menudo es aconsejable precisar el campo de la pregunta, por ejemplo: "la ayuda europea asignada en el transcurso de los últimos X años", "el diseño del programa X", "el principio de descentralización adoptado para poner en marcha la acción X".

Precisar también el tipo de análisis de causalidad

Algunas preguntas implican un análisis de causa y efecto previo al juicio. Por lo tanto también puede ser aconsejable precisar el tipo de análisis deseado con la ayuda de términos tales como: "la ayuda europea, ¿ha conducido a...", "¿ha contribuido a...?", "¿es susceptible de...?"

Un indicador describe en detalle la información requerida para responder la pregunta según el criterio de juicio elegido, por ejemplo:

No demasiados indicadores

Se pueden definir muchos indicadores para un mismo criterio de juicio. El hecho de apoyarse en varios indicadores permite realizar verificaciones cruzadas y fortalece la base de pruebas sobre la que se responde la pregunta. Sin embargo, una cantidad excesiva de indicadores implica una pesada carga laboral de recolección de datos sin necesariamente una mejora en la solidez de la respuesta a la pregunta.

En los ejemplos que siguen a continuación, se analiza un criterio de juicio ("capacidad del sistema escolar primario para inscribir alumnos de la minoría étnica X con una calidad satisfactoria") con tres indicadores:

• "Cantidad de docentes calificados y con experiencia por cada 1.000 niños en edad de asistir a la escuela primaria en áreas donde se concentra la minoría étnica X".
• "Cantidad de alumnos por docente en áreas donde se concentra la minoría étnica X".
• "Nivel de calidad de los locales (escala de 1 a 3) afectados a la enseñanza primaria en áreas donde se concentra la minoría étnica X".

Indicador fiel al criterio de juicio

El indicador no debe traicionar al criterio de juicio. A continuación se contemplan dos indicadores:

• "Cantidad de docentes calificados y con experiencia por cada 1.000 niños en edad escolar primaria en áreas donde se concentra la minoría étnica X".
• "Índice de inscripción a la educación primaria en áreas donde se concentra la minoría étnica X".

El primer indicador es fiel en la medida en que describe un aspecto esencial del criterio de juicio. El segundo indicador es menos fiel ya que no logra reflejar el concepto de "calidad satisfactoria". Su validez de construcción no es buena.

Indicadores sin ambigüedad

Un indicador debe estar definido sin ninguna ambigüedad y todos los miembros del equipo de evaluación deben ser capaces de comprenderlo de la misma manera. En los ejemplos anteriormente mencionados es necesario precisar lo que significa un "docente calificado y con experiencia", lo cual se puede resolver haciendo referencia a una definición existente. En su defecto, conviene redactar la definición con tanta exactitud como sea necesario hasta eliminar toda ambigüedad.

Indicadores independientes del campo de observación

Un mismo indicador debe ser capaz de servir para recabar la información en varios contextos, por ejemplo:

• "Cantidad de docentes calificados y con experiencia por cada 1.000 niños en edad escolar primaria en áreas donde se concentra la minoría étnica X" .
• "Cantidad de docentes calificados y con experiencia por cada 1.000 niños en edad escolar primaria" en áreas donde hay ausencia de minoría étnica X.

En este caso, se aplica el mismo indicador en los dos tipos de zonas y éste sirve para efectuar una comparación que será la base para formular un juicio.

Indicadores cuantitativos o cualitativos

Los dos ejemplos que siguen a continuación presentan una alternativa entre un indicador cuantitativo y un indicador cualitativo para analizar el mismo criterio de juicio:

• "Cantidad de docentes calificados y con experiencia por cada 1.000 niños en edad de asistir a la escuela primaria" (cuantitativo).
• "Los padres encuestados confirman que sus hijos tienen la posibilidad de asistir a la escuela primaria y beneficiarse de un docente calificado y con experiencia" (cualitativo).

Preferentemente se asocia un indicador a un nivel meta

El nivel meta indica qué comparación se deberá efectuar para permitir responder a la pregunta, por ejemplo: "En las zonas donde se concentra la minoría étnica X, el indicador es por lo menos tan bueno como en la totalidad del país en promedio".

A menudo se presentan de modo interactivo tanto el nivel meta a alcanzar como el indicador por etapas sucesivas. Hay que tener cuidado de no alejarse del criterio de juicio durante este proceso.

Cuando la pregunta de evaluación se refiere a un resultado o a un impacto esperado, el nivel meta por lo general deriva de un objetivo verificable o se lo toma prestado de un sistema de evaluación de desempeño.

Indicadores factibles

El indicador permite enfocar y estructurar la recolección de información, pero no sirve de nada si dicha información es inexistente. Para asegurarse de la factibilidad de un indicador, conviene entonces indicar la fuente de información a utilizar, por ejemplo:

• datos de gestión del sistema educativo nacional,
• encuestas nacionales periódicas sobre el sistema educativo,
• encuesta por medio de cuestionarios realizada en algunas zonas especialmente seleccionadas y dentro del marco de la evaluación.

Si no hay ninguna fuente disponible o factible, entonces conviene cambiar el indicador. Si no es posible encontrar un indicador factible, hay que pensar en excluir la pregunta.

• La pregunta hace referencia a una familia de criterios de evaluación: coherencia / complementariedad.

Criterio de juicio

El criterio de juicio deriva de la pregunta del siguiente modo:

• Muestra el tipo de éxito que se busca evaluar planteando la pregunta, es decir, la "coherencia entre la ayuda y las otras políticas de la CE".
• Precisa varios conceptos: principalmente el de la coherencia, pero también el término "otras políticas".
• Se basa en la manera de juzgar y no en lo que se juzga.
• Es por ello que se eliminó el comienzo de la pregunta referida a "¿En qué medida la CE asegura la coherencia".

Indicador

El indicador deriva del criterio de juicio del siguiente modo:

• El indicador debe ser fiel al criterio de juicio.
• Describe con precisión la información que se debe recabar para aplicarla según el criterio de juicio elegido. Sin embargo, aún se deben precisar términos tales como "sinergia positiva / negativa". Conviene redactar la definición, con tanta exactitud como sea neceario hasta que no quede ninguna ambigüedad.
• Es cualitativo, aunque se hubiera podido definir un indicador cuantitavivo, como por ejemplo: "proporción de sinergias positivas entre las sinergias identificadas".
• Permitirá definir un nivel meta a alcanzar, por ejemplo, comparando la importancia respectiva de las sinergias positivas y negativas.
• Aún queda por verificar su factibilidad asegurándose de que una o varias fuentes de información y herramientas de evaluación estén disponibles, por ejemplo: opinión de un panel de expertos independientes, cuestionario a distribuir al final de un focus group que reuna a los administradores.

La pregunta hace referencia a una familia de criterios de evaluación: la eficacia.

Criterio de juicio

El criterio de juicio deriva de la pregunta del siguiente modo:

• Muestra el tipo de éxito que se busca evaluar planteando la pregunta, es decir, la mejor "capacidad con la que cuenta el sistema educativo para recibir alumnos provenientes de grupos desfavorecidos sin discriminación".
• Precisa varios conceptos tales como "sistema educativo" y "discriminación". Sin embargo, queda por especificar el término "calidad satisfactoria".
• Se basa en la manera de juzgar y no en lo que se juzga. Es por ello que se eliminó el comienzo de la pregunta con referencia a "la ayuda de la CE".
• Hace hincapié sobre el juicio y no sobre el análisis de causalidad. Es por ello que se eliminaron las palabras "... ha mejorado..."

Indicador

El indicador deriva del criterio de juicio del siguiente modo:

• Describe con precisión la información que se debe buscar para juzgar según el criterio de juicio elegido. Sin embargo, la definición aún no está completa. Más precisamente, falta especificar lo que significa un "docente cualificado y con experiencia", lo cual puede resolverse haciendo referencia a una definición existente. En su defecto, conviene redactar la definición con tanta exactitud como sea necesario hasta eliminar toda ambigüedad.
• El indicador debe ser fiel al criterio de juicio ("capacidad del sistema escolar primario para recibir alumnos con una calidad satisfactoria"). No abarca todas las dimensiones del criterio de juicio pero arroja luz sobre lo que se considera esencial.
• Es cuantitativo, aunque se hubiera podido definir un indicador cualitativo, como por ejemplo: "los padres encuestados confirman que sus hijos tiene la posibilidad de asistir a la escuela primaria y beneficiarse de un docente calificado y con experiencia".
• Permitirá definir un nivel meta a alcanzar, comparando, por ejemplo, las "zonas se concentra la minoría étnica X" con "la totalidad del país".
• Aún queda por verificar su factibilidad asegurándose de que una o varias fuentes de información estén disponibles, por ejemplo: datos sobre la gestión del sistema educativo nacional, encuestas nacionales periódicas sobre el sistema educativo, encuesta por medio de cuestionarios realizada dentro del marco de la evaluación.

.