Evaluation methodological approach

.

¿Qué es?

En la etapa del informe final, la evaluación de la calidad verifica que la evaluación respecte las normas profesionales y satisfaga las necesidades de información de los usuarios a los que está dirigida.

¿Qué hay que procurar?

• Verificar si el equipo de evaluación externo ha satisfecho adecuadamente las exigencias del servicio comanditario.
• Entre las conclusiones, distinguir las que son válidas y están sólidamente afianzadas de aquéllas que no lo son tanto y deben ser utilizadas con precaución.
• Que la evaluación resista a las críticas que inevitablemente suscitan los juicios emitidos sobre los éxitos y los fracasos.

.

.

Nueve criterios de calidad

Los nueve criterios que se describen a continuación derivan de las normas internacionales con las cuales son compatibles. Este apartado contiene una explicación detallada de cómo otorgar una calificación a la calidad según los diferentes criterios.

1. Cumplimiento de los requisitos

El informe, ¿trata de manera adecuada los pedidos de información formuladas por los comanditarios? y ¿tiene correspondencia con los términos de referencia?

2. Pertinencia del campo

¿Se hace un examen completo de la razón de ser de la intervención, de sus realizaciones, resultados e impactos, así como de sus interacciones previstas e imprevistas con otras políticas y sus consecuencias?

3. Justificación del método

El diseño de la evaluación, ¿está adaptado y es el adecuado para garantizar que todos los hallazgos, junto con las limitaciones metodológicas, sean accesibles a fin de responder las preguntas de evaluación principales?

4. Fiabilidad de los datos

Los datos primarios y secundarios seleccionados, ¿están adaptados?, ¿son lo suficientemente fiables para el uso que se espera de ellos?

5. Solidez del análisis

¿Se analiza adecuada y sistemáticamente la información cuantitativa y cualitativa según el estado del arte a fin de que las preguntas de evaluación tengan una respuesta válida?

6. Credibilidad de los resultados

Los resultados ¿se desprenden de manera razonable y justificada del análisis de los datos y de las interpretaciones basadas en supuestos y en una lógica presentada con esmero?

7. Valor de las conclusiones

Las conclusiones, ¿son exactas?, ¿se desprenden del análisis? y ¿están libres de sesgos causados por consideraciones personales o partidistas?

8. Utilidad de las recomendaciones

Las recomendaciones, ¿son equitativas y sin sesgos que favorezcan los puntos de vista personales o de las partes interesadas?, además, ¿son lo suficientemente detalladas como para ser aplicables concretamente?

9. Claridad del informe

El informe, ¿describe claramente la intervención evaluada, inclusive su contexto y finalidad, así como el proceso y los hallazgos de la evaluación de manera tal que la información proporcionada sea comprensible con facilidad?

.

.

¿De qué se trata?

La calidad del informe de evaluación recibe una calificación basada en nueve criterios con la ayuda de una plantilla que consta de cinco niveles: Excelente, Muy bueno, Bueno, Pobre e Inaceptable.

Este documento ofrece descripciones indicativas correspondientes a cada uno de los cinco niveles de cada uno de los nueve criterios de calidad. Está destinado a facilitar y armonizar la evaluación de la calidad.

¿Cuál es la calificación de los distintos criterios?Criterio 1: Satisfacción de las necesidades

• Bueno: Los requisitos formulados en los términos de referencia recibieron una respuesta de manera adecuada. Las preguntas de evaluación fueron tratadas satisfactoriamente.

• Muy bueno: El informe de evaluación ha expuesto una buena perspectiva general de cómo se alcanzaron los objetivos anunciados y ha aclarado la lógica de intervención. El informe de evaluación ha superado lo exigido por los términos de referencia abordando otros temas de interés.

• Pobre: Determinadas preguntas de los términos de referencia fueron tratadas de manera inadecuada o bien fueron abordadas parcialmente.

• Inaceptable:Demasiadas preguntas de los términos de referencia no fueron abordadas o sólo fueron abordadas parcialmente.

• Excelente: Las preguntas abordadas cubren no sólo lo exigido por los términos de referencia sino que ubican a la evaluación en un marco mucho más general, vinculándola con las bases de la política de desarrollo, de cooperación o exterior, así como con toda otra política comunitaria o nacional.

Criterio 2: Pertinencia del campo

• Bueno: El informe trata el conjunto de la intervención en sus dimensiones temporal, geográfica y reglamentaria. Se han identificado los principales efectos previstos e imprevistos.

• Muy bueno: Además de cumplir con lo establecido anteriormente, la evaluación se interesa en las interacciones con las otras políticas comunitarias, las intervenciones de otros donantes y las políticas del Estado o Estados asociados. Se trataron los efectos imprevistos.

• Pobre: Una de las tres dimensiones de la intervención y/o un efecto importante está insuficientemente o mal tratado.

• Inaceptable: Varias dimensiones de la intervención y/o varios efectos importantes están insuficientemente o mal tratados.

• Excelente: Además de cumplir con lo requerido para alcanzar el nivel "Muy bueno", el informe ha estudiado sistemáticamente y en detalle los efectos no esperados.

Criterio 3: Justificación del método

• Bueno: Se explicita claramente el método de evaluación. En efecto, éste ha sido aplicado a lo largo del proceso. Las elecciones metodológicas realizadas fueron las adecuadas, a fin de cumplir con los requisitos de los términos de referencia.

• Muy bueno: Se precisaron con claridad los límites inherentes al método de evaluación y se debatieron y defendieron las opciones elegidas frente a otras opciones.

• Pobre: Al leer el informe de evaluación, las elecciones metodológicas parecen haber sido realizadas sin haberlas explicado ni defendido.

• Inaceptable: Ausencia absoluta de método de evaluación; o bien, las elecciones metodológicas realizadas no se adecuan a los resultados buscados.

• Excelente: Supera el nivel "Muy bueno"; el evaluador presenta una crítica de su método y de sus elecciones metodológicas. Indica los riesgos que se habrían corrido si se hubieran adoptado otras opciones metodológicas.

Criterio 4: Fiabilidad de los datos

Este criterio no juzga la validez intrínseca de los datos disponibles sino la manera en la que el equipo de evaluación ha obtenido los datos y cómo los ha utilizado.

• Bueno: Se identifican las fuentes de datos cuantitativos y cualitativos. El equipo de evaluación comprobó la fiabilidad de los datos y luego la debatió. Se explicitaron con claridad las herramientas de recolección y las mismas están adaptadas a la información buscada.

• Muy bueno: Se han cruzado sistemáticamente los datos a través de fuentes o herramientas de recolección independientes entre sí. Se expuso claramente cuáles eran los límites de la validez y las herramientas de recolección de los datos.

• Pobre: La información cuantitativa y cualitativa proporcionada no es muy fiable con respecto a la pregunta planteada. Las herramientas de recolección de datos son discutibles (por ejemplo, muestras insuficientes o estudios de casos prácticos mal conducidos).

• Inaceptable: Determinados datos son manifiestamente erróneos. Las herramientas de recolección fueron aplicadas de manera incorrecta o arrojan información sesgada o inutilizable.

• Excelente: Mediante técnicas reconocidas, se analizan y corrigen todos los sesgos que derivan de la información proporcionada.

Criterio 5: Solidez del análisis

• Bueno: El análisis de los datos cuantitativos y/o cualitativos se realizó siguiendo rigurosamente los pasos reconocidos y pertinentes según los tipos de datos analizados. Se explicitan las relaciones de causa - efecto entre la intervención y sus consecuencias. También se explicitan las comparaciones (por ejemplo: antes / después, beneficiarios / no beneficiarios, con / sin).

• Muy bueno: Se explicitan los pasos del análisis y se especifica su límite de validez. Asimismo, se explicitan los supuestos causales subyacentes. Se indican los límites de validez de las comparaciones efectuadas.

• Pobre: Uno de los tres elementos (enfoque del análisis, relaciones causales, comparaciones) está mal tratado o dos de los elementos no están lo suficientemente tratados.

• Inaceptable: 2 de los 3 elementos están mal tratados.

• Excelente: Se examinaron sistemáticamente todos los sesgos (a través de los 3 elementos) y se los presentaron junto con sus consecuencias sobre el límite de validez del análisis.

Criterio 6: Credibilidad de los hallazgos

• Bueno: Los hallazgos producidos por el análisis parecen fiables y equilibrados, en especial, habida cuenta del contexto en el que se evalúa la intervención. Los supuestos interpretativos y las extrapolaciones realizadas son aceptables. Los hallazgos reflejan de manera aceptable, por un lado, la realidad descripta por los datos y los elementos de prueba registrados, y por el otro, la realidad de la intervención tal como la perciben los actores y beneficiarios.

• Muy bueno: Se explicitan y debaten los límites de los supuestos interpretativos y las extrapolaciones realizadas. Se aíslan los efectos de la intervención evaluada de los factores externos y de las restricciones del contexto. Tanto la validez interna (ausencia de sesgos de análisis) como la validez externa (carácter generalizable de los hallazgos) son satisfactorios.

• Pobre:Los análisis parecen desequilibrados. No se explicita el contexto. Las extrapolaciones realizadas y las generalizaciones del análisis no son pertinentes.

• Inaceptable: Los análisis parecen muy poco creíbles. El texto contiene afirmaciones sin ningún sustento. Las extrapolaciones realizadas y las generalizaciones del análisis no son pertinentes.

• Excellente: Se analizan sistemáticamente los desequilibrios entre la validez interna y la validez externa de los hallazgos y se explicitan sus consecuencias sobre la evaluación. Se aislaron los factores contextuales y se pudo demostrar su influencia. Se analizan los sesgos aportados en la elección de los supuestos interpretativos y en las extrapolaciones realizadas y se explicitan sus consecuencias.

Criterio 7: Validez de las conclusiones

Este criterio no juzga el valor intrínseco de las conclusiones sino la manera en la que éstas fueron obtenidas.

• Bueno: Las conclusiones derivan del análisis. Las conclusiones están argumentadas por hechos y análisis fácilmente identificables en el resto del informe. Se indican los límites y el contexto de la validez de las conclusiones

• Muy bueno: Se debaten las conclusiones respecto del contexto en el que se hizo el análisis. Se explicitan y argumentan los límites de la validez de las conclusiones.

• Pobre: Las conclusiones provienen de una generalización precipitada de ciertos análisis realizados. Los límites de validez de las conclusiones no están indicados.

• Inaceptable: Las conclusiones no se sustentan en un análisis pertinente ni riguroso. Están basadas en datos no comprobados. Son parciales porque reflejan los prejuicios del evaluador más que los análisis de los hechos.

• Excelente: Se jerarquizan las conclusiones. Estas últimas guardan relación con la globalidad de la intervención evaluada y tienen en cuenta las relaciones de esta intervención con el contexto en el que se sitúa, teniendo en consideración especialmente otros programas o políticas públicas cercanas.

Criterio 8: Utilidad de las recomendaciones

Este criterio no juzga el valor intrínseco de las recomendaciones sino la manera en las que están formuladas y el hecho de que deriven de las conclusiones.

• Bueno: Las recomendaciones derivan de las conclusiones de manera lógica. Además, son imparciales.

• Muy bueno: Además de cumplir con lo anteriormente mencionado, las recomendaciones están jerarquizadas y se las presentan en forma de opciones y de posibles acciones.

• Pobre: Las recomendaciones son poco claras o son meras pruebas sin valor agregado. Es debatible si son operativas o no. La relación con las conclusiones no es evidente.

• Inaceptable: Las recomendaciones están desconectadas de las conclusiones. Son parciales porque reflejan de manera preponderante los puntos de vista de ciertos actores o beneficiarios, o bien las ideas preconcebidas del equipo de evaluación.

• Excelente: Además de cumplir con los requisitos necesarios para alcanzar el nivel "Muy bueno", las recomendaciones son comprobadas y sus límites de validez están indicados.

Criterio 9: Claridad del informe

• Bueno: El informe es de fácil lectura y su estructura es lógica. El breve resumen es un reflejo del informe. Se presentan en anexo tanto los conceptos especializados como las demostraciones técnicas, con referencias claras a lo largo del desarrollo del texto.

• Muy bueno: El desarrollo del informe es breve, conciso y su lectura es fluida. La estructura del informe se puede memorizar fácilmente. El resumen es claro y presenta las conclusiones y recomendaciones principales de manera equilibrada e imparcial.

• Pobre: El informe es difícil de leer y/o su estructura es compleja. Las referencias cruzadas son poco comprensibles o dificultan la lectura. El resumen es demasiado largo o no refleja el desarrollo del informe.

• Inaceptable: Ausencia del resumen. Informe ilegible y/o de estructura desordenada. Ausencia de capítulo de conclusiones (y de recomendaciones).

• Excelente: El informe se deja leer "como una novela" y su estructuración tiene una lógica irrefutable. El resumen es operativo en sí mismo.

Apreciación general

La calidad general del informe emana del conjunto de los niveles acordados a cada uno de los 9 criterios. A partir de 4 "inaceptables", se debe considerar el informe como inaceptable.

.

.

• Tener el contexto en consideración en el momento de utilizar los criterios de evaluación en vez de aplicarlos de manera absoluta. En una situación dada, es posible y útil precisar los criterios de calidad para tener en cuenta los pedidos y / o restricciones particulares.
• Escribir una síntesis cualitativa de los nueve criterios a manera de evaluación general de la calidad del informe. Otra opción menos adecuada consiste en darle un puntaje y una ponderación a cada criterio y calcular un puntaje promedio ponderado.
• No hay que esperar el proyecto de informe final para efectuar la garantía de la calidad. El proceso de garantía de calidad debe comenzar desde el inicio. En particular, cabe efectuar controles de calidad en otras dos etapas importantes: informe de inicio (inception) e informe de la primera fase (desk).
• Adjuntar en anexo los criterios de calidad a los términos de referencia.
• Hacer verificar la calidad por el responsable de la evaluación, y luego procurar que una segunda persona efectúe una doble verificación.
• Sustentar las apreciaciones con ejemplos extraídos del informe y con referencias precisas a una u otra parte del texto.
• Cuando una evaluación es considerada como "inaceptable" o "excelente" respecto de un criterio dado, la apreciación deberá estar sustentada con varios ejemplos argumentados.

Cuidado con el uso del término criterio

Aquí se utiliza el término "criterio" en el sentido de criterio de calidad y no debería ser confundido con los criterios de evaluación (eficacia, eficiencia, etc.) ni con los criterios de juicio (también denominados "criterios de evaluación razonada").

.