Evaluation methodological approach

¿De qué estamos hablando?

El seguimiento, la auditoría y la evaluación, son tres ejercicios de buena gestión pública. Son parecidos y se complementan aunque traten cuestiones diferentes.

Los tres presentan juicios de valor pero las referencias del juicio difieren.

¿Qué hay que procurar?

• Evitar malentendidos y decepciones. Si el equipo de evaluación externo trata preguntas que atañen a la auditoría o al seguimiento, corre el riesgo de no responder correctamente ya que no dispone de medios adecuados.
• Reformular una pregunta formulada con espíritu de auditoría o de seguimiento a fin de retenerla como pregunta de evaluación.
• Que los informadores adopten una actitud de cooperación ante la evaluación, conscientes de que la relación con un evaluador no es la misma que con un auditor.
• Favorecer sinergias entre los tres ejercicios.

¿Qué es lo que distingue a los tres ejercicios?

El objeto de estudio

• La auditoría (en el sentido tradicional) verifica la legalidad y la regularidad de la implementación de los insumos.
• El seguimiento verifica la buena gestión de las intervenciones e informa acerca de la progresión y la utilización de los insumos, así como del avance de los productos y resultados directos. El seguimiento produce datos exhaustivos con gran periodicidad, lo cual no sucede con la auditoría y la evaluación.
• La evaluación juzga la concepción y la puesta en marcha de la intervención interesándose principalmente en los resultados y en los impactos, ya sea esperados o no.

Los criterios de juicio

• La auditoría juzga en función de criterios conocidos y aclarados de antemano (asignaciones presupuestarias, textos reglamentarios, normas de buena gestión).
• El seguimiento juzga la progresión del uso de los insumos y el avance de los productos con respecto a los objetivos operativos y la calidad de los productos con respecto a los estándares profesionales.
• La evaluación juzga las consecuencias de la intervención con respecto a las necesidades sociales, los desafíos económicos, los problemas ambientales, etc. Se refiere a los objetivos aunque a menudo deba aclararlos. Los criterios de juicio que utiliza raramente son establecidos con anticipación.

La temporalidad

• La auditoría se efectúa de manera periódica siguiendo las normas preestablecidas, o bien de manera puntual, si así lo justificara un análisis de riesgos.
• El seguimiento es un proceso continuo de recolección, que da lugar a informes frecuentes (de uno a cuatro por año).
• La evaluación es un ejercicio más profundo que moviliza herramientas complejas para recabar y analizar la información y no puede realizarse todos los años.

La utilización

• El control está orientado a detectar y prevenir las irregularidades.
• El seguimiento da señales de alerta y permite un feedback rápido ante una deriva. Además permite rendir cuentas sobre el desempeño a lo largo de la cadena de responsables, desde los operadores en el terreno hasta los gerentescentrales.
• La evaluación aporta la comprensión de los efectos de la intervención y proporciona recomendaciones para una reforma, así como opciones estratégicas y políticas o propuestas de ajuste para la puesta en marcha.

Las cualidades profesionales requeridas

Cada ejercicio requiere una capacidad profesional apropiada así como competencias de base distintivas:

• El auditor posee competencias jurídicas y contables. Su acción tiene carácter de autoridad.
• El responsable del seguimiento cuenta con buenos conocimientos profesionales en el campo de la intervención y competencias de gestión. Su acción reviste un carácter de supervisión.
• El equipo de evaluación reúne competencias en materia de encuestas y habilidades técnicas sectoriales. Necesita la colaboración de los actores afectados por la intervención a fin de recabar información pertinente, saber interpretarla y formular un juicio legítimo.

¿Cómo asegurarse de que haya una buena complementariedad entre los tres ejercicios?

Un buen sistema de seguimiento facilita considerablemente la evaluación. Si una evaluación se interesa en los efectos esperados, lo primero que hay que hacer es verificar si dichos efectos fueron objeto de un seguimiento, qué indicadores se utilizaron, y si se registraron datos de línea de base. A su vez, los informes de evaluación a menudo sugieren mejoras a aportar al sistema de seguimiento.



La auditoría y el seguimiento pueden detectar éxitos o fracasos evidentes y recomendar que la evaluación profundice el análisis de las causas y efectos, que aclare los criterios de juicio, o valide una buena práctica.



Una evaluación puede mostrar que la buena aplicación de una norma jurídica o profesional constituye un factor particular de eficacia o ineficacia, retroalimentando así a la auditoría o a las prácticas de seguimiento.

Recomendaciones y aclaraciones

• Si se cuenta con información sobre las prácticas ilegales o de mala gestión, conviene darle la prioridad a la auditoría, sanear la situación y posponer la evaluación para más adelante.
• Si hay ausencia de información de seguimiento o la misma no es fiable, ello complica la evaluación pero no la impide. Jamás se debe adoptar el pretexto de la insuficiencia de seguimiento para rechazar el tratamiento de una pregunta de evaluación.
• La práctica de auditoría aquí descrita es la práctica tradicional de la auditoría de regularidad. A veces, se solicita a los profesionales de la auditoría que juzguen los resultados y los impactos y respondan a preguntas de carácter evaluativo. Esta práctica, a menudo llamada auditoría de rendimiento, puede transformarse en una práctica equivalente a la de la evaluación. En dicho caso, los auditores adaptan sus actitudes, sus criterios de juicio y sus competencias profesionales. La ausencia de fronteras entre la auditoría de rendimiento y la evaluación con frecuencia genera confusión.
• La práctica del seguimiento aquí descripta es la práctica tradicional. Los sistemas tradicionales de seguimiento están cada vez más integrados a los sistemas de medición de rendimiento. El seguimiento del rendimiento implica la definición de rendimientos meta en cuanto a los productos y resultados, la medición sistemática del avance hacia dichos niveles meta, las deliberaciones periódicas orientadas hacia el rendimiento e incentivos para los que logran un buen desempeño.
• La práctica de seguimiento que aquí se describe difiere también del seguimiento basado en los resultados (ROM) de la C.E. El sistema ROM produce un puntaje de todos los programas y proyectos de ayuda relacionado con la obtención de resultados e impactos esperados. No obstante ello, la evaluación no es continua y no descansa en indicadores cuantificados sistemáticamente.