Evaluation methodological approach

.

Las cuatro funciones de la evaluación

La evaluación se organiza en cuatro etapas según cuatro funciones principales, no necesariamente secuenciales: estructuración de la evaluación (basada en la formulación de preguntas de evaluación que deberán conducir a una valoración global); recopilación de datos cuantitativos y cualitativos; análisis de la información recopilada, y juicios relativos a las preguntas de evaluación a partir de los cuales se formulan las conclusiones y las recomendaciones.
Los objetivos de estas cuatro funciones pueden resumirse del modo siguiente:

• La estructuración de la evaluación contribuye a seleccionar (o a determinar) las preguntas de evaluación, los criterios de juicio y los indicadores de dichos criterios y, de este modo, a definir el método de evaluación.
• La recopilación de datos tiene como objetivo reunir todos los datos primarios y secundarios disponibles (cuantitativos y cualitativos) para responder a las preguntas de evaluación.
• El análisis consiste en el tratamiento de la información recopilada con vistas a la obtención de constataciones, especialmente en lo que respecta a la contribución de la ayuda a los cambios observados.
• Para cada una de las preguntas de evaluación se emite un juicio que, a su vez, conduce a la formulación de la respuesta y a las conclusiones de la evaluación.

El diseño del método de evaluación, basado en las preguntas de evaluación con vistas a formular un juicio o valoración global (overall assessment), es determinante para la elección de las distintas herramientas que se emplearán en cada una de estas cuatro fases.

Aunque aquí no se presenten herramientas específicas para ello, la fase de documentación por parte de los servicios de la Comisión y también sobre el terreno (especialmente el empleo de soportes como la base de datos CRIS) es un elemento constitutivo de la evaluación.
En la siguiente lista (no exhaustiva) se mencionan las principales fuentes documentales (datos secundarios) que hay que considerar en el caso de una evaluación de país:

• Los acuerdos generales, bilaterales y multilaterales de cooperación, partenariado y asociación, sectoriales y temáticos (comercio, inversión, ciencia y tecnología, etc.) y las conclusiones de las cumbres bilaterales y multilaterales.
• Los Documentos de Estrategia País o Regional (DEP o DER) y los Programas Indicativos Nacionales o Regionales (PIN o PIR).
• Los informes anuales y las evaluaciones intermedias (mid-term reviews) disponibles.
• Los informes del Tribunal de Cuentas Europeo.
• Los documentos gubernamentales oficiales (especialmente el Documento de Lucha contra la Pobreza o DELP y las estrategias sectoriales, en caso de haberlas) y aquellos elaborados por los organismos multilaterales y bilaterales de cooperación (documentos estratégicos, de proyectos, etc.).
• Las evaluaciones de proyectos y programas de carácter temático o sectorial disponibles.
• Los informes de seguimiento orientado a los resultados (ROM) sobre los proyectos y programas en curso.
• Los reglamentos generales de la Comisión y, en general, todos los textos reglamentarios y de compromisos políticos relativos al período de la evaluación.

Se han elaborado trece herramientas que, en general, conocen todos los evaluadores. A continuación se describen sus principales características.

Diagrama de objetivos y diagrama de efectos

El diagrama de objetivos muestra la jerarquización de los objetivos que hay que poner en práctica para llevar a cabo una estrategia, desde el objetivo global a largo plazo de la Unión Europea hasta las acciones emprendidas en el marco de los programas de ejecución. El diagrama de efectos presenta la jerarquía de las actividades, sus resultados y efectos intencionales. Los efectos intencionales constituyen la traducción de los objetivos en términos de resultados.
Esta herramienta permite reconstruir la lógica de intervención y los efectos intencionales o previstos, por lo que desempeña un papel de primer orden en la estructuración de la evaluación de intervenciones complejas, ya que ayuda a formular las preguntas de evaluación.

Diagrama de problemas

El objetivo de los proyectos y programas de ayuda es satisfacer las necesidades que se juzgan prioritarias y, para ello, resolver los problemas que supongan obstáculos para alcanzar dicho objetivo. Teóricamente es posible presentar estos problemas mediante un diagrama en forma de árbol "completo", es decir, con un tronco (el problema principal), raíces (la arborescencia de las causas) y ramas (las consecuencias).
Junto con el diagrama de efectos, el diagrama de problemas permite validar la pertinencia de un proyecto, programa o estrategia al establecer una relación entre los efectos previstos y los problemas que deben contribuir a resolver.

Diagrama de decisiones

El diagrama de decisiones describe el proceso mediante el cual los objetivos estratégicos o políticas generales de la Unión Europea en materia de cooperación con los países terceros dan lugar a decisiones de cooperación bilateral a medio y corto plazo.
El diagrama de decisiones complementa el diagrama de objetivos facilitando el análisis de la estrategia respecto de su coherencia interna (secuencia lógica de las sucesivas decisiones) y respecto de su pertinencia externa (consideración de los elementos contextuales y de las posturas de las partes interesadas).

Entrevista individual

Las entrevistas individuales permiten recopilar información entre los distintos actores y beneficiarios a lo largo de toda la evaluación: hechos y comprobación de hechos, opiniones y puntos de vista, análisis de los actores y propuestas.

Focus group

El objetivo del focus group es analizar mediante el debate la información, opiniones, y juicios de valor recopilados. Permite dilucidar las razones que motivan las opiniones expresadas, especialmente los análisis en los que se basan, y asegurarse así de su solidez. Esta herramienta se emplea a menudo para recopilar las opiniones de los beneficiarios sobre su participación en un programa y lo que han obtenido de él, ya sea positivo o negativo (como alternativa a las entrevistas). Se emplee como se emplee, la característica principal de esta herramienta es la obtención de una opinión estable tras un debate en profundidad en lugar de una opinión espontánea.

Encuesta de cuestionario

La encuesta de cuestionario permite recopilar respuestas comparables entre una muestra de población. Cuando la muestra es lo bastante representativa, pueden realizarse estadísticas significativas que, a su vez, pueden requerirse para el establecimiento de indicadores cuantificados.

Estudio de caso

El objetivo del estudio de caso es responder a las preguntas "¿Cómo?" y "Por qué?" a partir del estudio detallado de casos concretos, elegidos en función de los objetivos de la evaluación. En caso de que el contexto lo permita y lo requiera, el o los casos estudiados pueden seleccionarse con vistas a que las conclusiones sean extrapolables a la evaluación en su conjunto.

Panel de expertos

El panel de expertos es un grupo de especialistas independientes y reputados en al menos uno de los campos abarcados por el programa o proyecto evaluado. Esta herramienta permite la obtención de juicios colectivos, matizados y argumentados, basados en los conocimientos y la experiencia de los expertos.

Análisis DAFO (SWOT)

El análisis DAFO (en inglés, SWOT) conjuga el estudio de las fortalezas (o "puntos fuertes") y de las debilidades ("puntos débiles") de una organización, un territorio, un sector, etc. con el estudio de las oportunidades y amenazas de su entorno. Aunque suele emplearse en evaluaciones ex ante, en un marco ex post permite evaluar a posteriori las orientaciones estratégicas aplicadas.

Indicadores de contexto

El objetivo de esta herramienta es situar un país en una escala comparando sus indicadores de contexto con los de otros países. Un indicador de contexto es un dato que proporciona una base sencilla y fiable para describir una variable de contexto. Permite valorar dinámicas de desarrollo mediante la comparación del nivel y de la evolución de los principales indicadores con los del país en contextos comparables.

Análisis multicriterio

En una situación ex ante, el análisis multicriterio es una herramienta de ayuda a la decisión. En el contexto de la evaluación ex post, resulta de utilidad para la formulación de juicios basados en un grupo heterogéneo de criterios.

Análisis coste-eficacia

El objetivo de esta herramienta es identificar la acción mediante la que se consigue determinado resultado al mejor coste. Permite comparar la eficiencia de los proyectos o programas que buscan efectos comparables. Asimismo, resulta de utilidad para la formulación o validación del juicio sobre la elección de los proyectos o programas más eficientes.

Análisis cultural y social

En el marco de una evaluación de país, el análisis cultural y social consiste en identificar los elementos constitutivos de los grupos sociales, étnicos o religiosos, de los grupos de interés y todas aquellas características que constituyen los valores comunes en una sociedad, así como las diferencias que la caracterizan.

En el contexto de la ayuda a países terceros, los datos susceptibles de tratamiento estadístico suelen ser difíciles de reunir. Además, su pertinencia es limitada dados los retrasos en su publicación y su a veces dudosa fiabilidad. Los datos disponibles son de carácter general y descriptivo, así que su tratamiento es relativamente sencillo. Por esta razón se ha dado prioridad al desarrollo de herramientas basadas en datos relativamente fáciles de obtener.

Normas para su utilización

En términos generales, se trata de tener en cuenta la factibilidad de un determinado trabajo sobre el terreno y/o sus limitaciones. Efectivamente, los contextos específicos de los países en los que se lleva a cabo el estudio pueden limitar en gran medida la selección de las herramientas, especialmente por razones de restricciones logísticas y de costes de aplicación.
Antes de presentar los criterios de selección de herramientas más apropiados para el método adoptado, es importante recordar algunas normas básicas para su utilización:

• Ninguna de las herramientas permite responder por sí sola a una pregunta o satisfacer una de las cuatro funciones o etapas de la evaluación: toda evaluación requiere una combinación de herramientas.
• Cada una de las herramientas está adaptada a una función específica, en ocasiones a varias.
• Generalmente, para una misma función se emplean diversas herramientas de forma simultánea pero desde distintos ángulos, para realizar cruces y comprobaciones.
• La selección de las herramientas de evaluación depende de las tareas que haya que realizar y del contexto: grado de complejidad de la intervención, competencia disponible, naturaleza de la información que se busca y que está disponible, diversidad de interlocutores, etc.
• Salvo petición específica, la selección de las herramientas debe responder a una voluntad de homogeneidad al detalle y de precisión de la información utilizada, así como de su análisis.

En suma, el equipo de evaluación debe recurrir a diversas herramientas y elegir la combinación de herramientas más eficiente en el contexto específico de la evaluación.

.

.

Las herramientas y las cuatro funciones de la evaluación

La clasificación de las herramientas a partir de las cuatro grandes funciones de la evaluación es un primer elemento de selección.
La tabla que se presenta a continuación muestra las funciones a las que se destina cada herramienta y aquellas a las que puede contribuir de forma útil. Así pues, la mayoría de las herramientas tienen una función principal y una o varias funciones secundarias. La lista de herramientas que figura en la tabla no es en ningún caso restrictiva.

Funciones y polivalencia de las herramientas

Herramientas de estructuración

Para estructurar la evaluación, puede resultar de utilidad un primer grupo de herramientas a las que denominaremos "herramientas de estructuración". En el caso de una evaluación de proyecto o programa de carácter homogéneo, el marco lógico, que describe los objetivos (globales y específicos) de la intervención, los problemas a los que responde y los resultados esperados, constituye la herramienta de estructuración de la evaluación. Además del marco lógico, suele ser también recomendable el uso del diagrama de problemas.
En caso de que el campo de la evaluación abarque un conjunto heterogéneo de objetivos y actividades -especialmente las evaluaciones geográficas-, proponemos tres herramientas, con el diagrama de objetivos y el diagrama de efectos como piedra angular. Cuando se analizan programas complejos o estrategias, el diagrama de problemas permite responder a preguntas sobre la pertinencia de los objetivos, identificar los retos de la intervención y, en sentido contrario, los problemas a los no le correspondía encontrar soluciones. Finalmente, el diagrama de decisiones resulta útil para completar el diagrama de objetivos, cuya racionalidad no permite comprender el origen de todas las orientaciones y decisiones, especialmente aquellas que conducen a la eliminación de determinadas alternativas y/o que son fruto de una negociación con otros socios.
Estas herramientas también pueden utilizarse en las fases de análisis y de formulación de juicios (véase polivalencia de las herramientas).

Herramientas de recopilación de datos, análisis y juicio

Para estas tres funciones existe todo un arsenal de herramientas, a menudo complementarias y/o polivalentes. Por ello, para que la selección sea eficaz, hay que tomar en cuenta numerosos factores. Aunque no hay fórmulas exactas que garanticen la mejor selección, el proceso lógico favorecerá la elaboración de un método homogéneo y susceptible de proporcionar respuestas sólidas a las preguntas.

La lista de herramientas que sería conveniente emplear en cada caso suele ser demasiado amplia en relación con los recursos asignados a la evaluación. Por lo tanto, se necesitan realizar arbitrajes, que tomen como base las prioridades de la evaluación y optimicen la utilización de los recursos. Cuanto más amplios son el campo y la lista de preguntas, mayor es el riesgo de dispersión y, en consecuencia, mayor atención debe prestar el equipo de evaluación para que sus observaciones y análisis permitan responder a las principales preguntas de la evaluación. El equipo de evaluación deberá pues tener en cuenta que, por un lado, suelen requerirse diversas herramientas para la consecución de una misma función y para cruzar datos pero, por el otro, que las herramientas son a menudo polivalentes y contribuyen a responder a diversas preguntas a la vez.

Criterios para la selección de las herramientas

Además de la función de las herramientas y de su utilidad para cumplir una u otra de las cuatro principales funciones o etapas de la evaluación, hay otros criterios que deben tenerse presentes.
El objetivo de los criterios de selección que se presentan a continuación es guiar al evaluador en los procesos de arbitraje necesarios para completar el diseño metodológico.

• Dominio técnico. Aunque todas las herramientas que se presentan pueden en principio ser utilizadas por el conjunto del equipo de evaluación, en el caso de algunas de ellas es aconsejable que algún miembro del equipo tenga experiencia previa. Es especialmente el caso de las herramientas que requieren el dominio de técnicas específicas para la moderación de grupos, de las herramientas relativamente complejas (como el análisis multicriterio o el análisis coste-eficacia) e incluso de las encuestas de cuestionario.
• Necesidad de datos específicos. Algunas herramientas requieren la recopilación de una serie de datos concretos sin los que su aplicación corre el riesgo de producir conclusiones erróneas. Así, por ejemplo, el análisis coste-eficacia requiere el uso de indicadores de eficacia relativos a los proyectos comparados; sin estos datos, es imposible utilizar la herramienta. Por lo tanto, antes de decidir emplear la herramienta, hay que asegurarse de poder acceder a los datos y de que su fiabilidad será la adecuada.
• Recursos necesarios para la utilización de una herramienta. Este punto es especialmente importante en el caso de las herramientas aplicadas durante los trabajos realizados en el país socio, que a veces conllevan una serie de costes concretos bastante elevados. Es importante comprobar bien su pertinencia respecto del método empleado y buscar la vía menos costosa y más eficiente (especialmente en la recopilación de datos).
• Plazo de realización. Hay herramientas que requieren un tiempo de preparación considerable antes de su puesta en práctica sobre el terreno; es especialmente el caso de las encuestas y, en menor grado, de algunos focus groups y paneles de expertos.
• Disponibilidad de expertos locales cualificados capaces de ejecutar herramientas concretas en la o las lenguas locales. Esta cuestión es especialmente importante en el caso de las herramientas que requieren técnicas de moderación/coordinación de grupos (focus groups, etc.); hay que tener en cuenta que, a veces, es difícil localizar a expertos disponibles con la suficiente cualificación.

En la tabla que se presenta a continuación se muestra una calificación de estos cinco criterios para cada una de las herramientas, haciendo especial hincapié en los criterios que requieren especial atención. Cada uno de los criterios se puntúa de 1 a 3. El 1 indica que el criterio no supone ningún problema especial para la herramienta. El 3 indica que para ese criterio se recomienda comprobar la viabilidad de la puesta en práctica de la herramienta.

                     Condiciones específicas para la aplicación de las herramientas

Las puntuaciones con 3 no significan que haya que evitar la utilización de la herramienta. Lo que sí se recomienda es dar preferencia a las herramientas que puedan garantizar las mejores respuestas a las preguntas planteadas y, en un segundo paso, asegurarse de la posibilidad de ponerlas en práctica en el contexto y con los recursos de la evaluación.

Desarrollo de un método homogéneo

• Al diseñar el método deben buscarse técnicas homogéneas y eficaces. De nada sirve prever la aplicación de herramientas sofisticadas para una función determinada si el resto de las funciones no se tratan con una precisión y un rigor similares o si el resto de las herramientas no pueden proporcionar la información necesaria o tratar la información obtenida.
• Debe prestarse una atención especial a la recopilación de la información, ya que raras veces puede aprovecharse una operación de recopilación de datos incompleta, sobre todo en lo que respecta a la parte correspondiente al país socio. Igual atención debe prestarse a las herramientas de análisis y de juicio aplicadas en el país socio.
• Para que el método sea homogéneo y eficaz, resulta útil valorar los riesgos de fracaso asociados a la puesta en práctica de cada herramienta y, dado el caso, prever soluciones alternativas para limitar sus consecuencias en el conjunto de la evaluación.

En definitiva, el método debe desarrollarse tomando como base la gama de herramientas disponibles pero teniendo en cuenta sus ventajas y sus limitaciones, las condiciones para su puesta en práctica en el marco de las evaluaciones de la ayuda al desarrollo, los recursos necesarios para su aplicación y los límites que pueden esperarse respecto de los resultados, especialmente en función del contexto.

Análisis de las herramientasDiagrama de objetivos y diagrama de efectos

Diagrama de problemas

Diagrama de decisiones

Entrevista individual

Focus group

Encuesta de cuestionario

Estudio de caso

Panel de expertos

Análisis DAFO (SWOT)

Indicadores de contexto

Análisis cultural y social

Análisis multicriterio

Análisis coste-eficacia

.

.

Fundamentos para la combinación de herramientas

El empleo de determinadas herramientas requiere la utilización previa de otras herramientas. Esto sucede cuando, por ejemplo, mediante el empleo de una herramienta se obtiene información de utilidad para el uso de una segunda herramienta. La combinación también resulta útil cuando una herramienta puede aportar un ángulo de análisis distinto que ratifique o matice las conclusiones a las que se haya llegado con otra herramienta. En el caso de las herramientas relativamente complejas (especialmente las herramientas de juicio), antes de su puesta en práctica es importante plantearse si una serie de información previa podría mejorar sus resultados y, en ese caso, buscar la herramienta adecuada para su mejor obtención.
Los casos más habituales de combinación de herramientas se muestran en la tabla que se presenta a continuación. Así, por ejemplo, la primera fila de la tabla indicaría que los diagramas de objetivos y de efectos implican o pueden implicar la realización de entrevistas individuales y focus groups.

Herramientas complementarias para el uso de otras herramientas

Esta tabla es indicativa. Pueden darse otros casos en contextos concretos. En términos generales, las herramientas de recopilación de datos (básicamente la entrevista individual, el focus group y la encuesta de cuestionario) son las más utilizadas como complemento a las herramientas de análisis y de juicio, ya que éstas requieren una serie de información específica para su aplicación. En consecuencia, es importante prestar especial atención a las necesidades de aplicación de las herramientas de análisis y de juicio para garantizar la homogeneidad del método y sus buenos resultados durante todo el proceso.

Tal y como se observa en la tabla, la herramienta de apoyo más frecuente para la aplicación de otras herramientas (incluidas las otras herramientas de recopilación de datos) es la entrevista individual. Sin embargo, el estudio de caso se sitúa en el extremo, como una metaherramienta que se apoya en todas las herramientas de recopilación. Dado el caso, puede necesitarse recurrir a las herramientas de análisis.
Aunque no es posible establecer de antemano todas las combinaciones posibles y aconsejables entre las distintas herramientas, hay una serie de consideraciones que merece la pena tener en cuenta con vistas a la homogeneidad de resultados entre las herramientas durante todo el proceso:

• Hay herramientas que suelen requerir el uso de otras herramientas. Por ejemplo, la entrevista individual es una herramienta de recopilación de datos que se emplea en la mayoría de herramientas de evaluación
• Aunque no se establezca una jerarquía entre las distintas herramientas, haya que tener en cuenta que la mayor parte de ellas son heterogéneas en el uso, es decir, compuestas. Cuando se elige una herramienta en concreto, hay que tener pues siempre en cuenta sus condiciones de uso y las limitaciones inherentes a las herramientas de apoyo que se vayan a utilizar.
• Dada esta polivalencia de la mayoría de las herramientas, es conveniente aplicar criterios de racionalización y optimización a la hora de elegirlas. Por ejemplo, las cuestiones de evaluación deben agruparse según la funcionalidad de las herramientas seleccionadas, y viceversa.

Ejemplo de combinación

Test de dos herramientas utilizables en evaluación de país: encuesta de cuestionario y focus group. Realizado en el marco de una evaluación en Benín.
Mediante este test se comprobó la posibilidad de responder a la siguiente pregunta de evaluación mediante una combinación de dos herramientas: "¿En qué medida la estrategia sanitaria y las intervenciones de la Comisión permiten satisfacer las necesidades básicas de la población, especialmente las de los grupos más pobres?". El objetivo del test era recopilar datos y opiniones entre los beneficiarios y tratar la información para observar las tendencias generales del servicio proporcionado por los centros sanitarios. Se combinaron tres encuestas y cuatro focus groups. Las tres encuestas:

• dos con cuestionario cerrado (una dirigida a unidades familiares y otra a los usuarios de centros sanitarios, con un total de 660 encuestados),
• una con cuestionario abierto (dirigida a las autoridades locales, al personal sanitario y a los responsables de mutualidades y asociaciones locales, con un total de 100 encuestados).

Los cuatro focus groups:

• dos focus groups con beneficiarios (lugareños) en dos localidades distintas,
• un focus group con comadronas y personal de enfermería,
• un focus group con médicos del sector privado y del sector público.

Los dos últimos focus groups se organizaron para completar los resultados de los dos focus groups de beneficiarios y de las encuestas. El objetivo era confrontar puntos de vista distintos sobre una misma situación a partir de algunos problemas constatados.
El cruce de los resultados de las encuestas de cuestionario y de los focus groups contradijo ampliamente los supuestos iniciales para la reorganización de la oferta de sanidad pública en Benín por parte de la Comisión Europea. Además, se confirmó el escaso acceso de la población más pobre a la sanidad pública.

.

.

Las limitaciones y los riesgos que pueden implicar las distintas herramientas están vinculados a una serie de condiciones específicas relacionadas con distintos tipos de recursos necesarios.

Limitaciones potenciales Acceso a la información y a las fuentes de información

En la mayoría de las herramientas, el acceso a la documentación de base es relativamente sencillo (diagrama de objetivos y diagrama de efectos, diagrama de problemas, diagrama de decisiones, estudio de caso, indicadores de contexto).
A pesar de ello, en el caso de algunas herramientas se depende de la representatividad, la disponibilidad y la colaboración de los interlocutores y partes interesadas, especialmente en los casos de la entrevista individual, del focus group y de la encuesta de cuestionario.

Calidad de la información recopilada

La calidad de la información recopilada es esencial. Hay varios factores que pueden menoscabar esta calidad:

• La insuficiencia y/o imprecisión de la información (DAFO (SWOT), indicadores de contexto, análisis coste-eficacia, análisis multicriterio, análisis cultural y social).
• Sesgos de opinión (encuesta de cuestionario, focus group).
• Parcialidad en los juicios o sesgos en los análisis (panel de expertos, análisis cultural y social).
• Cierta parcialidad en el análisis de las fortalezas y las debilidades en el análisis DAFO.
• Generalización no válida (estudio de caso).
• Respuestas difíciles de comparar (entrevista individual).
• Selección inapropiada de los indicadores de contexto (indicadores de contexto).
• Nivel excesivo de abstracción del análisis, demasiada distancia respecto de la realidad (análisis cultural y social).

Dominio de las técnicas específicas

El dominio de la herramienta es útil en todos los casos, especialmente en los siguientes: encuesta de cuestionario, análisis cultural y social, análisis DAFO, análisis coste-eficacia y análisis multicriterio. Es especialmente importante asegurarse de la disponibilidad y la experiencia de los expertos en los casos siguientes: estudio de caso, análisis cultural y social, panel de expertos y focus group.
El tratamiento de las respuestas puede complicarse mucho en caso de no tener los conocimientos suficientes (encuesta de cuestionario).
Sin la experiencia necesaria, se puede correr el riesgo de seleccionar de forma inadecuada los casos (estudio de caso), es decir, sin que tengan una relación directa con los objetivos de la evaluación.
La búsqueda necesaria de consenso en la percepción de las amenazas y oportunidades (análisis DAFO) requiere conocimientos específicos.

En todos los casos es necesario contar con expertos cualificados. Se trata de una condición indispensable para: el análisis cultural y social, el panel de expertos, el análisis DAFO, el análisis coste-eficacia, el análisis multicriterio y el focus group.
En el caso de las herramientas denominadas "de estructuración", se valorará la competencia del evaluador ( diagrama de objetivos y diagrama de efectos, diagrama de problemas, diagrama de decisiones).
En el caso del tratamiento de la información de las encuestas de cuestionario, dicha competencia se requiere de forma expresa. La experiencia en la coordinación y moderación de reuniones tiene primordial importancia en el caso del análisis cultural y social, el panel de expertos y el focus group.

Costes

Debe prestarse especial atención a los costes de aplicación de las siguientes herramientas: análisis coste-eficacia, análisis multicriterio, encuesta de cuestionario y estudio de caso.

Tiempo

La estimación del tiempo necesario para la puesta en práctica de las herramientas es importante en todos lo casos, especialmente en el análisis coste-eficacia, el análisis multicriterio, la encuesta de cuestionario, el estudio de caso y la entrevista individual.

Incidencia de operaciones previas

Cuando una herramienta requiere una recopilación de información previa, hay que tener en cuenta el tiempo, el coste y los recursos humanos necesarios para la realización de dicha operación. Dado el caso, deberá comprobarse la accesibilidad a la información y la disponibilidad de los beneficiarios (estudios de caso).

.

.

Lista de control para uso del equipo de evaluación

• ¿Al seleccionar cada una de las preguntas de evaluación se tiene en cuenta la posibilidad de obtener una respuesta convincente mediante la utilización eficaz de herramientas?
• ¿La selección de las herramientas ayudará a formular el juicio global?
• ¿Permiten las herramientas seleccionadas permiten responder de forma óptima a los objetivos de la evaluación?
• ¿Corresponden las herramientas a las limitaciones y posibilidades de condiciones específicas de la evaluación?
• ¿La programación de las herramientas tiene en cuenta la totalidad de las tareas necesarias para su puesta en práctica?
• ¿Se han valorado específicamente los recursos necesarios para cada una de las herramientas (competencias, tiempo, coste)? ¿Son pertinentes en relación con los resultados esperados? ¿Y con los resultados obtenidos?

Lista de control para uso del responsable de la evaluación

• ¿Se basan las respuestas a las preguntas de evaluación en la utilización de una buena combinación de herramientas?
• ¿Se fundamenta el juicio global en la utilización de las herramientas apropiadas?
• ¿Se justifica de forma clara y convincente la selección de las herramientas y su combinación?
• ¿Se emplean los recursos (expertos, presupuesto, tiempo) utilizables para la aplicación de las herramientas de forma juiciosa?

.

El objetivo de la evaluación es realizar recomendaciones operativas a partir de conclusiones sólidas, basadas en criterios de juicio claros, elementos factuales sólidos y razonamientos debidamente argumentados. Las conclusiones y las recomendaciones deben poder ser consultadas y examinadas por los diseñadores y operadores del programa o de la política. Deben demostrarse de forma rigurosa (un juicio de experto no basta).
Para justificarlas y demostrarlas, es indispensable: el desarrollo de un riguroso método ad hoc y la utilización de las herramientas apropiadas.
En este sitio web se presentan una serie de herramientas de evaluación y el modo de empleo de la denominada "caja de herramientas":

• que establece el papel de las herramientas en el método de evaluación,
• que define los criterios de selección de las herramientas,
• que ofrece una serie de indicaciones para combinar las herramientas de forma adecuada.