Evaluation methodological approach

.

Es necesario hacer un análisis para convertir los datos en constataciones, que a su vez serán objeto de un juicio para convertirse en conclusiones. El análisis se realiza estudiando cada pregunta por separado, en el marco de un diseño global que abarca todas las preguntas.

Datos, elementos de prueba y constataciones

Todas las informaciones cualitativas o cuantitativas recopiladas por el equipo de evaluación se denominan datos. Por ejemplo:

• El documento X indica que el número de alumnos ha aumentado más rápidamente que el número de profesores en las zonas rurales pobres (dato).

Una información se clasifica como elemento de prueba desde el momento en que el equipo de evaluación la considera suficientemente fiable. Por ejemplo:

• El documento X, que incluye datos del Ministerio de Educación -considerados fiables-, indica que el número de alumnos ha aumentado más rápidamente que el número de profesores en las zonas rurales pobres (elemento de prueba).

Una constatación establece un hecho derivado de elementos de prueba gracias a un análisis. Por ejemplo:

• La calidad de la educación primaria ha disminuido en las zonas rurales pobres (constatación).

Algunas constataciones son específicas, en el sentido de que implican enunciados relativos a la causalidad. Por ejemplo:

• La CE no ha contribuido de forma significativa a impedir la disminución de la calidad de la educación primaria en las zonas rurales pobres (constatación relativa a la causalidad).

Las constataciones no incluyen juicios de valor, que únicamente se incluyen en las conclusiones, como se indica a continuación:

• La CE ha contribuido significativamente a mejorar la capacidad del sistema educativo para incorporar a alumnos procedentes de los grupos desfavorecidos, pero esto se ha hecho a expensas de la calidad (conclusión).

Estrategia de análisis

Se pueden considerar cuatro estrategias:

• Análisis del cambio, que compara los indicadores medidos y/o calificados en el tiempo y en relación con los niveles objetivo.
• Meta-análisis, que extrapola los resultados de otras evaluaciones o estudios tras haber comprobado rigurosamente su validez y posibilidad de transferencia.
• Análisis de atribución, que compara los cambios observados con un escenario "sin intervención", también denominado escenario contrafactual
• Análisis de contribución, que confirma o invalida supuestos causales partiendo de una cadena o secuencia de razonamientos.

La primera estrategia es la más general y prácticamente puede aplicarse a todo tipo de preguntas, como por ejemplo:

• ¿Hasta qué punto las prioridades de la CE siempre están relacionadas con los objetivos identificados?
• ¿En qué medida la ayuda ha tenido en cuenta las potenciales interacciones y/o conflictos con otras políticas de la CE?
• ¿En qué medida la CE ha incluido un aspecto transversal determinado en la puesta en práctica de sus intervenciones?

Las tres últimas estrategias son más recomendables para responder a preguntas causales, , tales como:

• ¿En qué medida ha contribuido la CE a conseguir el efecto X?
• ¿En qué medida ha contribuido la CE a conseguir el efecto X de forma sostenible?
• ¿En qué medida ha contribuido la CE a conseguir el efecto X a un coste razonable?

La elección de la estrategia de análisis forma parte del diseño metodológico y depende de los problemas de factibilidad que la pregunta pueda plantear o no. Está explicitada en la tabla de diseño.
Una vez se ha elegido la estrategia y se han recopilado los datos, el análisis sigue en su totalidad o en parte las cuatro fases siguientes: tratamiento de los datos, exploración, explicación y confirmación.

La primera fase del análisis consiste en tratar la información con el objetivo de medir o valorar un indicador, o de responder a una subpregunta. Los datos se tratan mediante operaciones como el cruce, la comparación, el reagrupamiento, el listado, etc.

• El cruce de datos consiste en la utilización de varias fuentes o tipos de datos con el objetivo de establecer un hecho. La norma recomienda el cruce sistemático de al menos dos fuentes, aunque es preferible la triangulación (tres fuentes). Para cruzar los datos debe recurrirse a fuentes independientes. Un documento que cite otro documento no es una fuente independiente. Dos personas entrevistadas no son fuentes independientes si tienen el mismo perfil.
• La comparación se realiza mediante la construcción de tablas, gráficos, mapas y/o clasificaciones. Los datos pueden compararse según uno o varios aspectos, como el tiempo, los territorios, las categorías administrativas, las categorías socioeconómicas, los beneficiarios y los no beneficiarios, etc. La mayoría de las veces el equipo de evaluación mide el cambio comparando indicadores cuantitativos en un período de tiempo determinado. Las comparaciones también pueden ser cualitativas, como por ejemplo clasificar las necesidades de la población según la percepción que tengan las personas entrevistadas.
• El reagrupamiento se realiza agregando los datos según unas tipologías predefinidas, como por ejemplo: ayuda de la CE por sector, por beneficiarios, por nivel de ingresos.
• El listado se realiza identificando las diferentes dimensiones de un elemento, por ejemplo, las diferentes necesidades de un grupo objetivo que han destacado durante una reunión participativa, los diferentes resultados de un proyecto indicados por los actores sobre el terreno, los diferentes puntos fuertes y puntos débiles de la CE indicados durante las entrevistas en las misiones de los otros donantes…

En esta fase del análisis emergen las constataciones provisionales. El objetivo de las fases siguientes es profundizar y consolidar estas constataciones.

El objetivo del análisis exploratorio es mejorar la comprensión de todo o parte de lo que se ha evaluado, principalmente cuando los conocimientos son insuficientes y el peritaje es poco consistente, o cuando existen elementos de prueba sorprendentes que no concuerdan con las informaciones disponibles. 

El análisis exploratorio profundiza más y de forma más sistemática en los datos recopilados para descubrir nuevas informaciones plausibles:

• Nuevas categorías/tipologías.
• Factores explicativos imprevistos.
• Factores que puedan propiciar/obstaculizar la sostenibilidad.
• Efectos fortuitos.
• Nuevos supuestos causales.

La fase de exploración puede no ser necesaria para todas las preguntas. Cuando se efectúa este tipo de análisis, las técnicas de brainstorming resultan apropiadas. Se trata de desarrollar nuevas informaciones plausibles, pero no de establecerlas.

En esta fase, se trata se asegurarse de haber alcanzado una comprensión suficiente con respecto a:

• Conceptos, categorías y tipologías definidos con precisión.
• Explicaciones causales plausibles.
• Identificación de los factores externos clave y de las informaciones alternativas.

Según el contexto y la pregunta, la explicación se construye sobre una o varias de las siguientes bases:

• Diagrama de efectos esperados
• Peritaje del equipo de evaluación.
• Análisis exploratorio.

La explicación (también denominada modelo explicativo) debe resultar suficiente para que el análisis pueda ser completado.

En esta última fase, se hace lo posible por confirmar las constataciones provisionales mediante una cadena de argumentos válida y creíble. Esta es la función del análisis confirmatorio.

Para confirmar una constatación, se realiza una autocrítica sistemática por todos los medios posibles, tales como: pruebas estadísticas, búsqueda de posibles sesgos en los datos y el análisis, examen de las contradicciones entre las fuentes y los análisis.

También se tienen en cuenta las críticas externas procedentes de los expertos o de los participantes.

.

.

Análisis de causalidad¿En qué consiste?

Análisis mediante el que el equipo de evaluación establece la existencia de un vínculo de causa-efecto y/o la importancia de un efecto.

¿Atribución o contribución?-Análisis de atribución

El objetivo del análisis de atribución es identificar la proporción de los cambios observados que son efectivamente atribuibles a la intervención que se evalúa. Implica la construcción de un escenario contrafactual.

-Análisis de contribución

El objetivo del análisis de contribución es poner de manifiesto si la intervención evaluada es una de las causas de los cambios observados o no lo es. También permite clasificar la intervención evaluada entre los distintos factores que explican los cambios observados. El análisis de contribución se basa en una serie de cadenas argumentales lógicas que se comprueban mediante un esmerado análisis confirmatorio.
Comprende las siguientes y sucesivas etapas:

• Identificar la secuencia causa-efecto que establece el vínculo entre, por un lado, la concepción y la ejecución de la intervención y, por el otro, el efecto evaluado. Esta etapa se basa en las informaciones disponibles relativas al ámbito evaluado, procedentes del diagrama de efectos esperados realizado durante la primera fase de la evaluación, del peritaje del equipo de evaluación y de los análisis exploratorios.
• Reunir elementos de prueba relativos a cada uno de los vínculos causa-efecto, como informes de estudios similares, relaciones causales declaradas por los entrevistados y otros elementos de prueba resultantes de encuestas en profundidad.
• Reunir elementos de prueba relativos a informaciones alternativas (otras intervenciones, factores externos).
• Desarrollar una cadena argumental paso a paso, que establezca que la intervención ha contribuido (o no) a los cambios y, si se da el caso, clasificar la intervención entre otras contribuciones.
• Someter el razonamiento a una crítica sistemática, hasta que sea lo bastante firme.

Enfoques analíticos-Contrafactual

En el gráfico siguiente se resume este tipo de análisis:

La línea "con política" muestra los cambios observados, medidos con un indicador de impacto, entre el inicio del período evaluado (punto de partida) y la fecha de la evaluación. Por ejemplo: el empleo local ha aumentado, la tasa de analfabetismo ha disminuido. El impacto sólo representa la parte del cambio atribuible a la intervención.

La línea "sin política", también denominada contrafactual, es una estimación de lo que habría ocurrido de no haberse realizado la intervención. Puede obtenerse mediante una serie de métodos adecuados como por ejemplo los grupos de comparación o técnicas de modelización. El impacto se estima a partir del indicador "con política" tal y como se haya observado, sustrayendo la estimación de la evolución "sin política".

Derivada de una estimación del enfoque contrafactual, la apreciación del impacto es en sí misma una estimación. Dicho de otra forma, los impactos no pueden medirse directamente, sólo pueden deducirse de un análisis de los indicadores de impacto.

Tan sólo un enfoque contrafactual puede proporcionar una estimación cuantitativa del impacto. Cuando funciona, este tipo de enfoque ofrece un gran potencial de aprendizaje y de retroacción. Sin embargo, requiere un considerable número de datos y de recursos humanos, por lo que se trata de una práctica poco habitual en materia de evaluación en los países en desarrollo. 

Otro enfoque de tipo analítico es el que se basa en los denominados estudios de caso. Parte de una encuesta en profundidad de uno o varios casos reales seleccionados con el objetivo de extraer conclusiones del conjunto de la intervención. Las monografías de los estudios de caso describen los cambios observados de forma detallada. Una buena monografía de un estudio de caso también especifica el contexto y todos los factores significativos que puedan explicar por qué han tenido o no han tenido lugar los cambios.

En este tipo de método, el equipo de evaluación analiza el conjunto de los hechos y de las declaraciones recopiladas y comprueba su compatibilidad con afirmaciones del tipo: "el cambio puede atribuirse a la intervención", "el cambio puede atribuirse a otra causa", "la ausencia de cambio puede atribuirse a la intervención", etc.

Un solo estudio de caso puede demostrar plenamente que una intervención no funciona como se había previsto, y justificarlo de forma convincente. Sin embargo, una constatación de este tipo es preferible confirmarla mediante uno o dos estudios de caso más.

Por otro lado, demostrar que la intervención ha funcionado requiere más de un estudio de caso, ya que deben buscarse y rechazarse de forma rigurosa todas las informaciones alternativas.

Si se realiza de forma profesional, un estudio de caso supone un análisis de contribución muy creíble y conclusivo. Eso sí, hay que decir que este análisis tiene grandes condicionantes en términos de tiempo y de recursos humanos con la cualificación adecuada.

-Declaraciones causales

Este estudio se realiza partiendo de documentos, entrevistas, cuestionarios y/o focus groups. Se trata de recopilar los puntos de vista de las partes interesadas sobre las causas y los efectos. A continuación, las opiniones de las distintas categorías de actores se cruzan (triangulan) hasta obtener una interpretación satisfactoria. En este proceso, el apoyo de un panel de expertos puede resultar de utilidad.

Existe una forma particular de aplicar este método, consistente en recopilar las opiniones de los beneficiarios sobre los impactos o los resultados directos. Lo habitual es realizar una pregunta a una muestra de beneficiarios del tipo: "Según usted, ¿cuántos puestos de trabajo se han creado/eliminado gracias a la ayuda recibida?", o "En qué medida está vinculado su comportamiento/situación actual a su participación en la intervención?". En este enfoque, se pide al entrevistado que él mismo valore el escenario "sin política".

Los equipos de evaluación suelen priorizar este método por su grado de factibilidad, pero no debe olvidarse que la dificultad pasa a ser para los entrevistados. La mayoría de las veces, éstos no tienen una visión clara del escenario "sin política". Como tratan de imaginarlo en cuestión de segundos durante la entrevista, sus opiniones pueden estar sujetas a todo tipo de sesgos.

En ocasiones, cuando entrevista a los beneficiarios, el equipo de evaluación debe enfrentarse a una serie de dificultades relacionadas con el denominado deadweight, vinculado al hecho de que los entrevistados tienden a exagerar los efectos de la intervención en su propio comportamiento o situación. En otras palabras, tienden a subestimar los cambios que se habrían producido en caso de no haberse llevado a cabo la intervención. Esto lleva a un sesgo o distorsión en la información denominado deadweight.

Para evitarlo, el equipo de evaluación nunca debe realizar preguntas sin más del tipo "¿Cuántos empleos se han creado gracias a la ayuda recibida?" o "¿Cómo han evolucionado sus ingresos a raíz del proyecto?". Sin embargo, la realización de diversas preguntas trianguladas puede permitir al equipo de evaluación identificar y reducir esta distorsión o sesgo. Las valoraciones de los beneficiarios se consideran pues "efectos brutos" (incluyen sesgos), mientras que la estimación del equipo de evaluación se denomina "efecto neto" (corregido de sesgos).

Este enfoque se construye a partir de la documentación disponible, por ejemplo:

• Trabajos anteriores relativos al conjunto de la intervención evaluada (informe de seguimiento, auditoría, balance…).
• Informes recientes relativos a una parte de la intervención, como un proyecto, un sector, una cuestión transversal (informe de evaluación pero también informe de seguimiento, auditoría, balance…).
• Conclusiones extraídas de otras intervenciones que pueden utilizarse para responder a la pregunta que se esté realizando.

Al realizar un meta-análisis, el equipo de evaluación debe: 1) valorar la calidad de la información disponible en los documentos examinados y 2) valorar su posibilidad de transferencia al contexto de la evaluación que se esté llevando a cabo.

Los dos primeros enfoques (contrafactual o estudio de caso) tienen el mejor potencial para llegar a constataciones generalizables (véase validez externa), aunque de forma distinta.

Las constataciones realizadas pueden generalizarse cuando los principales factores externos se conocen y se entiende bien su papel. Los enfoques contrafactuales se construyen a partir de hipótesis sobre los principales factores externos y tienden a controlar estos factores mediante comparaciones estadísticas que implican muestreos considerables. Los estudios de caso suelen controlar estos factores externos mediante una profunda comprensión de los mecanismos causa-efecto.

.

Recomendación

El equipo de evaluación debe escoger libremente su estrategia de análisis y su enfoque analítico.

Las preguntas causales se refieren a los efectos de la intervención evaluada. Se formulan de la forma siguiente:

• ¿En qué medida [la intervención] contribuye al [cambio esperado]?
• ¿Hasta qué punto [la intervención] ha hecho posible que se alcance el [cambio esperado]?

Estas preguntas están destinadas a una observación del cambio, a una atribución del cambio observado en la intervención o a un análisis de la contribución de la intervención en el cambio observado.

Resulta fácil responder a las preguntas que se refieren a los efectos directos y a corto plazo. Sin embargo, las preguntas relativas a los efectos a más largo plazo (por ejemplo la disminución de la pobreza) plantean problemas de factibilidad.

Las preguntas relativas a la eficacia y al impacto tienden a ser preguntas de tipo causal, ya que suelen relacionar la intervención evaluada (la causa) con sus efectos. Las preguntas relativas a la eficiencia y a la durabilidad son igualmente preguntas causales puesto que, antes de cualificarlos de eficientes o sostenibles, en primer lugar deben analizarse los efectos reales.

En general, las preguntas relativas a la pertinencia y a la coherencia no son preguntas causales. Algunos ejemplos típicos son:

• ¿Hasta qué punto los objetivos de la CE están en consonancia con las necesidades percibidas por la población?
• ¿En qué medida los efectos de la intervención y los efectos de otras políticas de la CE son capaces de reforzarse mutuamente?

El último ejemplo implica una relación de causalidad, pero sólo de forma lógica y prospectiva; no se espera del equipo de evaluación que descubra la existencia de relaciones causales y/o que valore la magnitud de los efectos reales.

De forma excepcional, algunas preguntas relativas a la pertinencia pueden tener una dimensión causal, como por ejemplo:

• ¿Hasta qué punto la implicación de los actores no gubernamentales en el diseño de la estrategia de la CE ha contribuido a ajustar mejor las prioridades según las necesidades percibidas por la población?

Las preguntas que conciernen al valor añadido de la CE pueden ser preguntas causales si el equipo de evaluación trata de establecer la existencia o la importancia de un impacto añadido por el hecho de que la intervención haya sido llevada a cabo a escala europea.

Las preguntas que no requieren análisis de causalidad implican, sin embargo, un verdadero análisis que cubra todo o parte del tratamiento de los datos, la exploración, la explicación y la confirmación.

.

.

¿En qué consiste?

El enfoque contrafactual, o escenario contrafactual, es una estimación de lo que habría sucedido de no haberse realizado la intervención evaluada.

¿Cuáles son los principales métodos para construir escenarios contrafactuales?

• Grupo de comparación.
• Modelización.

¿Cuál es su finalidad?

Al sustraer lo contrafactual del cambio observado ("factual"), el equipo de evaluación puede estimar el efecto de la intervención, como por ejemplo el efecto sobre el analfabetismo, sobre la renta per cápita, sobre el crecimiento económico, etc.

Uno de los principales métodos para construir escenarios contrafactuales consiste en identificar un grupo de comparación que se parezca al de los beneficiarios en todos los aspectos, salvo en el hecho de que no se vea afectado por la intervención. La calidad del escenario contrafactual depende en gran medida de la comparabilidad de los beneficiarios y de los no beneficiarios. En este sentido, pueden considerarse cuatro enfoques.

Grupo de control aleatorio

Este enfoque, que también se denomina experimental, consiste en seleccionar y examinar dos grupos estadísticamente comparables. Se identifican varios centenares de potenciales participantes y se les invita a participar o a no participar en la intervención, de forma aleatoria. Se trata de un método que exige unas determinadas condiciones previas, tiempo y recursos humanos. Sin embargo, cuando es viable y se pone en práctica correctamente, la mayoría de los factores externos (en el mejor de los casos todos) se neutralizan mediante el uso de reglas estadísticas, de forma que la única diferencia restante es la participación en la intervención.

Grupo de comparación por ajuste

Bajo este enfoque, se selecciona y se encuesta a un grupo de no participantes, por ejemplo, un grupo de personas que han solicitado participar pero que han sido rechazadas por un motivo u otro. Este enfoque también se denomina "casi experimental".

Para que la comparación sea satisfactoria, la estructura del grupo de comparación debe ajustarse hasta que sea suficientemente parecida a la de los participantes en relación con factores clave como la edad, los ingresos o el género. Estos factores se identifican previamente a través de un modelo explicativo. La estructura del grupo de comparación (por ejemplo, por edad, ingresos o género) se ajusta ponderando al alza o a la baja los miembros adecuados hasta que las dos estructuras resulten parecidas.

Emparejamiento

Mediante este enfoque se asocia una muestra de no participantes a un grupo de beneficiarios a partir de una base individual. Para cada beneficiario (por ejemplo, un granjero o agricultor), se selecciona una "pareja" con un perfil semejante según unos factores clave que se deben controlar (por ejemplo la edad, el tamaño de la granja y el tipo de cultivo). Este enfoque es a menudo el más factible y se puede plantear cuando no sea posible adoptar otro.

Comparación genérica

El escenario contrafactual puede construirse empleando bases de datos estadísticas. El equipo de evaluación empieza observando a un grupo de participantes. Para cada participante, el cambio observado se compara con lo que habría sucedido con un individuo "medio" con el mismo perfil, gracias a una estimación realizada mediante el análisis de las bases de datos estadísticas, la mayoría de las veces a escala nacional.

Enfoques de comparación

Existen diferentes formas de comparación y cada una de ellas presenta ventajas e inconvenientes, así como unos niveles variables de validez:

• Una comparación del tipo "sólo después" implica un análisis de las diferencias entre los dos grupos (el de los participantes y el de los no participantes) después de que los participantes hayan recibido una subvención o un servicio. Este enfoque es de fácil aplicación pero omite las diferencias que hayan podido existir al principio entre los dos grupos.
• La comparación del tipo "antes-después" se centra en la evolución de los dos grupos en el tiempo. Exige el conocimiento del punto cero (baseline) (por ejemplo a través de los datos de seguimiento o en forma de estadísticas, o mediante una evaluación ex ante), lo cual no siempre resulta posible. El punto cero se puede reconstruir retrospectivamente, pero esto conlleva ciertos riesgos relacionados con la fiabilidad.

Puntos fuertes y puntos débiles en la práctica

Si el grupo de comparación está bien estructurado, suministra una estimación convincente del escenario contrafactual y, por lo tanto, una base creíble para la atribución a la intervención de una parte de los cambios observados.
Uno de los límites de este método puede encontrarse en la necesidad de identificar los principales factores externos que hay que controlar. El análisis puede quedar totalmente falseado si se descartan u omiten factores externos importantes.
Otro de sus inconvenientes radica en la necesidad de trabajar con muestras bastante amplias para garantizar la validez estadística. No siempre resulta fácil prever el tamaño de la muestra que garantizará la validez, y es posible que tras varias semanas de costosa investigación, uno se dé cuenta de que resulta imposible sacar una conclusión.

Modelización

Consiste en hacer funcionar un modelo que simule correctamente lo que ha sucedido en la realidad (el cambio observado) y, después, ponerlo de nuevo en marcha pero con una serie de hipótesis que representen un escenario "sin intervención".

Para utilizarse en evaluación, el modelo debe incluir todas las causas y efectos que deban analizarse, al menos los siguientes:

• Diversas causas que incluyan la propia intervención y los demás factores explicativos.
• El efecto que se desea evaluar.
• Una relación matemática entre las causas y los efectos que incluya parámetros de ajuste.

Los modelos complejos (como los macroeconómicos) pueden incluir centenares de causas, de efectos, de relaciones matemáticas y parámetros de ajuste, así como mecanismos de causalidad complejos, tales como vínculos causales "en bucle" (los efectos se convierten en causa y viceversa).

Cuando se trabaja con un modelo, el equipo de evaluación opera en tres fases:

• Se realiza una primera simulación con datos extraídos de la realidad. Se ajustan los parámetros hasta que el modelo refleje correctamente todos los cambios observados.
• El equipo de evaluación identifica los "impactos primarios" de la intervención, por ejemplo el aumento de los recursos presupuestarios del Gobierno, la disminución de la deuda pública, la disminución de los tipos de interés, etc. Se elaboran una serie de hipótesis destinadas a simular un escenario "sin intervención", que será un escenario sin "impacto primario".
• El modelo se utiliza pues una vez más para simular el escenario "sin intervención" (contrafactual). A partir de aquí, el impacto se estima a través de la diferencia existente entre ambas simulaciones.

Las técnicas de modelización son relativamente exigentes en cuanto a los datos y a la técnica necesarios. En general, el volumen de trabajo que se requiere para elaborar un modelo no es proporcional a los recursos disponibles para la evaluación. En consecuencia, el enfoque por modelización sólo se puede aplicar cuando ya existe previamente un modelo apropiado y se cuenta con la capacidad técnica necesaria.

.

.

¿En qué consisten?

Se trata de factores integrados en el contexto de la intervención que obstaculizan o amplían los cambios esperados, siendo sin embargo independientes respecto de la intervención en sí misma. 

Los factores externos se denominan también factores contextuales, exógenos o factores de confusión.

¿Por qué son importantes?

• Identificar su influencia ayuda a separar los efectos de la intervención de otros que no lo son.
• Para identificar los factores contextuales que puedan impedir la aplicación de las enseñanzas aprendidas.
• Para delimitar las muestras de participantes y no participantes de modo que sean comparables y para obtener la validez interna.

Ejemplos representativosFactores que explican la participación en la intervención:

• Los candidatos potenciales conocen bien (o no) la agencia encargada.
• Pertenecen (o no) a un grupo de beneficiarios.
• Tienen (o no) la costumbre sistemática de buscar subvenciones.
• Tienen (o no) dificultades sociales o económicas que les impiden tener acceso a subvenciones/préstamos.

Factores que explican algunos impactos específicos:

• Antes de formar parte del programa, los alumnos tenían un alto (o bajo) nivel educativo. Además de la intervención, este factor explica en parte las habilidades adquiridas.
• El público objetivo tenía un alto (o bajo) nivel de conocimientos antes de ser objeto de la campaña de sensibilización. Además de la intervención, este factor explica en parte su actual nivel de concienciación.
• Cuando recibieron las ayudas, las empresas beneficiarias eran grandes (o pequeñas), de nueva creación (o antiguas), en crecimiento (o en recesión). Además de la intervención, estos factores explican en parte su actual nivel de competitividad.

Factores que explican el impacto global

• Durante el período del programa, la agricultura local ha gozado de los beneficios de un clima excepcionalmente favorable (o al revés). Además de la intervención, este factor explica en parte la evolución de los ingresos de los granjeros o agricultores.
• Durante el período del programa, las tendencias económicas internacionales eran excepcionalmente favorables (o al revés). Además de la intervención, este factor explica en parte la evolución de las exportaciones.

Cuando en la evaluación entran tales factores externos, puede resultar de interés consultar los indicadores de contexto disponibles en Internet.

¿Cómo pueden identificarse?

En una evaluación determinada puede haber numerosos factores externos, por lo que es fundamental distinguir los más importantes. Los siguientes métodos pueden resultar de gran ayuda:

• Hacer explícita la lógica de intervención y poner de manifiesto los supuestos causales implícitos.
• Analizar anteriores trabajos de investigación y evaluación.
• Reunir las opiniones de los expertos.
• Poner en marcha encuestas cualitativas.

La identificación de los factores externos es uno de los principales objetivos del análisis exploratorio.

Recomendaciones

No intentar identificar todos los posibles factores externos durante la fase de estructuración de la evaluación y clarificación de la lógica de intervención, ya que son sencillamente demasiados. Esta tarea sólo debería llevarse a cabo en el caso de una pregunta de evaluación dada, y sólo si ésta implica un análisis causal.

.

.

Análisis exploratorio¿En qué consiste?

En caso necesario, el equipo de evaluación examina los datos recopilados con el objetivo de encontrar nuevas informaciones plausibles, como por ejemplo:

• nuevas categorías/tipologías,
• factores explicativos,
• nuevos supuestos causales,
• factores que puedan propiciar/obstaculizar la sostenibilidad.

¿Cuál es su finalidad?

• Mejorar el grado de comprensión de la totalidad o parte del campo estudiado, especialmente cuando el conocimiento y experiencia al respecto sean insuficientes.
• Desarrollar o perfeccionar las hipótesis explicativas.

¿Cómo llevar a cabo el análisis exploratorio?

Mediante este análisis se estudia el conjunto de los datos (cuantitativos y cualitativos) para identificar estructuras, diferencias, contrastes, similitudes y/o correlaciones. Por ejemplo, el equipo de evaluación realiza:

• Un análisis transversal de varios estudios de caso.
• Comparaciones estadísticas cruzando la información de bases de datos de gestión, bases de datos estadísticas y/o los resultados de una encuesta de cuestionario.
• Cotejos entre entrevistas y documentos.

Este análisis es sistemático y abierto, y se recomienda el empleo de técnicas de brainstorming.
Las ideas surgen desde los primeros análisis documentales, las primeras entrevistas y las primeras reuniones. El análisis exploratorio puede continuar realizándose a lo largo de la fase de terreno.

Análisis confirmatorio

.

¿En qué consiste?

Durante las primeras fases del trabajo del equipo de evaluación van surgiendo progresivamente constataciones provisionales. Éstas deben confirmarse mediante controles creíbles y de buena calidad. Esta es la función del análisis confirmatorio.
En el caso específico de las preguntas causales, el análisis debe dilucidar diversas causas (intervención y factores externos) para demostrar la existencia y/o evaluar la importancia del resultado.

¿Cuál es su finalidad?

• Garantizar que los resultados son de buena calidad y que podrán resistir cualquier crítica cuando se edite el informe.
• Garantizar la credibilidad de los resultados desde el punto de vista de los usuarios finales.
• Ver, en el caso específico de las preguntas causales, los efectos reales del cambio observado.

¿Cómo se realiza el análisis confirmatorio?

Para confirmar una constatación, puede someterse a crítica mediante todos los medios posibles, por ejemplo:

• Si la constatación resulta de un análisis estadístico, ¿son concluyentes las pruebas de validez?
• Si la constatación ha sido sugerida por un estudio de caso, ¿existe otro estudio de caso que la contradiga?
• Si la constatación resulta de una encuesta, ¿puede responder a algún sesgo en dicha encuesta?
• Si la constatación se basa en una fuente de información, ¿se contradice con otra fuente?
• ¿Se refiere la constatación a un cambio que podría explicarse mediante factores externos que habrían sido olvidados por parte del equipo de evaluación?
• ¿Contradice la constatación las opiniones de los expertos o las conclusiones obtenidas por otro medio? En caso afirmativo, ¿puede explicarse este hecho?
• ¿Disponen los miembros del grupo de referencia de la evaluación de argumentos que contradigan la constatación? En caso afirmativo, ¿están justificados estos argumentos?

Recomendaciones

• Dedicar interacciones relativamente largas a la discusión del informe final para que el análisis confirmatorio sea minucioso. Asegurarse de que el equipo de evaluación haya previsto recursos suficientes para ello.
• No todas las constataciones requieren el mismo nivel de confirmación, por lo que se recomienda concentrar los esfuerzos en aquellas que sostienen las conclusiones más cuestionadas, las enseñanzas más susceptibles de ser transferidas o las recomendaciones más difíciles de aceptar.
• Con el fin de aumentar la credibilidad de la evaluación, resulta interesante presentar en anexo las críticas a las que han hecho frente las constataciones durante el análisis confirmatorio.

.

.

¿Qué significa?

Se logra la validez cuando:

• Las conclusiones y las lecciones derivan de los hallazgos de tal manera que garantizan la capacidad de transferencia (validez externa).
• Los hallazgos derivan de datos sin ningún sesgo (validez interna).
• Los datos recogidos reflejan los cambios o necesidades que han de ser evaluados sin sesgos (validez de construcción).

¿Qué hay que procurar?

Las evaluaciones más útiles tal vez no sean siempre las más válidas. Sin embargo, la falta de validez expondrá a la evaluación a críticas devastadoras por parte de aquellas partes interesadas que no estén satisfechas con las conclusiones y recomendaciones. Se le debería prestar una mayor atención a la validez cuando hay partes interesadas con intereses en conflicto entre los usuarios previstos.

Validez externa

Calidad de un método de evaluación que posibilita la obtención de hallazgos que pueden generalizarse hacia otros grupos, áreas, períodos, etc. La validez externa se logra de manera íntegra cuando el equipo de evaluación es capaz de dejar en claro que una intervención similar implementada en otro contexto tendría los mismos efectos bajo determinadas condiciones. 

Sólo una fuerte validez externa permite la transferencia de las lecciones aprendidas. También se busca validez externa cuando la evaluación está destinada a identificar y validar las buenas prácticas. La validez externa se ve amenazada cuando el análisis no logra identificar los factores externos fundamentales que son influyentes en el contexto de la intervención evaluada pero que tendrían una influencia diferente en otro contexto.

Validez interna

Calidad de un método de evaluación que, en la medida de lo posible, limita los sesgos imputables a la recolección de datos o a las técnicas de análisis. La validez interna se logra de manera íntegra cuando el equipo de evaluación aporta argumentos irrefutables mostrando que la intervención ha tenido (o no) un efecto determinado. 

Se solicita una fuerte validez interna cuando se supone que la evaluación debe informar acerca de los resultados e impactos directos. 

Se pone en peligro la validez interna cuando el análisis no confirma adecuadamente las relaciones de causa y efecto, cuando se realizan comparaciones de grupos que no son lo suficientemente similares, o cuando las pruebas estadísticas no son significativas.

Validez de construcción

Calidad de un método de evaluación que refleja con fidelidad los cambios o necesidades a evaluar. La validez de construcción se logra de manera íntegra cuando los conceptos clave son completamente transparentes y / o cuando los indicadores miden lo que deben medir. 

La validez de construcción se ve amenazada si la fase de estructuración no ha profundizado lo suficiente en la comprensión de las cuestiones que están en juego. El uso de sustitutos en lugar de pruebas directas también puede generar un cierto riesgo.

Recomendaciones

• Nunca comenzar a analizar datos sin tener previamente una comprensión acabada del contexto. Prestar la suficiente atención a la identificación de factores externos clave.
• El análisis válido de un impacto requiere tiempo y recursos. No se puede hacer un análisis válido de demasiados impactos sin excederse del presupuesto de una sola evaluación. Ello significa que el responsable de la evaluación debe limitar la cantidad de preguntas de evaluación relacionadas con un análisis de impacto.
• Cuando se plantea una pregunta de evaluación, se debe aclarar si se busca la validez interna o externa porque ambas opciones exigen diferentes enfoques metodológicos. Por ejemplo, un pedido de validez externa tiende a imponer muestras mucho más amplias a fin de controlar varios factores externos.

.