Evaluation methodological approach

.

¿CUÁL ES LA DEFINICIÓN DEL ESTUDIO DE CASO?

El estudio de caso es, con toda probabilidad, una de las herramientas de evaluación más multiforme, cuyos objetivos y contenido pueden variar considerablemente; tanto, que los mismos expertos tienen dificultad en ponerse de acuerdo sobre lo que es o no es un estudio de caso.

En el ámbito de la evaluación, y para ilustrar lo que los estudios de caso pueden ser, se presentan dos definiciones complementarias:

Según la United States General Accounting Office (USGAO), que es una de las principales instituciones que han utilizado y racionalizado el uso del estudio de caso en materia de evaluación: " un estudio de caso es un método de aprendizaje, que parte de un ejemplo complejo considerado como un todo en su contexto, y se basa en la comprensión de conjunto de dicho ejemplo, a partir de una descripción y un análisis muy detallados ".

Según R. Yin, en su obra "Case Study reseach. Design and Methods", centrada en la investigación aplicada en las ciencias sociales, " un estudio de caso es una investigación empírica de un fenómeno contemporáneo, tomado en su contexto, en especial cuando los límites entre el fenómeno y el contexto no son evidentes ".

En el ámbito de la investigación, la elección de una hipótesis es generalmente considerada como el punto de partida, que el estudio de caso intentará confirmar o invalidar. En el ámbito de la evaluación, en cambio, el estudio de caso es ante todo un medio para estudiar detalladamente un ejemplo, sin que existan necesariamente ideas preconcebidas.

Hacer uno o varios estudios de caso supone por tanto partir de uno o varios ejemplos reales, con el fin de obtener un conocimiento profundo del tema estudiado para, en la medida de lo posible, extraer lecciones para el conjunto de la evaluación.

En situaciones complejas, los estudios de caso pueden ser una buena estrategia para intentar responder a las preguntas "Cómo" y "Porqué", dado que pueden aportar un estudio detallado de casos concretos, elegidos con juicio según los objetivos de la evaluación. Esta herramienta sirve por tanto, para dar una información en forma de imágenes, generalmente más creíble, en las situaciones en las que la información de base es insuficiente (algo que sucede con frecuencia en la evaluación país).

El estudio de caso puede incluir el examen de documentos, de datos estadísticos o de la puesta en práctica, pero incluye, sobre todo, la observación directa del fenómeno estudiado y entrevistas a personas directamente implicadas en la puesta en práctica del programa o en sus efectos. El trabajo de campo de los evaluadores, en contacto directo con la realidad, es por tanto, una necesidad, y constituye una de las características fundamentales del estudio de caso.

Dada la diversidad de sus usos, el estudio de caso se revela un instrumento útil en todas las etapas de la evaluación: recolección de información, observación, análisis e incluso formulación del juicio.

El estudio de caso proviene del mundo de la investigación y ha sido utilizado posteriormente en el contexto de la evaluación. La herramienta fue desarrollada sobretodo a partir de los años 50. Entre los métodos de investigación en ciencias sociales (investigación, experimentación, análisis de archivos…), ha acabado imponiéndose como una herramienta en sí misma, pudiendo ser utilizada en situaciones específicas, allí donde otros instrumentos resultan ser menos eficaces.

Sin embargo, su desarrollo no ha estado exento de dificultades, teniendo en cuenta que las herramientas especializadas en el suministro de datos cuantitativos (encuestas, herramientas matemáticas, etc.) han sido a menudo contrarias. Es por ello que los usuarios y los defensores de esta herramienta han tenido que establecer métodos rigurosos que permitan obtener resultados fiables.

Los campos en los que la herramienta ha sido utilizada son variados. Como ejemplos se pueden citar las ciencias sociales y políticas, la psicología, la medicina, la gestión, las relaciones internacionales, etc.

En la evaluación propiamente dicha, el uso del estudio de caso también ha cubierto varios temas. Los primeros estudios de caso, cercanos a los utilizados en el ámbito de la investigación, eran en general hechos por un solo evaluador y eran esencialmente descriptivos. Tenían como principal objetivo el de ilustrar la puesta en práctica de un programa y sus resultados, partiendo de unos ejemplos concretos. En líneas generales solían estar basados en métodos empíricos.

Desde entonces, los métodos se han formalizado progresivamente hasta llegar a prácticas bastante estructuradas. Aun y así, se sigue permitiendo un cierto margen de maniobra al evaluador, para que pueda adaptar la herramienta al contexto observado, desarrollando más un aspecto que le parezca importante profundizar (por ejemplo, investigar las razones que hacen que dos grupos tengan opiniones divergentes sobre un tema).

Esta estructuración de las prácticas ha dado lugar, entre otras cosas, a la distinción entre categorías o formas de estudios de caso.

.

.

Según la USGAO, existen seis categorías principales de estudios de caso, dando por entendido que la combinación de éstos es frecuentemente posible, dependiendo del contexto.

El método para realizar concretamente un estudio de caso difiere dependiendo de cada categoría. Sin embargo, a pesar de las particularidades de cada tipo, es posible encontrar unos estándares que son aplicables a todos (o casi todos) y que son expuestos en la sección "¿cómo realizar el estudio de caso?"

A estas categorías de estudios de caso se añade la elección de realizar uno o varios estudios en una misma evaluación. Se habla entonces de un estudio de caso múltiple. Cuando los estudios atañen varios sitios, se denominan estudios de casos multi-sitios

Las seis categorías existentes son:

Esta forma de estudio de caso tiene el propósito de describir detalladamente un ejemplo o un número muy limitado de ellos. Puede ser comparado con el efecto de un zoom que, partiendo de una perspectiva general del conjunto, acaba concentrándose sobre un punto preciso. En una evaluación, teniendo en cuenta su carácter primordialmente descriptivo, permite profundizar y aportar elementos concretos del terreno que aumentan la credibilidad de la argumentación.

Esta aportación del terreno, basada en el examen de la realidad, también permite al lector de la evaluación entender mejor el contexto de la puesta en práctica de la estrategia y los programas, y las diferencias entre lo que realmente ha pasado y lo que tenía que ocurrir.

Basado en el análisis de los datos disponibles y en una serie de entrevistas, este tipo de estudio puede tener, según los casos, el propósito de reunir:

• hechos y comprobación de hechos
• opiniones y puntos de vista
• proposiciones
• y/o reacciones a hipótesis iniciales y conclusiones de los evaluadores.

A partir de dicha recolección de información, el estudio ayuda a una mejor comprensión de los fenómenos, necesaria para el análisis final desarrollado en el informe de evaluación. Al igual que las otras categorías, este tipo de estudio se concentra siempre sobre las preguntas cómo y porqué. Sin embargo, el número muy limitado de casos hace difícil una generalización de los resultados obtenidos.

Probablemente, constituye una de las vías del posible desarrollo del estudio de caso en la evaluación país, teniendo en cuenta su propósito principal de aclarar una situación en la cual, antes de empezar la evaluación, falta información. Esto suele suceder en una evaluación país. El estudio de caso exploratorio permite a los evaluadores apreciar mejor los contextos locales, la realidad de la puesta en práctica de los programas evaluados, y eventualmente sus resultados o la dificultad de medirlos. Aportando esta información clave, este tipo de estudio suministra las bases para el desarrollo del cuestionamiento y de los métodos de investigación que hay que poner en práctica más adelante (por ejemplo: ¿qué preguntas hacer, cómo y a quién?). En general, puede comprender uno o varios estudios de caso, dependiendo de la variedad de los contextos a tomar en consideración. Dado que su objetivo no es el de conducir a las conclusiones del estudio, pero sí el de aclarar y preparar la continuación del trabajo de evaluación, los estudios de caso exploratorio difieren de los otros tipos de estudio por:

• su nivel menos profundo de investigación (en particular comparando con un estudio de caso descriptivo) y de puesta en evidencia de las cadenas de pruebas,
• la forma más ligera de su restitución.

Por todo ello, los estudios de caso exploratorios contribuyen más al método de estructuración de la evaluación que a la provisión de pruebas. Precisamente, uno de los posibles riesgos asociados a este tipo de trabajo es el de llegar a conclusiones demasiadas apresuradas. En este sentido, es importante recordar la responsabilidad de los evaluadores de conocer a fondo el uso y los límites de este tipo de estudio de caso, para evitar:

• sacar conclusiones prematuras por falta de profundidad en los análisis,
• contentarse de los resultados obtenidos de esta manera, sin desarrollar después un trabajo completo de evaluación sobre las bases de estos estudios de caso.

Estos estudios de caso tienen por objetivo, actuando sobre un número muy limitado de casos, de concentrase en uno o dos temas (por ejemplo: los proyectos con problemas). Están ideados para examinar detalladamente las relaciones de causa y efecto, y para validar o anular un cierto número de hipótesis existentes antes el estudio del caso.

Focalizan los casos con características extremadamente específicas. En este sentido, son demasiado precisos para ser utilizados en la evaluación país. Por lo tanto, están aquí mencionados como recordatorio.

Sin embargo, cuando tienen un alcance más general, su utilización para la evaluación país no está totalmente excluida. Siendo esta condición raramente cumplida, es preferible utilizar el estudio de caso ilustrativo o descriptivo siempre y cuando el objetivo sea aportar realismo a la evaluación.

Conjuntamente con los estudios de caso de análisis de los efectos de un programa, los estudios de caso de análisis de la puesta en práctica son probablemente los que mejor se adaptan a las necesidades de la evaluación país. Sus objetivos pueden ser de examinar, si la puesta en práctica de los programas:

• es conforme con las reglas (aplicación de los textos de referencia, qué textos de referencia, con qué frecuencia han cambiado, las reglas de control y de seguimiento, ...)
• es conforme con las expectativas (cómo se ha informado a los beneficiarios, el interés de los beneficiarios por el programa, la dificultad de comprensión de la documentación, los retrasos en la puesta en practica, ...)
• da lugar a importantes variaciones entre sitios (si las reglas se han aplicado de diferente manera, las diferencias entre las medidas puestas en práctica de un sitio a otro, ...)
• plantea o no problemas vinculados a los resultados del programa y porqué.

Concebidos para contestar a las preguntas de evaluación relativas a la puesta en práctica (en particular aquellas relacionadas con la eficacia y la eficiencia), deben ser diseñados y conducidos con vistas a una posible generalización de sus resultados. En la evaluación país, la realización de estudios multi-sitios resulta ser casi una necesidad. Conviene pues, en este caso, elegir con cuidado los sitios que servirán de base para las investigaciones.

Es el tipo de estudio de caso que mejor se adapta a la evaluación país para el análisis de los efectos de los programas y de las estrategias. El propósito de este tipo de estudio es el de estudiar los efectos observados (buenos o malos, esperados o no) y de verificar si están relacionados al (a los) programa (s) o estrategias puestos en práctica. En general, estos estudios comprenden una parte inicial (que corresponde al contenido de los estudios de caso) de análisis de la puesta en práctica, que resulta ser un elemento previo, casi indispensable para la correcta comprensión de los contextos. A continuación, estos estudios se interesan por los resultados de la puesta en práctica e intentan demostrar en qué y porqué los cambios que se han observado están relacionados (o no) al programa desarrollado.

Al igual que sucede con los estudios de la puesta en práctica, los estudios de los efectos tienen a menudo el propósito de obtener una información generalizable. Por ello, los estudios de caso multisitios son casi de uso obligatorio.

Con el objetivo de aportar mayor credibilidad a los resultados de estos estudios, pueden ser combinados encuestas a los beneficiarios. Éstas, aún no teniendo una validez estadística, pueden aportar elementos interesantes para clarificar determinados puntos de la evaluación.

Los estudios de los efectos se concentran, en definitiva, en el estudio de los efectos observados, comparándolos entre sitios, y en la medida de lo posible, también en la puesta en evidencia de los vínculos y de las causas entre los cambios observados y los programas evaluados.

El principio es el utilizar los resultados de diferentes estudios de caso, o de estudios más generales que han intervenido en un mismo sitio o en una serie de sitios, en épocas diferentes. Si bien este tipo de estudios puede ser de gran interés, a menudo resulta difícil encontrar el material antiguo que permite reconstruir las bases necesarias para el estudio de caso cumulativo.

De hecho, es poco probable que este tipo de estudios sea utilizado en el marco de la evaluación país, y están aquí mencionados como recordatorio.

.

.

¿EN QUÉ CONDICIONES DEBE SER UTILIZADA ESTA HERRAMIENTA?

El estudio de caso es una herramienta de acercamiento a las situaciones complejas, que resulta particularmente útil cuando se dan las siguientes circunstancias:

• no existen suficientes datos cuantitativos
• la evaluación del " porqué " y del " cómo " es tanto más importante que el análisis de los datos.

Los estudios de caso se pueden utilizar en todos los tipos de evaluación: ex ante, intermedias o ex post. Sin embargo, aunque su utilización en la evaluación ex ante es teóricamente posible, la rapidez que caracteriza, en líneas generales, la realización de este tipo de valuación, hace difícil su empleo. En este caso, solamente los estudios de caso exploratorios serían adecuados.

Los estudios de caso múltiples permiten observar y analizar, según la elección de los evaluadores, las situaciones que son especialmente interesantes para la evaluación (por ejemplo: los casos mas problemáticos, los mas acertados, etc.). Esta herramienta permite, por tanto, contestar mejor a las preguntas de la evaluación, eligiendo los casos más adaptados a las necesidades requeridas.

Paradójicamente, algunas de las ventajas asociadas al estudio de caso son precisamente los defectos que sus detractores le reprochaban. Nos referimos a elementos como:

• La riqueza que supone disponer de una información cualitativa detallada, que presenta claramente los contextos de la puesta en práctica. Según algunos expertos, este tipo de información es más comprensible que la información cuantitativa habitual.
• Una relativa sencillez de empleo para los evaluadores que ya dominan las técnicas de entrevistas, de triangulación, de observación y de análisis de los datos.
• Una flexibilidad que permite adaptarse, en tiempo real, a las situaciones.
• Unos plazos de la puesta en práctica compatibles con el horizonte temporal de la evaluación país (algunos meses) y que pueden ser cortos en algunos contextos (por ejemplo: estudio de caso exploratorio).
• La posibilidad de obtener información con un nivel suficiente de profundidad. En efecto, este tipo de herramienta permite a los evaluadores familiarizarse con las lógicas de acción de los diferentes actores y sus representaciones, los retos y principales problemas existentes, las dificultades, etc. relacionados con las políticas o los programa evaluados.
• La accesibilidad. El estudio de caso constituye una de las raras herramientas que permite acercarse y comprender las situaciones complejas.

Límites

Si bien es cierto que el estudio de caso presenta muchas ventajas, indudablemente tiene también sus límites, mas allá de los cuales no es prudente utilizarlo. Además de los propios límites asociados a cada categoría de estudio de caso, algunos de los límites son comunes a la herramienta en su conjunto. Nos referimos a:

• La dificultad, acentuada en la evaluación país, de identificar buenos interlocutores, y consecuentemente el riesgo de errores en la recolección y en el tratamiento de la información.
• La dificultad de identificar los casos y sus contornos (por ejemplo: zona país, tipo de populación, etc.) y de relacionarlos a problemáticas tan vastas como las tratadas en las evaluaciones país (por ejemplo: lucha contra la pobreza, desarrollo económico, etc.).
• La dificultad para fijar el número de casos necesarios que permita hacer generalizaciones.
• Las dificultades relacionadas con la generalización a escala global (por ejemplo: un país) de temáticas estudiadas a un nivel estrictamente local.
• Para los estudios que necesiten un seguimiento de los datos durante un período de tiempo significativo, la dificultad de asegurarse la disponibilidad de dichos datos.
• El coste de la herramienta, en particular para la evaluación país en múltiples sitios. En dicho caso, se recomienda utilizar la herramienta únicamente cuando ha sido posible previamente identificar su valor añadido respecto a otras herramientas (por ejemplo : estudios de caso en varios países para la evaluación de una estrategia regional).
• El hecho de que la herramienta permita raramente una interpretación estadística de los datos, aunque se pueda realizar una encuesta fiable para cada estudio.
• Por último, se trata de una herramienta basada en el juicio de uno o varios evaluadores. Por tanto, a pesar de las precauciones, puede comportar una cierta parcialidad.

Teniendo en cuenta su flexibilidad en la puesta en práctica, un estudio de caso deja a los evaluadores la libertad de integrar una gran panoplia de herramientas o de métodos alternativos. Algunos de estos son partes integrantes de un estudio de caso, como por ejemplo:

• las entrevistas individuales
• las herramientas de análisis de datos básicos (por ejemplo, datos de la puesta en práctica, facilitados por el cliente).

Otros conciernen solamente algunos estudios, como por ejemplo:

• la reconstitución de hechos históricos para los estudios cumulativos
• el empleo de herramientas especificas para el tratamiento de los datos de los estudios de múltiples sitios (por ejemplo, la matriz de categoría, las tablas de frecuencia, etc.)

Por fin, se puede decidir añadir otras herramientas al estudio como:

• encuestas, en particular con los beneficiarios
• focus groups con los beneficiarios o con las personas que trabajan en la misma hilera o en el mismo sector.

En el ámbito de la evaluación, si los contextos son similares, el estudio de caso puede ser redundante con algunas encuestas. Sin embargo, en líneas generales, esta herramienta tiene un empleo tan específico, que puede ser redundante solamente con las entrevistas individuales o de grupo ya realizadas durante la misma evaluación.

La fase de preparación de los estudios de caso puede ser bastante larga, en particular para identificar los sitios, finalizar el contenido y preparar el marco logístico. En un periodo de 2 a 3 meses, en el caso de un estudio multi-sitio, es necesario prever entre 15 y 30 días de trabajo para finalizar esta preparación.

La realización de los estudios de caso puede variar de un estudio a otro, aunque se necesitan por lo menos:

• entre 3 y 4 días para la visita de terreno. Si ésta se realiza conjuntamente con una encuesta, se puede llegar hasta 10 días o más
• otros tantos para el análisis de los datos (fuera del recuento de encuestas) y para el informe.

Dado que, en líneas generales, hace falta tiempo en una evaluación, a veces es necesario multiplicar los evaluadores en el terreno. En este caso se prevé un tiempo de formación de 1 a 2 días.

Para los estudios de caso multi-sitio, es preferible hacer antes un estudio de caso piloto, con el objetivo de fijar el método. En líneas generales, este estudio dura más que los otros.

La síntesis de los estudios de caso múltiples puede durar entre 10 y 30 días, en función de la complejidad de los casos y de su número.

Los recursos humanos

Los estudios de caso deben ser realizados por personas cualificadas que reúnan las siguientes características:

• dominen la problemática estudiada en la evaluación
• dominen las técnicas de entrevista
• hablen el idioma de las personas entrevistadas.

Los recursos financieros

Los costes de realización de los estudios de caso son, por definición, muy variables, dependiendo de elementos, como:

• la complejidad del tema a estudiar
• el número de las personas a entrevistar
• la proximidad de los sitios a visitar
• el número de sitios.

Se prevé un presupuesto mínimo de 15 000 € para la fase de preparación de los estudios de caso multi-sitios. A continuación, se estima un presupuesto para cada estudio de caso de, por lo menos, 5 000 a 7 000 €, sin contar los gastos de transportes de largas distancias y excluyendo una posible encuesta.

En evaluación de proyectos, los estudios de caso pueden emplearse en tres niveles distintos:

• Estudios de caso exploratorios para ajustar el cuestionario al inicio de la evaluación o para desarrollar una herramienta (por ejemplo el cuestionario). Los resultados obtenidos de este tipo de estudio -más sencillo que el auténtico estudio de caso-no pueden generalizarse de forma automática, de ahí la importancia de la continua validación de las hipótesis durante la realización de los otros estudios de caso.
• Estudios de caso ilustrativos para llevar a cabo un estudio en profundidad, que englobe a todos los tipos de actores, incluidos los beneficiarios finales; su objetivo no debe ser la generalización, sino aportar elementos concretos que contribuyan a valorar la calidad del proyecto. Estos estudios pueden organizarse durante la etapa principal "de terreno" de la evaluación.
• Estudios de caso sobre los efectos y el impacto del proyecto, realizados entre distintos tipos de actores.

.

.

¿CON QUÉ OBJETIVO SE EMPLEAN LOS ESTUDIOS DE CASO EN LA EVALUACIÓN PAÍS?El papel de los estudios de caso en la evaluación país

Los estudios de caso pueden ser útiles en la evaluación país en cuatro niveles principalmente:

• los estudios de caso exploratorios, con el objetivo de afinar un cuestionamiento al principio de la evaluación
• los estudios de caso ilustrativos, con el objetivo de realizar un estudio detallado incluyendo los beneficiarios finales, sin ambición de generalización, aunque aportando elementos concretos
• los estudios de caso de la puesta en práctica y/o de los efectos sobre una serie de programas en el seno de la evaluación de un país
• los estudios de caso de la puesta en práctica y/o de los efectos sobre una serie de países en el seno de la evaluación de un programa o de una estrategia regional

Las condiciones específicas de empleo

Para que el estudio de caso sea creíble y aporte resultados satisfactorios, el contexto especifico de la evaluación país requiere:

• encontrar un socio local eficaz, neutro en relación con el programa/política que se evalúa, y competente en los temas a estudiar y en los métodos de evaluación
• establecer procedimientos de supervisión del trabajo de los equipos locales e internacionales de tal manera que el alejamiento no sea una dificultad insuperable para los evaluadores
• restringir la selección de las personas a entrevistar y no precipitarse sobre una larga lista de citas propuestas con antelación
• equilibrar las entrevistas con instituciones y las entrevistas con los representantes de los beneficiarios.

Por otra parte, en una evaluación país la complejidad a menudo reside en determinar el tipo preciso de información que hay que buscar y donde, en un tiempo relativamente reducido y acerca de una pregunta muy amplia.

El estudio de caso en una evaluación país/ región no escapa a estas dificultades, en particular para determinar de manera afinada las categorías de actores que han sido efectivamente implicadas o influenciadas, de alguna manera, por la política puesta en práctica, y para analizar las estrategias y las lógicas desplegadas por dichos grupos de actores.

Por consiguiente, tanto el procedimiento de selección de los interlocutores, como la elaboración del listado de preguntas son fundamentales.

Los 6 tipos de estudios de caso y su posible utilización en la evaluación país

.

.

¿CUALES SON LAS DIFERENTES ETAPAS PARA REALIZAR UN ESTUDIO DE CASO?Etapa 1: ¿Cómo preparar un estudio de caso?¿Cómo estructurar el método ?

Punto 1: ¿Cómo estructurar el método (argumentario, papel
del estudio, concepción general, fuentes de información)?
La estructuración del método concierne la argumentación, el papel del estudio, la concepción general y las fuentes de información.

Son necesarias cinco fases durante la estructuración del método de la evaluación, antes de decidir el tipo y el número de casos que hay que realizar:

Fase 1

Fase 2

Definir el papel que tendrán los estudios de caso en el marco de la evaluación, (para estructurar el método, facilitar los datos sobre la puesta en práctica, etc.).

Fase 3

Definir las grandes líneas de la concepción general del estudio.

Precisar las hipótesis de base, en caso que existan, y precisar también las unidades de análisis elegidas (por ejemplo: la región) y el tipo de información a reunir, etc. Estas grandes líneas deben seguir un protocolo riguroso, sobre todo cuando se prevén estudios multi-sitio. La finalización de esta fase de concepción y de redacción del protocolo de estudio de caso se hará en la fase pre-operativa, una vez la información disponible permita hacerlo.

Fase 4

Proponer las fuentes a partir de las cuales se recolectará cada tipo de información.

La documentación
Puede ser extremadamente variada y comprender por ejemplo:

• datos sobre el país, la región, los programas evaluados y su puesta en práctica en la zona objeto del estudio de caso
• informes de estudios previos
• informes de actividad de los operadores y el seguimiento de los programas
• datos de seguimiento de los proyectos y de los programas
• cartas
• estadísticas
• artículos de periódicos
• contratos, etc.

Esta documentación puede ser recolectada in situ, pero también antes de la salida a través de la administración o de los operadores en Europa y/o en el país en el que tiene lugar la evaluación. Una parte de la información puede estar también disponible en Internet (por ejemplo: las evaluaciones conducidas por otros donantes).

Las entrevistas

Es la fuente de información más importante en el estudio de caso, por ello debería ser privilegiada. Una de las dificultades en la evaluación país concierne precisamente la elección de las personas a entrevistar. Mientras que algunas elecciones son evidentes, otras lo son mucho menos. En la mayoría de los casos, la lista elaborada tendrá que ser completada una vez sobre el terreno, tras haber realizado algunas entrevistas preeliminares, para evitar limitarse a las entrevistas oficiales propuestas por las autoridades locales. También se podrán efectuar entrevistas de grupo, en particular con los beneficiarios.

La observación

Constituye una necesidad " sine qua non " de todo estudio de caso, dado que el evaluador debe tener una percepción directa de los fenómenos que estudia. La mayor parte de las veces la observación comporta:

• un examen simple de los lugares (por ejemplo: organizaciones asistidas, obras, aulas, dispensario, etc.) y de las situaciones de las personas (por ejemplo: nivel de vida, de salud, de escolarización…) así como la relaciones entre las partes pertinentes (socios, autoridades, etc.)
• en caso de necesidad, medidas físicas basadas en protocolos rigurosos
• un cierto número de entrevistas, en particular con los beneficiarios.

Las otras fuentes de información

Existen numerosas posibles fuentes de información en los estudios de caso, creadas o no por el evaluador. Una de las más corrientes es la realización simultánea de encuestas, en general con los beneficiarios, con el objetivo de añadir datos cuantitativos a los cualitativos. En algunos contextos existen a ideas preconcebidas desfavorables sobre los estudios de caso, relacionadas con el exceso de datos cualitativos no corroborados con otros datos de tipo cuantitativos. Añadir una encuesta en un estudio de caso limita considerablemente esta crítica y aporta, en todo caso, a los evaluadores una mejor percepción de los fenómenos observados.

La elección de los sitios es fundamental para la calidad de la evaluación y para poder generalizar los resultados obtenidos. Si están previstos estudios de caso múltiples, el método definido para elegir los sitios y para realizar dichos estudios, debe ser detallado.

La USGAO propone tres posibles criterios de selección de los casos y de los sitios:

• La conveniencia
• La definición de la muestra en función del objetivo buscado
• La búsqueda de representatividad

La selección puede hacerse también mediante la combinación de los 3 criterios y variará según el número de estudios a realizar.

La conveniencia 

Este criterio pone el acento en la facilidad para realizar los estudios (por ejemplo: cerca de la capital del lugar donde se realizará la misión sobre el terreno, o tamaño limitado para permitir una misión breve, etc.). Aunque este criterio no es el mejor para asegurar la representatividad, puede resultar útil para algunos estudios de caso ilustrativos con un presupuesto limitado.

La definición de la muestra en función del objetivo buscado

Este segundo criterio, el más utilizado, se puede dividir según el objetivo de la evaluación:

• El examen de los extremos: La evaluación intenta explicar porqué existen importantes diferencias entre varias situaciones que podrían ser idénticas. Los estudios se centran en los casos extremos, que se eligen según lo que se busca: diferencia de costes de la puesta en práctica, de los resultados obtenidos, etc.
• El examen de los mejores y/o peores casos: Los estudios de caso se centrarán en los proyectos o los programas que reúnen los éxitos o los fracasos que son interesantes para la evaluación.
• El examen de grupos de casos: Aunque existen diferencias entre proyectos y/o programas, algunos de estos forman parte de subcategorías homogéneas (por ejemplo: proyectos en un mismo país de un programa regional, programas llevados por dos agentes diferentes en un mismo país, etc.). La elección puede hacerse entre algunos de estos estudios de caso, repartiéndolos en categorías relevantes para el estudio (por ejemplo: los programas llevados por tal responsable ¿son realizados mejor que los llevados por tal otro?).
• El examen de casos representativos de una problemática particular o de casos típicos: Aquí el estudio se centra en una o varias características interesantes para la evaluación (por ejemplo: los programas de gran tamaño, los proyectos de salud, etc.).
• El examen de casos específicos, El examen de casos específicos, identificados o definidos como tales por una fuente externa al equipo de evaluación. Por ejemplo, los términos de referencia de la evaluación pueden estipular que un determinado programa debe ser escogido como estudio de caso porque se han comprobadas graves disfunciones.

La búsqueda de representatividad

Según este criterio, se escogen los casos a estudiar de manera aleatoria a partir de una lista de posibles casos. Todos los casos de la lista tienen la misma probabilidad de ser elegidos. Este modelo no es, sin embargo, el más aplicado teniendo en cuenta que generalmente el número total de casos entre los cuales se puede elegir es muy bajo. Por otra parte, por definición, los estudios de caso están orientados a estudiar problemáticas particulares.

Combinación de los 3 criterios

Se pueden combinar de distintas maneras estos tres criterios. Por ejemplo, se puede combinar una búsqueda de representatividad y la elección de casos extremos, o de algunos casos específicos.

Número de estudios

No existe un número mínimo de estudios de caso. Sin embargo, hay que tener en cuenta que cuanto más elevado es el número de estudios de caso, más fácilmente se podrá llegar a hacer un análisis detallado y una generalización. De todas maneras, teniendo en cuenta que esta herramienta no permite, por definición, análisis estadísticos, conviene no multiplicar demasiado los casos. Entre cinco y diez estudios por evaluación, puede ser un número satisfactorio para intentar llegar a una posible generalización. Este número puede aumentar hasta quince si se pretende estudiar distintas problemáticas que se encuentran en diferentes casos. De todos modos, un número tan alto suele ser raro.

Antes de completar la lista de los estudios a realizar, es importante comprobar junto a las autoridades responsables de la gestión de los programas que estos casos no hayan ya sido objeto de estudio durante otras evaluaciones, ya que el cansancio de las personas entrevistadas puede alterar la calidad de un estudio.

Una vez tomada la decisión de realizar un estudio de caso, y una vez definidas las grandes líneas de su contenido, el trabajo debe ser afinado en diferentes puntos antes de pasar a ña fase propiamente operativa:

Punto 1: Finalizar el protocolo

Siempre es necesario disponer de un protocolo que guíe la realización de un estudio o de varios estudios de caso. La elaboración de dicho protocolo forma parte de la estructuración del método de la evaluación, aunque va más lejos al integrar aspectos propiamente operativos. En el caso de un único estudio de caso conducido por un único evaluador, el protocolo es relativamente conciso. En cambio, cuando se trata de estudios de caso múltiples, llevados a cabo simultáneamente por varios evaluadores, el protocolo debe ser extremadamente detallado.

El protocolo contiene las siguientes informaciones:

• Los datos que permiten a los evaluadores entender perfectamente el contexto de su trabajo: los objetivos de la evaluación y de los estudios de caso, el marco lógico de los programas o de los proyectos que hay que evaluar, los principales datos de la puesta en práctica, el método y las razones de la elección de los diferentes casos estudiados, el calendario de la evaluación y el de los estudios de caso (detallado por fases).
• Las formas de recolección de datos: definición de la zona de estudio, del período estudiado, de las personas que hay que entrevistar, de los datos que hay que recolectar antes o durante la fase de trabajo de campo de un estudio de caso (documentación, entrevistas individuales o colectivas, observación, encuestas, etc.), del tiempo que hay que consagrar a cada fase. Este método está siempre basado en un sistema de cadena de pruebas que hay que reconstruir; es decir, en una serie de relaciones explícitas que deben existir entre las preguntas de la evaluación, otras preguntas derivadas de éstas, los datos a recolectar y la argumentación a producir con el objetivo de llegar a las conclusiones.
• Los elementos concretos del método sobre los cuales apoyarse: guía de la entrevista para cada categoría de actores, cuestionario de encuestas y, si es oportuno, protocolo de medición en el trabajo de campo, etc.
• Las preguntas a las cuales un estudio de caso debe contestar, con sus posibles interpretaciones, las formas para contestarlas, los criterios de evaluación, los indicadores buscados. Para que de los estudios multi-sitios pueda derivarse una síntesis general, es fundamental que cada estudio responda a una serie de preguntas idénticas, que el evaluador retomará para hacer la síntesis final.
• El plan del informe de un estudio de caso y su forma (en particular el estilo), incluso la forma de presentación de los resultados y el contenido de los documentos. La realización de un estudio de caso piloto tiene la ventaja de servir a los evaluadores como ejemplo del formato y contenido del informe. La estandarización de los informes de estudios de caso permite que se gane un tiempo considerable en la síntesis de los resultados.
• El nombre y las señas de las personas que han facilitado información debe ser incorporada para poder aportar aclaraciones al evaluador en caso de que éstas sean necesarias.

Simultáneamente a la fase de finalización del protocolo, y si no se ha hecho durante el proceso de licitación para la selección de las consultorías; hay que definir con el cliente la lista de evaluadores y sus asistentes (por ejemplo los entrevistadores), encargados de llevar a cabo los estudios de caso.

Llegados a este punto y con tal de realizar estos estudios, hay que asegurarse que se han satisfecho dos exigencias fundamentales:

• Que las personas elegidas tengan las competencias requeridas para las diferentes tareas identificadas. Los estudios de casos deben ser siempre dirigidos por uno de los evaluadores del equipo (nacional o internacional).
• Que las personas hablen el idioma del país o de la zona. La utilización de un intérprete es siempre posible, pero debe adoptarse como solución de último recurso.

Una vez completada la lista, los consultores pedirán al cliente de suministrarles cartas de misión que describan el objetivo de la intervención y pidan a las personas que vayan a entrevistar que acepten asistirles en la medida de lo posible.

En algunos casos, los responsables del estudio pueden realizar, bajo la responsabilidad del evaluador, todo o una parte del estudio de caso. De todos modos es preferible limitar estas prestaciones a simples recolecciones de información (por ejemplo: estadística, bibliografía…). En particular, las entrevistas con los beneficiarios y con las autoridades encargadas de la puesta en práctica deben ser hechas, dentro de lo posible, por el mismo evaluador.

Punto 3: Planificar los estudios de caso

Planificar un estudio de caso es una operación meticulosa que debe ser hecha con suficiente antelación para que se puedan obtener las entrevistas in situ. En la evaluación país, la asistencia de una oficina local es casi indispensable para:

• encontrar las coordenadas de las personas a entrevistar
• trasmitir las solicitudes de entrevistas, la copia de las guías de entrevistas, la carta de recomendación del ente que ha encargado la evaluación, eventualmente la documentación de base
• organizar las entrevistas y las reuniones in situ (reserva de coche, de salas, de lugares de alojamiento, etc.)
• prestar asistencia para eventuales traducciones o para la realización de algunas partes del estudio (por ejemplo, encuestas).

Punto 4: En la medida de lo posible, realizar un estudio piloto

Muchas razones incitan a realizar un caso piloto antes de empezar una serie multi-sitio. Esta práctica permite, entre otras cosas:

• validar el método de realización de los estudios poniéndolo a prueba sobre el terreno
• afinar la lista de categorías de personas que hay que entrevistar y de la bibliografía de base
• finalizar las guías de entrevistas y los cuestionarios de las encuestas
• revisar las preguntas hachas a los evaluadores, los criterios y los indicadores, en base a lo que realmente está disponible sobre el terreno
• crear un informe tipo que los otros evaluadores tendrán que seguir, que sea más comprensible y revelador que una mera guía de redacción del estudio.

La elección del sitio piloto puede ser realizada a partir de criterios de simplicidad de acceso y de disponibilidad de datos o de interlocutores. Como a menudo este estudio lo ejecuta el que guiará el conjunto de los estudios de caso, y con tal de aprovechar la experiencia, generalmente es más aconsejable elegir este estudio piloto en función de lo que pueda ser más útil para el estudio en general. Los criterios de elección pueden ser:

• Un estudio que junte un gran abanico de las problemáticas que los otros estudios tendrán que tratar (y así pudiendo servir de ejemplo de referencia para los otros estudios).
• Un estudio más complejo o más difícil de realizar desde el punto de vista logístico, con el fin de anticipar la factibilidad real de los otros estudios.

Punto 5: Formar a los operadores en caso que se realicen estudios multi-sitio

En líneas generales, por cuestiones de plazos, el conjunto de estudios de caso lo realizan varios evaluadores. Este factor puede afectar a la realización del estudio y a la interpretación de los resultados. Por ello, es importante gestionar lo mejor posible este "efecto evaluador".

En este sentido, además de la estandardización de los métodos descritos en la fase precedente, lo mínimo que se puede hacer es una formación del conjunto de los futuros evaluadores, llevada a cabo por el responsable de los estudios de caso. El propósito es que todos coincidan respecto a los objetivos, los métodos, la trascripción de los estudios, la presentación de los resultados, y que cada uno conozca el contenido preciso de su trabajo.

Además de la formación, es importante llevar a cabo un seguimiento permanente: cada evaluador debe poder contactar con rapidez al responsable de los estudios para cualquier aclaración. Si se deben realizar los estudios en varios idiomas (por ejemplo: evaluaciones regionales con estudios de caso elegidos en varios países), estas aclaraciones pueden referirse al significado de algunos conceptos, cuya traducción puede resultar ambigua.

Esta fase, que puede empezar antes de la fase de terreno con la revisión bibliográfica o con algunos encuentros previos, es de una alta importancia durante la estancia del evaluador sobre el terreno.

A fin que los resultados de un estudio de caso sean fiables, durante su recolecta, conviene fijarse en algunos puntos fundamentales:

• La recolecta de datos debe concentrarse en los datos "longitudinales", es decir informaciones que cubren un periodo suficientemente extenso para evitar que se coja como referencia una situación momentánea.
• Debe basarse en el principio de la verificación de la información por triangulación, adoptado sistemáticamente en la evaluación. Es decir, recolectar la información de varias fuentes diferentes (por ejemplo: entrevistas, datos de la implementación e investigaciones, o varias fuentes de entrevistas como los responsables del programa por una parte y los beneficiarios por otra).
• El evaluador tendrá que estar atento durante la recolecta para luego presentar en su argumentación las pruebas que aporta. Por hacer una analogía con el campo de la justicia, estas pruebas pueden ser :
  • hechos observados por él mismo,
  • hechos incuestionables comprobados por personas o instituciones fiables (por ejemplo: estadísticas públicas),
  • documentos escritos, cuyo valor como prueba puede ser muy variable (por ejemplo: informe de reuniones),
  • el reconocimiento, por parte de algunas instituciones o personas, de errores cometidos (por ejemplo : en la puesta en práctica del programa),
  • testimonios, aunque en el caso de una evaluación, conviene verificar por triangulación la veracidad de estos testimonios,
  • opiniones de expertos,
  • otras pruebas materiales como cintas de video o de sonido, etc.
• El evaluador debe asegurarse que cualquier fuente de información sea bien explotada: datos estadísticos sobre el contexto, datos de la puesta en práctica, relaciones existentes, entrevistas con personas adecuadas de diferentes categorías (administración, control, operadores, investigación, ONG, beneficiarios…), y encuestas.
• El evaluador debe también asegurarse que estas informaciones se exploten al máximo en caso de divergencias de opiniones entre las personas consultadas. Hay que exigir argumentaciones, ejemplos, pruebas, que permitan confrontar la validez de los datos recogidos y de reconstruir la cadena de pruebas utilizadas en la fase.
• Por definición, un estudio de caso permanece abierto a eventuales descubrimientos durante el curso de su realización. El evaluador debe saber identificar los puntos claves durante la realización de un estudio de caso, y profundizar en ellos, dispuesto a salirse del plan inicialmente previsto. En particular, es importante aprovechar la fase de la recolecta para avanzar en el análisis y testar, con algunas personas consultadas, las interpretaciones alternativas posibles, que pueden explicar una situación.
• La presentación de los resultados de un estudio es un punto fundamental que aporta mayor credibilidad al mismo. El evaluador debe, pues, anotar con mucha precisión la información recolectada, en particular todo lo que concierne al contexto, las relaciones entre los actores, las razones de éxito o de fracaso. Por eso, es muy importante, en el transcurso de las entrevistas, distinguir claramente la recolecta de información (hechos verificables) de la recolecta de puntos de vista, de análisis y opiniones, con el objetivo de trascribirlos tal cual en el informe.
• En definitiva, la fase de trabajo de campo permite observaciones directas sobre lo que esta ocurriendo. Es importante para el evaluador, anotar las cosas con precisión.
• El idioma en el que un estudio se puede realizar es un punto delicado. El evaluador puede reclutarse localmente o ser asistido por un interprete en toda o parte del estudio, (por ejemplo : diálogo con los beneficiarios).

Esta etapa constituye la fase más delicada del estudio de caso. Tiene el objetivo de tratar los datos recolectados durante la fase del trabajo de campo, y de relacionar al máximo los efectos con las causas de los hechos observados. Este análisis, a diferencia de las fases de concepción y de recolecta, está metodológicamente menos estructurado. De aquí deriva precisamente la relativa dificultad de esta etapa. 

Los dos grandes modelos de análisis

Existen dos modelos principales de análisis dependiendo de la concepción del estudio de caso.

• El estudio ha sido concebido para verificar una hipótesis. En este caso el análisis estará orientado hacia la investigación de lo que confirma o invalida la hipótesis. Este tipo de estudio de caso se utiliza más en el ámbito de la investigación que en el ámbito de la evaluación.
• El estudio para el que no existen hipótesis previas. En este tipo de estudios, es precisamente en el transcurso de su realización que, progresivamente, se construye el razonamiento que explica los resultados encontrados, sean los esperados o no. Se trate en definitiva, de la reconstrucción de la cadena de pruebas.

Desarrollo y solapamiento con las otras etapas

El análisis se desarrolla, en parte, al mismo tiempo que la fase de recolección. Esto sucede sobre todo en las circunstancias siguientes:

• El estudio es suficientemente extenso para que los primeros resultados obtenidos permitan al evaluador afinar, en tiempo real, la recolección de datos que lleva a cabo.
• La fase de recolección incluye un test de las hipótesis preestablecidas que puede modificar parcialmente el contenido del estudio a medida que éste avanza.

Una vez finalizado el trabajo de campo, el análisis puede recurrir a otras herramientas para tratar o comparar los datos recolectados (por ejemplo: tratamiento de encuesta, benchmarking, etc.). Sin embargo, el análisis debe estar siempre basado en la reconstrucción de una cadena de pruebas.

La fase de análisis debe seguir un cierto número de etapas, que son en parte comunes con la fase de recolección:

• La primera acción común a la recolección y al análisis es la construcción de una base de datos sobre el estudio de caso.
• El proceso debe ser siempre iterativo, es decir que debe busca suficiente información hasta obtener la cadena de pruebas.
• El análisis debe testar las diferentes explicaciones posibles de una situación para luego conservar sólo las definitivas y eliminar las otras tras haber proporcionado una justificación.
• El análisis debe asegurarse de la replicabilidad de las conclusiones, es decir tener la certeza que cualquier otro evaluador, con la misma información, hubiera llegado a la misma conclusión.
• En el ámbito de las evaluaciones multi-sitios, la generalización es uno de los principales objetivos buscados y sólo puede ser alcanzada si las etapas precedentes han sido correctamente ejecutadas. Esto permite dar a los resultados la consistencia y la credibilidad requeridas para poder afirmar las conclusiones.

El caso particular de los estudios multi-sitios

Los métodos de análisis de los estudios multi-sitios utilizan diferentes herramientas que permiten simplificar la gestión de múltiples datos cualitativos. Entre estas técnicas figuran:

• Las matrices de categorías que muestra en una tabla elementos comparables de un sitio a otro (por ejemplo: tipos de responsables de los programas o número de programas de educación por sitio, etc.). Para utilizar esta técnica, los métodos de recolección de los datos deben haber sido estandarizados previamente.
• Las tablas de frecuencias que muestran las frecuencias de aparición de un determinado fenómeno. Estas tablas son particularmente útiles cuando se han llevado a cabo encuestas durante el estudio de caso, dado que permiten comparar los resultados de estas encuestas entre las diferentes zonas estudiadas. De todas maneras, dado que los estudios de caso no reúnen casi nunca las condiciones para hacer posible una comparación estadística entre varios casos, conviene encontrar otras formas para comparar estos datos sin recurrir a las clásicas representaciones estadísticas, como la media o la varianza.
• Las representaciones gráficas de datos utilizando o no programas informáticos. Estas técnicas, cuando están completamente formalizadas, implican una reunión de los evaluadores que han llevado a cabo los estudios de caso para validar o invalidar las distintas hipótesis asumidas (presentadas en los gráficos) y avanzar así hacia las conclusiones. El uso de videoconferencias o de intercambios vía mail, para un número muy limitado de evaluadores, es una alternativa económica a estas reuniones.
• Las series temporales que comparan, entre los distintos sitios, el orden de aparición de los acontecimientos con el fin de extraer lecciones. Estas series pueden permitir explicar porqué una serie conduce al éxito de los programas cuando otras no lo consiguen.

Esta lista no es, sin embargo, exhaustiva. Cada evaluador debe poder sentirse libre de presentar los resultados de varios estudios de caso utilizando los ejes que le permitan llegar a la cadena de pruebas que siempre debe ser buscada. Gracias a los estudios multi-sitios, estas cadenas de pruebas pueden ser reforzadas por la constatación de la aparición simultánea de efectos sobre varios sitios al mismo tiempo.

Esta etapa es fundamental, porque el lector debe tener la misma comprensión que el evaluador, del objeto evaluado. Esta parte del estudio de caso no se debe subestimar.

Por lo que concierne la presentación, el informe debe contener:

• los objetivos de la evaluación y de los estudios de caso
• si el estudio es de múltiples sitios, los sitios elegidos y las razones de la elección
• los métodos de recolección y de análisis utilizados con sus límites
• los datos de base de cada estudio de caso (estadísticas, datos de puesta en práctica, resultados de encuestas, ...) y las diferentes fuentes de información
• las descripciones factuales, en particular sobre el proceso de puesta en práctica, para permitir una comprensión fácil por parte del lector
• las respuestas a las preguntas que contienen:
  • las comparaciones entre los diferentes sitios que han sido objetos de los estudios de caso, sintetizados de manera legible
  • las cadenas de pruebas que conducen a las conclusiones defendidas.
• las conclusiones, construidas para permitir, en la medida de lo posible, una generalización (sobretodo para los estudios de ejecución y los estudios de medición de efectos).

Idealmente, para reforzar la objetividad del estudio, se puede distinguir entre el estudio de caso en sí y el informe del estudio de caso, y tener un redactor de la monografía distinto del responsable del estudio, quien había preparado las actas. En la evaluación a nivel país, este ideal será, sin embargo, difícil de alcanzar a causa de las restricciones de tiempo y de presupuesto.

El estilo de los informes de estudios de caso depende mucho del papel que los evaluadores quieren dar a sus estudios. Obviamente, este papel debe haber sido definido con antelación. Por ejemplo en el caso:

• de un único estudio ilustrativo. La descripción detallada de los fenómenos observados deberá incluirse para aportar concreción a la evaluación.
• de un estudio de múltiples sitios. Para ser legible, el informe de la síntesis no podrá ser muy detallado. Se enfatiza la comparación entre los sitios, mientras que se anexan los informes de cada estudio de caso.

Se debe identificar, también, el público destinatario de los resultados del estudio de caso. En el caso de una evaluación país, se trata generalmente de los usuarios de la evaluación. Así la presentación se orienta esencialmente a responder a los interrogantes de la evaluación, y a producir las conclusiones - recomendaciones concretas respecto a la gestión de los programas.

En el caso, en el que se debe dirigir el estudio a un público menos especializado, su restitución podrá asumir una forma menos técnica. Como posible solución, se puede añadir, al principio del documento, un resumen no técnico.

¿CUÁLES SON LOS ESCOLLOS A EVITAR?Una concepción inapropiada del estudio

La concepción general de un estudio debería permitir responder a la pregunta " ¿cómo? " y, totalmente o sólo en parte, a la pregunta " ¿por qué? ". Su validez debe ser comprobada desde el estadio de la concepción, que integra:

• las preguntas que nos hacemos
• las unidades de análisis espaciales y temporales elegidas
• el protocolo de recolección y de análisis de los datos, en relación con las preguntas que nos hacemos
• los criterios de interpretación de los resultados y la forma de presentación de éstos.

Si uno solo de estos puntos está mal concebido, el conjunto del estudio de caso puede peligrar. Por ello es realmente importante verificar si:

• las preguntas que nos hacemos están relacionadas directamente con las preguntas generales de la evaluación y permiten aportar todas o una parte de las respuestas a las preguntas de la evaluación
• las unidades elegidas permiten estudiar correctamente la problemática (por ejemplo: ¿el periodo elegido es suficiente? ¿la zona que hay que estudiar permite tratar todas las dimensiones de la problemática estudiada ?…)
• el método cubre todas las partes del estudio, desde la recolección de datos hasta la redacción del informe. En otras palabras, ¿el método permite reconstruir la cadena de pruebas que se busca? ¿Su concepción es verdaderamente iterativa y está previsto validar (o invalidar) las interpretaciones alternativas?

En un contexto tan difícil como la evaluación país, es importante tener en cuenta las siguientes premisas:

• Es importante prever durante la concepción del estudio de caso varios estudios distintos, ya que un solo estudio puede conducir a equivocaciones.
• Salvo en situaciones específicas, los estudios multi-sitio deberían realizarse todos utilizando el mismo método, para permitir las comparaciones de los resultados, y así poder llegar a una cierta generalización.
• A pesar del rigor requerido para la puesta en práctica de los estudios de casos, la concepción de un estudio debe siempre dejar la posibilidad al evaluador de " explorar " un campo determinado, si ello le parece justificado. En tales circunstancias, el responsable del conjunto de los estudios de caso deberá validarlo.

Una mala elección de los sitios

La ficha "preparación de los estudios de caso" detalla las diferentes posibilidades para elegir los sitios con el fin de realizar los estudios de caso.

Una atención particular debe ser consagrada a estas decisiones, que deben ser objeto:

• de una argumentación detallada en un informe intermedio que presente las posibilidades de sitios existentes y la justificación de la elección de los sitios en base a las preguntas que plantea la evaluación (por ejemplo: ¿por qué un estudio de los extremos o de los casos malos? ¿por qué 5 sitios mejor que 7? etc.)
• de un procedimiento de discusión-validación con el cliente, que debería incluir, en la medida de lo posible, una consulta a nivel local (delegación, país receptor, etc.) - con el fin de garantizar que los sitios propuestos sean idóneos y no presenten problemas específicos (por ejemplo: sitios visitados por todas las evaluaciones o sitios peligrosos, etc.)
• de la producción de un documento final que integre estas dos fases y que determine los sitios finales.

Una recolecta de información demasiado superficial y una argumentación demasiado débil.

La misma justificación de un estudio de caso viene dada por la necesidad de disponer de un estudio en profundidad. Un estudio de caso superficial es, por tanto, inútil dado que sus conclusiones no pueden ser confrontadas. Cuando se concibe y se realiza un estudio de caso, se debe sistemáticamente perseguir la exhaustividad y la calidad. En este sentido, se deberán observar algunos puntos durante las fases de la recolección y del análisis.

Si la evaluación ha sido correctamente concebida, hay poca probabilidad de caer en esta trampa, pero algunas precauciones pueden mejorar el contenido de los estudios de caso, como, por ejemplo:

• la aplicación de determinados criterios para asegurar la validez de los datos (elección de las fuentes de información, complementariedad entre ástas, etc.)
• la aplicación, por parte del evaluador responsable de los estudios de caso, de un procedimiento para garantizar la calidad de todo el proceso. Este procedimiento debe comprobar, entre otras cosas, la exactitud y la credibilidad de los resultados de los estudios multi-sitio realizados por otros evaluadores.

Empezar la fase de la redacción del informe por la fase de recolección es una excelente manera para identificar posibles lagunas de información y para evitar, así, argumentaciones descuidadas durante la fase de análisis.

El principal error a evitar, en el caso de un estudio de caso en el marco de una evaluación, es hacer afirmaciones sin disponer de pruebas suficientes.

Las fases de análisis y de redacción deben siempre tender a una total imparcialidad, para poder garantizar la credibilidad de los resultados. Esta imparcialidad es una exigencia absoluta porque en los estudios de caso las decisiones del evaluador son concluyentes. Por tanto, la validez de dichas decisiones debe ser total. Esta validez puede ponerse a prueba haciendo leer el informe del estudio a las personas que han facilitados los datos. Eso permite:

• comprobar la exactitud de los datos mencionados en el informe (por ejemplo : presencia de errores)
• corregir las afirmaciones subjetivas
• limitar las eventuales equivocaciones del análisis.

Riesgo de una excesiva generalización

La generalización de los resultados de un estudio de caso es, evidentemente, uno de los puntos más perseguidos en una evaluación. Pero es también uno de los puntos débiles de los estudios de caso, cuando se realizan incorrectamente. Esta debilidad viene dada en comparación con las herramientas estadísticas habituales, que son mucho más complicadas de poner en discusión porque están basadas en prácticas matemáticas incontestables. Para generalizar a partir de estudios de caso, se necesita aportar suficientes pruebas para ser convincente.

La excesiva generalización esta a menudo relacionada con los siguientes puntos:

• una mala concepción (que, por ejemplo, hace los resultados inexplotables)
• una mala elección de los sitios (que no muestran lo que se busca)
• una argumentación demasiado débil (que no aporta pruebas suficientes para sustentar las conclusiones, y aun menos para generalizar).

Globalmente, la generalización se basa en que el estudio de caso tiene una validez externa, como la puede tener, por ejemplo, una encuesta sobre una muestra representativa. Esta validez externa es casi siempre más fácil de alcanzar a partir de varios estudios de caso que a partir de uno solo. La generalización puede a veces concernir solamente algunos, y no todos, los puntos de un estudio (por ejemplo, las conclusiones sobre los problemas de puesta en práctica son generalizables, pero no lo son los puntos sobre los impactos del programa).

La trampa a evitar en el ámbito de la generalización es la de querer "imitar" las encuestas realizando estudios de caso. La generalización en estudios de caso (como con los experimentos, por otra parte) es, ante todo, analítica y no estadística. Esta generalización puede, por tanto, existir solamente si la selección de los estudios de caso y su realización lo permiten. En particular, en los estudios de caso múltiples, la generalización es, en líneas generales, el resultado del análisis comparado de los sitios, de la cual surgen las conclusiones comunes.

Para comprobar si es posible una generalización, los evaluadores contrastan, al igual que en la experimentación científica, la replicabilidad del estudio: se comprueba, en un segundo sitio o en una segunda serie de sitios, si esta replicabilidad es posible y si la teoría está confirmada.

.

.

• Ejemplos

.

• Case study Evaluation, November 1990. GAO/PEMD-91-10.1.9.
• Case study research. Design and methods. Third Edition. Robert K Yin. Vol 5. 2003. www.sagepublications.com
• Embedded case study Methods. Integrating quantitative and qualitative knowledge. Roland W. Scholz - Olaf Tiedje. 2001. www.sagepublications.com
• Cahiers MEANS Volume 3 "Principales techniques et outils d'évaluation". Commission Européenne. 1999. Office des publications officielles des Communautés Européennes.