|
.
¿Por qué utilizar esta herramienta en evaluación?
Realizar uno o diversos estudios de caso consiste en utilizar uno o varios ejemplos reales con objeto de profundizar en el conocimiento del tema analizado y, si es posible, extraer una serie de lecciones aplicables al conjunto de la evaluación.
En situaciones complejas, el objetivo del estudio de caso es responder a las preguntas "¿Cómo?" y "¿Por qué?" a partir de ejemplos concretos adecuadamente seleccionados en función de los objetivos de la evaluación. En los casos en los que falla la información de base (algo frecuente en las evaluaciones geográficas), el uso de esta herramienta permite obtener información empírica y, por lo tanto, a menudo más verosímil.
| Fig. 1 - Elementos constitutivos del estudio de caso |
|
|
El estudio de caso puede incluir el análisis de documentos, de datos estadísticos o datos de ejecución, pero lo que sí implica y destaca especialmente es la observación directa del fenómeno estudiado y las entrevistas a las personas directamente implicadas (como actores institucionales o beneficiarios).
¿Cómo aplicar el estudio de caso?Condiciones para su utilización
Para que el estudio de caso sea plausible y dé resultados satisfactorios, el contexto específico de la evaluación geográfica requiere:
- Encontrar a un socio local eficaz, neutro respecto del objeto de evaluación y con la competencia necesaria en los temas que haya que analizar y los métodos de evaluación que se vayan a emplear.
- Aplicar procesos de supervisión del trabajo realizado por los equipos locales e internacionales.
- Seleccionar adecuadamente a los interlocutores.
- Garantizar el equilibrio entre la representatividad de instituciones y beneficiarios en las entrevistas.
| Fig. 2 - Esquema general de aplicación del estudio de caso |
|
|
Selección de las unidades de observación
La selección de las unidades de observación es fundamental para garantizar la calidad de la evaluación y para intentar conseguir la generalización de los resultados obtenidos.
La United States Gouvernment Accountability Office (USGAO) propone tres posibles claves para la selección de las unidades de observación:
- Facilidad (facilidad de realización de los estudios).
- Selección del muestreo según el objetivo.
- Búsqueda de representatividad estadística.
Ejemplo de criterios de selección de país para la evaluación de la ayuda europea en el sector del agua:
1. Que el país sea uno de los principales beneficiarios de la ayuda de la CE en el sector del agua.
2. Contar con un representante de cada región mundial.
3. Que el agua constituya el principal sector de intervención.
4. No haber sido objeto de estudio en las últimas evaluaciones dirigidas por la Unidad de Evaluación.
Planificación
| Fig. 3 - Para dirigir el estudio o los estudios de caso siempre se requiere un protocolo |
|
|
La realización de un estudio de caso piloto permite, entre otras cosas:
- Comprobar la validez del método para dirigir los estudios al someterlo a prueba sobre el terreno.
- Pulir la lista de grupos de personas que hay que contactar y la bibliografía básica.
- Perfilar las guías de entrevista y los cuestionarios.
- Revisar las preguntas para los evaluadores, los criterios y los indicadores a partir de los elementos realmente disponibles sobre el terreno.
- Realizar un informe tipo, que servirá de modelo para los demás evaluadores.
Recopilación de datos
Para que los resultados del estudio de caso sean fiables, durante la recopilación de datos hay que tener en cuenta una serie de puntos básicos:
- El carácter de los datos recopilados debe ser "longitudinal", es decir, que abarquen un período de tiempo lo bastante amplio y evitar así que se tomen como referencia situaciones momentáneas.
- Deben verificarse los datos mediante su triangulación, método sistemáticamente adoptado en evaluación.
- El evaluador debe asegurarse de que se saca el máximo partido a la información recopilada, especialmente en caso de divergencias entre las personas implicadas.
- Por definición, el estudio de caso se mantiene abierto a posibles nuevos hallazgos fruto de estudios en curso. Durante la realización del estudio de caso, el evaluador debe saber identificar los puntos clave y profundizar en ellos, aunque esto suponga desviarse del plan inicial.
- Finalmente, la fase de terreno permite la observación directa de lo que sucede en la realidad. En este sentido, es importante que el evaluador tome nota de ello con la máxima precisión.
Análisis e interpretación de los resultados
Se trata de la etapa más delicada del estudio de caso. El objetivo es tratar la información recopilada durante la fase de terreno y establecer relaciones causa-efecto tanto como sea posible respecto de lo observado. Contrariamente a las fases de diseño y de recopilación de datos, este análisis está menos sujeto a metodologías de trabajo, lo que de hecho constituye su relativa dificultad.
En parte, este análisis se realiza simultáneamente a la fase de recopilación de datos, especialmente en los estudios de caso en que:
- el estudio es lo bastante amplio como para que los primeros resultados permitan al evaluador pulir la continuación de la fase de recopilación en tiempo real,
- la fase de recopilación de información incluya un test de hipótesis preestablecidas que requiera modificar en parte el contenido del estudio según se vaya avanzando.
¿Qué recursos se necesitan?
| Fig. 4 - Recursos necesarios |
En tiempo |
Preparación: de 15 a 20 días.
Terreno: de 3 a 10 días.
Análisis: de 3 a 10 días.
Formación de los evaluadores (en un estudio de caso múltiple): de 2 a 3 días.
Síntesis de estudios de caso múltiples: de 10 a 30 días. |
Humanos |
Personas cualificadas que dominen la problemática y las técnicas de entrevista y el idioma de las personas entrevistadas. |
Económicos |
En el caso de los estudios múltiples, hay que prever un presupuesto del orden de 15.000 € para la fase de preparación.
A continuación, hay que prever un presupuesto de 5.000 a 7.000 € por estudio de caso (gastos de viajes de largo recorrido no incluidos). |
¿Cuáles son las ventajas y los límites de esta herramienta?
| Fig. 5 - Ventajas y límites |
| Ventajas |
La abundancia de una información cualitativa detallada que describe de forma clara los contextos de aplicación.
Relativa simplicidad de uso.
Flexibilidad para adaptarse a las situaciones en tiempo real.
Plazos de puesta en práctica compatibles con la evaluación geográfica.
Información obtenida con la suficiente profundidad y, en especial, la capacidad de delimitar las lógicas de acción de los diferentes actores. |
| Límites |
Dificultad para identificar a los interlocutores adecuados.
Dificultad para identificar los casos y sus límites y para asociarlos a las amplias problemáticas de las evaluaciones geográficas.
Dificultades para la generalización (por ejemplo a escala de país) de temáticas estudiadas a escala local.
Coste de la herramienta.
Esta herramienta sólo permite la interpretación estadística de los datos en raras ocasiones.
Esta herramienta se basa en el juicio de uno o diversos evaluadores, por lo que, a pesar de adoptar las debidas precauciones al emplearla, puede comportar cierta parcialidad. |
.
|
