|
.
¿Por qué utilizar esta herramienta en evaluación?
El panel de expertos puede definirse como un grupo de especialistas independientes y reputados en al menos uno de los campos concernidos por el programa que se va a evaluar, al que se reúne para que emita un juicio colectivo y consensuado sobre dicho programa. Según se les solicite, el juicio emitido puede hacer referencia a la puesta en práctica o a los efectos del conjunto o de una parte del programa.
Este grupo de trabajo, que se constituye especialmente para la evaluación de acuerdo con una serie de procedimientos estándar, sigue un método de trabajo concreto para celebrar sus reuniones y elaborar su juicio.
En evaluaciones de país o región, se puede utilizar el panel de expertos en diversas circunstancias:
- Para estudiar áreas extremadamente específicas que requieran una formación de alto nivel (por ejemplo ayuda a la investigación, altas tecnologías, etc.).
- Para estudiar temas en los que las otras herramientas sean de difícil aplicación a un coste razonable.
- Para realizar evaluaciones de poca envergadura (por ejemplo ayuda a países pequeños).
- Para apoyar el juicio de los evaluadores sobre un tema en concreto en evaluaciones de mayor envergadura.
- Para formalizar los posibles efectos de un programa en evaluación ex ante.
¿Cómo aplicar el panel de expertos?
¿Qué criterios se aplican para la selección de los expertos?
La experiencia profesional en el campo de que se trate es un requisito indispensable; el experto debe estar muy cualificado en el área objeto de evaluación, y ser reconocido y respetado por sus pares.
| Fig. 1 - Tres criterios clave para el funcionamiento del panel de expertos |
|
|
La independencia del experto respecto del programa que se va a evaluar es de vital importancia; el evaluador nunca puede ser juez y parte.
La capacidad de trabajo en equipo, de escuchar a los demás, así como una mentalidad abierta, son también fundamentales. En caso contrario, el clima de trabajo en el panel puede enrarecerse y ello puede desembocar directamente en el fracaso de la misión.
¿Cómo seleccionar a los expertos?
En el caso de una selección rápida, los responsables de la evaluación tienen acceso a una lista de expertos reconocidos en un campo determinado y basta con que se aseguren de su independencia respecto del programa evaluado.
En el caso de una selección por etapas, es conveniente definir primero el perfil de los expertos de acuerdo con los temas que se vayan a abordar en la evaluación.
Para la definición de estos perfiles se tendrán en cuenta los siguientes puntos:
- El carácter del programa.
- El grado de controversia (¿los problemas que hay que tratar tienen soluciones alternativas susceptibles de controversia?).
- Los datos disponibles.
- Las incertidumbres (¿contemplarán incertidumbres las conclusiones del panel?).
- El número de disciplinas necesarias.
¿Cuáles son las normas de funcionamiento del panel?
No existe un método de trabajo único, el panel de expertos es libre de organizarse como crea conveniente. Su labor puede centrarse en la lectura de la documentación y en la celebración de reuniones de trabajo, o bien ampliarse e incluir reuniones con los responsables de proyectos, visitas sobre el terreno, envío de cuestionarios, etc.
La primera reunión del panel de expertos tiene como objetivo que éstos entiendan perfectamente su papel en la evaluación.
Durante esta reunión también se debe discutir y aprobar el método que se empleará para dirigir los trabajos. En esta discusión se tiene que tratar:
- La organización del panel y la función de cada uno de sus miembros.
- El tipo de investigación, el método de obtención de datos, la definición de los trabajos que llevarán a cabo los distintos miembros del grupo (por ejemplo visitas sobre el terreno).
- El calendario de intervención, la organización de las próximas reuniones y su contenido.
Las reuniones posteriores (de 3 a 5 aproximadamente) estarán directamente vinculadas a los trabajos del panel. En ellas se tratará sistemáticamente de:
- Los trabajos realizados desde la reunión anterior.
- Los resultados de las investigaciones ya terminadas o en curso.
- Los problemas con los que se haya tropezado.
- El estadio en que se encuentra la redacción de los diferentes documentos y su proceso de revisión y control.
- Los trabajos que hay que realizar antes de la próxima reunión y contenido de ésta.
Entre otras reglas aplicables a la labor del panel de expertos se encuentra la confidencialidad de las discusiones y el compromiso de no divulgar los resultados no definitivos.
¿Qué papel desempeña el presidente del panel?
El presidente del panel desempeña un papel esencial. Es el encargado de dirigir los trabajos, proponer la metodología, integrar resultados, impulsar la participación, facilitar el debate y representar al panel en las reuniones. El ambiente de trabajo en el panel depende a menudo de él.
| Fig. 2 - Funciones del presidente del panel de expertos |
|
|
Su función como facilitador/coordinador: organiza el trabajo y la producción de documentos de los equipos y vela por la búsqueda de consenso.
Su función como integrador: debe aportar una crítica constructiva respecto del trabajo realizado por cada uno de los miembros del panel para intentar perfeccionar las reflexiones realizadas.
Su función como responsable: debe comprobar que los recursos disponibles son suficientes y asegurarse de que se emplean correctamente. Asimismo, debe asegurarse de que las reuniones se preparan debidamente.
Su función como representante: debe representar al panel ante diferentes organismos e instituciones (comité de dirección, reuniones con el servicio encargado de la asignación o con la prensa, etc.).
¿Cómo presenta el panel el resultado de sus trabajos?
El informe es la única producción visible de sus trabajos y en el que se basará el juicio de la parte de la evaluación confiada al grupo de expertos. La estructura del informe debe incluir: un resumen, los términos de referencia, la composición del panel, las pruebas recopiladas y las hipótesis establecidas, los análisis realizados y el juicio de los expertos especificando los puntos de consenso.
¿Qué recursos se necesitan?
| Fig. 3 - Recursos necesarios |
En tiempo |
La rapidez de aplicación es una de las ventajas principales de esta herramienta. Así, para una evaluación hay que calcular de 3 a 6 meses de trabajo, e incluso menos si se busca una opinión sobre un aspecto técnico concreto de la evaluación. |
Humanos |
Las personas que integren el panel deben tener una experiencia reconocida en el área que haya que evaluar, ser independientes respecto del programa evaluado, tener capacidad para trabajar en equipo y disponibilidad suficiente para garantizar su presencia a lo largo de toda la evaluación. |
Económicos |
Las principales partidas de gastos en las que hay que pensar al realizar la estimación son:
- Los honorarios de los expertos, del/la secretario/a y de los posibles subcontratistas que realicen los estudios encargados por el panel.
- Los costes de desplazamientos, comunicación, y de edición, reproducción y difusión de los informes.
- Los costes de traducción, si procede.
|
¿Cuáles son las ventajas y los límites de esta herramienta?
| Fig. 4 - Ventajas y límites |
| Ventajas |
Las ventajas de esta herramienta radican fundamentalmente en el profundo conocimiento que tienen los expertos sobre los temas objeto de evaluación. Ello comporta:
- Un ahorro de tiempo considerable.
- Un coste reducido.
- Una gran credibilidad de las conclusiones.
- Una gran capacidad de adaptación a las diferentes situaciones que puedan surgir durante la evaluación.
|
| Límites |
El funcionamiento del panel puede tender por estructura a omitir las opiniones minoritarias y a "suavizar" las conclusiones.
- La opinión de determinados expertos puede llegar a primar sobre el resto, a costa de otras opiniones.
- La pertenencia de los expertos al grupo de especialistas del campo evaluado puede, por empatía, limitar la independencia de su juicio.
- La tendencia de los expertos a exceder el campo de sus competencias reconocidas.
|
.
|
