Evaluation methodological approach

.

¿CÓMO DEFINIMOS AL PANEL DE EXPERTOS EN EVALUACIÓN?¿Qué es un panel de expertos?Definición

El panel de expertos puede definirse como un grupo de especialistas independientes y reputados en al menos uno de los campos concernidos por el programa que se va a evaluar, al que se reúne para que emita un juicio colectivo y consensuado sobre dicho programa. Dependiendo del encargo, el juicio emitido puede hacer referencia a la ejecución o a los efectos del conjunto o de una parte del programa.

En caso de que no se llegue a obtener el consenso sobre determinadas cuestiones, el panel debe reflejar las diferentes posturas de los expertos participantes.

Este grupo de trabajo, que se constituye especialmente para la evaluación de acuerdo con una serie de procedimientos estándar, sigue un método de trabajo concreto y reaplicable para celebrar sus reuniones y elaborar su juicio. En este sentido, esta herramienta se considera fiable.

Así pues, el objetivo de esta herramienta es utilizar el conocimiento que los expertos poseen de una materia para evaluar políticas, programas o proyectos llevados a cabo en este contexto en concreto.

Principales formas del panel de expertos en evaluación

Donantes como, entre otros, la Comisión Europea, el Banco Mundial, los países escandinavos, Canadá o los Estados Unidos recurren a menudo al panel de expertos para la evaluación de programas.

En evaluaciones de impacto medioambiental de los proyectos, algunos donantes recurren a otra forma de panel de expertos (en particular el Banco Mundial) para evaluar la calidad de los trabajos de los diferentes actores y sugerir posibles mejoras. Durante la realización del trabajo, estos paneles pueden intervenir desde los estudios preliminares hasta la realización concreta del proyecto, e incluso durante los primeros años de su ejecución.

Otra forma de consultar con expertos en evaluación es el método Delphi, basado en la realización de encuestas anónimas y repetidas a múltiples expertos por vía postal.

¿En qué contexto nace el concepto y cómo evoluciona posteriormente?Concepto original

En el ámbito de la investigación, el origen del concepto se sitúa en la evaluación paritaria de trabajos científicos o de programas. Tradicionalmente, el panel de expertos se ha desarrollado como herramienta de evaluación en este campo. 

Evolución

En los últimos años, la noción de panel de expertos ha evolucionado principalmente en dos direcciones:

• Diversificación de la composición del panel. Originalmente, el empleo de paneles de expertos se limitaba a una serie de áreas bastante definidas pero, progresivamente, se ha ido diversificando el contenido de las misiones de evaluación y, en consecuencia, la composición del panel. Actualmente, además de los especialistas en un área en concreto, se solicita la participación de economistas, de especialistas en evaluación o de representantes de los usuarios del programa para cubrir las distintas facetas de la evaluación.
• Profesionalización del panel. La aparición de métodos más rigurosos (p. ej. estudios de apoyo al trabajo del panel realizados por consultores externos) ha incrementado el grado de fiabilidad y credibilidad del panel de expertos como herramienta de evaluación. Estos cambios han ido conduciendo a una profesionalización progresiva de la evaluación realizada con la intervención del panel de expertos.

El panel de expertos es una herramienta que se puede emplear en un gran número de situaciones.

El panel de expertos se adapta particularmente a la evaluación cuando:

• el tema está bien definido y requiere la opinión de expertos de alto nivel en el ámbito de que se trate. Este caso es típico en el campo de la investigación. La Comisión Europea emplea muy a menudo esta herramienta en un gran número de evaluaciones relacionadas con esta área;
• la extensión de la evaluación es muy limitada (p. ej. una evaluación de la ayuda destinada a un país muy pequeño) y no justifica pues el empleo de medios de mayor envergadura;
• el área que se va a evaluar es, al contrario, muy compleja y difícil de abordar mediante otras herramientas, al menos a un coste razonable (por ejemplo ayudas presupuestarias). En estos casos, la opinión de expertos en el tema (y/o en el país) puede contribuir en gran medida a obtener un juicio fiable.

Posibles funciones de un panel de expertos

Image

¿Con qué otras herramientas se puede combinar el panel de expertos?

El panel de expertos se puede combinar con la práctica totalidad de las herramientas clásicas de evaluación.

Además de su asociación con otras herramientas, en determinadas áreas (p. ej. evaluación de la investigación) se está extendiendo el uso añadido de estudios externos realizados para el panel. Estos estudios facilitan el trabajo de los expertos y les amplían la información sobre el programa evaluado. Entre otros, como complemento al trabajo del panel, podemos citar los estudios preliminares, las encuestas, el empleo de bases de datos, etc.

Las ventajas de esta herramienta radican fundamentalmente en el profundo conocimiento que tienen los expertos sobre los temas objeto de la evaluación. Este conocimiento previo comporta:

• un ahorro de tiempo considerable en relación con otras herramientas de evaluación;
• un coste reducido respecto a otras herramientas gracias a dicho ahorro de tiempo;
• una gran credibilidad de las conclusiones, dada la reputación de los expertos;
• una gran capacidad de adaptación a las diferentes situaciones que puedan surgir durante la evaluación.

Límites

Los inconvenientes de esta herramienta se deben principalmente a una serie de riesgos que hay que intentar controlar lo mejor posible:

• el funcionamiento del panel que, buscando un juicio consensuado, puede tender por estructura a omitir las opiniones minoritarias y a "suavizar" las conclusiones;
• la opinión de determinados expertos que "dominen" en el grupo, que puede llegar a primar sobre el resto (a costa de otras opiniones);
• el riesgo de sesgo de empatía en el caso de paneles que intervengan en una evaluación de un campo muy específico, a causa de la pertenencia de los expertos al grupo de especialistas del campo evaluado. Para evitar este sesgo, al formar el panel de expertos el objetivo prioritario tiene que ser la independencia de sus miembros;
• la tendencia de los expertos a exceder al campo de sus competencias reconocidas. Se trata entonces de bien delimitar el trabajo del panel en la evaluación; en caso contrario, la credibilidad de las conclusiones se vería sin duda afectada.

Aunque se controlen estos riesgos, las conclusiones de los paneles de expertos siempre pueden acabar siendo discutibles para algunos.

La rapidez es uno de las ventajas principales de esta herramienta. Así, para una evaluación hay que calcular de tres a seis meses de trabajo, e incluso menos si lo que se solicita es una opinión sobre un aspecto técnico concreto de la evaluación.

Recursos humanos

Los recursos humanos constituyen el eje central de esta herramienta. las personas que integren el panel deben tener una experiencia reconocida en el área solicitada de la evaluación, ser independientes respecto del programa evaluado, tener capacidad para trabajar en equipo y disponibilidad suficiente para implicarse como corresponde a lo largo de todo el proceso de evaluación.

Recursos financieros

Es bien sabido que el panel de expertos es una herramienta de evaluación económica. No obstante, si en su labor se prevén viajes de largo recorrido y visitas sobre el terreno, el presupuesto destinado a remunerar al panel y a cubrir sus diversos gastos puede llegar a incrementarse considerablemente.

Las principales partidas de gastos en las que hay que pensar al realizar la estimación son:

• los honorarios de los expertos, del/la secretario/a y de los posibles subcontratistas que realicen los estudios encargados por el panel;
• los costes de desplazamientos, comunicación, y de edición, reproducción y difusión de los informes;
• los costes de traducción, si procede.

En evaluaciones país o región, se puede recurrir al panel de expertos en diversas circunstancias:

• estudio de áreas extremadamente específicas, que requieran una formación de alto nivel (p. ej.: ayuda a la investigación, altas tecnologías, etc.);
• estudio de los temas en los que las otras herramientas sean de difícil aplicación (p. ej.: ayuda presupuestaria);
• realización de evaluaciones de poca envergadura (p. ej.: ayuda a países pequeños);
• apoyo al juicio de los evaluadores sobre un tema en concreto en evaluaciones de mayor envergadura;
• formalización de los posibles efectos de un programa en evaluación ex ante.

Condiciones de utilización en evaluaciones país

La única condición existente es el conocimiento necesario del contexto de la ayuda a terceros países.

Ejemplos de utilización de esta herramienta en evaluaciones país

En el ámbito de la ayuda a terceros países no se ha encontrado ningún caso en que se haya utilizado esta herramienta. Sin embargo, es muy utilizada para la evaluación de programas en los países occidentales. Hay una serie de ejemplos que ilustran el empleo del panel de expertos (según el caso con términos de referencia, perfiles de contratación, muestras de informes, etc.).

Ver más adelante la lista de ejemplos de utilización del panel de expertos en evaluaciones geográficas.

.

.

¿QUE CRITERIOS SE APLICAN PARA LA SELECCION DE LOS EXPERTOS?

Hay tres criterios clave para el funcionamiento del panel de expertos

Image

Experiencia profesional

La experiencia profesional en el campo de que se trate es un requisito indispensable; el experto debe estar muy cualificado en el área objeto de evaluación, y ser reconocido y respetado por sus colegas. La credibilidad de sus opiniones depende totalmente de ello.

Independencia

La independencia del experto respecto del programa que se va a evaluar es de vital importancia; el evaluador nunca puede ser juez y parte. Así, se excluirán de la selección los expertos que tengan algún tipo de conflicto de intereses con el programa evaluado (p. ej.: aquellos que hayan participado en el programa o procedan de un organismo que se haya beneficiado de éste).

No obstante, es difícil garantizar una independencia total en aquellos campos en que el número de expertos es especialmente reducido. En estos casos, más que la independencia de cada uno de los expertos, prevalecerá el grado de independencia del panel en sí mismo (en otras palabras, las distintas opiniones posibles sobre el programa en cuestión deberán estar representadas en el panel).

Finalmente, no hay que olvidar precisar a los expertos que se les ha designado a título individual, es decir, que no representan a la institución de la puedan formar parte y, en consecuencia, no pueden ser sustituidos en su función.

Capacidad de trabajo en equipo

El experto debe reunir otras características igualmente básicas: capacidad de trabajo en equipo y de escuchar a los demás, así como una mentalidad abierta. En caso contrario, el clima de trabajo en el panel puede enrarecerse y ello puede desembocar directamente en el fracaso de su misión.

Otros criterios

Además de estos tres criterios básicos (profesionalidad, independencia y capacidad de trabajo en equipo), así como de potenciales requisitos relativos a los perfiles de los expertos del panel, los financiadores pueden tener otras necesidades en la formación del grupo (p. ej.: miembros de una nacionalidad específica, equilibrio entre los expertos con distintos puntos de vista sobre el programa, petición de representación de un determinado grupo de personas en el panel como los beneficiarios, los usuarios, etc.).

Finalmente, es aconsejable que los expertos del panel conozcan lo mejor posible la lengua del territorio en el que se desarrolle la evaluación.

Esquema de la selección de los miembros del panel

Image

Distintos casos posibles en la contratación de expertos

Según la envergadura del trabajo que haya que llevar a cabo y la complejidad de los temas que se van a tratar, la contratación de los expertos puede ser bastante rápido y sencillo o, al contrario, requerir un proceso previo de selección.

La selección rápida

En este caso, los responsables de la evaluación tienen acceso a una lista de expertos reconocidos en un campo determinado y les basta con asegurarse de su independencia respecto del programa evaluado.

La selección por etapas, según los temas de la evaluación

Esta situación es cada vez más frecuente. En primer lugar, es conveniente definir el perfil requerido de los expertos de acuerdo con los temas que se vayan a abordar en la evaluación.

La definición de estos perfiles es fundamental para que la selección de estos especialistas encaje perfectamente con la evaluación. Si la intervención del panel se limita a los aspectos técnicos de la evaluación, la falta de independencia de los expertos respecto de las áreas consideradas no tiene grandes consecuencias en la evaluación ya que, efectivamente, es el evaluador quien se encarga de las principales actividades.

Si, en cambio, los expertos deben llevar a cabo una parte significativa de la evaluación, es indispensable que el panel incluya -además de a los expertos de la especialidad- como mínimo a un miembro que tenga mucha experiencia en la realización de evaluaciones en sí, así como a un socioeconomista. Por supuesto, la lista puede ampliarse tanto como lo requiera la misión encomendada a los expertos.

Definición de perfiles

La Société Royale du Canada detalla los puntos del programa que hay que considerar para definir los perfiles del panel, a saber:

• el carácter del programa; ¿el estudio se limitará a problemas técnicos o abarcará problemas más amplios relacionados con la política pública?
• el grado de controversia; ¿los problemas que hay que tratar tienen soluciones alternativas susceptibles de controversia? ¿Afectan a los implicados desde el punto de vista emocional, político o financiero respecto de los resultados?
• los datos disponibles; ¿las conclusiones del panel y las recomendaciones se basarán en el análisis de datos o en el juicio de los expertos?
• las incertidumbres; ¿contemplarán incertidumbres las conclusiones del panel?
• el número de disciplinas necesarias; ¿los problemas que hay que evaluar implican el dominio de una sola disciplina o de varias?

Proceso de selección

Una vez que se han definido los perfiles, la institución que ha de realizar la evaluación recoge la información y efectúa una eventual primera selección a partir de esta lista, teniendo especialmente en cuenta los conflictos de intereses que se hayan podido identificar. A continuación, dicha institución se pone directamente en contacto con los candidatos.

Dependiendo del número de expertos que haya de configurar finalmente el grupo (en general de cinco a diez), será conveniente preseleccionar al doble o incluso al triple de especialistas en esa lista ya que es posible que no todos gocen de disponibilidad en ese momento. Hay financiadores que toman la lista -en ocasiones larga- y establecen una distinción entre los "titulares de preferencia" y los "suplentes", y a partir de ahí se ponen en primer lugar en contacto con los primeros para reservar su disponibilidad. Se recomienda aplicar esta técnica en el caso del futuro presidente del panel y de los expertos "clave".

Acabado el proceso de selección, los expertos son contratados y entre ellos se nombra a un presidente (que elige el propio panel o el financiador de la evaluación, según el caso). La repercusión de la elección del presidente es muy importante ya que su papel es fundamental en el funcionamiento del grupo. El presidente marcará la tónica y el ritmo de trabajo del panel.

Finalmente, sería deseable que la secretaría se confiase a una persona con disponibilidad suficiente porque, en general, los expertos suelen carecer de ella. No hay que olvidar que, en efecto, las actividades de secretaría requieren mucho tiempo: redactar actas o informes, integrar observaciones, en ocasiones dirigir estudios de apoyo, etcétera.

Para que el panel pueda exponer su opinión con pleno conocimiento del entorno del área que se va a evaluar, los evaluadores deben dedicar el tiempo necesario para precisar a los expertos el contexto de su intervención, así como para responder a las posibles cuestiones que éstos planteen sobre el programa, los procedimientos, los métodos de evaluación, etc. Por otro lado, en principio el contenido de las sesiones de trabajo del panel de expertos es confidencial.

Documentos que faciliten la labor del panelTérminos de referencia

Para facilitar la labor del panel, a menudo se hace necesaria la redacción de términos de referencia (TdR), en los que se debe especificar:

• el carácter de la evaluación;
• el lugar que ocupa el panel en ella y su modo de funcionamiento;
• las cuestiones planteadas al panel o la naturaleza de las investigaciones que hay que llevar a cabo (p. ej.: opinión sobre la pertinencia, coherencia o eficacia de una acción, etc.);
• los datos (p. ej. en caso de ejecución de un programa) y los medios (p. ej. posibilidad de visita in situ) que se ponen a disposición del panel;
• la estructura de los informes, así como los plazos de intervención en cada una de las etapas del trabajo.

Guías entrevista tipo

Cuando en una evaluación se debe recurrir repetidamente a paneles de expertos, se pueden elaborar procedimientos de dirección de los trabajos y guías de entrevista para facilitar la actividad del panel (p. ej. para posibles reuniones con distintas autoridades, visitas sobre el terreno, entrevistas con los beneficiarios, etc.) y recibir además los resultados de los diferentes paneles en un soporte con estructura similar (en caso de evaluaciones repetitivas).

Estos documentos modelo también se pueden suministrar a modo de ayuda a los equipos de trabajo que no estén familiarizados con la actividad de la evaluación.

La función de los expertos es realizar el estudio del área que se les solicite y elaborar un informe con sus conclusiones. . Por consiguiente, la preparación y redacción de dicho informe merece especial atención.

Generalmente, se espera de un panel de expertos que:

• los trabajos del panel incluyan los estándares científicos y técnicos de las disciplinas estudiadas;
• el panel demuestre ser totalmente independiente respecto a los programas objeto de estudio y, por lo tanto, emita un juicio exento de cualquier interés particular;
• haya consenso en las conclusiones y recomendaciones del panel.

Con relación a este último punto, hay que decir que algunos asociados son contrarios a la búsqueda de ese consenso si ello implica que el informe generado carezca de interés o sea poco realista. En esta caso, aconsejan que se realice un informe que refleje las diferencias entre los distintos puntos de vista y las razones de estas diferencias.

Entre las otras reglas aplicables a las labores de los paneles se encuentra la confidencialidad de las discusiones y el compromiso de no divulgar los resultados no definitivos.

Normas generales para dirigir las reunionesPrimera reunión del panel 

El contenido de la primera reunión del panel de expertos se corresponde bastante al de los términos de referencia. Se trata de que este contenido quede perfectamente claro para los expertos, así como su papel en la evaluación.

Durante esta reunión también se debe discutir y aprobar el método que se empleará para dirigir los trabajos. En esta discusión se tiene que tratar:

• la organización del panel y la función de cada uno de sus miembros;
• el tipo de investigación, el método de obtención de datos; la dirección de los trabajos que llevará a cabo cada uno (p. ej.: visitas sobre el terreno);
• el calendario de intervención, la organización de las próximas reuniones y el contenido de dichas reuniones.

En esta reunión es igualmente primordial recordar a los miembros del grupo las normas generales de funcionamiento (p. ej.: independencia, consenso, etc.) ya que los expertos conocen bien los temas objeto de análisis pero en general suelen estar poco familiarizados con las herramientas de evaluación.

De forma sistemática, en este encuentro deben abordarse, debatirse y zanjarse los posibles conflictos de interés de los expertos respecto al programa.

Reuniones posteriores

Las siguientes reuniones (de 3 a 5 aproximadamente) estarán directamente vinculadas a los trabajos del panel. En ellas se tratará sistemáticamente de:

1. los trabajos realizados desde la reunión anterior;
2. los resultados de las investigaciones ya terminadas o de las que se estén llevando a cabo en ese momento;
3. los problemas encontrados (p. ej.: dificultades para reunir información, problemas con el calendario de intervención, con el presupuesto, etc.);
4. el estadio en que se encuentra la redacción de los diferentes documentos y su proceso de revisión y control;
5. los trabajos que hay que realizar antes de la próxima reunión y el contenido de ésta.

Para garantizar la confidencialidad absoluta de los trabajos del panel, algunos asociados recomiendan destruir las grabaciones, las minutas e los informes intermedios de las reuniones, de forma que sólo se conserve el informe final, que es el único documento que se solicita realmente al panel.

Organización de la misión

La organización puede variar mucho según las misiones encargadas al panel. Cuando se trabaja con expertos cuya actividad principal no es la evaluación y cuyo lugar de residencia puede estar alejado del lugar de reunión, es básico organizar el calendario de su intervención desde el principio de la misión, e intentar respetarlo al máximo.

Para evitar sesgos de interpretación o de empatía, a menudo se aconseja a los expertos que realizan trabajos para el panel entre dos reuniones (por ejemplo para visitas in situ) que lo hagan en grupos, de dos personas como mínimo. Estos pequeños grupos deberían entonces constituirse de forma que en ellos estuviesen representados los posibles distintos puntos de vista respecto al programa.

El presidente del panel desempeña un papel central. Es el encargado de dirigir los trabajos, proponer la metodología, integrar resultados, impulsar la participación, facilitar el debate y representar al panel en las reuniones. El ambiente de trabajo en el panel depende a menudo de él.

Las diferentes funciones del presidente del panel 

Image

Función como facilitador/coordinador

• En la primera reunión de trabajo, el presidente se ocupa de guiar al panel en la elaboración del plan de trabajo y en la estructuración del informe.
• A continuación, organiza el trabajo de los equipos, así como la producción de los documentos y su revisión.
• A lo largo de todo el estudio, se asegura de que la totalidad de los miembros del panel toma parte en los trabajos y se implica en la evaluación.
• Finalmente, durante las discusiones e intercambios entre los miembros del grupo -especialmente entre aquellos con distintas opiniones-, vela permanentemente por la búsqueda del consenso, lo que a veces exige mucho tacto y flexibilidad.

Función como integrador

Es responsabilidad del presidente del panel dirigir el estudio, definir los métodos de trabajo, repasar los documentos, encargarse de que se cumplan los plazos y hacer constar los resultados de los trabajos del resto de los miembros del grupo.

En este sentido:

• respecto a los resultados presentados por los otros miembros del panel, debe aportar una crítica constructiva ya que, más que controlar las reflexiones realizadas, debe intentar mejorarlas en la medida de lo posible;
• en lo que concierne a los documentos producidos por el conjunto del panel, el presidente es el que suele trabajar más a menudo con el/la secretario/a y el financiador en la elaboración de distintas versiones de las reflexiones en curso antes de iniciar nuevas discusiones con el panel.

Función como responsable del proyecto

Otra de las funciones del presidente es comprobar que los recursos disponibles son suficientes, y asegurarse de que se emplean correctamente durante todo el trabajo del panel. Así pues, su contacto con el financiador para el control de estas cuestiones técnicas y financieras es permanente. En el caso de que intervengan subcontratistas para realizar estudios requeridos por el panel, el presidente es quien se encarga de supervisar estos trabajos, cómo se llevan a cabo y su conclusión.

También debe cerciorarse de que el/la secretario/a ha preparado como corresponde las reuniones del panel, de que los expertos reciban los documentos necesarios en el plazo debido y de que se reúnan las condiciones necesarias para la participación de los expertos en las reuniones.

Si se revelan necesarios reajustes de presupuesto, de plazos o incluso de contenido de la misión, el presidente es el encargado de analizar la cuestión con el financiador para encontrar una solución.

Función como representante del panel

El panel puede tener que estar representado ante diferentes organismos e instituciones, como los comités de dirección de la evaluación, en posibles reuniones con el comanditario, ante la prensa, etc. Como, evidentemente, no sería posible contar siempre con la presencia de todo el panel en estas ocasiones, el presidente asume su representación. Puede delegar esta función en otras personas pero, en las reuniones más importantes, es preferible que sea él quien represente al panel.

Al finalizar su misión, los expertos realizan un informe, que es la única producción visible de sus trabajos y en el que basará el juicio de la parte de la evaluación confiada al grupo de expertos. Por esta razón, la redacción de este informe debe llevarse a cabo de forma clara y rigurosa.

Estructura tipo del informe final

Evidentemente, la estructura patrón del informe depende del carácter de la misión que se ha encargado al panel. En los proyectos del panel de naturaleza técnica o científica, el esquema del informe debe incluir, como mínimo:

• un resumen, si es posible no demasiado técnico;
• los términos de referencia del estudio;
• la composición del panel, si es posible detallando (por ejemplo a modo de anexo) las referencias de los expertos;
• las pruebas recopiladas y las hipótesis establecidas, así como las posibles incertidumbres y sus potenciales consecuencias en las conclusiones;
• los análisis realizados;
• el juicio de los expertos, especificando los puntos de consenso. En caso de que éste no se haya alcanzado en su totalidad, el informe debe indicar los puntos en los que ha habido coincidencia y los puntos en los que ha habido desacuerdo y explicarlos.

Éste último punto es sin duda el más complejo en la aplicación de esta herramienta. En la medida de lo posible, hay que intentar conseguir que haya acuerdo ya que el juicio del panel se ve considerablemente reforzado. En este sentido, el presidente desempeña un papel fundamental, así como para formular la posición final del panel, incluso cuando subsistan las divergencias.

.

.

• Ejemplos

.

.

Referencias generales

• Expert panels: manual of procedural guidelines. The Royal Society of Canada. 1998. 
• "La gestion stratégique de la recherche et de la technologie", cap. 1. Édition Economia, 1995.
• Cuadernos MEANS.

Referencias específicas sobre el empleo de paneles

• Informe del panel de expertos, en la evaluación del foro Megascience de la OCDE, 21 de octubre de 1998. 
• Informe del panel de expertos relativo a los pesticidas, Radio New Zealand, 11 de septiembre de 2000. 

.