1. INTRODUCCIÓN

En estos momentos de crisis y grandes transformaciones socio-económicas son pocas las iniciativas comunitarias que se salvan de un cuestionamiento y debate sobre su oportunidad y el valor que aportan. En una reciente comunicación de la Comisión Europea, el presidente Barroso resalta la importante contribución que se espera de la evaluación para maximizar la calidad y la eficacia de las propuestas comunitarias y mostrar que la UE trabaja con responsabilidad y profesionalidad. Según esta comunicación todas las propuestas significativas de revisión de medidas existentes o de nuevas medidas deberán basarse en una evaluación del marco de la política publica correspondiente (European Commission, 2010). Sin embargo, aunque la situación hace evidente la necesidad de producir conocimiento evaluativo, no acaba de despejarse la duda sobre la utilización práctica de la evaluación de programas públicos para el cambio en las políticas públicas y la reasignación de recursos (OCDE, 2007).

Después de unas dos décadas de esfuerzos, la evaluación de políticas públicas en la Unión Europa parece estar funcionando tanto desde el punto de vista de la oferta como de la demanda. En referencia a experiencias de principios de esta década, algunos estudios comparados mostraban que la Comisión había conseguido establecer la evaluación y crear una cultura evaluativa muy influyente en el crecimiento de su practica en la UE y en los Estados Miembros (EEMM) (Summa y Toulemonde, 2002; Ernest y Young, 2008). Actualmente, el esfuerzo de evaluación es amplio y coordinado y parece disponer de un buen potencial de desarrollo. Desde el año 2007, la Comisión ha puesto en marcha varias iniciativas orientadas a mejorar la calidad de la práctica evaluativa y potenciar un mayor uso de sus resultados en la elaboración de políticas europeas.

La utilidad de la evaluación en la UE se ha buscado principalmente en el marco de la gestión por resultados, inspirada en el NPM (New Public Management), con el fin de fomentar la competición y maximizar así la utilidad de cada organización o cada iniciativa. Sin embargo, la validez y coherencia de este modelo con la realidad en la que se desarrollan las políticas europeas están cada vez más cuestionadas. Las políticas europeas, como iniciativas de reforma, se desarrollan en contextos desestructurados y exigen una aproximación adaptativa y participativa (Berman, 1980). El contexto político y socioeconómico en el que están inmersas las políticas europeas es cada vez más complejo y las opciones de decisión y sus resultados, previstos o reales, son inciertas. En general, este está caracterizado por la pluralidad y diversidad de intereses; cambio sociopolítico y tecnológico; interdependencia entre sectores; incertidumbre sobre las relaciones causales de la intervención; etc. (ver introducción del presente número). Basándose en el modelo de gobernanza, la respuesta de la UE a la creciente complejidad del contexto ha sido iniciar un proceso de apertura, participación y colaboración en el ciclo de las políticas europeas orientado a maximizar la utilidad colectiva que exige una aproximación distinta a la evaluación.

Ambos modelos intentan responder a las demandas de la sociedad y para ello cuentan con la evaluación como un instrumento, entre otros, de decisión y dirección estratégica. Aunque hay una gran diferencia entre el modelo gerencial (gestión por resultados) y el de Gobernanza (“gestión” de redes), esto no significa que la evaluación no pueda ser compatible con ambos modelos. Existe un consenso generalizado sobre la utilidad potencial de la evaluación para dirigir Europa, pero cabe la duda sobre la utilidad y el tipo de uso dado en la práctica a la información evaluativa. Tanto la utilización de la información evaluativa como su relevancia dependen de la relación y adaptación de la evaluación a estos dos modelos de decisión y de su coherencia con el contexto de las políticas comunitarias.

En este artículo se analiza la situación en la que se encuentra hoy la evaluación en la UE y se presentan evidencias de que el sistema de evaluación funciona y produce información evaluativa que es utilizada en los procesos de toma de decisiones. El objetivo final es examinar el tipo de uso dado a la evaluación, ilustrándolo con experiencias de buenas prácticas, y analizar su coherencia con el contexto. Se pretende mostrar que el sistema de evaluación de la Unión Europea está bien arraigado y sus recomendaciones se utilizan, aunque de manera limitada, tanto bajo la perspectiva de la gestión por resultados como de la gobernanza. Así mismo, se propone la necesidad de una mayor coherencia de los modelos de dirección y evaluación con el contexto de las políticas europeas. La relevancia del beneficio aportado por la evaluación y su uso para la dirección de la UE aumentaría de manera significativa, si los recursos y esfuerzos de evaluación de la Comisión se reorientaran en busca de mejorar esta coherencia. El análisis se basa en la información recogida de publicaciones previas, documentos oficiales, evaluaciones y documentos de trabajo de la UE.

En las siguientes secciones, en primer lugar, se describe el origen y la evolución de la evaluación en la UE y el marco institucional del sistema de evaluación. Posteriormente se explora la política de evaluación y su enfoque. Finalmente, se analiza y valoran los avances conseguidos, los principales obstáculos encontrados y los tipos de uso de la evaluación.

2. ORIGEN Y EVOLUCIÓN DEL SISTEMA DE EVALUACIÓN EN LA UE: NAVEGANDO ENTRE LA GESTIÓN POR RESULTADOS Y LA GOBERNANZA

Dejando a un lado, por motivos de espacio, las experiencias sectoriales de algunas Direcciones Generales (DG) (por ejemplo: Ayuda Exterior, Política Regional e Investigación y Desarrollo), el origen y razón de un sistema global de evaluación en la UE están relacionados con dos reformas de amplio alcance basadas en los modelos de gestión y presupuestación por resultados y de “Gobernanza”, que respondían a los dos déficits que preocupan a la UE, el financiero y el democrático. En un principio, la evaluación en la UE se planteó con una clara función técnico-organizativa relacionada con los procesos de gestión y particularmente de gestión del gasto. La preocupación inicial fue valorar la eficacia y eficiencia de las iniciativas comunitarias con consecuencias significativas en el presupuesto de la UE. Casi en paralelo a esta aproximación se han realizado importantes esfuerzos de evaluación en el marco de la iniciativa de la Gobernanza Europea. La evolución de la evaluación ha ido prestando más atención a otro tipo de medidas, llamadas de no-gasto (por ejemplo: legislativas, informativas, de coordinación, etc.) e incluyendo otro tipo de criterios de valor como la relevancia, coherencia, sostenibilidad, transparencia, participación, etc. de las políticas comunitarias. Específicamente, la introducción y mejora del sistema de evaluación en la UE han ido estrechamente unidas a las siguientes reformas:

2.1. La reforma SEM (Sound and Efficient Management) 2000

Desde hace varias décadas los organismos internacionales tales como la Organización para la Cooperación y Desarrollo Económico (OCDE) y el Fondo Monetario Internacional (FMI), vienen proponiendo e impulsado reformas en la gestión del gasto público orientadas a introducir el presupuesto por resultados y aplicar los criterios de economía, eficiencia y eficacia en el marco de la Nueva Gestión Pública (OCDE 1996, 2002, 2007; IMF, 2005). El modelo racional de gestión y presupuesto por resultados es bien conocido. A través de la competición se incentiva un comportamiento de decisión que trata de maximizar beneficios a nivel departamental, sin prestar la suficiente atención a la utilidad colectiva y bajo supuestos de lógicas de intervención lineales (input, action, output, outcome). Se supone que los procesos de decisión se llevan a cabo en un entorno simple o estructurado (pocos participantes y con autonomía de acción, clara delimitación de responsabilidades, baja resistencia al cambio, ausencia de conflictos de valores o enfrentamiento de intereses, estabilidad y validez comprobada de las políticas). Son múltiples los estudios realizados sobre el potencial y las dificultades de la integración y uso de la información sobre resultados en el presupuesto (Shick, 2001; Pollitt y Bouckaert, 2000; Diamond, 2003; Mayne 2007). En múltiples estudios se proponen vías para mejorar la asignación de los recursos en función de la evaluación de programas dentro y más allá del paradigma de la New Public Management (NPM) (Gray, Jenkins y Segsworth, 1993; Mayne y Zapico, 1995; Subirats, 2004; Robinson, 2007; Radej, Golobic y Cernic, 2010).

Con este modelo de gestión se corresponde la visión tradicional de la Comisión Europea como entidad responsable de la preparación de medidas legales y presupuestarias y de su gestión directa o del seguimiento y control de las actuaciones de las Agencias europeas y de los EEMM como ejecutores de las medidas europeas. Bajo esta perspectiva la evaluación de las políticas públicas se centra en el análisis del grado de cumplimiento de los objetivos plasmados en las medidas europeas y en el estudio de las relaciones entre recursos, operaciones y resultados.

En línea con este modelo, la Comisión Europea inicia a finales del siglo pasado su reforma en la gestión presupuestaria como respuesta al grave problema del aumento del gasto en la Unión Europea causado en parte por el aumento de funciones y nuevas competencias como las políticas en investigación y desarrollo, educación, medio ambiente, sociedad de la información, etc., y la creciente presión por una mayor disciplina fiscal (condiciones o criterios de Maastricht) exigida a los Estados Miembros y consecuentemente a la Comisión Europea.

La evaluación en la UE se origina por tanto como un instrumento de gestión por resultados de los programas presupuestarios y de reasignación de los recursos. El gasto se estructura en torno a grandes partidas llamadas “Actividades presupuestarias” que en muchos casos son políticas u organizaciones europeas (por ejemplo: Fondos Estructurales, programas marco de actuación en distintos sectores, agencias reguladoras y ejecutivas, etc.). El número, normalmente pequeño, de estas grandes políticas o líneas de trabajo, o agencias dependientes, de cada Dirección General se presenta de manera codificada en el documento presupuestario y debe ser objeto de seguimiento y evaluación (European Commission, 2000). También se presentan en el presupuesto “Actividades sin Línea Presupuestaria” (Activity Without Budget Line), sin consecuencias directas de gasto que pueden ser objeto de evaluación, pero no obligatoriamente. El Reglamento Financiero de la UE formalizó (2002) la obligación de evaluar y utilizar los resultados de la evaluación para justificar las variaciones de los créditos presupuestarios solicitados por las Direcciones Generales. Por lo tanto, legalmente, el objeto de la evaluación son grandes “Actividades” o políticas identificadas y codificadas en el presupuesto, sin embargo en la practica el objeto de las evaluaciones suelen ser iniciativas o medidas de menor dimensión cuyos resultados a menudo son difíciles de relacionar con las grandes partidas o “Actividades” presupuestarias, por ley objeto obligado de evaluación.

Paralelamente la política de evaluación se ha ido ampliando y desarrollando en el marco de otras iniciativas de reforma en la UE.

2.2. Las Comunicaciones sobre Evaluación (1996, 2000, 2007a) y sobre

funciones relacionadas con la Gestión por Resultados (2001, 2002)

Las tres Comunicaciones sobre evaluación marcan con claridad la evolución del sistema de evaluación en la Comisión Europea hasta finales del 2008. En el 2009 se inicia una transición del sistema de evaluación como veremos más adelante. La creación de un sistema global de evaluación para la UE en 1996 no partió de cero, dado que antes de esa fecha ya se disponía de experiencia y capacidad de evaluación en algunas Direcciones Generales (Agricultura, Ayuda y Cooperación Internacional, Política Regional y otras). En 1996, sin embargo, con la primera comunicación sobre evaluación, se crea una política global común para toda la Comisión Europea, que oriente la tarea de las Direcciones Generales sin experiencia en evaluación y que les facilite aprender de los conocimientos de las Direcciones Generales que tenían ya una cierta trayectoria en evaluación.

Con el cambio de siglo se abre una nueva fase en el desarrollo de la evaluación en la UE en la que se asocia la evaluación al intento de que los resultados y las evidencias encontradas sean útiles para la toma de decisiones y la mejora de sus políticas. Se da otro impulso a la evaluación con una nueva Comunicación (2000) que anima a que los resultados de las evaluaciones se tengan en cuenta a lo largo del ciclo de políticas públicas. Simultáneamente, se realizan una serie de comunicaciones sobre gestión por resultados, Activity Based Management (ABM), (European Commission, 2001), y la evaluación de impacto, Impact Assessment (IA), (European Commission, 2002). Menos la comunicación del Activity Based Budget (ABB), liderada por la Dirección General de Presupuestos, el resto se han desarrollado desde la Secretaría General (SG) de la Comisión. En todas ellas hay claros y explícitos mensajes sobre el rol instrumental de la evaluación en sintonía con estas técnicas de gestión.

En el año 2007 se aprobó una nueva comunicación que pretende elevar la utilidad de la evaluación al máximo nivel estratégico de decisión. Se busca que la evaluación no se utilice sólo a nivel de medidas sectorial y de gestión operativa, sino que también se enlacen los resultados de la evaluación con las grandes políticas y prioridades de la Comisión. Se busca que de la evaluación de las medidas o programas de acción surja información útil para identificar en qué grado y cómo éstas contribuyen a impulsar o alcanzar los objetivos de cada una de las grandes políticas sectoriales y prioridades de la Comisión. La evaluación se entiende como una respuesta a las necesidades de información estratégica de la Comisión y supone un avance sobre las dos fases anteriores.

Finalmente, desde el 15 de enero de 2009 la unidad (coordinadora del sistema) de evaluación ha sido transferida de la Dirección General de Presupuesto a la Secretaría General (SG) de la Comisión Europea. Este cambio supone el inicio de una nueva etapa en la producción y uso de la información evaluativa que, sin dejar de prestar atención a la faceta presupuestaria, pone un mayor énfasis en el ciclo de gestión (ABM) y en complementar la evaluación exante o valoración de medidas legislativas (IA) con la evaluación (interina o ex-post). No obstante, debido a que el 2009 ha sido un año transición en la UE, por el momento no ha habido cambios de relevancia en el sistema de evaluación.

2.3. El Libro Blanco sobre la Gobernanza en la UE (LBG)

Desde hace dos décadas se viene desarrollando el estudio de los procesos de dirección de la UE en el marco de la gobernanza (Majone, 1991; Scharpf, 2002; Metcalfe, 1996, 2001, 2004; Borrás y Jacobsson, 2004; Stame, 2008; Jordana, Mota y Noferini, 2009). La visión de la Comisión europea como una organización en red cambia de una manera radical el modelo no solo de decisión sino también de evaluación (por ejemplo: del objeto evaluado, de los criterios de valor) y del uso de sus resultados. El rol de la Comisión como un actor central que debería liderar la creación y funcionamiento de las redes y regimenes de políticas comunitarias (Metcalfe, 1996) es de gran relevancia. Se han identificado y analizado roles de la Comisión como coordinador e intermediario central de las redes comunitarias (Borrás, 2009) que van más allá de la preparación de medidas legales y del seguimiento de su implantación. Los resultados de las políticas de la UE se pueden y deben enjuiciar también en el marco del funcionamiento de estas redes.

En el primer artículo de este monográfico, L. Aguilar y M. Bustelo definen en general la gobernanza como la actividad de gobierno o dirección de la sociedad orientada a satisfacer unas preferencias sociales definidas entre el gobierno y la sociedad, y realizadas con unas acciones, recursos, instrumentos y formas de organización consensuadas. En este marco, el gobierno dirige a través de redes de colaboración con los actores económicos y sociales. El rol del gobierno no es tanto dirigir y ejecutar las políticas públicas, sino fomentar la creación y fortalecimiento de redes de trabajo e incentivar procesos de participación, asociación, coordinación y resolución de conflictos, en las que se comparte la responsabilidad por el buen funcionamiento y desarrollo de la gobernanza.

El Libro Blanco de Gobernanza de la UE (European Commission, 2001b) identifica la evaluación como uno de los instrumentos esenciales para la gobernanza europea. La iniciativa de gobernanza se ha orientado a simplificar y mejorar la regulación y la preparación de las políticas comunitarias basándose, entre otros instrumentos, en la evaluación ex ante (IA). Además se abre la posibilidad de utilizar instrumentos alternativos a los regulatorios (por ejemplo: Open Method Coordination). Con esta reforma, la UE se propuso que los procesos de decisión se realizaran bajo los principios de apertura, participación, coherencia, responsabilidad y eficacia. Esta iniciativa elevó cualitativamente el potencial de la evaluación como instrumento de decisión pero con una perspectiva muy distinta a la de sus orígenes.

La apertura y participación en la conformación de las políticas Europeas puede ser beneficiada por las posibilidades que ofrecen ciertos métodos y aproximaciones a la evaluación (por ejemplo: análisis de redes, evaluación participativa). El LBG propuso la apertura de las políticas públicas de la UE para asociar un mayor número de actores en su programación, ejecución y control, que se traduciría en una mayor transparencia, participación y responsabilización de todos los stakeholders. De esta manera, los ciudadanos podrían comprobar cómo los Estados Miembros, actuando de manera conjunta en el marco de la Unión Europea, son capaces de responder más eficazmente a sus necesidades y preocupaciones. Esto requiere un esfuerzo no solo de la Comisión Europea sino de las demás instituciones europeas (Consejo y Parlamento), de los Estados Miembros y de otros niveles de gobierno, del mercado y de la sociedad civil.

Por lo tanto, la evaluación se considera un instrumento para diseñar y mejorar la legislación y las políticas europeas en base a criterios, conocimientos y esfuerzos compartidos. Con este fin se plantea mejorar la calidad de la evaluación con propuestas tales como: a) reforzar la cooperación interinstitucional (Parlamento Europeo – Consejo de Ministros – Comisión Europea) para la evaluación y desarrollar una colaboración (evaluation partnerships) más estrecha con los Estados Miembros y la sociedad; b) aumentar la capacidad de evaluación de la Comisión y los EEMM; c) desarrollar instrumentos y procedimientos participativos para evaluar la acción legislativa y presupuestaria de la UE; e) mejorar sistemas de seguimiento y disponibilidad de datos empíricos en los EEMM; f) integrar la evaluación en las funciones de planificación y presupuesto; aumentar la transparencia y difusión proactiva de los resultados de la evaluación; g) construir una cultura de resultados que conlleve una toma de decisiones basada en el análisis más que en concesiones ad hoc (European Commission, 2001c).

3. MARCO LEGAL E INSTITUCIONAL DE LA EVALUACIÓN

En la UE hay una clara obligación legal de evaluar, reflejada explícitamente en su Reglamento Financiero (European Comission, 2002a) que exige la evaluación de toda intervención que ocasione un gasto significativo en el presupuesto de la UE. Particularmente y de manera muy ambiciosa, el artículo 33 señala que el resultado de la evaluación se debe utilizar para justificar las solicitudes y las variaciones de crédito que se presenten en el proceso presupuestario. También los reglamentos específicos de algunos sectores o Direcciones Generales incluyen la obligación y condiciones de evaluar no sólo a la Comisión sino también a los EEMM (por ejemplo: Fondos Estructurales). Otras normas secundarias, las Comunicaciones de Evaluación (1996, 2000, y 2007) y de Impact Assessment (European Commission, 2002b) y los Estándares de Evaluación y Buenas Prácticas (European Commission, 2007) completan el marco normativo de la evaluación en la UE. Este marco, en general, está bien diseñado, es comprehensivo y se ha ido adaptando mutuamente con la evolución de la práctica evaluativa.

La configuración institucional de la evaluación es compleja pero, en general, permite un funcionamiento adecuado del sistema de evaluación, tanto desde la perspectiva de la demanda como de la oferta de evaluación. El sistema de evaluación se localiza en la Comisión Europea. Se trata de un sistema interno de evaluación que hasta el 2009 se ha coordinado desde la Dirección General de Presupuestos. Actualmente se coordina desde la Secretaría General. El Parlamento Europeo y el Consejo de Ministros no disponen de servicios de evaluación. En el PE Parlamento Europeo (PE) se viene reclamando el desarrollo de su capacidad de evaluación. De hecho tanto el PE como el Consejo de Ministros (Cº de Mº) ejercen una presión continua para que mejore la calidad y aumente el uso de la evaluación. El Consejo de Ministros y el Parlamento requieren a la Comisión información específica sobre el estado o la calidad de la información evaluativa incorporada en los planes de actividades y la documentación presupuestaria. Las nuevas formas de colaboración y co-decisión entre las Instituciones europeas suponen una oportunidad para que estas dos instituciones aumenten su papel en la evaluación de las políticas europeas. Ambos tienen competencias para llevar a cabo evaluaciones, particularmente en los Impact Assessment (IA), aunque por el momento prácticamente no se hayan ejercido. Recientemente se ha propuesto que el PE y el Cº de Mº realicen evaluaciones ex ante de sus propias enmiendas (Stern, 2009).

Además de su representación en el Cº de Mº, los Estados Miembros son también importantes actores del sistema de evaluación Europea. En algunas políticas europeas (por ejemplo: Política Regional, Empleo, Ampliación) la responsabilidad de evaluar reside en gran medida en los gobiernos nacionales.

El Tribunal de Cuentas Europeo (TCE) no sólo utiliza los informes de evaluación para la realización de sus trabajos de auditoria, sino que además sus auditorias van más allá de la mera revisión financiera y aplican métodos y criterios parecidos a los de la evaluación. El TCE ha auditado el propio sistema de evaluación de la Comisión Europea y ha proporcionado una información muy valiosa para mejorar su funcionamiento (ECA, 2006).

El cuadro siguiente recoge de manera informal una imagen global de las principales instituciones comunitarias y foros más activos o interesados en la evaluación: el Parlamento Europeo, el Consejo de Ministros, los EEMM y la Comisión Europea con sus “Funciones de Evaluación” y la unidad central de coordinación. Todas estas instituciones se sitúan en torno a varios foros de audiencia y consulta donde se demanda conocimiento evaluativo para el debate y la toma de decisiones (ver cuadro nº 1 y anexo con acrónimos).

CUADRO Nº 1

Red Institucional de Evaluación*

*A partir del 15/01/09 la Unidad de Evaluación (hasta esta fecha situada en la Dirección General de Presupuestos que pertenece a la Secretaría General).

Fuente: Elaboración Propia. (Ver significado de acrónimos en anexo).

Los cuatro círculos pequeños ensombrecidos en la imagen representan sendos foros de debate en los que se demanda y se presenta información evaluativa: a) las reuniones de planificación-programación, donde se analizan los Planes Anuales de Gestión (AMP, por sus siglas en inglés) entre las Direcciones Generales y la Secretaría General de la Comisión; las Audiencias Presupuestarias o Budget Hearings (BH), donde tienen lugar las discusiones bilaterales entre las Direcciones Generales de la Comisión y la Dirección General de Presupuestos para asignar los recursos en cada ejercicio; y los Comités Presupuestarios del Consejo de Ministros (COMBU) y del Parlamento Europeo (COBU).

En estas reuniones y comités se demanda y se presenta información sobre los resultados de las evaluaciones, incluidos los IA, para justificar la programación de actividades y apoyar las demandas de recursos financieros y de personal. No obstante, en general, tanto las decisiones de programación como las de asignación de recursos se siguen basando en procesos de negociación en torno a intereses y conveniencias políticas, buscándose a menudo compromisos rápidos no necesariamente basados en los resultados de los estudios y análisis realizados por la Comisión. Durante la segunda mitad de esta década se han realizado, en el marco de las reuniones de los comités presupuestarios del Cº de Mº (COMBU) y del Parlamento Europeo (COBU), estudios anuales sobre la mejora de la información evaluativa, seguidos de los correspondientes requerimientos a la Comisión para avanzar de acuerdo a sus recomendaciones (Cº de Mº UE, 2008; European Parlament, 2008).

La red institucional de la evaluación en la UE esta bien diseñada, las competencias están bien distribuidas, los roles de producción y uso de la evaluación están convenientemente definidos y las relaciones entre los actores están claramente definidas. Sin embargo, existen ciertas limitaciones y obstáculos a la hora de intentar utilizar los resultados de la evaluación para la toma de decisiones, como veremos en las siguientes secciones.

El sistema de evaluación tiene tres importantes características organizacionales: es descentralizado, tiene capacidad de aprendizaje y funciona de manera abierta y en red. En primer lugar, en relación a su naturaleza descentralizada, cada Dirección General realiza su actividad evaluadora de manera autónoma. Dentro de cada Dirección General existen unas unidades o departamentos denominados “Funciones de Evaluación” (FE) responsables de planificar, coordinar y controlar las evaluaciones que se desarrollen en su Dirección General. Las FE se coordinan desde la unidad central de evaluación de la Secretaría General mediante una Red de Evaluación. En colaboración con las “Funciones de evaluación”, la unidad central de evaluación es responsable de preparar normas y estándares de evaluación, promover buenas prácticas, apoyar subsidiariamente a las funciones de evaluación que lo necesiten, verificar la incorporación de información evaluativa en las fases de planificación y presupuestación, recopilar y sintetizar los resultados de las evaluaciones llevadas a cabo en todas las Direcciones Generales.

La Secretaría General también coordina un sistema descentralizado de evaluación o valoraciones de impacto (Impact Assessment) de naturaleza prospectiva. El IA se introduce en la Comisión en el contexto de las Estrategias de Lisboa y de Desarrollo Sostenible y el debate sobre Gobernanza. Los IA están orientados a contribuir a la eficacia, transparencia, calidad y coherencia del desarrollo participativo de las políticas europeas. Para la Comisión los IA son evaluaciones ex ante de los efectos estimados, directos e inducidos, de las propuestas legislativas o medidas de actuación de la UE para identificar y analizar las posibles opciones o líneas de reforma. Los IA van más allá del examen de las consecuencias que la regulación pueda tener en los costes administrativos de las empresas. Se analizan de manera integrada las alternativas de decisión y los posibles “trade-offs” o contrapesos de sus efectos desde una triple perspectiva: económica, social y medioambiental (European Commission, 2002b).

Los IA utilizan una metodología análoga a los de la evaluación (retrospectiva). Ambas aproximaciones son complementarias. Los IA deben tener en cuenta los resultados de evaluaciones pasadas y presentar un marco (principales objetivos e indicadores de éxito, calendario y responsables) para la evaluación in terim y ex post de las medidas o iniciativas estudiadas. La evaluación se realiza en referencia al marco presentado en el IA. La gestión de los IA y el control de su calidad siguen procedimientos diferentes al de la evaluación. Por ejemplo, la calidad de los IA esta sometida a la revisión del Consejo de Evaluación de impacto (Impact Assessment Board, IAB) que depende directamente del Presidente de la Comisión Europea, de manera independiente de las Direcciones Generales, mientras que la revisión de la calidad de las evaluaciones ex post sigue un proceso formalizado y estandarizado pero de auto valoración. El trabajo realizado por la IAB está suponiendo una mejora sustancial de los IA (Robertson, 2008) en relación a un decepcionante arranque con calidad decreciente entre el 2002 y 2005 (Renda, 2006).

En segundo lugar, el sistema de evaluación de la UE dispone de instrumentos eficaces para el aprendizaje. Se utilizan sistemas de seguimiento y control de las evaluaciones; por ejemplo los Grupos de Dirección y Seguimiento (Steering Groups) de cada evaluación realizan un trabajo de gran utilidad en este sentido. En estos grupos participan los departamentos involucrados o relacionados con la iniciativa evaluada, la Función de Evaluación, expertos independientes y grupos de interés afectados por la iniciativa. Su funcionamiento permite un intercambio de información y conocimiento esencial para la preparación y desarrollo de la evaluación en coherencia con los Términos de referencia y la difusión y utilidad de sus resultados.

Los marcos de calidad de los informes de evaluación que no sólo califican ciertas características de los informes (por ejemplo: pertinencia del diseño, credibilidad de los datos, solidez del análisis, validez y coherencia de resultados y conclusiones, utilidad de las recomendaciones), sino que además permiten captar y acumular información y desarrollar conocimiento para mejorar la capacidad de evaluar (European Comission, 2008c; European Comission, 2009).

Además, las Direcciones Generales disponen de procedimientos de actuación específicos de feedback y seguimiento de la aplicación de los resultados de la evaluación. Estos procedimientos están pensados para facilitar y comprobar el uso de los resultados de la evaluación. Pero además permiten que, en su caso, los responsables de la implantación de las recomendaciones puedan presentar su opinión y proporcionar información sobre el proceso y los resultados de su implantación. Uno de los casos más notorios es el de la Fiche Contradictoire (FC) de la Dirección General de Ayuda Internacional. La FC es un mecanismo formalizado y estandarizado para el seguimiento del uso de la evaluación. Esta debe ser cumplimentada después de toda evaluación. La ficha tiene tres columnas: la primera para identificar la recomendación, la segunda para incorporar las respuestas de la unidad responsable y la tercera, a cumplimentar un año tras la finalización de la evaluación, para mostrar las acciones tomadas por los servicios responsables. A través de estas fichas la unidad de evaluación recibe información y feedback de las unidades responsables de aplicar las recomendaciones. Estas FC han proporcionado una información importante para la gestión de mejoras a nivel operativo o sectorial y han ejercido una cierta presión y motivación para las unidades responsables de implantar las recomendaciones. En la práctica han sido además un buen mecanismo de defensa de estas frente a las críticas externas a la Comisión por no llevar a cabo ciertas recomendaciones.

Por otro lado, el aprendizaje y desarrollo global del sistema de evaluación se ha llevado a cabo en base a estudios en profundidad y sistemáticos sobre el mismo, como por ejemplo, el realizado para la Dirección General de Presupuestos (EPEC, 2005) sobre el uso de los resultados de la evaluación en la Comisión y el realizado por el TCE sobre el funcionamiento del sistema de evaluación (ECA, 2006).

Por último, la organización y funcionamiento del sistema de evaluación de la UE es en red y abierto. Una de las principales características del sistema de producción de evaluación en la UE es su significativa dependencia de los recursos y capacidad de evaluación fuera de la Comisión tanto en el sector publico (p.ej. las redes de evaluación en los Estados Miembros en políticas tales como la Regional, Investigación, Empleo) como en el sector privado (por ejemplo. consorcios de evaluación, grupos de consultores, académicos). Hasta el 2009, aproximadamente un 70% del esfuerzo de evaluación se contrató con empresas de consultoría, organizaciones especializadas en cada sector, universidades, etc. Estos consultores externos llevan a cabo evaluaciones de gran dimensión y alcance que están fuera de la capacidad interna de la Comisión.

Los sistemas de evaluación de algunas Direcciones Generales cuya gestión es compartida o descentralizada dependen de la capacidad de evaluación en los EEMM. Como se ha demostrado hace tiempo los esfuerzos de evaluación de las iniciativas europeas, particularmente de la Política Regional y la de Empleo, se realizan dentro y fuera de la Comisión, a múltiples niveles de gobierno (Rieper, 1997). Estas Direcciones Generales disponen de redes de evaluación (externas) en las que participan los Estados Miembros de la UE. Estas redes están bien diseñadas y funcionan con eficacia. Los departamentos o entes estatales que representan a cada país son distintos según la red o el país de que se trate. Se reúnen de manera periódica para debatir y desarrollar normativa, métodos y prácticas de evaluación. Su rol es esencial para la participación de los EEMM en la configuración del marco de evaluación, la transparencia sobre los resultados y el reparto de responsabilidades. La labor de estas redes es esencial para el desarrollo del sistema de evaluación de la UE.

La red interna de evaluación de la Comisión (Comission Evaluation Network) es una red administrativa. Está compuesta por los representantes de las funciones de evaluación de cada Dirección General. El pleno de sus miembros se reunía unas 5 ocasiones al año, hasta diciembre de 2008 bajo la coordinación de la unidad de evaluación de la Dirección General de Presupuestos, desde el 2009 esta red se coordina desde la Secretaría General. Las reuniones se orientan principalmente para intercambiar información, fomentar la coordinación y coherencia de los esfuerzos de evaluación y el aprendizaje mutuo. La red fomenta el desarrollo y conocimiento evaluativo colectivo de las Funciones de Evaluación. Se organizan reuniones de grupos de trabajo para el desarrollo de metodologías de evaluación y la resolución de problemas de funcionamiento del sistema. Cada año se prepara un plan de actividades de grupos de trabajo, seminarios, cursos de formación, etc. En el 2009 se reunió en una sola ocasión para intercambiar opiniones sobre nuevas líneas a seguir en la práctica de la evaluación tras la transferencia de la unidad de evaluación desde la Dirección General de Presupuestos a la Secretaría General. Existe también una red diferenciada de IA (evaluación ex ante) también coordinada desde la Secretaría General, que se reúne con una regularidad y un funcionamiento similar a la red de evaluación. Estas dos redes son esenciales para que el sistema de evaluación funcione y se desarrolle de manera coordinada.

Dentro de las Direcciones Generales suele haber también redes de evaluación internas en las que participan diversas unidades de la propia Dirección General que realizan actividades relacionadas con la evaluación. Estas suelen crearse en las Direcciones Generales con Funciones de evaluación pequeñas que descentralizan el seguimiento de las evaluaciones entre los servicios de la Dirección General. Por ejemplo, en la Dirección General de Sanidad y Consumo, la función de evaluación trabaja de manera descentralizada. Cada servicio o subdirección (directorate) tiene un responsable de evaluación que participa en la red de evaluación. Además participan otros servicios de carácter horizontal como el de valoración de impacto o Impact Assessment. Otras Direcciones Generales funcionan internamente de manera centralizada (por ejemplo: Agricultura, Política Regional, Ayuda Exterior). Existen también redes de evaluación de carácter interno pero inter-sectoriales en las que participan servicios de varias Direcciones Generales. Por ejemplo, la función de evaluación de la Dirección General de Investigación y Desarrollo lidera y coordina una red de evaluación en la que participan múltiples Direcciones Generales (por ejemplo: Sociedad de la Información, Agricultura, Transportes, Medioambiente, Presupuestos).

4. LA POLÍTICA DE EVALUACIÓN: EN BUSCA DE UN ENFOQUE Y ALCANCE ESTRATÉGICO

DE LA EVALUACIÓN

La decisión sobre qué y cuándo evaluar es descentralizada y no impuesta desde los niveles superiores de la Comisión. El proceso de decisión es más bien de “abajo a arriba” (bottom up). Hasta el 2009, las Direcciones Generales podían decidir realizar una evaluación de manera prácticamente autónoma y por razones de oportunidad, por ejemplo: por necesidades de información, por respuesta a demandas específicas desde el sector privado, etc. La decisión de evaluar puede ser también consecuencia de una obligación legal o de la petición ad hoc de un comisario o de las instituciones de la Unión Europea. En la actualidad el proceso tiene algunas dosis de decisión de “arriba abajo” (top down). La Comisión, a través de la Secretaría General, tiene unas prioridades de temas o políticas a evaluar (genero, empleo, competitividad) sobre las que exige un esfuerzo de evaluación especifico si las Direcciones Generales no lo han realizado voluntariamente.

Según la vigente Comunicación sobre evaluación (2007), el objetivo general del sistema de evaluación es orientar su práctica de forma que sus resultados sean más útiles para la toma de decisiones y permitan el desarrollo tanto de las políticas sectoriales como de las prioridades estratégicas de la Comisión (ver cuadro nº 2).

CUADRO Nº 2

Intención de uso de la evaluación como instrumento

para la gestión estratégica

Fuente: European Commission, 2007.

Más reciente es la declaración del presidente Barroso sobre la importante contribución que se espera de la evaluación para maximizar la calidad y la eficacia de las propuestas de la Comisión y mostrar que ésta trabaja con responsabilidad y profesionalidad y el diseño de que todas las propuestas significativas de revisión de medidas existentes o de nuevas medidas deberán basarse en una evaluación del marco de la política publica correspondiente (European Commission, 2010)

Para avanzar en la orientación estratégica de la evaluación, la Comisión Europea viene trabajando desde 2007 en una serie de medidas relacionadas con el diseño de las evaluaciones, la comunicación e incorporación de sus resultados en los foros y procesos de decisión. Por ejemplo:

a) Asegurar que las evaluaciones se diseñan de manera que faciliten la producción de evidencias e información relevantes y apropiadas para satisfacer las necesidades estratégicas de información de la Comisión Europea. Algunas medidas concretas dentro de estas líneas de mejora son:

- la ampliación del ámbito de aplicación a toda clase de iniciativas, ya sean con gasto o sin gasto (legislación, información, coordinación, etc.).

- la mejora del enfoque de las evaluaciones con la introducción de criterios y cuestiones sobre el valor o la utilidad añadida por las iniciativas evaluadas a las políticas sectoriales y prioridades de las Comisión.

- el ajuste y sincronización de los planes de evaluación a los tiempos de la preparación y aprobación de la legislación y la toma de decisiones en general.

b) Asegurar que los resultados de la evaluación se comunican y difunden de manera adecuada: mejorando la adaptación y comunicación de los informes de evaluación a los órganos decisorios y a los grupos de interés; renovando los informes anuales y los sistemas de seguimiento de la evaluación (por ejemplo: Evaluation Information Management System; European Innovation Monitoring System); mejorando los documentos presupuestarios y de planificación; reforzando el seguimiento de las recomendaciones de las evaluaciones y los correspondientes planes de acción (por ejemplo: las Fiches Contradictoires).

c) Conseguir una integración eficaz de la evaluación en la fase de la planificación y de elaboración del presupuesto. La evaluación está formalmente integrada en el ciclo de Planificación y Programación Estratégica (SPP) y de gestión de resultados (ABM). Ahora se trata de mejorar los procesos de coordinación y debate entre los servicios involucrados; rediseñar los sistemas y los documentos soporte de información de manera que los resultados de la evaluación se presenten clara y explícitamente y se utilicen eficazmente en los debates de planificación, consulta en procesos de decisión sobre los objetivos políticos y preparación del presupuesto.

Cada año se introducen mejoras en los documentos que incorporan la evaluación en el ciclo de planificación y gestión estratégica, por ejemplo en: los documentos de Política Estratégica Anual (Annual Policy Stratetgy - APS); las memorias presupuestarias o AS (Activity Statements); los Planes Anuales de Gestión (Annual Management Plans - APM); los Planes de Evaluación, etc., para conseguir que la información evaluativa se presente de manera más clara y convincente como evidencias o soportes de decisión.

Desde el 2009 se esta reforzando la línea de evaluación de las medidas legislativas (Regulaciones del Consejo de Ministro y del Parlamento Europeo). El esfuerzo de conexión entre la evaluación ex ante (Impact Assessment) y la evaluación (continua o ex post) es claro y expreso. Los informes de evaluación de los efectos reales de una medida legislativa tienen que hacer referencia a los efectos previstos en el IA de la misma medida. Y viceversa, la valoración de los impactos estimados de una medida legislativa deben de basarse en las evaluaciones ex post realizadas sobre el marco normativo en cuestión o en fase de modificación. Aunque es pronto para valorarlo, esta nueva línea de esfuerzo puede ir en detrimento del esfuerzo que la unidad de evaluación de la Dirección General de Presupuestos venía realizando con la evaluación de programas de gasto. El acercamiento de la evaluación y el IA, ambos ahora bajo la SG, podría significar un alejamiento de la evaluación del proceso presupuestario. Sin embargo, por el momento no ha sido así y en el 2010 la unidad de evaluación de la Secretaría General sigue participando en las audiencias presupuestarias (Budget Hearings) entre la Dirección General de Presupuestos y las demás Direcciones Generales.

Actualmente la SG tiene seleccionadas unas áreas prioritarias de evaluación con el fin de proporcionar una orientación y estilo de arriba a abajo (top-down) en la política de evaluación en la UE más acorde con los intereses globales comunitarios (por ejemplo: competitividad, medio ambiente, género, y algunos temas horizontales, como puede ser el Método de Coordinación Abierto).

5. ANÁLISIS DEL SISTEMA DE EVALUACIÓN DE LA UE CON PARTICULAR REFERENCIA AL USO “PRÁCTICO” DE LA INFORMACIÓN EVALUATIVA

En base a la información presentada en las secciones anteriores y los datos que se presentan en ésta y en las siguientes secciones, se puede decir que hay argumentos y evidencias suficientes como para aceptar que, aunque con ciertas limitaciones, el sistema de evaluación de la Unión Europea está bien arraigado y se encuentra en una fase de desarrollo orientada a mejorar la calidad y uso de sus resultados, entendido este uso tanto en el marco de la gestión como en el de gobernanza. La validez de esta hipótesis se analiza siguiendo un marco analítico propuesto por Leeuw y Furubo (2008) sobre las condiciones que deben cumplirse para aceptar la existencia de un “sistema” de evaluación en una Administración. Se acepta que este está arraigado y en funcionamiento cuando la actividad evaluadora se realiza: con una perspectiva o identidad cultural y cognitiva comúnmente aceptada; bajo un marco institucional-organizativo coherente (y con capacidad de aprendizaje); de manera permanente y regular; y con intención de uso de los resultados de la evaluación.

En primer lugar, la perspectiva de evaluación es homogénea en toda la Comisión. Existen unas normas, estándares, guías y técnicas de evaluación, etc., comunes a todas las Direcciones Generales, en las que quedan reflejados el significado comúnmente aceptado de la evaluación, la identidad y valores de la actividad evaluadora y su fin último. Los marcos de evaluación sectoriales o especiales de algunas Direcciones Generales son coherentes con el marco común básico. La aproximación metodológica a la evaluación es ampliamente aceptada y se desarrolla de manera participativa y continua (adaptación de standards y guías, examen de calidad, etc.). Las valoraciones de impacto (IA) utilizan metodologías análogas a las de la evaluación. La evaluación esta bien diferenciada de la auditoria y de otros sistemas de inspección y control existentes en la Comisión.

Segundo, como se vio en la sección 3, la evaluación descansa en una organización, consolidada con un marco legal y unos procedimientos claramente diseñados, y funciona de manera descentralizada bajo la coordinación y orientación de la Secretaría General a través de la red de “Funciones de Evaluación” y de unidades de IA de las Direcciones Generales. El sistema de evaluación dispone de mecanismos de aprendizaje organizacional y programático. La red de evaluación funciona como un foro de debate e intercambio de información y conocimiento para mejorar el sistema de evaluación. De sus reuniones surge la creación de grupos de trabajo y seminarios orientados al desarrollo de procedimientos y técnicas de evaluación. Existen mecanismos regulares de valoración de la calidad de las evaluaciones, y estudios, internos y externos, orientados a introducir mejoras en el sistema de evaluación.

Tercero, el sistema de evaluación de la UE produce y solicita información evaluativa de manera permanente y regular. Las Direcciones Generales, por un lado, producen o subcontratan la realización de actividades de evaluación, y por otro lado, demandan información evaluativa. El colegio de Comisarios y las demás instituciones comunitarias también solicitan información evaluativa (ver cuadro nº 1). La producción de evaluaciones es continua y creciente. Desde el 2002 hasta el 2008 se produjeron unas 1200 evaluaciones, unas doscientas al año por término medio (European Commission, 2008a). Todo ello sin contar las numerosas evaluaciones realizadas por los Estados Miembros por ejemplo en el dominio de las políticas estructurales. Las evaluaciones tienen una duración media de unos 10 meses y un coste medio aproximado de unos 200.000 euros (European Commission, 2007b).

La última y quizás más importante característica de un sistema de evaluación es la intención de uso de sus resultados. En la UE es obligatorio por ley utilizar los resultados de la evaluación, de hecho aunque de manera limitada la información evaluativa se utiliza, y hay una explícita y renovada declaración de intenciones sobre la orientación practica del esfuerzo de evaluación (European Commission, 2007a y 2010). Los resultados de la evaluación se utilizan como instrumentos de programación y gestión a nivel operativo de las políticas sectoriales. Hasta ahora, su utilidad no se ha considerado relevante para las decisiones estratégicas o presupuestarias (EPEC, 2005) (ver cuadro nº 3).

CUADRO Nº 3

Estudio sobre el uso de la evaluación