La experiencia AEVAL en España (2005-2017)

The experience of AEVAL in Spain (2005-2017)

Garde Roca, Juan Antonio

Economista. Inspector de Hacienda del Estado (España – Spain)

jagard21@gmail.com

NOTA BIOGRÁFICA

En la actualidad es Consejero Independiente del Comité Consultivo de Ética de la Agencia Tributaria de España. Colaborador del Instituto de Estudios Fiscales (IEF), del Instituto Nacional de Administración Pública (INAP) y del Centro Latinoamericano de Administración para el Desarrollo (CLAD). Director del curso de Evaluación de Políticas Públicas para funcionarios superiores del Tribunal de Cuentas y Órganos de Control externo.

RESUMEN

El nacimiento de la Agencia de Evaluación (AEVAL) en España el 1-1-2007, se inscribe en el marco de un programa de reformas, que pretendía generar un proceso de innovación y modernización de la actividad pública. Sólo 10 años después, tras distintos avatares, desaparece esta entidad, sin que ningún análisis de rigor haya contribuido a analizar las causas que provocan esta desaparición y, lo que es todavía más importante, se realice una reflexión acerca de la experiencia y la influencia que pudo significar. En este artículo se proporcionan elementos de información y reflexión pertinentes para llegar a conocer esta experiencia singular y algunas de las causas, raíz de sus dificultades y logros, necesarios para poder extraer nuevas enseñanzas, encaminadas al desarrollo institucional de la evaluación en España, tras la aprobación de la ley 27/2022 de 20 de Diciembre de 2022.

PALABRAS CLAVE

Evaluación; políticas públicas; calidad de los servicios; institucionalización.

ABSTRACT

The creation in Spain of the Evaluation Agency (AEVAL) on 1-1-2007 was part of a reform program, which was intended to generate a process of innovation and modernization of public sector activity. Only 10 years later, after various vicissitudes, this entity disappeared. So far there has not been any rigorous analysis of the reasons that cause the dissolution of AEVAL and, what is even more important, no reflection has been made about the Agency’s experience and its influence. This article tries to fill that gap providing information and reflections to get to know this unique experience and some of the root causes of its difficulties and achievements, so as to be able to extract lessons for the institutional development of evaluation in Spain.

KEYWORDS

Evaluation; public policies; quality of services; institutionalization.

SUMARIO

1. INTRODUCCIÓN. 2. ASPECTOS TECNICOS-METODOLÓGICOS. 3. PERFIL TÉCNICO. CREACIÓN DE LA COMISIÓN DE EXPERTOS Y MODELO INSTITUCIONAL. 4. CONTEXTO Y APROBACIÓN DEL MODELO DE AGENCIA DE EVALUACIÓN. 5. El PRIMER AÑO DE FUNCIONAMIENTO, BALANCE Y TAREAS PENDIENTES. 6. SENDA OPERATIVA Y POSTERIOR DE AEVAL. 7. FORTALEZAS Y DEBILIDADES DEL DISEÑO Y PRIMERA PRACTICA AEVAL. 8. DIAGNOSTICOS ACERCA DE LA EXPERIENCIA AEVAL. 9. CONCLUSIONES: PERSPECTIVAS DE INSTITUCIONALIZACIÓN DE LA EVALUACIÓN EN ESPAÑA. REFERENCIAS BIBLIOGRÁFICAS.

1. INTRODUCCIÓN1

A lo largo de los años 80 y 90 del siglo pasado, la literatura de evaluación adquiere cierta presencia en España, a partir de la actividad desplegada dentro del ámbito académico e investigador y en publicaciones especializadas como Papeles de Economía, Información Comercial Española y Hacienda Pública, con el impulso del Instituto de Estudios Fiscales (IEF) y el Instituto Nacional de Administración Pública (INAP), arropados por la amplia literatura de habla inglesa existente y la actividad internacional de Asociaciones Profesionales y Universidades, así como los congresos del CLAD en la materia.

Mediados los años 90, la edición en español del libro de Monnier “Evaluación de la acción de los poderes públicos” y del libro de Joan Subirats (1994) “Análisis de políticas públicas y eficacia de la administración” supusieron entre otras aportaciones, referencias muy significativas. También el nacimiento en 1994 de la Revista Gestión y Análisis de Políticas Públicas (GAPP).

La irrupción de nuevos actores académicos y sociales, junto con el papel de la Unión Europea y sus fondos, la preocupación por los resultados y la calidad del gasto público, y también los modelos de excelencia, de rendición de cuentas, de gestión de riesgos, sirvieron para propiciar una preocupación renovada por la gestión de las políticas públicas y la gobernanza, abriendo senderos a la necesidad de la evaluación.

El proceso de su institucionalización, auspiciado por la influencia creciente en este campo de los trabajos y propuestas de los organismos internacionales y las experiencias en otros países se promueve en España, posiblemente por su tardanza, con un enfoque más renovador e innovador a través del nacimiento del proyecto de Agencia Estatal de Evaluación de Políticas Públicas y Calidad (AEVAL) y lo hace desde una perspectiva sin duda ambiciosa.

La creación de una agencia de evaluación se incluía como compromiso electoral del programa del Partido Socialista, en las elecciones generales del año 2004. En el capítulo dedicado a alcanzar una administración pública garantizadora de los servicios públicos esenciales, se consideraba prioritaria «la creación de una agencia estatal de evaluación». En origen, la iniciativa de la propuesta partió de un grupo de profesores provenientes de universidades de Andalucía, Cataluña y Madrid, junto con otros expertos en evaluación, claramente posicionados en materia de evaluación pública y muy alejados de los modelos de excelencia y calidad.

Aquel compromiso, que podría haberse formulado tras la victoria electoral de este partido en una realidad corporativa de alcancel muy dispar, terminó plasmándose en un proyecto de gobierno que su presidente señalaría en el Debate del Estado de la Nación de 2006, como «fundamental», debido a un conjunto de factores y referencias entre los que se encontraban:

• La necesidad de impulsar un proceso de modernización e innovación del funcionamiento de las administraciones públicas y su gestión. Incluyendo el avance en la orientación a resultados con la creación y desarrollo de las agencias estatales.
• Las mayores exigencias de los ciudadanos de servicios de calidad y políticas más eficientes, engarzadas también con el buen gobierno, la transparencia y la rendición de cuentas.
• La necesidad de modernización e innovación económica, con mejoras de la productividad y competitividad, vinculadas al Programa Nacional de Reformas acordado con la Unión Europea, y a la mejora de la eficiencia en el uso de los recursos públicos.
• La realidad de un estado descentralizado y la necesidad del análisis de las políticas públicas de forma más integrada.

El proyecto de agencia implicaba en consecuencia, una ambición reformista de largo recorrido, que transcendía de las referencias técnicas e institucionales iniciales, e implicaba una voluntad política de gobierno que comprometía a la Presidencia, al Ministerio de Administraciones Públicas y a la Vicepresidencia Económica.

Así lo expresaron sus principales responsables en las Comisiones de Economía y Hacienda y de Administraciones Públicas, del Congreso y del Senado. Figurando como compromiso en el Informe de Progreso sobre las reformas en los mercados de bienes y servicios y de capitales (2004), Actualización del Programa de Estabilidad (2004-2008 y 2006-2009), Programa Nacional de Reformas (2005), Estrategia Española de Desarrollo Sostenible (2007) entre otros documentos, presentados por el gobierno a las autoridades europeas y en el libro amarillo de Presupuestos Generales del Estado para 2005.

Las principales referencias del contenido, objeto y métodos de funcionamiento provienen de documentos de las Recomendaciones de la Comisión de Expertos (2004) y la propia AEVAL (2009) y Casillas et al. (2015).

2. ASPECTOS TÉCNICOS Y METODOLÓGICOS

Este artículo forma parte de un trabajo colectivo integrado por cuatro presentaciones, efectuadas para este número de GAPP, transcurridos 16 años desde el nacimiento de AEVAL como agencia pública de evaluación y cinco años después de su desaparición, sin que apenas ningún estudio, haya profundizado con rigor en la experiencia.

Mediante un análisis documental exhaustivo y en base a evidencias, se han efectuado estos cuatro artículos, referidos al proceso de diseño de la agencia, a su modelo de institucionalización, la construcción de su metodología evaluadora, su aportación a políticas públicas estratégicas y a la calidad de los servicios públicos percibidos por la ciudadanía y finalmente, su influencia cultural en distintas instituciones y países.

El primero de estos artículos “La experiencia AEVAL en España (2005-2017)” que se considera a continuación, tiene como objeto el estudio de una experiencia institucional práctica de cierta complejidad, cuya interacción con el contexto y la propia agenda política, es tan fundamental para el estudio de su particularidad, como lo es su relevancia académica y empírica. Su análisis se enmarca en consecuencia, en un entorno investigativo, metodológico y temático muy especial en si mismo, una suerte de proceso-tracing que permite establecer conclusiones acerca de los éxitos y fracasos de la experiencia. Más aún si cabe, por el papel desempeñado por el autor en el propio diseño y su influencia en el despliegue inicial de la actividad.

Su metodología cuenta con las aportaciones de la obra de Stake (1998) “Investigación con estudios de caso” y recibe ciertas influencias de Robert K. Yin (2014) “Case study research design and methods”. El trabajo, comparte con Stake, el enfoque de investigación en educación y ciencias sociales, de carácter integrador, que incorpora formas naturalísticas, holísticas, fenomenológicas, biográficas y cualitativas.

Incorpora un proceso de investigación y búsqueda de conocimientos, a través de evidencias, mediante análisis de documentación y datos, verificación y validación de los mismos y obtención de conclusiones y recomendaciones. Su objeto pretende aportar un aprendizaje necesario para que la ley 27/2022, de 20 de diciembre, de institucionalización de políticas públicas en la Administración General del Estado, se beneficie de la experiencia obtenida. Adicionalmente el trabajo incorpora un enfoque modelo DAFO de análisis y cierta perspectiva de triangulación como referencia participativa de contraste.

Pero quizás la perspectiva metodológica más significativa, se vincule en relación a la temática asumida, que forma parte de una elección de cuestiones que han sido relevantes en el desarrollo de la evaluación como disciplina académica, vinculada a autores de referencia.

Se trata de cuestiones como la necesidad de ofrecer una visión sistemática e integradora del proceso evaluador (Chen y Rossi, 1983). A través del enfoque pluralista con participación de decisores, gestores públicos y destinatarios con el doble objeto de juzgar la pertinencia de la intervención pública tanto en sus premisas como en su ejecución (Monnier, 1995). La búsqueda de pruebas evaluadoras e institucionales, no solo con aproximaciones epistemológicas sino en el contexto institucional con evidencias creíbles (Chen, 2004). Vinculando el éxito de la evaluación dentro del seno del gobierno y, por tanto, en gran medida, dependiente del marco político (Chelimsky, 2006). Recordando su papel crucial en la transparencia y la rendición de cuentas, a la vez que subrayando que cuando el interés y la ideología arrastran a los diseñadores de políticas en distintas direcciones, la evaluación como instrumento de aprendizaje no representará el elemento decisivo (Weiss, 1999). O entre otras referencias, afirmando el papel sistemático en los análisis de los procedimientos de investigación social, para valorar la conceptualización del diseño, ejecución y utilidad de las intervenciones públicas (Rossi, Freeman y Lipsey, 2004).

Los textos procedentes de la Antología de Evaluación, la construcción de una disciplina, han sido compilados por Maldonado Trujillo y Pérez Yarahuán (2015) en su versión en castellano.

3. PERFIL TÉCNICO. CREACIÓN DE LA COMISIÓN DE EXPERTOS Y MODELO INSTITUCIONAL

La gestión del cambio se inicia con la creación de una nueva Dirección General de Inspección, Evaluación y Calidad de los Servicios, dentro del Ministerio de Administración Pública, encargada de la creación de un equipo interdisciplinar y preparar la nueva gestión del conocimiento y los recursos necesarios, como germen para abordar la nueva alternativa.

Por Orden Ministerial de 19 de mayo de 2004 del Ministerio de Administraciones Públicas, se crea una Comisión de expertos encargada de «analizar la experiencia internacional, diagnosticar la situación de la evaluación en nuestro país y hacer las propuestas metodológicas e institucionales más deseables para la puesta en funcionamiento de la Agencia». Estaba formada por diecinueve miembros y presidida por el director general de Inspección, Evaluación y Calidad de los Servicios.

La componían expertos de reconocido prestigio y experiencia en la materia. Catedráticos de ciencia política y de la administración, de ciencias económicas y empresariales, de comunicación, funcionarios directivos de la Intervención General, Inspección de los Servicios de Economía y Hacienda y Dirección General de Presupuestos. Finalmente, representantes de Organismos Internacionales, Comunidades Autónomas y un equipo interno experto en materia regulatoria y políticas sociales.

El 4 de octubre de 2004 fue presentado el Informe de los Expertos al Ministro de Administraciones Públicas, Jordi Sevilla Segura, quien señalara que con esta Comisión y su propuesta se ha querido propiciar.

«un debate abierto en el que se aborda el análisis y la evaluación de las políticas públicas desde diferentes disciplinas académicas que interaccionan en la materia y de las experiencias internacionales más significativas, contando con la colaboración y contribución de los Ministerios de Economía y Hacienda y de Administraciones Públicas. Departamentos que ostentan la mayor responsabilidad en el control y evaluación del gasto y en el desarrollo de las políticas públicas y la calidad de los servicios». Garde Roca (2005).

Tabla 1. Composición de la Comisión de Expertos

COMPOSICIÓN DE LA COMISIÓN DE EXPERTOS
VOCALES
Bandrés Moliné, Eduardo	Bañón i Martinez, Rafael
Blasco Lang, José Juan	Echevarría Ariznabarreta, Luis E.
Gimeno Ullastres, Juan Antonio	López Lita, Juan Antonio
Naveira Naveira, Ana María	Osuna Llaneza, José Luis
Pérez García, José Antonio	Ponce Solé, Julio
Román del Río, Carlos	Ruiz Álvarez, José Luis
Subirats Humet, Joan	Vanaclocha Bellver, Francisco
Villoria Mendieta, Manuel	Zapico Goñi, Eduardo
SECRETARÍA TÉCNICA
Balsa Pascual, Carmen	Corces Pando, Ana
PRESIDENTE
Juan Antonio Garde Roca

Fuente: elaboración propia a partir del Informe de la Comisión para el estudio y creación de la Agencia de Evaluación de Políticas Públicas y Calidad de los Servicios (Garde Roca, 2005).

Complementariamente dicha Comisión contó con el apoyo técnico de los profesores Ester García Sánchez y Verónica Viñas de la Universidad Carlos III, Carmen Vélez del Instituto de Estudios de Andalucía, Joaquín Ruiz López, Ana Sánchez y Antonio Ramiro del MAP.

Adicionalmente, a través de los cursos de presentación en la UIMP, en la propia sede de AEVAL y mediante los siete primeros números de los “Papeles de Evaluación y Calidad”, pudo canalizarse intervenciones y trabajos entre otros de los profesores Antón Costa, Ángel de la Fuente, Guillen López Casanova, Jesús Lizcano, Gines de Rus, así como de Eloísa del Pino y Marisa Merino. También con la participación de diversos directivos de la Sociedad Europea de Evaluación y la Comisión Europea y de los profesores Eric Monnier (Universidad de Ginebra), Robert E. Stake (CIRCE), Mark-Paul StufKeus (Holanda) y Linne Charles (R. U.).

En su comparecencia en la Comisión de Economía del Congreso, el vicepresidente Económico Pedro Solbes, hizo referencia a que «el Ministerio de Economía, llevará a cabo, junto con el Ministerio de Administraciones públicas, un sistema de evaluación de la eficiencia del sector público…con el objetivo de controlar el crecimiento de partidas no prioritarias y reducir el gasto de ciertos programas».

Este contenido, respondía a una visión limitada de la evaluación, tipo «spending review». Tal vez esta concepción influyera más adelante, en la crítica de su departamento al trabajo de prueba efectuado del Programa Nacional de Reformas, antes del inicio de AEVAL.

Las ambigüedades de las primeras referencias eran perceptibles, desde la apelación a la realización de auditorías, a la propia denominación de la agencia como de calidad de los servicios y evaluación, o incluso su potencial dependencia del Senado o su fórmula consorcial con las CCAA. Finalmente se decantaría por primar el concepto de evaluación de políticas y «presentar las bases conceptuales de la evaluación que permiten integrar y no yuxtaponer la evaluación de los servicios públicos y la de las políticas públicas».

El Informe de los expertos sería fundamental para fijar su definitivo contenido esencial como evaluación, su concreción material y también técnica.

Precisaba el informe, que las experiencias y prácticas existentes no configuraban en España un panorama global suficiente de evaluación, ni respondían a modelos institucionales adecuados. Recalcaba que al partir «de supuestos conceptuales muy diversos y desde instancias organizativas muy heterogéneas, producía que el resultado final fuera disperso y desestructurado».

Por esa causa no producía todos los efectos positivos sobre el funcionamiento de las administraciones públicas que podrían generarse, ni tampoco capacidad suficiente de aprendizaje para su retroalimentación en el proceso de decisión.

Esta situación limitaba también, según la Comisión, el necesario desarrollo del análisis de impacto de las políticas públicas. Y tampoco era suficientemente visible para el conjunto de la ciudadanía, desdibujándose la función de rendir cuentas a la sociedad.

Por ello, la Comisión, ya en aquella época, consideraba preciso acometer la evaluación de políticas públicas configurando un marco estratégico o de arquitectura articuladora en el que se abordasen las carencias detectadas.

Propugnaba cuatro líneas de acción, que hoy, tras la desaparición de la Agencia de Evaluación (AEVAL) siguen teniendo vigencia:

• Propiciar que la política de evaluación ocupe un lugar destacado en la agenda de las instituciones y, consecuentemente, en la toma de decisión política y en el ciclo de gestión.
• Progresar más allá de proyectos o programas y de la visión sectorial en una evaluación más integrada de las políticas públicas, ya que estas se caracterizan precisamente por su transversalidad e inter-territorialidad.
• Tender a un enfoque pluralista y a propiciar el desarrollo de bases de datos e información más eficientes.
• Vincularse con la acción participativa y la rendición de cuentas.

Siguiendo las referencias de Garde y Ruiz (2019) respecto del modelo institucional de la futura agencia, el Informe de la Comisión señala que podrían existir dos enfoques fundamentales: el marco parlamentario y el emplazamiento en el ejecutivo. La Comisión se decantó finalmente, por razones de oportunidad, por su encuadramiento dentro del marco ejecutivo.

No desconocía la problemática que respecto a la independencia pudiera producirse, pero consideraba que una formulación de diseño adecuado, con principios claros de referencia, reforzada profesional y metodológicamente, con mecanismos de publicidad, transparencia y rendición de cuentas incluyendo a la Unión Europea, institucionalmente vertebrado y con la articulación principal-agente de las agencias, podría resultar suficiente garantía.

Por otra parte, razonaba que la ubicación en el Parlamento:

«por la naturaleza de nuestro modelo político e institucional, la adscripción a esa institución presentaría un excesivo sesgo al control, lo que podría dificultar que la Agencia abordara sus finalidades de carácter cultural, formativo y modernizador de la Administración, así como su carácter articulador y coordinador, respecto del conjunto de las Administraciones Públicas».

La experiencia internacional comparada mostraba un predominio de las entidades integradas en el ejecutivo. Por otra parte, el marco parlamentario y el Tribunal de Cuentas no ofrecían en aquellos momentos un interés y una senda transitable hacia el proceso de evaluación de programas y políticas públicas.

Lo anterior no impedía que la Comisión señalara también, que la adscripción de la Agencia debía considerarse de manera flexible y por tanto adaptable a «nuevas circunstancias o nuevas necesidades», incluyendo los parlamentos.

La independencia y el valor de su defensa, es un componente esencial en la historia de AEVAL y un vector principal que puede dar respuesta a la pregunta que a lo largo de los años se han venido haciendo de forma reiterada profesionales, académicos e instituciones internacionales ¿Por qué acaba deteriorándose y fracasando aparentemente el modelo AEVAL? Y también por positivo ¿Como ha influido en la cultura y la práctica de la evaluación en España, en la literatura de evidencias y en la práctica en otros países, los 10 años de AEVAL?

En lo concerniente a la misión y fines de la Agencia, es preciso adelantar su excesiva ambición. Frente a una concepción más realista de «órgano, facilitador, formador y regulador», que mantenían algunos miembros de la Comisión, triunfó una visión más maximalista y de ambición institucional de cambio reformador. Pretendía abarcar un amplio espectro de funciones: formativas y culturales, de información y comunicación, de desarrollo metodológico, de ejecución de evaluaciones, de asistencia y consultoría, de acreditación y certificación, de observatorio de calidad e impulso de modelos de autoevaluación y excelencia.

La integración de estas últimas funciones de excelencia y calidad, que promovieron una nueva regulación de calidad de los servicios, junto al desempeño de evaluaciones en sentido más estricto, con ser desde ciertos enfoques teóricos y metodológicos posiblemente deseable, no llegaría a ser comprendido plenamente ni, a alcanzar, formas de articulación suficientemente coherentes.

El informe de la Comisión de Expertos concluía recordando que en un entorno de estabilidad presupuestaria y dentro de un contexto de necesaria mejora de la productividad y la competitividad de la economía española, la apuesta por impulsar de forma integral, al máximo nivel institucional, la evaluación debía considerarse «una política clave de reforma estructural en este caso de modernización de la Administración Pública española».

4. CONTEXTO Y APROBACIÓN DEL MODELO DE AGENCIA DE EVALUACIÓN

El nacimiento de la Agencia de Evaluación el 1-1-2007 se inscribe en el marco de un programa de reformas, que pretendía generar un proceso de innovación y modernización de la actividad pública, con medidas, entre otras, como la Ley de Agencias Estatales, el Estatuto Básico del Empleado Público, el Código de Buen gobierno del Gobierno, la Ley para el Acceso Electrónico de los Ciudadanos a las Administraciones Públicas y Decretos como el referente a los programas de calidad y al funcionamiento de las Inspecciones de Servicios Departamentales (2004-2007).

A través de la ley 28/2006 de Agencias Estatales y del RD 1418/2006 de aprobación del Estatuto AEVAL, comienza su actividad. Han transcurrido dos años largos desde la presentación del Informe de la Comisión de Expertos, avanzada ya la legislatura, con un cometido adicional importante añadido, dada la necesidad de presentar anualmente al parlamento los resultados obtenidos por las restantes agencias aprobadas.

Es cierto que, contando con el capital de conocimientos y la experiencia de un equipo de carácter pluralista, con una alta competencia en evaluación y calidad, formado también para garantizar el proyecto.

Desde el principio, la Agencia de Evaluación y Calidad en consonancia con las recomendaciones de la Comisión de expertos (2004), se consideró como una institución con objetivos de medio y largo plazo (estratégica) vinculada a los principios y requisitos de la Unión Europea y la OCDE en relación con el buen gobierno y alineada con la necesaria mejora de la calidad de la regulación y el reforzamiento de papel del sector público como factor de crecimiento económico y bienestar social, en definitiva, con la “Estrategia Renovada de Lisboa”.

Su doble finalidad: política (rendición de cuentas, transparencia, calidad democrática) y económica (eficiencia, racionalización en el uso de los recursos, mejora de las decisiones en base a evidencias, impactos en la sociedad) figura expresamente en su normativa de creación.

Como misión de la Agencia figura «La promoción y realización de evaluaciones y análisis de impacto de las políticas y programas públicos, favoreciendo el uso racional de los recursos y la rendición de cuentas a la ciudadanía y el impulso de la gestión de la calidad de los servicios».

Sus objetivos fueron formulados para:

1. Promover la cultura de evaluación y de calidad de los servicios e impulsar su práctica en la gestión pública.
2. Elaborar y promover metodologías, realizar actividades de acreditación y certificación y fomentar la implantación de sistemas de información e indicadores, para la evaluación y la gestión de calidad.
3. Realizar trabajos de evaluación y análisis de políticas y programas públicos.
4. Fomentar la mejora de la calidad de los servicios públicos como compromiso con la ciudadanía.
5. Efectuar los análisis necesarios para elaborar el Informe Anual al Congreso de los Diputados previsto en la ley de Agencias Estatales.
6. Prestar un servicio eficaz, eficiente y de calidad, en un marco donde se equilibren la responsabilidad por la gestión y la autonomía y flexibilidad de la misma.

AEVAL incorporaba los siguientes PRINCIPIOS en su estatuto: Independencia de criterio, dictamen y juicio; Transparencia y participación con rendición de cuentas; Autonomía y Responsabilidad; Cooperación Inter-Administrativa e Institucional; Calidad y mejora continua; Ética Profesional y responsabilidad de un equipo pluridisciplinar y experto.

Entre las encomiendas de trabajo figuraban: Presentar al Congreso de Diputados la evaluación de resultados de las Agencias Públicas; Presentar al Consejo de Ministros, responsable de aprobar anualmente el Acuerdo con el plan de trabajo AEVAL, los Informes de evaluación efectuados a través de la Comisión delegada de Asuntos Económicos. Este órgano, debía informar de los mismos a la Unión Europea en lo concerniente a los aspectos vinculados al Programa Nacional de Reformas de España presentado cada año.

Los Informes una vez aprobados por el Consejo Rector de AEVAL, con presencia de consejeros Independientes de la Administración, se obligaban a hacerse públicos en la página web de la institución.

Como principios de actuación, además de los generales de la normativa de la Función Pública, señalaba específicamente los siguientes:

• Principio de independencia de criterio, dictamen y juicio, sobre la base de valores de responsabilidad pública y competencia profesional.
• Principios de transparencia y participación, entendidos como rendición de cuentas, consulta y participación de los actores interesados en los trabajos.
• Principios de cooperación interadministrativa y participación institucional, fomentando específicamente la actividad con las Comunidades Autónomas y el desarrollo de trabajos compartidos.
• Principio de calidad y mejora continua, que favorezcan la prestación de sus servicios de forma innovadora.
• Principio de ética profesional y responsabilidad pública, incorporando en su actuación los comprendidos en su código de ética profesional.

Se determinan como órganos de gobierno, el presidente y el consejo rector. El presidente será nombrado y separado por el Consejo de ministros, a propuesta del ministro de Administraciones Públicas. El Consejo Rector estará integrado por el presidente de la agencia, seis consejeros con rango mínimo de director general (dos por el Ministerio de Administraciones Públicas, dos por el de Economía y Hacienda, uno por el de Presidencia y uno por el de Exteriores y Cooperación) y tres funcionarios o profesionales independientes de reconocido prestigio en el ámbito de la actividad de la agencia.

Inicialmente fueron designados cuatro Subsecretarios y dos directores generales, de una parte y tres profesores universitarios de reconocido prestigio en el ámbito de la evaluación como independientes, provenientes de disciplinas económicas y políticas.

Se proponía también un representante de los trabajadores, designado por las organizaciones sindicales más representativas.

La ausencia de una referencia de permanencia determinada salvo causa prevista excepcional, en relación con la presidencia, fue sin duda un factor entre otros, que dificultaría la consolidación de la etapa inicial y abriría la puerta a una deriva de reducción de recursos, así como incumplimientos de la normativa existente y cierta falta de respeto con la independencia del proyecto, debilitando en consecuencia la institución.

5. EL PRIMER AÑO DE FUNCIONAMIENTO, BALANCE Y TAREAS PENDIENTES

Tabla 2. Calendario y despliegue

2004	2005	2006	2007	2008	2017
Nuevo Gobierno. Designación e Informe Comisión de Expertos.	Despliegue marco general reforma de la Administración.	Ley de Agencias Estatales. RD Estatuto AEVAL.	AEVAL entra en vigor el 1 de enero. Cambio Ministerial Administración Pública mes de julio.	Elecciones Generales 9 de marzo. Publicación evaluaciones. Cambio Presidencia AEVAL.	Disolución AEVAL. Derogación anterior del marco jurídico de las Agencias Públicas.

Fuente: Elaboración propia.

El Consejo de ministros en marzo de 2007 aprueba el conjunto de siete evaluaciones que debían abordarse por la Agencia durante el primer año de actividad. Entre ellas se encontraban evaluaciones en tres de las cuatro áreas definidas como prioritarias por la Unión Europea para la estrategia renovada de Lisboa (energía y cambio climático; I D i y actividad empresarial y emprendedora).

El Contrato de Gestión previsto en el capítulo V de su Estatuto, tenía como objeto regular las relaciones recíprocas entre la organización «agente» (la Agencia) y «el principal», los Ministerios de Administraciones Públicas y de Economía y Hacienda, al estar adscrita la agencia al primero y vinculado respecto de la financiación de su actividad y resultados al segundo.

La propuesta fue presentada para su debate con los Departamentos, en julio de 2007 e incluía los objetivos estratégicos establecidos en las normas, los objetivos operativos y el despliegue de indicadores de resultados para el periodo de cuatro años establecido por ley. El contrato de gestión retrasó su debate y no fue aprobado, sino con claras limitaciones hasta el 4 de septiembre de 2008.

Los principales objetivos estratégicos considerados fueron los siguientes:

1. Alcanzar las metas establecidas dentro del compromiso institucional de «CREAR AGENCIA» como organismo y garantizar el cumplimiento de su misión con un funcionamiento eficaz.
2. La promoción de la cultura evaluadora vinculada a la necesidad y utilidad de la evaluación.
3. La realización efectiva de las evaluaciones encargadas por el gobierno en sus planes anuales de actividad, a través de su equipo de evaluadores.
4. El análisis e impulso de la calidad de los servicios y de su gestión, en las organizaciones públicas, así como los resultados obtenidos por las agencias públicas en su compromiso con la rendición de cuentas.

El informe General de Actividad 2007, aprobado por el Consejo Rector señalaba, entre otros, aspectos:

El cumplimiento de los compromisos institucionales adquiridos para el inicio de la Agencia como, la creación del Consejo Rector (5-2-2007), su funcionamiento regular y la celebración de las reuniones periódicas establecidas. La creación de la Comisión Científica y Profesional y la Comisión de Control, así como la aprobación interna de la propuesta de contrato de gestión.

La creación de la estructura básica del personal del organismo, formado por 73 empleados, que incorporaba un staff de dirección de 6 personas incluyendo el presidente, un equipo de 15 evaluadores, 10 analistas de calidad de los servicios, una unidad informática de apoyo y para el análisis de datos de 10 empleados y una gerencia administrativa, de gestión económico-financiera y de personal de 18. El resto personal de staff de apoyo y subalterno, completaban la relación provisional de puestos de trabajo.

La efectiva realización de las evaluaciones del Plan anual de la Agencia 2007, aprobado por el Consejo de ministros. Referidas al Programa Nacional de Reformas de España, específicamente, la racionalización del gasto farmacéutico, las políticas en materia de seguridad energética, el fomento de las actividades de investigación, desarrollo e innovación y la financiación de la actividad emprendedora. Complementariamente a dicho Programa, la evaluación de los trámites administrativos para la creación de empresas, el Registro Nacional de Derechos de Emisión de Gases de Efecto Invernadero, RENADE, la calidad de los servicios de los museos de titularidad estatal y el programa de bonificaciones de las cuotas sociales en Ceuta y Melilla para el fomento del empleo.

Respecto a la actividad de análisis, desarrollo metodológico, herramientas y difusión de la cultura de evaluación e impacto, la publicación de guías y «papeles de trabajo» vinculados a «evaluabilidad», better regulattion, calidad y órganos reguladores, institucionalización, redes y comunicación, evidencias en evaluación. También guías y directrices de excelencia, como el diseño del modelo EVAM, aplicable a la Administración Pública.

Talleres de debate y encuentro con expertos relevantes en coste beneficio, evaluación pluralista, bases de datos, efectos de la ley de dependencia, valor añadido público. Promoción continua de la participación de personal de la Agencia en los cursos y ofertas del mundo académico en materia de evaluación y en reuniones internacionales.

Respecto de la calidad de los servicios y su gestión, dada la experiencia acumulada y capacidad del equipo, la actividad desplegada fue también importante. El impulso a la aplicación del RD 951/2005 del marco general para la mejora de la calidad en la AGE y la creación de redes de trabajo con las CCAA, se completó con el estudio sobre la percepción de los ciudadanos acerca de los servicios públicos y el desarrollo de los trabajos del observatorio de la calidad de los servicios. A la actividad ya tradicional en Administraciones Públicas, se agrega la organización de la 1.ª conferencia estatal de Calidad en los Servicios Públicos integrando los tres niveles de la administración pública española y los trabajos encaminados a la elaboración del Informe al Congreso de los Diputados acerca del compromiso asumido por las agencias públicas para mejorar la calidad de los servicios públicos y su efectividad junto con el despliegue de actividad formativa y de consultoría del personal de AEVAL, a petición de organismos públicos, en la esfera nacional e internacional.

Un balance interno posterior de gestión señalaba cierto contraste entre la actividad efectiva desplegada y cierto retraso de su visibilidad y presencia institucional. También la ausencia de una sede adecuada y sobre todo la tardanza en la negociación del contrato de gestión. Se afirma que.

«el largo proceso de negociación de dicho contrato ha mostrado la dificultad que tiene en la práctica avanzar en la nueva cultura de gestión derivada de la ley de Agencias. El final de la legislatura ha retrasado por otra parte, el plan de trabajo 2008 que deberá aprobarse constituido el nuevo gobierno».

Propone abordar los temas pendientes y «desarrollar las potencialidades que la estructura de agencia posibilita y profundizar en el papel que asigna a la Institución, tanto el Programa Nacional de Reformas (PNR) como la Estrategia de Desarrollo Sostenible».

Una vez concluido el primer año de funcionamiento de la Agencia de Evaluación, esta también fue objeto de presencia en los medios de comunicación y en los organismos internacionales. De forma más específica el diario económico «cinco días» publicaba el cinco de febrero de 2008 un artículo de opinión, del autor de este artículo entonces presidente de la Agencia, haciendo un avance de resultados de la actividad.

Respecto de las evaluaciones efectuadas subraya que los departamentos ministeriales y los actores económicos y sociales afectados han mostrado mayoritariamente su interés y colaboración. No obstante –algunos muy pocos– responsables administrativos.

«han visto en la evaluación más una amenaza que una oportunidad de conocimiento. Es un exponente de la insuficiente cultura de evaluación en nuestra administración y la necesidad de profundizar en entornos de transparencia, un principio específico de esta Agencia».

También se señalaba que:

«El éxito en la ejecución y resultados de las políticas públicas podrían mejorarse si se refuerzan los mecanismos de coordinación interdepartamental, se configuran órganos ejecutivos de dirección y seguimiento de algunos programas y se profundiza en la colaboración con las comunidades autónomas».

Tras recordar el importante rol que cumple la Agencia para impulsar la mejora de la eficiencia de las administraciones y políticas públicas, de cara al futuro concluía:

«Para su consolidación, resulta imprescindible que alcance credibilidad y reputación a través de su propia práctica y resultados y que estos últimos, sean acordes con las finalidades perseguidas en su creación. Pero igualmente precisa de un apoyo público e institucional suficiente, incluyendo recursos y medios, para que la apuesta realizada por el Gobierno y el Parlamento quede afianzada».

Más tarde, una vez publicados los trabajos de evaluación, este medio, junto con otros, publicaría ampliamente sus resultados.

Con la puesta en funcionamiento de la Agencia, el FMI en el Informe sobre España 2007 había manifestado que su creación «es un paso adelante, pero con su carácter ministerial y centrado en las evaluaciones ex post no alcanza bien los requisitos», para añadir posteriormente la necesidad de una evaluación rigurosa del gasto de los gobiernos autonómicos. Respecto de la actividad centrada en evaluaciones ex post, el FMI se equivocaba, al no ser estas evaluaciones el objetivo central de AEVAL.

El Informe Económico de la OCDE sobre España, 2007 calificaba a la Agencia de Evaluación como «una idea prometedora», «sin embargo para que esta reforma tenga éxito, la agencia en cuestión debe tener suficiente independencia y ser capaz de poner sus evaluaciones a disposición pública…» (OCDE, 2007).

Por otra parte, no es sorprendente que en la Estrategia Española de Desarrollo Sostenible 2007 el gobierno afirmara «Adicionalmente para obtener una evaluación independiente de la misma, la Comisión Delegada de Asuntos Económicos encargará a AEVAL y al Observatorio de Sostenibilidad, la evaluación del grado y aplicación y éxito de algunas políticas concretas…» (Grupo Interministerial para la Revisión de la Estrategia de Desarrollo Sostenible de la Unión Europea, 2007).

Los programas electorales para las elecciones generales del 9 de marzo de 2008 en España, también sirvieron junto con los trabajos de la Comisión Attali, las declaraciones del presidente Sarkozy en Francia, o el programa del primer gobierno Bachelet en Chile, para situar el modelo AEVAL como referencia o contraste.

En el proceso electoral en España los dos grandes partidos se definieron por «reforzar» y «mejorar» el papel de la Agencia. Incluso el Consejo Superior de Cámaras de Comercio en su propuesta a los partidos políticos con motivo de las elecciones, recogía «la necesidad de dotar a la Agencia de mayor relevancia y poner en juego de forma inmediata todas sus competencias y funciones». No fue esta la ruta elegida.

Una nueva ministra de Administraciones Públicas había sido nombrada en julio de 2007, en mitad del primer año de funcionamiento de la Agencia y más adelante designada, vicepresidenta económica del gobierno. Fue por tanto en la nueva legislatura, responsable sucesivamente de los dos «principales» en la relación con el modelo agencia y no compartía el entusiasmo del anterior ministro Jordi Sevilla por la reciente institución, por el impulsada, ni por la dinámica reformista de la Administración.

No obstante, la primera prueba de fuego ya se produjo dos meses antes de la entrada en vigor de la agencia, al elaborar el equipo de evaluación preparado en la Dirección General de Inspección como parte de las actividades preparatorias, de un primer borrador de trabajo, prueba piloto vinculada al Programa Nacional de Reformas de España, ya que el propio programa señalara que se encargaría a AEVAL una evaluación anual al respecto.

El borrador de trabajo para sus observaciones y comentarios se remitió a la Secretaría de Estado de Economía y a la Oficina Económica del presidente del Gobierno para conocer sus opiniones y observaciones. Las remitidas por la oficina del presidente mostraban comentarios y análisis aportadores y también observaciones críticas valiosas. Las observaciones de la Secretaría de Estado de Economía remitidas, ponían el acento en la ausencia de competencia administrativa para hacer el trabajo al no existir todavía la Agencia como entidad y por otra parte, recomendaba su no publicación al señalar que en su opinión analizaba aspectos de la propia estrategia de aplicación, que no consideraba compatibles con el mandato de la evaluación.

Fue posiblemente una bienvenida aportadora para que calibrara las dificultades de los encargos, la necesidad de aquilatar y consensuar los mandatos y propuestas de trabajos previamente y clarificar su alcance. También pudo servir para verificar nuevamente el peso cultural del modelo competencial y su ejercicio, así como el factor en exceso burocrático persistente y la posición ante las evaluaciones, en una parte de la administración.

Aunque antes del inicio y la entrada en vigor de la agencia, hubo diversas incidencias, no fueron más allá de las dificultades habituales de la aprobación de normas similares y una vez aprobada en el parlamento la ley de agencias, los obstáculos fueron solventándose para el estatuto propio. Como anécdota, la dificultad de compaginar las distintas observaciones derivadas del Ministerio de Economía y Hacienda, al posicionarse de forma dispar, tres órganos distintos del Ministerio. Así la Subsecretaría, Presupuestos y la Secretaría de Estado de Economía, adoptaban posiciones contradictorias difícilmente compatibles entre sí.

El plato fuerte respecto de las dificultades, sucedió una vez finalizados los trabajos 2007 y recibidas las observaciones, que fueron analizadas e incorporadas en su caso, a las evaluaciones. A pesar del entorno de relación colaborativa con todos los actores, en un caso el Departamento no quiso aportar sus comentarios, aun siendo reiteradamente solicitados, sin que ofreciera ninguna explicación al respecto.

Analizadas y aprobadas las evaluaciones por el Consejo Rector de AEVAL se publicarían, de acuerdo con la normativa vigente, en la página web a finales de marzo de 2018.

El día 24 de marzo, uno de los vocales del consejo que no asistió a la correspondiente reunión que incluía en su orden del día el debate y aprobación de las evaluaciones efectuadas, representante precisamente del Ministerio de Administraciones Públicas, remitió un correo a la Presidencia de AEVAL.

En él señalaba:

«Considero que se debe reconsiderar la publicidad de las evaluaciones toda vez, que por lo último que se ha hecho saber, no todos los ministerios han opinado aún sobre el contenido de las mismas y estas no incorporan cual ha sido el procedimiento utilizado para su realización. Además, cabe señalar que las observaciones realizadas en su momento no han sido recogidas, en contra de lo que se comentó por parte de la presidencia. Un cordial saludo».

La excusa para la demora de la publicación de todos los trabajos del primer año de funcionamiento de AEVAL, resultaba pueril, manipuladora y no pertinente, dado el contenido de rigor de los Informes. Repercutía de forma tan desfavorable en la credibilidad y reputación de la institución, que ya tenía explícito su calendario y métodos de trabajo, que incluía el procedimiento de aprobación por el consejo, que incluso la mera posibilidad de convocatoria de un nuevo consejo rector extraordinario de urgencia y bloquear la publicación, no podía considerarse como precedente posible, ni resultaba conveniente para el futuro institucional. En consecuencia, no fue admitida la reconsideración propuesta. La decisión al menos serviría para que desde el inicio y más adelante a través de su trayectoria, AEVAL demostrara interiorizar la recomendación de la OCDE acerca de su creación «debe tener suficiente independencia y ser capaz de poner sus evaluaciones a disposición pública…» (OCDE, 2007).

El 26 de marzo de 2008 los medios publicaban las conclusiones y propuestas de las evaluaciones efectuadas. Específicamente, el periódico económico “Cinco días”, dedicaba su principal titular a señalar que “La Agencia de Evaluación exige mayor planificación energética”, (Garde, 2008) para que el ministerio de Industria pueda supervisar el sector sin tener que delegar tantas responsabilidades en Enagás y Red Eléctrica. Dedicaba su editorial a destacar que AEVAL, ya tiene lista la valoración del Programa Nacional de Reformas (PNR) que le encomendó el Gobierno.

«En conjunto, la Agencia concluye, que las medidas aprobadas y puestas en marcha a raíz del PNR, son adecuadas, aunque en cada uno de los cuatro apartados analizados detecta desajustes que deberían subsanarse. Y resalta que es necesario una mayor coordinación dentro de la Administración central y de esta con las comunidades autónomas para evitar quiebras de la unidad de mercado y duplicidad de esfuerzos…» (Garde, 2008).

«En definitiva, la evaluación reconoce avances en los planteamientos generales y en la localización de los nudos del sistema. Pero en realidad prolifera más la literatura que las matemáticas…». (Garde, 2008).

Dedica finalmente completas, las páginas 32 y 33 del periódico, a señalar y comentar las conclusiones y recomendaciones de los informes, con acentos diversos respecto de las inversiones energéticas, el gasto farmacéutico, la financiación de los emprendedores y la eliminación de obstáculos burocráticos, entre otros.

La consecuencia, probablemente llega en forma de cese del presidente, sin haber transcurrido un mes desde el hecho referido y sin conocimiento ni información al Consejo Rector.

Es preciso resaltar, según señalan diversas fuentes, el contraste entre el comportamiento y buen trabajo del conjunto del Consejo Rector y el buen clima existente desde el inicio y en todas las reuniones periódicas celebradas, tanto por parte de los consejeros institucionales como de los consejeros independientes, previo a la incidencia reseñada.

6. SENDA OPERATIVA Y POSTERIOR DE AEVAL

La insuficiente dotación de medios y sobre todo el insuficiente apoyo político-institucional, tras los cambios en el Ministerio, a pesar de los buenos resultados de trabajo de la Agencia y la orientación metodológica y de sus informes, hacen entrar a la agencia de evaluación a partir de 2009 en un proceso de restricción operativa, de retrasos e incumplimientos de su marco normativo por parte del gobierno, que posteriormente los sucesivos gobiernos conservadores profundizarían.

La crisis económica desencadenada, así como la perdida por parte del gobierno del impulso reformista inicial, salvo la apuesta informática para la administración y algunos otros, abrieron las puertas a un proceso de ralentización, a pesar de los esfuerzos y resultados de los trabajos de sus técnicos y directivos.

La llegada de los conservadores al gobierno en 2012, agudizó aún más la debilidad operativa e institucional del modelo, El desinterés por su desempeño culminaría, acordando en 2017 su desaparición como entidad, sin alternativa institucional efectiva, en un marco de contra reforma administrativa.

Diez años después de su nacimiento, tras 39 evaluaciones efectuadas a lo largo de este tiempo, en 2017 se consuma «la historia de una muerte anunciada», aunque los dioses que se mataran «gozaran de buena salud» (Garde, 2017; Garde y Ruiz, 2019), en un proceso que también supuso la desaparición dentro del ordenamiento jurídico de la figura de las agencias públicas, solo recuperada por la ley 11/2020.

Tomando como referencia el título de la novela de Gabriel García Márquez, en un artículo escrito inmediatamente después de materializarse su desaparición, se señala que esta Institución.

«podría haber sido clave durante sus diez años de vida para la mejora del diseño de las políticas públicas, así como la calidad del gasto público y la mejora de la regulación. No quiere esto decir que no haya aportado en este tiempo ningún valor en dichos campos, lo ha hecho, y también de forma preeminente al desarrollo de la cultura y gestión del conocimiento del Sector Público Español».

«Pero lamentablemente, se ha convertido también, en una nueva fábula que narra las dificultades del desarrollo en España de Instituciones independientes que sirvan para afianzar modelos de funcionamiento adecuados para la rendición de cuentas y la mejora de la eficacia del gasto público, a pesar del trabajo y la inteligencia invertida en el empeño por empleados públicos y también, aunque de forma insuficiente, por algunos políticos».

Este proceso no habría sido posible, sin la convicción posiblemente existente en un sector al menos significativo de políticos, gestores y directivos públicos, que consideran que en la administración en la práctica, no resulta viable la existencia de instituciones, instancias profesionales y técnicos independientes, qué basándose en evidencias, puedan efectuar análisis y presentar resultados de los programas públicos, tanto ex ante como ex post, emitiendo opiniones fundadas acerca de su pertinencia, coherencia y eficiencia.

La falta de liderazgos contrarios a esta presunción y la falta de una reacción social suficientemente activa, pudieron propiciar el proceso AEVAL y su desenlace.

No obstante, el propio diseño y la práctica de la agencia de evaluación por sí misma, con sus limitaciones, también dado su contexto efectivo tan distinto al inicial, no supo generar la credibilidad e influencia suficiente para contrarrestar el sesgo de la agenda y la voluntad política, apoyándose en el conocimiento de sus logros y la repercusión social, para mostrar que en democracia, sí que existe y más aún precisa, tanto en el propio poder ejecutivo como en el parlamento, un espacio para el desarrollo de una analítica de rigor, para propiciar mejoras de la propia actividad estratégica y operativa de la acción pública.

A la pregunta ¿Cuál fue el fallo de la agencia?, la respuesta más adecuada puede encontrarse, en una diversidad de factores coadyuvantes, con un factor principal que ya figura en el poema del Mio Cid «Así hubiera un buen señor». El fallo relevante fue de gobernanza, transparencia y buen gobierno de las instituciones públicas y de incumplimiento de los compromisos políticos adquiridos por estas. Algunos autores como Manuel Villoria (2021) en el ámbito más político y Carlos Sebastián, en el marco de regulación económica, comparten este análisis. Carlos Sebastián en su libro “España estancada por qué somos poco eficientes” se refiere «a la sucesión de organismos cuya actividad está lejos de corresponder al objetivo de su creación, entorpecidos y seriamente limitados en ocasiones por los gobiernos que los crearon» (Sebastián, 2016), poniendo como ejemplo entre otros a AEVAL.

Recientemente, en un artículo publicado en el periódico El País, titulado “Rendir cuentas para transformar y renovar España” (El País, 2021, 10 de mayo) suscrito por el grupo de análisis metodológico del proyecto de rendición de cuentas del gobierno, se subraya del riesgo entre otros, de convertir la rendición de cuentas del gobierno en un sucedáneo de la evaluación de políticas y programas públicas. Señala, que los requisitos que la institucionalidad de la evaluación precisa son rigor científico, temporalidad y participación activa de los afectados, que no parecen asumibles en periodos cortos y subraya también, la necesidad de que estas instituciones, actúen de forma independiente.

Y siguiendo con las referencias literarias, ante la cita extraída del libro “Memorias de Adriano” de Marguerite Yourcener que «anticiparse en el tiempo político es igual que equivocarse», conviene recordar que sin innovación no existiría progreso y que el desarrollo de la cultura de evaluación actual en España tiene como referente positivo más destacado una experiencia como AEVAL. Lo que no impide analizar críticamente su desarrollo, pero también su valor añadido público y su aportación al propio progreso cultural y técnico de la evaluación en España.

7. FORTALEZAS Y DEBILIDADES DEL DISEÑO Y PRIMERA PRÁCTICA AEVAL

FORTALEZAS:

• Diseño de evaluación y enfoque de gobernanza alineado con las propuestas internacionales y las recomendaciones de la UE en el marco de la estrategia reformada de Lisboa. Apoyo activo de una Comisión de Expertos plural formada por especialistas destacados respecto de las materias académicas involucradas, la experiencia internacional y la práctica existente en la administración española al respecto.
• Apoyo político inicial expreso del gobierno, de su presidente, la oficina económica del presidente, el ministerio de Administraciones Públicas como principal valedor y la Vicepresidencia Económica, compromiso expreso con programas de la Unión Europea al respecto.
• Construcción del nuevo organismo a partir de la estructura y el equipo profesional de la Dirección General de Inspección, Evaluación y Calidad del Ministerio de Administraciones Públicas, lo que facilitó la creación de la entidad, efectuándose una reconversión de los conocimientos y tareas del personal existente, completándolo con expertos del área económica e incluso personal directivo cedido temporalmente por la Intervención General y la Agencia Tributaria ante los limitados medios existentes. Incluso se procuró esa misma forma de cesión temporal de personal del Servicio de Estudios del Banco de España sin éxito. También, se incorporó personal experto de la UE.
• Creación de un equipo pluridisciplinar competente profesionalmente, así como experimentado en el análisis de los principales programas y políticas públicas comprometidas, que permitió una respuesta robusta a los trabajos encargados por el gobierno.
• Una elaboración de metodologías de análisis de carácter pluralista, con enfoque pragmático, que combinaba los métodos académicos de evaluación y el uso de indicadores y herramientas técnicas provenientes de las distintas ciencias sociales, con un conocimiento práctico de la actividad pública y de los problemas específicos tanto de diseño como de implementación.
• Un estatuto con un compromiso y una voluntad clara de transparencia, rendición de cuentas, independencia y rigor de sus trabajos, así como la necesidad de exposición y publicación de los mismos y un acento marcado en el desarrollo de la cultura de evaluación y de las redes de conocimiento, como un referente aportador para la acción pública.
• Impuso a la creación de redes de trabajo conjunto con las Comunidades Autónomas y colaboración cultural y técnica muy amplio en materia de calidad y excelencia. Marco General de calidad y Modelos de evaluación).

DEBILIDADES (de diseño y de ejercicio):

• Excesiva ambición de diseño y de objeto, acompañado de un despliegue excesivo de objetivos y fines. Sumando un papel institucional de evaluador ante el parlamento de los resultados de la acción de las nuevas agencias públicas y un rol estratégico reformista en la gestión de la administración.
• Limitación objetiva de su Independencia que, aunque proclamada en sus normas y ejercida en lo operativo, olvidó garantizar temporalmente una continuidad mínima, en el ejercicio de su presidencia, haciéndola más vulnerable a la agenda directamente política.
• Demora de al menos un año en su inicio, una vez avanzada la legislatura, dada la supeditación de su creación al proyecto de ley de agencias públicas. Una vez producidos cambios en el gobierno, se dificulta su consolidación. A los 16 meses del inicio de su actividad fue designada una nueva presidencia.
• El cambio de ciclo económico al desencadenarse la gran crisis y del ciclo político reformista de la administración pública, como derivada, condicionó de forma sustancial el recorrido de la agencia, modificándolo de forma drástica ante el temor de que la repercusión presupuestaria, limitadísima para la primera agencia, impulsara al alza los recursos del resto de las agencias, potencialmente mucho más cuantiosos.
• La agencia en su inicio no profundiza en la relación con la UE, objeto destacado de su actividad, no generando suficiente complicidad con la Comisión, ni busca una relación interna más estrecha con los principales actores sociales objeto de su acción, ampliando con este enfoque su influencia y el conocimiento más amplio de su actividad y trabajos.
• Esta insuficiente política de alianzas alcanza al potencial que suponía el informe al Congreso de los Diputados. Concentra principalmente la difusión de su actividad de forma prioritaria en su página web, que recogía la totalidad de sus trabajos en castellano y en inglés.
• Más allá del factor cultural y de impuso a la creación de redes de trabajo conjunto con las Comunidades Autónomas, sin duda una buena práctica desplegada, no avanzó en la integración en la estructura institucional y operativa de la agencia a las Comunidades, más interesadas.
• Enormes dificultades para el avance en la dinámica «principal-agente» ni en la orientación por resultados del contrato de gestión modelo agencia, que, una vez aprobado con retraso, se mantuvo sin revisión durante todo el periodo AEVAL, sin cumplirse sus referencias normativas.
• Enormes dificultades para conseguir propiciar avances en la dinámica «principal-agente» ni en la orientación por resultados como modelo de gestión en la interacción con el «principal» (Administraciones Públicas y Hacienda).
• El contrato de gestión modelo propuesto, logró aprobarse para la propia AEVAL con retraso, y se mantuvo sin revisión durante todo el periodo de su actividad, con claro olvido de sus referencias normativas.

Tabla 3. Fortalezas y Debilidades

FORTALEZAS	DEBILIDADES
Diseño de evaluación y enfoque de gobernanza alineados con propuestas internacionales y recomendaciones de la UE. Consulta y apoyo activo de una Comisión de Expertos plural formada por especialistas reconocidos procedentes de las diversas materias académicas involucradas, de la experiencia internacional y de la práctica acumulada existente en la administración española.	Excesiva ambición de diseño y de objeto, acompañado de un despliegue muy amplio de objetivos y fines. Con un papel institucional ambicioso y de rendición de cuentas ante el parlamento de los resultados de la acción de las nuevas agencias públicas. Motor estratégico reformista para un cambio en la gestión de la administración sin contexto cultural y administrativo preparado suficientemente, ni dotación de medios adecuados.
Apoyo e impulso político inicial del gobierno, de su presidente y su oficina económica, muy activa del ministerio de Administraciones Públicas como principal valedor y algo más templada de la Vicepresidencia Económica. Compromiso expreso con el Programa Nacional de Reformas y la Unión Europea, en el marco de la Estrategia de Lisboa.	Limitación material de su independencia que, aunque proclamada en sus normas y estructura institucional, así como ejercida en sus principios y en lo operativo, no permitía garantizar la estabilidad y autonomía mínimas de su presidencia y de la actividad. Haciendo su función más vulnerable a las coyunturas administrativas y a la agenda directamente política.
La construcción del nuevo organismo a partir de la estructura y los equipos profesionales de la Dirección General de Inspección, Evaluación y Calidad facilitó la creación inicial, completándose con la incorporación de nuevos perfiles y profesionales acordes con los fines de la entidad, principalmente de áreas económicas, sociales y sectores críticos para la evaluación, priorizándose un plan de formación intenso inicial. En algunos casos el personal directivo tuvo que ser cedido temporalmente por La IGAE y la AEAT por los limitados medios existentes.	La demora de al menos un año en el inicio de su aprobación, una vez avanzada la legislatura, se produjo por la supeditación de su creación al nuevo proyecto de ley de agencias públicas. El cambio ministerial en el Departamento anfitrión dificulta de manera crítica la consolidación de la entidad recién creada. El cambio de coyuntura económica no deja de producir retrasos y dificultades de funcionamiento. A solo 16 meses del inicio de su actividad fue designada una nueva presidencia en AEVAL.
La creación de un equipo pluridisciplinar, con experiencia y competente profesionalmente, así como experimentado en el análisis de los principales programas y políticas públicas comprometidas, permitió una respuesta robusta a los trabajos encargados por el gobierno el primer año de su actividad. Es preciso hacer notar, que el proceso evaluador se efectuó, en su integridad, por el equipo propio de evaluadores independientes.	El cambio de ciclo económico al desencadenarse la gran crisis y el final del ciclo político reformista de la administración pública, como derivada, condicionó de forma sustancial el recorrido de la agencia, modificándolo de forma drástica ante el temor de que la repercusión presupuestaria, limitadísima para la primera agencia, impulsara al alza los recursos del resto de las agencias, potencialmente mucho más cuantiosos.
La elaboración de una metodología de evaluación de carácter pluralista y enfoque pragmático, que combinaba los métodos académicos de evaluación y el uso de indicadores y herramientas técnicas provenientes de las distintas ciencias sociales, con un conocimiento práctico de la actividad pública y de los problemas específicos tanto de diseño como de implementación, deben considerarse una aportación fundamental. También, sus aportaciones a la metodología de elaboración de políticas públicas críticas y su articulación con la calidad de los servicios y el desarrollo del observatorio de calidad de los mismos.	La agencia en su inicio no profundiza suficientemente en la relación con la UE, objeto destacado de su actividad, no generando tampoco a lo largo de su funcionamiento una suficiente complicidad con la Comisión, que hubiera dificultado los intentos de marginalizarla en algún periodo específico de su trayectoria. Tampoco promueve suficientemente una relación interna más estrecha con los principales actores sociales objeto de su acción, ampliando con este enfoque su influencia social. Su presencia en los medios de comunicación es escasa y no llega a promover un conocimiento más amplio de su actividad y trabajos.
Compromiso claro en su estatuto con la transparencia, rendición de cuentas, independencia y rigor de sus trabajos, así como con los valores y principios de evaluación a los que se adscribe, es muy destacable y previo a la ley de transparencia. La necesidad de exposición y publicación de todos sus trabajos y un acento marcado en el desarrollo de la cultura de evaluación y de las redes de conocimiento.	La insuficiencia política de alianzas alcanza incluso al potencial que suponía el informe al Congreso de los Diputados acerca del funcionamiento de las Agencias. Concentra principalmente la difusión de su actividad de forma prioritaria en su página web, que recogía la totalidad de sus trabajos en castellano y en inglés.
Impuso a la creación de redes de trabajo conjunto con las Comunidades Autónomas y colaboración cultural y técnica muy amplio en materia de calidad y excelencia. (Marco General de calidad y Modelos de evaluación).	Más allá del factor cultural y de impuso a la creación de redes de trabajo conjunto con las Comunidades Autónomas, sin duda una buena práctica desplegada, no avanzó en la integración en la estructura institucional y operativa de AEVAL de las Comunidades más interesadas.
	Enormes dificultades para conseguir propiciar avances en la dinámica «principal-agente» ni en la orientación por resultados como modelo de gestión en la interacción con el «principal» (Administraciones Públicas y Hacienda). El contrato de gestión modelo propuesto, logró aprobarse para la propia AEVAL con retraso, y se mantuvo sin revisión durante todo el periodo de su actividad, con claro olvido de sus referencias normativas.

Fuente: elaboración propia.

8. DIAGNÓSTICOS ACERCA DE LA EXPERIENCIA AEVAL

En “Hay Derecho”, Rafael Rivera señala que la decisión errónea fue «ubicar AEVAL en el Ministerio de Administraciones Públicas y que los programas y políticas evaluadas se aprobaran por el Consejo de ministros. También, la escasa relación entre la agencia y el poder legislativo» (Rivera, 2018).

Respecto a la actividad evaluadora y de calidad, así como las actividades de difusión y desarrollo de programas de acción, aquí Rafael Rivera señala «que la agencia cumplió con creces. Como ejemplo la agencia ha publicado 374 noticias en sus 10 años de existencia, ha constituido el premio a la Calidad e Innovación en la Gestión Pública y ha asistido a numerosos congresos y jornadas. Muchos de ellos en Latinoamérica» (Rivera, 2018).

Igualmente confirma que se han evaluado todo tipo de políticas, desde algunas que considera de escasa relevancia, a otras de transcendencia, señalando el “Plan Español de Energías Renovables” o La participación de la Administración General del Estado en el sistema para la autonomía y atención a la dependencia, entre estas últimas.

En cuanto a las evaluaciones en sí mismas, señala que son rigurosas y están bien trabajadas. Opina que quizás se les podría criticar una tendencia hacia analizar más la ejecución del procedimiento administrativo vinculado a la política que los impactos en sí de la política (qué resultados provoca), algo típico considera de los modelos de evaluación continentales frente a los sajones.

Se puede simultáneamente, compartir y discrepar con este análisis. Compartir en lo institucional, la debilidad práctica de la relación de AEVAL con el parlamento, limitada al informe anual, que podría haber adquirido mayor peso y servir de referencia a una relación más fluida de presencia en comparecencias, comisiones y trabajos y un gran anclaje para el desarrollo de la propia institución. Es cierto que la incardinación con el ejecutivo podía hacerlo más difícil, pero ha sido ante todo la limitada voluntad política del gobierno, tras su inicio, lo que condicionaba sobremanera esa mayor presencia posible y tampoco se contaba con dinámicas distintas favorables desde la agenda parlamentaria.

Respecto del hecho de que la aprobación de los planes de evaluación principales los efectúe el gobierno, resulta erróneo considerarlo una debilidad. Supone una implicación en la institucionalidad y en la dinámica práctica de la cultura de evaluación. La práctica internacional así lo corrobora y la experiencia española posterior con AIREF también. Mas aún, buena parte de las evaluaciones realizadas por AEVAL y el análisis de las mismas lo demuestran. Tampoco debe olvidarse que la evaluación es un proceso también político, que incorpora un factor de control y de rendición de cuentas.

De nuevo, la ubicación en administraciones públicas es objeto de doble análisis crítico, por situarse en el ejecutivo y por el departamento elegido. Empecemos por esto último. ¿Es que alguien piensa que la ubicación en Presidencia o Economía y Hacienda, no contaba también con debilidades para alcanzar una perspectiva transversal e innovadora?

Cuando se recomendaba la ubicación en el ejecutivo, la Comisión de expertos era consciente de que en el Congreso o el Senado no existían condiciones políticas y técnicas para ser viable. La oportunidad política se abrió paso tanto para su diseño como su implementación, al menos inicialmente, en el departamento señalado, curiosamente contando con un peso en el liderazgo muy destacado, de economistas.

Finalizado ya este artículo, en un trabajo de FEDEA de octubre de 2021 incorporado a esta reseña bibliográfica, cuyo contenido de análisis general resulta de interés, se muestra como evidencias al menos dos afirmaciones respecto de AEVAL, que no son consistentes, sorprendiendo también la ausencia en su bibliografía de referencias directas a los trabajos de AEVAL. Estas dos inconsistencias se refieren a la presunta «falta de personal con las cualificaciones necesarias» y a «que se ha concentrado en la realización de estudios sobre la calidad de los servicios públicos» (Grupo de Trabajo Mixto COVID-19, 2021). Ambas afirmaciones resultan fácilmente rebatibles con la mera consulta del perfil de la composición de la Comisión de expertos y su informe, los miembros independientes e institucionales del Consejo Rector, los evaluadores y el contenido de las evaluaciones efectuadas, todas ellas publicadas.

En todo momento, se pretendió una relación de la agencia con un doble «principal», administraciones públicas y economía y hacienda, siempre considerando una perspectiva muy abierta según el desarrollo institucional que se pudiera ir produciendo en el país.

Recientemente un miembro de la Comisión de expertos subrayaba, casi como ejercicio contrafactual, dadas las dificultades del actual debate parlamentario y de entendimiento político, el acierto de situar la agencia en el ejecutivo, también dada la actual experiencia AIREF. En todo caso, era lo viable y en un mundo en tantos aspectos disruptivos, no es posible establecer, modelos al margen de los entornos y oportunidades que pueden crearse.

Lo que es posible afirmar es que dentro de la opción elegida debería haberse reforzado más el factor independencia, que redujera el riesgo que con el mero cambio de personas en el gobierno y de coyuntura, se deteriora y dificultara la maduración del proyecto. La posibilidad de un Consorcio Público, con diversidad de instituciones, que inicialmente se llegó a considerar, no hubiera sido posiblemente una mala decisión.

El artículo de “Hay Derecho” comentado, se centra en un dilema de ubicación legislativo-ejecutivo algo maniqueo, más teórico que real, dada la legislación internacional comparada y sobre todo su práctica institucional complementaria. A pesar de la gran excepción que supone la GAO en USA y un cierto papel de algunos Tribunales de Cuentas Europeos, países punteros incluyendo Estados Unidos, así como Canadá, Holanda y los nórdicos en Europa, mantienen modelos en base a instituciones integradas en los ejecutivos. Los diseños australianos y de Nueva Zelanda, no dejan de ser referencias muy singulares.

La opción elegida era viable en el corto plazo y se consideraba, que, manteniéndose la voluntad política, la práctica podría hacerla más viable y sostenible en el tiempo.

Osvaldo Feinstein (2007), colaborador de AEVAL, y autor de un interesante artículo en ese periodo acerca de la evaluación pragmática, me comentaba mucho tiempo después, que esperar que los políticos tengan voluntad de someterse a una disciplina que los puede afectar negativamente puede ser como esperar a Godot. Pero que si los políticos son presionados por la Sociedad Civil a rendir cuentas, pueden verse obligados a rendir cuentas aún si no lo desean, o haciendo de la necesidad virtud comienzan a mostrar esa voluntad política, una voluntad que se desarrolla o construye por la presión social. Concluía su reflexión considerando la existencia de cierta teoría dinámica de la voluntad política.

El punto de vista de tres de los directivos principales de AEVAL en su primera época, en testimonios escritos recientes, muestran las siguientes opiniones:

Inés Pérez-Durante señala:

«Cuando llegué a lo que era el germen de la Agencia, recuerdo apreciar el juego de equilibrios en que se insertaba, apoyada en un mandato anual de evaluaciones por encargo del Consejo de ministros…Pero lo que más me marcó fue vivir en la práctica la defensa de la independencia de esta institución, aunque en el papel existía una dependencia funcional. Y es que algunos críticos han apuntado a la falta de independencia y al insuficiente formalismo cuantitativo de las evaluaciones como principales carencias. Los problemas de independencia no fueron tales cuando el presidente decidió publicar las evaluaciones, porque tenía un mandato de hacerlo y por qué no publicarlas habría sido contrario a sus principios y a la evaluación» (Pérez-Durante et al., 2019).

«En cuanto a la crítica sobre la escasa utilización de herramientas cuantitativas, depende del objetivo e instrumentos que requiere cada evaluación. El poner el acento en un enfoque global de la evaluación, inserta en el ciclo de la acción pública y guiando la acción de mejora, fue uno de los principales aciertos de la metodología impulsada desde la Agencia».

Juan Burdiel señala.

«si los objetivos eran muy claros, el poder de implementarlos no lo era tanto, dado el secular rechazo de los gobiernos (y las AAPP, si pudiéramos separarlos) a la evaluación externa e independiente. Muy sintéticamente, el factor discriminatorio era el hacer público sus trabajos o no. Sin la publicidad de los trabajos los objetivos AEVAL no podrían lograrse, habiéndose impuesto el sector no reformista del gobierno» (Pérez-Durante, et al., 2019).

Finalmente, Joaquín Ruiz, director del Departamento de Calidad, destaca la búsqueda por parte de AEVAL en el ámbito de la calidad, del «eslabón perdido que vincula la rótula que articula lo macro con lo meso y lo micro, el continuo de la evaluación de la acción pública» (Pérez-Durante et al., 2019). Y afirma la aportación de AEVAL al hecho de que «la calidad ya se mira en el espejo de la gobernanza».

Respecto del método AEVAL de evaluación pluralista, capaz de incorporar implementación, junto con diseño, objetivos, resultados e impactos, tiene dentro de la cultura y la literatura de evidencias, un peso muy destacado en lo histórico, doctrinal y práctico. Entre otros referentes autores como Eric Monnier, Eleanor Chelimsky, Jennifer Greenne y Carol H. Weis.

9. CONCLUSIONES: PERSPECTIVAS DE INSTITUCIONALIZACIÓN DE LA EVALUACIÓN EN ESPAÑA

La recuperación del marco jurídico de las Agencias Públicas, la consulta pública y la aprobación de la Ley de 27/2022, de 20 de diciembre de institucionalización de políticas públicas en la Administración General del Estado. Así como la experiencia adquirida por AIREF y su nueva normativa de evaluación, anuncian un nuevo tiempo, no exento de incógnitas, pero sin duda provechoso para la práctica de la evaluación.

Se abre por tanto una oportunidad para reflexionar, con rigor, acerca de la experiencia AEVAL y la causa de sus dificultades y logros, para poder extraer enseñanzas imprescindibles. Sirva la oportunidad de este artículo para contribuir a esta reflexión.

En un reciente artículo compartido con López Hernández (Garde y López, 2021). Institucionalización de la evaluación y auditoría operativa ¿Rivalidad o complementariedad?, se recogen algunas reflexiones acerca de la reciente experiencia española e internacional en el ámbito de la actividad pública y en el contexto de los nuevos cambios deseables en España.

Los comentarios que siguen a este texto, se encuentran en esta misma línea y fue remitido en su día a la consulta pública efectuada para la creación de la nueva agencia para la Institucionalización de la evaluación en 2022, antes de la elaboración del nuevo proyecto de ley.

Los años transcurridos desde el diseño y la práctica AEVAL, permiten constatar junto con algunas de sus referencias como válidas, la necesidad de cambios de carácter técnico e institucional, dado el nuevo contexto y la evolución de la propia evaluación hacia perspectivas de carácter más pragmático y transformador, incorporando los cambios tecnológicos y los factores de transversalidad de las políticas cada vez más imprescindibles, así como el nuevo papel que corresponde a las redes de actores involucrados. También considerar la perspectiva cultural y de enfoque evaluador, en la auditoria y el control público.

La pluralidad y multiplicidad de actores que intervienen hoy en el mundo de la evaluación (universidades, centros de formación, fundaciones, órganos de control interno y externo, Inspecciones de servicios, Instituto de evaluación, asociaciones profesionales, redes de investigación, publicaciones etc.) y los principales actores institucionales, a través de su dinamismo y su propia actividad, forman parte de una red, que alcanza hoy un capital y una práctica evaluadora notable. No obstante, la ausencia de un vértice de referencia e impulso y una arquitectura institucional y normativa adecuada, dificultan hoy su eficacia y el uso potencial de su influencia.

Cada vez puede considerarse más evidente, la necesidad de vertebrar toda esta fuerza evaluadora. Igualmente se precisa a nivel de gobierno, la existencia de una agencia o entidad independiente de evaluación que ayude a afrontar de manera más efectiva los grandes retos en la práctica existentes, como en el caso del plan de recuperación, transformación y resiliencia, los programas nacionales de reforma, las perspectivas estratégicas de las políticas públicas. La propia acción cotidiana pública precisa en muchos de sus niveles, vincularse no sólo a la eficiencia económica y social de los programas, sino también en poder incidir en una rendición de cuentas efectiva.

No se trata de proponer modelos institucionales concretos y específicos y debatir acerca de su modelización teórica o posibilista. Las referencias internacionales nos muestran escenarios muy diversos y modelos muy distintos. Se trata de aprender también de nuestra experiencia que es muy rica, no mostrar rigidez en el diseño del nuevo modelo, sino que este sirva con pragmatismo al desarrollo de las capacidades ya existentes en este campo. También permitir que fluyan y se desarrollen los actores institucionales ya operativos.

Se ha venido afirmando la necesidad de que España, adquiera un marco jurídico y administrativo, así como metodológico adecuados, dotado de cierta coherencia y operatividad desde el gobierno de la Nación; el desarrollo de programas de análisis y enfoque de evaluación desde la perspectiva parlamentaria por parte de los órganos de Control Externo; la confluencia institucional y cooperativa de los distintos niveles de gobierno para una evaluación eficiente de las políticas públicas que atañen a todos; avances en la calidad y transparencia de las fuentes de información y las estadísticas, así como finalmente, la existencia de una organización de referencia metodológica y de aprendizaje a nivel nacional,en colaboración con los organismos e Instituciones de gobernanza y también formación, de las Administraciones Públicas.

Un modelo más vinculado al Parlamento lamentablemente parece poco viable a menos en el corto plazo, aunque es una referencia que no puede descartarse y debería marcar caminos operativos que en el futuro lo hicieran viable.

Finalmente la aprobación de la nueva ley 27/2022 de 20 de Diciembre de Institucionalización de la Evaluación de Políticas Públicas en la Administración General del Estado, una vez más propiciada por Europa, supone una nueva oportunidad y un nuevo reto para desplegar la dinámica de evaluación y recomponer, una cultura, unas metodologías y unas técnicas, que en su día representaron a AEVAL.

REFERENCIAS BIBLIOGRÁFICAS

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios – AEVAL (2008a). El informe General de Actividad 2007. Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL). http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Actividad/Informe_Actividad2007.html

AEVAL (2008b). Informe de situación AEVAL y tareas pendientes. Informe ejecutivo. Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios – AEVAL.

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios – AEVAL (2009). La función evaluadora. Principios orientadores y directrices de actuación en la evaluación de políticas y programas. Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) y Ministerio de la Presidencia. https://funcionpublica.hacienda.gob.es/dam/es/portalsefp/evaluacion-politicas-publicas/Documentos/Metodologias/Evaluacion.pdf#page=1

Casillas, C., Macía, M., Merino, M., Paja, M., Rico, J. y Ruiz, A. (2015). Guía práctica para el diseño y la realización de evaluaciones de políticas públicas. Enfoque AEVAL. Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) y Ministerio de Hacienda y Administraciones Públicas. https://funcionpublica.hacienda.gob.es/dam/es/portalsefp/evaluacion-politicas-publicas/Documentos/Metodologias/Guia1.pdf#page=1

Chelimsky, E. (2006). Los propósitos de la evaluación en una sociedad democrática. En C. Maldonado Trujillo y G. Pérez Yarahuán (comps.), Antología sobre evaluación. La construcción de una disciplina [colección: Gobierno y Políticas Públicas]. Centro de Investigación y Docencia Económicas (CIDE).

Chen, H.-T. (2004). Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness. SAGE Publications.

Chen, H.-T. y Rossi, P. H. (1983). Evaluación con sentido: el enfoque basado en la teoría. En C. Maldonado Trujillo y G. Pérez Yarahuán (comps.), Antología sobre evaluación. La construcción de una disciplina [colección: Gobierno y Políticas Públicas]. Centro de Investigación y Docencia Económicas (CIDE).

Feinstein, O. (2007). Evaluación pragmática de políticas públicas. ICE, Revista De Economía, 1(836), 9-31. http://www.revistasice.com/index.php/ICE/article/view/1047

Garde Roca, J. A. (2004). La evaluación de políticas públicas y su institucionalización en España. Gestión y Análisis de Políticas Públicas, (30-31), 11-28. https://doi.org/10.24965/gapp.vi30-31.371

Garde Roca, J. A. (2005). Informe de la Comisión para el estudio y creación de la Agencia Estatal de Evaluación de la calidad de los servicios y de las políticas públicas. En J. A. Garde Roca (coord.), La Agencia Estatal de Evaluación de la Calidad de los Servicios y de las Políticas Públicas: reflexiones y propuesta de creación. Informe Comisión de Expertos. Instituto Nacional de la Administración Pública (INAP).

Garde Roca, J. A. (2008, 5 de febrero). Primer año de la Agencia de Evaluación y Calidad. Cinco Días (Economía). https://cincodias.elpais.com/cincodias/2008/02/05/economia/1202327749_850215.html

Garde Roca, J. A. (2017, 5 de agosto). AEVAL y su muerte anunciada. CincoDías (Economía). https://cincodias.elpais.com/cincodias/2017/08/04/midinero/1501857354_174399.html

Garde Roca, J. A. (2019). Gestión pública y cultura de evaluación. En L. Ayala Cañón, F. J. Loscos Fernández y R. Martínez López (coords.), El futuro del sector público. Estudios en homenaje a Jesús Ruiz-Huertas Carbonell (pp. 465-474). Instituto de Estudios Fiscales.

Garde Roca, J. A. y López Hernández, A. M. (2021). Institucionalización de la evaluación y auditoría operativa ¿Rivalidad o complementariedad? Revista Española de Control Externo, 23(68), 48-65. https://recex.tcu.es/export/sites/nuevo-recex/.galleries/pdf/R68_ART-4-JA-GARDE-AM-LOPEZ.pdf

Garde Roca, J. A. y Ruíz Martínez, A. (2019). La institucionalización de la evaluación en España y la experiencia de AEVAL. En J. A. Garde Roca, J. Gascón Catalán y T. Merola Macanás (coords.), Hacienda Pública y Gobernanza Fiscal en España: desafíos 2020. (pp. 257-267). Instituto de Estudios Fiscales.

Grupo de Trabajo Mixto COVID-19 (2021). La evaluación de políticas públicas en España: antecedentes, situación actual y propuestas para una reforma. Fundación de Estudios Económicos (FEDEA). https://fedea.net/la-evaluacion-de-politicas-publicas-en-espana-antecedentes-situacion-actual-y-propuestas-para-una-reforma/

Grupo Interministerial para la Revisión de la Estrategia de Desarrollo Sostenible de la Unión Europea (2007). Estrategia Española de Desarrollo Sostenible 2007. Ministerio de la Presidencia. https://www.miteco.gob.es/es/ministerio/planes-estrategias/estrategia-espanola-desarrollo-sostenible/default.aspx

Maldonado Trujillo, C. y Pérez Yarahuán, G. (comps.) (2015). Antología sobre evaluación. La construcción de una disciplina [colección: Gobierno y Políticas Públicas]. Centro de Investigación y Docencia Económicas (CIDE).

Monnier, E. (1995). Evaluación de la acción de los poderes públicos. Ministerio de Hacienda. Centro de Publicaciones.

Organización para la Cooperación y el Desarrollo Económicos – OECD (2007). OECD Economic Surveys: Spain 2007. OECD Publishing. https://doi.org/10.1787/eco_surveys-esp-2007-en

Pérez-Durante, I., Burdiel, J. y Ruiz, J. (2019). El proyecto AEVAL. En M. J. Garde Garde, J. Gascón Catalán y T. Merola Macanás (coords.), Hacienda Pública y Gobernanza Fiscal en España: desafíos 2020 (pp. 287-290). Instituto de Estudios Fiscales.

Rivera, R. (2018, 21 de enero). La AEVAL: Crónica de una muerte anunciada. Hay derecho. https://www.hayderecho.com/2018/01/21/la-aeval-cronica-una-muerte-anunciada/

Rossi, P. H., Freeman, H. y Lipsey, M. W. (2004). El contexto social de la evaluación. En C. Maldonado Trujillo y G. Pérez Yarahuán (comps.), Antología sobre evaluación. La construcción de una disciplina [colección: Gobierno y Políticas Públicas]. Centro de Investigación y Docencia Económicas (CIDE). Ruiz Martínez, A. (2012). Panorámica actual de la evaluación de políticas públicas. Revista Presupuesto y Gasto Público, (68), 13-23.

Sebastián, C. (2016). España estancada: por qué somos poco eficientes. Galaxia Gutenberg.

Stake, R. E. (1998). Investigación con estudios de caso. Morata.

Subirats, J. (1994). Análisis de políticas públicas y eficacia de la administración [colección Estudios. Serie Administración General]. Ministerio para las Administraciones Públicas.

Villoria Mendieta, M. (2021, 10 de mayo). Rendir cuentas para transformar y renovar España. El País. https://elpais.com/opinion/2021-05-10/rendir-cuentas-para-transformar-y-renovar-espana.html

Weiss, C. H. (1999). La interfaz entre la evaluación y las políticas públicas. En C. Maldonado Trujillo y G. Pérez Yarahuán (comps.), Antología sobre evaluación. La construcción de una disciplina [colección: Gobierno y Políticas Públicas]. Centro de Investigación y Docencia Económicas (CIDE).

Yin, R. K. (2014). Case Study Research. Desing and Methods. SAGE Publications.