Análisis comparado de tres modelos de institucionalizaciónde la evaluación de políticas públicas en España. Los casosde Andalucía, Cataluña y Navarra 1

Trias Badruna, Joan; Zúñiga-Guevara, Ricardo Manuel

Análisis comparado de tres modelos de institucionalización de la evaluación de políticas públicas en España. Los casos de Andalucía, Cataluña y Navarra1

Comparative analysis of three models of public policy evaluation institutionalization in Spain. The cases of Andalusia, Catalonia and Navarre

Trias Badruna, Joan

Universitat de Girona (UdG). Departamento de Derecho Público (España – Spain)

ORCID: https://orcid.org/0009-0007-7130-0907

joan.trias@udg.edu

NOTA BIOGRÁFICA

Profesor asociado de Ciencia Política en la Universitat de Girona (UdG), ha cursado el máster en Política y Democracia (UNED) y el postgrado de Liderazgo para la Gestión Política y Social (UAB). Es delegado en Girona del Collegi Professional de la Ciència Política i la Sociología de Catalunya (COLPIS). Ha ostentado varios cargos públicos en la Administración autonómica y local, y ha trabajado también como consultor para numerosas Administraciones públicas. Sus principales líneas de investigación se centran en el análisis de los procesos de cambio institucional y de las políticas públicas, particularmente en el ámbito de la evaluación de políticas públicas.

Zúñiga-Guevara, Ricardo Manuel

Agencia Servicio Andaluz de Empleo. Junta de Andalucía (España – Spain)

ORCID: https://orcid.org/0000-0001-7611-6024

ricardom.zuniga@juntadeandalucia.es

NOTA BIOGRÁFICA

Doctor en Educación, también ha cursado el máster en Evaluación de Políticas Públicas (Universidad de Sevilla) y el máster en Innovación e Investigación en Educación (especialidad Pedagogía Social) en la UNED. Es miembro del Grupo de Personas Colaboradoras en Evaluación del Instituto Andaluz de Administración Pública (IAAP) desde el año 2016. Sus principales líneas de investigación se centran en el análisis de los procesos de cambio institucional y de las políticas públicas, particularmente en el ámbito de la evaluación de políticas públicas.

RESUMEN

Objetivos: el campo de la evaluación de políticas públicas se ha diversificado horizontal y verticalmente a nivel global en los últimos años, despertando un interés creciente acerca de los modelos y procesos de institucionalización de la evaluación. Sin embargo, se trata de un terreno todavía poco investigado en España. Metodología: se explora la institucionalización de la evaluación en Andalucía, Cataluña y Navarra desde un enfoque comparativo, principalmente a partir de una metodología exploratoria cualitativa. Primero, se analiza la evolución temporal y la situación actual de la institucionalización de la evaluación en las tres comunidades a través de un índice comparado. De forma secundaria, se apuntan algunos posibles factores explicativos de la institucionalización de la evaluación. Resultados: el nivel de institucionalización de la evaluación en las tres comunidades es un tanto desigual, con diferencias significativas en los subsistemas político y profesional y similitudes en el subsistema social, siendo Cataluña la comunidad que tiene una mayor puntuación en el índice comparado. Conclusiones: las tres comunidades cuentan aún con sistemas evaluativos inmaduros con notables diferencias debido a factores de tipo organizacional y factores de formación y difusión cultural.

PALABRAS CLAVE

Evaluación de políticas públicas; institucionalización de la evaluación; índice de institucionalización de la evaluación; análisis comparado.

ABSTRACT

Objectives: the field of public policy evaluation has diversified horizontally and vertically at a global level in recent years, as a result, evaluation institutionalization models and processes have awoken a growing interest. However, this field is not sufficiently investigated in Spain. Methodology: this study intends to explore the institutionalization of evaluation in Andalusia, Catalonia, and Navarre from a comparative approach, mainly based on a qualitative exploratory methodology. First, we analyze the temporal evolution and the current situation of the evaluation institutionalization in the three communities through a comparative index. Afterwards, we inquire into the possible explanatory factors of the evaluation institutionalization. Results: the results show that the level of institutionalization of evaluation in the three regions is somewhat uneven, with significant differences in the political and professional subsystems and similarities in the social subsiste. Catalonia is the region that marks higher in the comparative index. Conclusions: the three regions still have an immature evaluation system, altough with important differences beetwen them due to organizational factors and factors of formation and cultural diffusion.

KEYWORDS

Public policy evaluation; evaluation institutionalization; evaluation institutionalization index; comparative analysis.

SUMARIO

INTRODUCCIÓN. 1. EVOLUCIÓN DE LOS SISTEMAS DE EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ANDALUCÍA, CATALUÑA Y NAVARRA. 1.1. ANDALUCÍA. 1.2. CATALUÑA. 1.3. NAVARRA. 2. METODOLOGÍA. 3. RESULTADOS. 3.1. COMPARACIÓN DE VARIABLES. 3.1.1. Variables del subsistema político. 3.1.2. Variables del subsistema profesional. 3.1.3. Variables del subsistema social. 3.2. RESULTADOS COMPARADOS DEL ÍNDICE DE INSTITUCIONALIZACIÓN DE LA EPP. 4. DISCUSIÓN. 4.1. SOBRE EL NIVEL DE INSTITUCIONALIZACIÓN DE LA EVALUACIÓN. 4.2. SOBRE LOS FACTORES EXPLICATIVOS. 5. CONCLUSIONES. REFERENCIAS BIBLIOGRÁFICAS.

INTRODUCCIÓN

Conforme avanza el siglo xxi, resulta evidente que se necesita un enfoque más actualizado y pertinente para abordar cuestiones relacionadas con la evaluación de políticas públicas (en adelante EPP).

Acontecimientos recientes, subrayan la pertinencia de llevar a cabo estudios en profundidad en relación con la EPP en el contexto actual, si bien se ha de resaltar que el campo de la evaluación ha alcanzado notoriedad –al menos desde un punto de vista teórico– como parte del corpus doctrinal del análisis de las políticas públicas (Ballart, 1997Ballart, X. (1997). Gestión pública, análisis y evaluación de políticas. Revista de Estudios Políticos (Nueva Época), (97), 223-247. https://www.cepc.gob.es/publicaciones/revistas/revista-de-estudios-politicos/numero-97-julioseptiembre-1997/gestion-publica-analisis-y-evaluacion-de-politicas-1; Casado y Del Pino, 2021Casado, J. M. y Del Pino, E. (2021). Evolución, situación actual y retos de la evaluación de políticas públicas en las Administraciones españolas (2000-2021). Cuadernos Económicos de ICE, (102), 13-38. https://doi.org/10.32796/cice.2021.102.7308; Luna, 2014Luna, R. J. (2014). El nuevo paradigma de la evaluación de las políticas públicas. REICE: Revista Electrónica de Investigación en Ciencias Económicas, 2(4), 34-48. https://doi.org/10.5377/reice.v2i4.1724; Mayne y Jonhson, 2015Mayne, J. y Johnson, N. (2015). Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, 21(4), 407-428. https://doi.org/10.1177/1356389015605198; Patton, 2008Patton, M. Q. (2008). Utilization-focused evaluation (4.ª ed.). Sage Publications.; Pollit y Bouckaert, 2017Pollit, C. y Bouckaert, G. (2017). Public Management Reform. A Comparative Analysis: Into the Age of Austerity (4.ª ed.). Oxford University Press.; Ruiz, 2012Ruiz, A. (2012). Panorámica actual de la evaluación de las políticas públicas. Presupuesto y Gasto Público, (68), 13-23. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_01.pdf; Stufflebeam y Coryn, 2014Stufflebeam, D. L. y Coryn, C. (2014). Evaluation theory, models, and applications (2.ª ed.). Jossey-Bass.; Weimer y Vining, 2017Weimer, D. y Vining, A. (2017). Policy Analysis: Concepts and Practice. Routledge.).

Una de las razones que subraya la actualidad y la relevancia de este tema es la reciente aprobación de la Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado (en adelante LIEPP). Esta legislación marca un punto de inflexión en este ámbito en España, elevando la institucionalización de la EPP a un asunto de gran importancia. Y, adicionalmente, la multitud de iniciativas relacionadas con la EPP que se están desarrollando en el marco de los Objetivos de Desarrollo Sostenible (ODS) de la Agenda 2030. En este sentido, destaca la contribución de las evaluaciones en relación con la promoción de la transparencia, la rendición de cuentas y la participación ciudadana en el contexto de las políticas y estrategias de sostenibilidad, que coloca a la EPP como un elemento esencial tanto a nivel nacional como a nivel autonómico (voluntary national reviews y voluntary local reviews), lo que obliga a repensar las acciones de los gobiernos y su forma de valorar los asuntos públicos (Zúñiga-Guevara, 2022Zúñiga-Guevara, R. M. (2022). Innovación colaborativa y construcción de capacidades como estrategia de institucionalización de la evaluación en Andalucía. El Grupo de Personas Colaboradoras en Evaluación de Políticas Públicas. Gestión y Análisis de Políticas Públicas, (30), 88-111. https://doi.org/10.24965/gapp.10887).

Cada vez, el nivel de presión sobre los Gobiernos –en las democracias avanzadas– para mejorar la eficacia, eficiencia y utilidad social de las políticas puestas en marcha por la Administración pública es mayor, lo que lleva a pensar que la evaluación desempeña un papel importante en la gobernanza pública, pues no solo permite corregir y mejorar el diseño de las políticas y sus resultados (Ballart, 1992Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Instituto Nacional de Administración Pública.; Feinstein, 2007Feinstein, O. (2007). Evaluación pragmática de políticas públicas. Información Comercial Española ICE: Revista de Economía, (836) [Monográfico: Evaluación de Políticas Públicas], 19-31. https://revistasice.com/index.php/ICE/article/view/1047; Monnier y Toulemonde, 1999Monnier, E. y Toulemonde, J. (1999). Evaluating Socio-Economic Programmes. Glossary of 300 Concepts and Technical Terms [MEANS Collection, Vol. 6]. Office for Official Publications of the European Communities. https://qrcd.org/3YZ1; Monnier y Spenlehauer, 1992Monnier, E. y Spenlehauer, V. (1992). L’évaluation dans le triangle de la décision. Opinions singulières et processus pluraliste. Politiques et management public, 10(3), 61-82. https://www.persee.fr/doc/pomap_0758-1726_1992_num_10_3_3064; OCDE, 2002OCDE (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. OECD Publications. https://unsdg.un.org/sites/default/files/OECD-Glossary-of-Key-Terms-in-Evaluation-and-Results-based-Management-Terminology.pdf; Rossi Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (2004). Evaluation: A Systematic Approach. Sage. et al., 2004Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (2004). Evaluation: A Systematic Approach. Sage.) y, en consecuencia, adoptar mejores decisiones, sino que también es una herramienta de rendición de cuentas (Garde, 2007Garde, J. A. (2007). La creación de la Agencia de Evaluación en España. Información Comercial Española, ICE: Revista de Economía, (836), 11-18. https://revistasice.com/index.php/ICE/article/view/1046; Patton, 2008Patton, M. Q. (2008). Utilization-focused evaluation (4.ª ed.). Sage Publications.; Ramió, 2016Ramió, C. (2016). La renovación de la función pública. Estrategias para frenar la corrupción política en España. Los Libros de la Catarata.; Weiss, 1998Weiss, C. H. (1998). Evaluation: Methods for studying programs and policies (2.ª ed.). Prentice Hall.) e, incluso, de legitimación (Casado y Del Pino, 2021Casado, J. M. y Del Pino, E. (2021). Evolución, situación actual y retos de la evaluación de políticas públicas en las Administraciones españolas (2000-2021). Cuadernos Económicos de ICE, (102), 13-38. https://doi.org/10.32796/cice.2021.102.7308) que puede desarrollar una función de inspiración social, estimulando un debate público informado sobre las posibles soluciones políticas a los problemas sociales (Stockmann y Meyer, 2013Stockmann, R. y Meyer, W. (2013). Functions, methods and concepts in evaluation research. Springer.; Vedüng, 1997Vedüng, E. (1997). Evaluación de políticas públicas y programas. Instituto Nacional de Servicios Sociales.).

En el caso de España, tanto a nivel de la Administración General del Estado (en adelante AGE) como a nivel autonómico, la EPP se ha enfrentado y sigue enfrentándose con retos similares a los que pueden ser observados a nivel internacional, con la gran diferencia que los intentos de institucionalización comenzaron más tarde que en otros países, principalmente por cuestiones institucionales y de cultura político-administrativa (AIReF, 2021AIReF (2021). La institucionalización de la evaluación de políticas públicas en Castilla y León: situación actual y propuestas. Autoridad Independiente de Responsabilidad Fiscal. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf; Pollit y Bouckaert, 2017Pollit, C. y Bouckaert, G. (2017). Public Management Reform. A Comparative Analysis: Into the Age of Austerity (4.ª ed.). Oxford University Press.). El sistema de gobierno en España se caracteriza por una estructura descentralizada en la que las comunidades autónomas (en adelante CC. AA.) tienen un alto grado de autonomía para tomar decisiones y gestionar asuntos relacionados con sus competencias específicas. Sin embargo, el ámbito de las políticas públicas es un terreno donde se entrelazan las competencias de la AGE y las de las CC. AA., lo que da lugar a un complejo reparto de funciones y responsabilidades.

Esta estructura descentralizada lógicamente ha tenido su impacto en el desarrollo de la institucionalización de la EPP. A nivel estatal, se han establecido órganos e instituciones encargados de la EPP, como la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), definitivamente desparecida en el año 2017, que fue sustituida por el Instituto para la Evaluación de Políticas Públicas (IEPP) y, en virtud de la LIEPP, la nueva Agencia Española de Políticas Públicas (AEPP) será la entidad encargada de desarrollar la propuesta de estrategia de evaluación que contempla la ley en la que participarán las Administraciones de los diferentes niveles de gobierno, la Comisión Superior de Evaluación y el Consejo General de Evaluación. Mientras que, a nivel autonómico, las diferentes CC. AA. también han desempeñado un papel activo en el desarrollo de sus propios sistemas de evaluación y en la promoción de la cultura de la evaluación. En muchos casos, estableciendo sus propios órganos de evaluación y adaptando sus propias estrategias y marcos normativos para abordar la EPP.

Pero a pesar de este creciente interés, y probablemente como consecuencia de la inmadurez del sistema evaluativo español, hoy en día todavía no existen investigaciones académicas que comparen de forma sistemática los distintos procesos de institucionalización de la EPP en las CC. AA. ni tampoco sobre las consecuencias que para los procesos de institucionalización de la EPP haya podido tener el particular desarrollo del estado autonómico español. Como señala en su informe la AIReF (2021)AIReF (2021). La institucionalización de la evaluación de políticas públicas en Castilla y León: situación actual y propuestas. Autoridad Independiente de Responsabilidad Fiscal. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf, si se analiza los procesos iniciados se puede apreciar una cierta heterogeneidad en cuanto al grado de progreso alcanzado, si bien muchas de ellas contemplan en sus estatutos de autonomía los principios de eficacia y eficiencia de las políticas públicas, pero solo algunas han desarrollado regulaciones sobre la materia. Entonces, las preguntas que emergen son: ¿cuál es el nivel de institucionalización de la evaluación a nivel autonómico? ¿Ha avanzado más la institucionalización de la evaluación en unos territorios que en otros? ¿Cómo podemos alentar la institucionalización de la evaluación en las administraciones públicas?

El análisis de la institucionalización de la evaluación con un enfoque comparativo entre CC. AA. representa todavía un campo por explorar. Esta investigación pretende dar un paso al frente examinando la institucionalización de la EPP en tres comunidades autónomas del Estado español, Andalucía, Cataluña y Navarra que han desarrollado sistemas evaluativos singulares con resultados dispares.

1. EVOLUCIÓN DE LOS SISTEMAS DE EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ANDALUCÍA, CATALUÑA Y NAVARRA

A continuación, exponemos de forma resumida los hitos más relevantes de la evolución de la EPP en las tres CC. AA. objeto de estudio:

1.1. Andalucía

La evolución en materia de evaluación en Andalucía se puede dividir en tres fases: una primera fase de liderazgo universitario y desarrollo temprano (2000-2007), seguida por una fase más de carácter normativo (2007-2014) y otra de impulso liderado por el Instituto Andaluz de Administración Pública (IAAP), con un papel relevante del Área de Evaluación de Políticas Públicas (2015-actualidad).

La primera fase viene determinada por el papel de la Universidad de Sevilla, bajo la dirección del profesor Carlos Román y, posteriormente, con el liderazgo de los profesores José Luís Osuna y Juan Casero, entidad que desempeñó un papel relevante en la promoción y desarrollo de la EPP en la comunidad autónoma a través de la Sociedad Española de Evaluación (SEE). Durante este periodo, la universidad organizó congresos y encuentros internacionales sobre evaluación (el primero celebrado en 2001), fomentó la investigación en evaluación y realizó múltiples estudios y proyectos en este campo.

En la Junta de Andalucía se hacía evaluación, más como respuesta al entorno europeo que lo exigía que como un acto impulsado a nivel político desde el convencimiento de su importancia, con la participación de diversos profesionales, consultoras y equipos de evaluación del ámbito andaluz. Pero en el año 2007, dentro de la reforma del Estatuto de Autonomía para Andalucía (Ley Orgánica 2/2007) aparece en el art. 138 la organización y funcionamiento de un sistema de EPP regulado por ley. Años después, la Ley 1/2014, de 24 de junio, de Transparencia de Andalucía, reconoce la evaluación como instrumento operativo para cumplir objetivos de transparencia y ratifica el diseño de un Sistema Andaluz de Evaluación de Políticas Públicas como un objetivo prioritario. En esta segunda fase, la evaluación está presente en la normativa, pero requiere voluntad política para su impulso e institucionalización. La creación en 2013 de la Cátedra Carlos Román de Evaluación de Políticas Públicas de la Universidad de Sevilla también marcó un hito importante.

El inicio de la tercera fase (2015-actualidad) coincide con el momento en el que el IAAP asume el impulso de la EPP2 y la incorporación de su nuevo director, José María Sánchez Bursón. El director del IAAP tenía una encomienda clara por parte de la consejera de Hacienda y Administración Pública: la construcción de un sistema de EPP. A partir de ahí, y tras un proceso de discusión y reflexión, se definió el enfoque y el plan estratégico para el impulso de la EPP que se quería implantar en la Junta de Andalucía. Dentro de la estructura del IAAP, el Área EPP es la unidad responsable de la reflexión, formación e impulso de la evaluación y planificación de políticas públicas. Desde su constitución en el año 2016, ha ofrecido cada vez más servicios especializados al resto de organismos al objeto de asegurar la idoneidad de las políticas públicas a los constantes cambios del entorno y las demandas ciudadanas.

Un aspecto destacable es que entre los años 2016 y 2018 se trabajó en un decreto para la EPP que, finalmente, se decidió no tramitar coincidiendo con la marcha de la hasta entonces consejera, María Jesús Montero (fue nombrada ministra del Gobierno de España), quien lo había liderado, y la cercanía de las elecciones al Parlamento de Andalucía de 2018, lo que, lógicamente, supuso un contratiempo para la institucionalización de la práctica evaluadora en Andalucía. Tras las elecciones de 2018, con el cambio de Gobierno, se empezó a hablar del Anteproyecto de Ley de organización y funcionamiento del sistema público de EPP de la Junta de Andalucía. Este anteproyecto de ley pasó el trámite de consulta pública entre febrero y junio de 2020, requisito indispensable para poner en marcha la ley, pero sigue pendiente de los futuros movimientos del Gobierno andaluz. Andalucía no cuenta en la actualidad con una ley específica en materia de EPP, pero sí ha avanzado considerablemente en estos años al crear cultura y sensibilización en EPP como paso previo a la regulación normativa.

1.2. Cataluña

A grandes rasgos, podemos distinguir dos fases en los procesos recientes de institucionalización de la evaluación en Cataluña. Una fase inicial, que coincide con el nacimiento del Institut Català d’Avaluació de Polítiques Públiques (Ivàlua), su puesta en marcha y la publicación de sus primeras evaluaciones y guías prácticas (2006-2013); y una segunda fase de expansión y consolidación, de la mano de la colaboración entre Ivàlua y la nueva Área de Evaluación Económica de Políticas Públicas del Departamento de Economía y Hacienda de la Generalitat de Catalunya (2014-2020).

Es preciso esclarecer que la decisión de crear Ivàlua en 2006 tiene más ecos de contingencia que de una estrategia bien definida para desarrollar un sistema público de evaluación en Cataluña. Asimismo, su formato jurídico como consorcio público fue tanto el fruto de la voluntad de crear un ente participado por varias instituciones como la consecuencia de las suspicacias políticas propias de los Gobiernos de coalición (Morillas, 2019Morillas, A. (2019). Passant comptes: memòries d’un economista al servei de les institucions. Testimonis Pasqual Maragall. https://www.catalunyaeuropa.net/ca/publicacions/95/passant-comptes-mem%C3%B2ries-d-un-economista-al-servei-de-les-institucions.html). No obstante, a lo largo del tiempo Ivàlua ha demostrado un alto grado de autonomía operativa, especialmente en lo que se refiere a recursos humanos, gestión y planificación estratégica. Aunque Ivàlua no es jurídicamente una agencia pública, sí la podemos considerar un equivalente funcional.

En la primera fase (2006-2014), Ivàlua actuó en un entorno gubernamental que carecía de una estrategia o política explícita de impulso a la evaluación, tal como explica en un artículo la propia directora del Consorcio (Lázaro, 2012Lázaro, B. (2012). Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua. Presupuesto y Gasto Público, (68), 25-39. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_02.pdf). En este contexto de débil anclaje institucional, Ivàlua consiguió la complicidad y apoyo de otras Administraciones trabajando con ellas como un aliado comprometido (orientación a servicio) y no como una mera instancia de control externo. A esto ayudó la propia composición del Consorcio, especialmente por la presencia de la Diputación de Barcelona, que actuó como puente hacia la Administración local.

El inicio de la segunda etapa (2014-actualidad) lo situamos en la creación del Área de Evaluación Económica de Políticas Públicas del Departamento de Economía y Hacienda3. Es a partir de ese momento cuando la Generalitat empieza a trazar una estrategia pública de impulso a la evaluación, si bien esta no es difundida inicialmente. Desde el Departamento se visualiza Ivàlua como una herramienta clave y complementaria a su orientación económica, logrando un enfoque más transversal de la evaluación de políticas públicas. De forma coordinada, ambos organismos idean las políticas más decididas e innovadoras de la Generalitat hasta el momento: el programa PROAVA, la comunidad COAVA, la comisión interdepartamental CIAVA y, finalmente, la inclusión de la evaluación de políticas en la Ley de Finanzas (2020).

1.3. Navarra

La evolución de la institucionalización de la evaluación en Navarra presenta ciertas discontinuidades, con sus principales órganos impulsores iniciales hoy desaparecidos y la aparición de otros agentes impulsores con carácter sectorial. Un examen de los procesos de institucionalización nos permite distinguir tres fases en esta evolución: una primera fase expansiva, después de la aprobación de la Ley 21/20054, de la mano de la Comisión Foral y, sobre todo, del Servicio de Calidad (2005-2011); una segunda fase de retraimiento, que coincide con la crisis económica y varios cambios de Gobierno (2011-2015), y una tercera fase de recuperación del papel de la evaluación de la mano del Observatorio de la Realidad Social de Navarra (2015-actualidad), si bien ahora con una mirada sectorial (políticas sociales) y no transversal.

Sin duda, el elemento distintivo del sistema público de evaluación de Navarra ha sido su aproximación normativa, con la temprana aprobación de una ley, la única de este tipo en el Estado español5, que configura un sistema integral de evaluación en la Comunidad. La Ley marca una estrategia política clara, aprobada en sede parlamentaria, que se irá concretando posteriormente a partir del impulso de la Comisión Foral para la Evaluación. Para liderar la estrategia que emana de la ley, se optó por la constitución de una Comisión Foral, organismo colegiado de supervisión. A su vez, la Comisión Foral encargó la gestión y ejecución a un servicio de nueva creación dentro del Instituto Navarro de Administración Pública (INAP): el Servicio de Calidad de Políticas y Servicios Públicos. En definitiva, se optó por unidades insertas en la organización autonómica frente a la posibilidad de la creación de una agencia pública.

El período 2007-2010 fue intenso en la producción de materiales, la puesta en marcha del Registro de Evaluaciones y la dinamización de una primera red de profesionales alrededor de jornadas y eventos de difusión de la evaluación. Pero el Servicio de Calidad contó también con dos hándicaps muy importantes. Por una parte, la insuficiencia de recursos (humanos, materiales y económicos) para ejecutar las actuaciones previstas. Por otra parte, se encontraron resistencias culturales y organizacionales que dificultaron la extensión de la cultura de la evaluación dentro de la Administración Foral.

Así pues, el despliegue de las acciones previstas se vio detenido por diversas crisis (económicas, políticas y de Gobierno), que propiciaron que la evaluación de políticas disminuyera de rango dentro de la estructura institucional de la Administración foral (Zalba, 2020Zalba, M. (2020). Recorrido de la cultura de evaluación de políticas públicas en la comunidad foral de Navarra: aportaciones desde Sarhe consultores, años 2005-2020 [trabajo presentado al Premio Proyectos e Iniciativas de Evaluación en Navarra 2020].). En la legislatura 2011-2015 desapareció el Servicio de Calidad y las competencias de evaluación pasaron a depender de una sección con menor rango. La Comisión Foral dejó de reunirse y, a pesar de la vigencia de la Ley 21/2005, las políticas de institucionalización de la evaluación fueron perdiendo fuelle en los años siguientes. Se desprogramaron acciones de sensibilización y formación, se dejaron de producir materiales y la red de evaluación desapareció. La información sobre evaluación se eliminó de la web del Gobierno de Navarra y el Registro de Evaluaciones dejó de ser mantenido y accesible.

El impulso de la evaluación no recupera cierto protagonismo hasta 2015, con la creación del Observatorio de la Realidad Social de Navarra (en adelante ORS). En 2019, se atribuyeron al ORS las competencias de planificación y evaluación de las políticas sociales a través de una dirección general. Si bien esto representó un avance en términos de evaluación de políticas sociales, el Gobierno de Navarra ya no ha vuelto a proyectar una mirada transversal sobre la EPP, tal como pretendía originalmente la ley.

2. METODOLOGÍA

La ambición de este trabajo es principalmente empírico-descriptiva, a través de una exploración con la que se quiere explicar el nivel de institucionalización de la evaluación en diferentes CC. AA. españolas. De forma secundaria, también se quiere indagar en los posibles factores que explican los procesos de institucionalización y sus resultados.

La selección de los casos de estudio, concretamente Andalucía, Cataluña y Navarra, se fundamenta en una serie de criterios que permiten un análisis comparado significativo y enriquecedor del nivel de institucionalización de la EPP en el contexto autonómico español. Entre otros: a) las tres CC. AA. seleccionadas cuentan con un alto grado de autonomía política y administrativa; b) las tres tienen diferentes trayectorias históricas y políticas, lo que ha influido en la evolución de sus sistemas de evaluación; c) el camino hacia la institucionalización ha sido distinto en los tres casos, lo que permite contrastar diferentes modelos y enfoques de institucionalización, y d) son regiones con un alto peso político en el contexto español, lo que agrega relevancia al estudio.

Para la realización de este estudio comparativo, se ha seguido principalmente una metodología exploratoria cualitativa. Por una parte, se ha analizado la información publicada y/o proporcionada por las Administraciones y organismos responsables de la evaluación en Andalucía, Cataluña, y Navarra (normativas, páginas web, memorias e informes) en el periodo 2000-2020. Por otra parte, se han explotado cuantitativamente las bases de datos de evaluaciones de políticas públicas de acuerdo con la información disponible en los repositorios6 andaluz, catalán y navarro. Finalmente, se ha contrastado la información con fuentes primarias7 mediante entrevistas semiestructuradas a académicos/as especialistas en evaluación y también a cargos públicos con responsabilidades en materia de evaluación de las Administraciones y organismos pertinentes de estas CC. AA.8. A continuación, se expone con más detalle algunas consideraciones sobre el marco analítico.

El grueso de la investigación toma como referencia el marco analítico de la obra The Institutionalisation of Evaluation in Europe, de Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al. (2020)Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan., que parte de la idea de un sistema evaluativo complejo que se puede examinar diseccionando tres subsistemas interrelacionados: el subsistema político, el subsistema social y el subsistema de profesionalización.

La elaboración de cualquier índice es dificultosa porque requiere métodos robustos que no son fáciles de conseguir. Además, especialmente en las ciencias sociales, los índices son controvertidos porque sus resultados cuantitativos pueden conducir a un cierto reduccionismo de problemas sociales complejos. Conscientes de estas dificultades, tomamos como referencia el solvente marco analítico de la obra citada. Asimismo, advertimos de entrada que el índice no debe entenderse como un ranking competitivo, sino como una herramienta imperfecta pero útil a la hora de analizar nuestro objeto de estudio y alentar un debate informado y constructivo.

La operacionalización de las variables se basa en la guía analítica de la citada obra (ibid.., pp. 43-46Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.), y los criterios de medición de las variables también se han inspirado en la misma (ibid., pp. 556-594Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.). Los cambios respecto del marco analítico original de Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al. (2020)Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. se derivan de la necesidad de adaptar un modelo pensado para comparar varios marcos estatales a un modelo diseñado para comparar tres casos dentro del marco autonómico del Estado español.

Partiendo de los subsistemas político, profesional y social, se plantean quince preguntas que informan veintitrés variables. Como en el marco analítico de Stockmann et al., todas las variables tienen el mismo peso, si bien el subsistema político pesa más por ser el que más variables tiene. Nuestra adaptación ha acentuado esta diferencia en favor del subsistema político por una razón fundamental: los subsistemas profesional y social están muy subdesarrollados y disponen de poca información, lo cual empobrece la comparación. Así pues, nuestro índice cuenta con dieciséis variables del subsistema político, cuatro variables del subsistema profesional y tres variables del subsistema social. Hay todavía otra razón por la que nuestro índice cuenta con una representación tan amplia del subsistema político: en lo que se refiere a estrategias o políticas de impulso a la evaluación, hemos desglosado los distintos tipos de políticas en variables individuales para conseguir un análisis más profundo y rico en matices. En efecto, el hecho de comparar tres territorios dentro de un mismo Estado permite dar relevancia a los distintos tipos de acciones que, en conjunto, pueden configurar una determinada estrategia o política pública. Concretamente, se han identificado nueve variables que responden a estas acciones. La inclusión de estas variables ha sido contrastada y completada con las aportaciones de algunas de las personas expertas entrevistadas.

Las escalas de valoración de nuestro índice son dicotómicas o tricotómicas, de manera muy similar a las del marco analítico original de Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al. (2020)Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.. Asimismo, se basan mayormente en criterios objetivos, si bien en algunos pocos casos esto no es posible y responden a criterios subjetivos. Para la medición de las variables hubiera sido ideal contar con la valoración directa de varias personas expertas de cada comunidad, a modo de encuesta o formulario. Por limitaciones de tiempo y disponibilidad esto no ha sido posible, así que se han medido las variables con la información proveniente de la revisión documental y el contraste de esta con las entrevistas realizadas a las personas expertas y profesionales de la evaluación, como se explicará en detalle más adelante. En suma, el resultado del análisis ha permitido elaborar un índice comparado de la institucionalización de la evaluación. Obviamente, el índice no es un instrumento perfecto, pero permite una gradación fiable y sirve de base para informar la discusión posterior sobre los factores explicativos de los procesos de institucionalización.

Tabla 1. Estructura del índice comparado de la institucionalización de la evaluación

Subsistema	Ámbito	Código	Pregunta		Peso	Escala criterio valoración
Político	Institucional	1.1.1	Existen leyes específicas sobre la evaluación de las políticas públicas		1	0=no; 1=sí
		1.1.2	Existen leyes o regulaciones parciales o sectoriales sobre la evaluación		1	0=no;1=sí
		1.1.3.1	Exísten políticas, programas o estrategias transversales sobre la evaluación y su uso	acciones de estímulo y reconocimiento	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.2		acciones de sensibilización y formación interna	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.3		acciones de generación de conocimiento	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.4		acciones de dinamización de la comunidad epistémica	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.5		acciones de comunicación y difusión	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.6		acciones de financiación de evaluaciones	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.7		acciones de asesoramiento, acompañamiento y seguimiento	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.8		acciones de planificación de la evaluación	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.3.9.		acciones de revisión de las evaluaciones	1	0=no; 0,5=acciones iniciales/parciales; 1=acciones maduras
		1.1.4	Existen unidades específicas de evaluación en las Consejerías		1	0=no; 0,5=en algunas; 1=en todas
		1.1.5	Existen organismos públicos autónomos de evaluación		1	0=no; 1=sí
	Práctica	1.2.1	Cuál es la intensidad y frecuencia de la práctica evaluadora		1	0=bajo; 0,5=medio; 1=alto
	Uso	1.3.1	Cúando, cómo y para qué se usan las evaluaciones por parte del ejecutivo		1	0=uso residual; 0,5=uso puntual; 1=uso extenso
	Uso	1.3.2	Cúando, cómo y para qué se usan las evaluaciones por parte del legislativo		1	0=uso residual; 0,5=uso puntual; 1=uso extenso
Valor máximo del subsistema político					16
Profesional	Formación	2.1.1	Existe formación universitaria específica en el ámbito de la evaluación		1	0=no; 1=sí
	Formación	2.1.2	Existe otro tipo de formación no académica sobre evaluación		1	0=no; 0,5=cursos genéricos; 1=cursos especializados
	Organización	2.2.1	Existe una organización profesional (VOA)		1	0=no; 1=sí
	Estándares	2.3.1	Existen estándares o guías publicados sobre la práctica de la evaluación		1	1 0=no; 0,5=esporádico; 1=catálogo
Valor máximo del subsistema profesional					4
Social	Accesibilidad	3.1.1	Existen repositorios públicos y accesibles de las evaluaciones		1	0=no; 0,5=genéricos; 1=específicos
	Sociedad civil	3.2.1	Cómo es la discusión pública sobre la evaluación en medios de comunicación		1	0=residual; 0,5=puntual; 1 =extenso
	Sociedad civil	3.2.2	Cómo es el conocimiento general sobre las evaluaciones y su uso		1	0=bajo; 0,5=medio; 1=alto
Valor máximo del subsistema social					3
Valor máximo del índice					23

Fuente: elaboración propia.

Por último, en lo que se refiere a la discusión sobre los factores explicativos según los resultados de la exploración, el estudio estadístico de correlaciones entre subsistemas y entre variables nacionales de los países realizado por Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al. (2020)Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan., no procedía en nuestra investigación. Esto es así porque el estudio de Stockmann contaba con dieciséis casos y permitía herramientas propias de N-media o N-grande, mientras que nuestro estudio es una comparación de tres comunidades que requiere otro tipo de técnicas. En este sentido, para indagar en los posibles factores explicativos, hemos tratado nuestra investigación bajo el método most similar systems design (MSSD). Desde esta óptica, la institucionalización de la evaluación es nuestra variable dependiente, influida potencialmente por las veintitrés variables independientes que hemos señalado. Siguiendo la lógica de los modelos MSSD, nuestra atención se ha centrado en buscar aquellas variables más divergentes en entornos institucionales que son, en lo esencial, muy similares.

3. RESULTADOS

3.1. Comparación de variables

3.1.1. Variables del subsistema político

Institucionalización

Variable 1.1.1. ¿Existe una ley o leyes específicas sobre la evaluación de las políticas públicas?

Tanto en Andalucía como en Cataluña no existe una ley específica en materia de EPP, aunque en los últimos años sí se ha avanzado en este sentido a partir de otras normas sectoriales o parciales. En el caso de Andalucía, con el desarrollo del Anteproyecto de Ley de organización y funcionamiento del sistema público de EPP de la Junta de Andalucía. Este anteproyecto de ley pasó el trámite de consulta pública entre febrero y junio de 2020, pero no ha sido aprobada la ley.

Por otro lado, la Comunidad Foral de Navarra es la única en el Estado español que cuenta con una ley específica de EPP. Concretamente, se trata de la Ley 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos.

Variable 1.1.2. ¿Existen leyes o regulaciones parciales o sectoriales sobre la evaluación?

En el ámbito legislativo, las CC. AA. de Andalucía, Cataluña y Navarra han abordado la EPP con enfoques y avances diversos.

Andalucía, por ejemplo, ha integrado la EPP en tres leyes clave. La Ley Orgánica 2/2007, de 19 de marzo, de Reforma del Estatuto de Autonomía para Andalucía, que ordena en su art. 138 la necesidad de establecer un sistema de EPP. La Ley 1/2014, de 24 de junio, de Transparencia Pública de Andalucía, que reconoce en su exposición de motivos la evaluación como un instrumento operativo para cumplir objetivos de transparencia, en el que destaca el propósito de la Junta de Andalucía de avanzar en el diseño de un Sistema Andaluz de Evaluación de Políticas Públicas. Además, de la Ley de Participación Ciudadana de Andalucía9 que otorga una indudable importancia al diseño y aplicación de la EPP.

En Cataluña, el progreso legislativo más destacado se materializó en la modificación de la Ley de Finanzas Públicas de Cataluña en 2020, durante la tramitación de los presupuestos anuales. Esta modificación incorporó un nuevo capítulo específico sobre EPP10, que establece que todos los departamentos de la Generalitat deben acordar planes plurianuales de EPP y el Govern de la Generalitat debe aprobar un plan plurianual de intervenciones públicas prioritarias.

Con el fin de modernizar la Administración pública, algunas normas precedentes11 a la Ley 21/2005 sirvieron para allanar el camino a la evaluación en Navarra. De manera más explícita, la Ley Foral 11/2012, de 21 de junio, de la Transparencia y del Gobierno Abierto, modificada por la Ley 5/2016, contiene un título dedicado al diseño de un marco general para la mejora continua de la calidad de la Administración, donde se menciona la evaluación de políticas como una de las estrategias de calidad (Paja-Fano, 2017Paja-Fano, M. (2017). Un nuevo marco legal para la evaluación. Gestión y Análisis de Políticas Públicas, (17), 6-25. https://doi.org/10.24965/gapp.v0i17.10397).

Variables 1.1.3.1 a 1.1.3.9. ¿Existen políticas públicas o estrategias sobre la evaluación y su uso?

En el caso de Andalucía, desde el año 2015 se ha puesto en marcha una estrategia de impulso de la EPP de la mano del IAAP que poco a poco se ha ido consolidando dentro de la organización. En el proceso hay un agente clave, el Área EPP, unidad responsable de la reflexión, formación e impulso de la evaluación y planificación de políticas públicas. La estrategia quedó definida en un documento, Evaluación de políticas públicas. Junta de Andalucía 2016 (IAAP, 2016IAAP (2016). Evaluación de políticas públicas. Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/evaluacion.epp), que fue aprobado por la consejera María Jesús Montero –no fue un documento que se quedó a nivel interno–, y en el que se hacía referencia explícita a tres objetivos: a) promover una cultura de evaluación en la organización; b) articular los medios para implantar un sistema de evaluación, y c) evaluar políticas públicas: primeros pasos.

Desde el Área EPP se trabaja desde una perspectiva integral que contempla actuaciones de sensibilización, formación, capacitación, difusión, divulgación a través de publicaciones, jornadas, asesoramientos, evaluaciones, planificación estratégica, entre otras. Es decir, se trabaja sobre tres ejes principales: la cultura, la formación y los instrumentos técnicos que van calando dentro de la Administración, donde cada vez es más frecuente hablar de evaluación –sin esperar a un marco normativo– en los niveles directivos y técnicos de planificación estratégica y, en cierta medida, en los niveles políticos, que han asumido las bondades del modelo, aunque no hayan pasado aún de intenciones y proyectos.

Son destacables dos iniciativas de participación puestas en marcha por el Área EPP. Por un lado, dentro de la Red Profesional de la Junta de Andalucía existe un grupo abierto e institucional de Evaluación de Políticas Públicas en el que hay inscritas más de quinientas cincuenta personas interesadas en la materia. La red tiene como objetivo el intercambio de conocimiento e ideas en materia de evaluación, así como la captación de personas para el Grupo de Personas Colaboradoras en Evaluación (GPE), que trabajan de forma muy activa con el Área EPP. El GPE está integrado por unas cuarenta personas que contribuyen al impulso y apoyo de los trabajos del área, y que actúan, además, como antenas en sus diferentes centros directivos y con una gran actividad en la elaboración de manuales y guías, la formación, la organización de jornadas, el diseño y asesoramiento en evaluaciones, así como la difusión de la cultura evaluadora.

En referencia a las acciones de planificación de la evaluación, es destacable que en estos años se ha conseguido que la evaluabilidad de las estrategias y planes diseñados y desarrollados en el seno de la Junta de Andalucía sea un requisito obligatorio para su aprobación. Si bien no hay constancia de ninguna acción de financiación de evaluaciones, sí de acciones estables de asesoramiento, acompañamiento y seguimiento de evaluaciones dirigidos a otras unidades administrativas.

En Cataluña, las acciones más consolidadas son las de sensibilización y formación interna, así como las de generación de conocimiento. Estas acciones tienen el protagonismo principal de Ivàlua, que dispone de un catálogo de cursos generalistas y específicos sobre tipos de evaluación, tanto para departamentos y organismos de la Generalitat como para Administraciones locales y organizaciones del tercer sector. Asimismo, Ivàlua ha publicado dieciséis guías prácticas sobre evaluación de políticas públicas. Por su parte, el Área de Evaluación Económica (AAE) de la Generalitat tiene en su web un apartado público de protocolos técnicos y herramientas para la evaluación económica.

A nivel interno, en 2019 se creó la Comunitat de pràctica d’avaluació de polítiques públiques de la Generalitat de Catalunya (COAVA), una red de profesionales del sector público con el objetivo de compartir conocimiento y experiencias para así promover la evaluación.

A nivel de acciones de comunicación y difusión externa, destaca la reciente creación del Repositorio de Evaluaciones de Políticas Públicas de Cataluña, fruto de la colaboración entre Ivàlua y la Universitat Pompeu Fabra.

Una de las políticas más innovadoras de impulso de la evaluación de las políticas públicas de la Generalitat es el Fons de promoció per a l’avaluació de polítiques públiques (PROAVA), un fondo interno competitivo creado y financiado por el Departamento de Economía y dotado con 180 000 euros para promover la evaluación de políticas realizadas por los departamentos de la Generalitat.

En cuanto a acciones de planificación de la evaluación, la modificación de la Ley de Finanzas Públicas de Cataluña del año 2020 prevé, por primera vez, que tanto el Govern como sus distintos departamentos aprueben planes plurianuales de EPP. En este sentido, se ha creado la Comissió interdepartamental d’avaluació de polítiques públiques (CIAVA)12, órgano colegiado que tiene entre sus funciones la de coordinar esta planificación y hacer el seguimiento y valoración de su ejecución. Y, en referencia a las acciones de revisión de las evaluaciones, si bien con carácter puntual, se puede mencionar un estudio del uso de las evaluaciones realizadas por Ivàlua entre el 2008 y el 2016, así como algunos estudios sectoriales de revisión de evidencias, especialmente en el ámbito de la educación.

Por otro lado, la principal estrategia de desarrollo de la evaluación en Navarra emana directamente de la Ley 21/2005, que pretende diseñar un sistema público e integral de evaluación en la Comunidad. A tal efecto, la propia ley establece en su art. 23.2 las funciones de la Comisión Foral en catorce epígrafes, que van desde el impulso de la cultura de la evaluación y la elaboración de planes estratégicos hasta la articulación de un sistema de comunicación entorno a la evaluación y la calidad de los servicios. En 2011, la estrategia queda plasmada en el libro que publica el Gobierno de Navarra, El sistema público de evaluación en Navarra (INAP, 2011bINAP (2011b). El sistema público de evaluación en Navarra. Instituto Navarro de Administración Pública. http://www.navarra.es/NR/rdonlyres/3244F835-70BF-4A8A-B6BE-C561DD1FDD0F/205994/ElsistemapublicodeevaluacionenNavarra.pdf).

Las acciones de sensibilización y formación interna, generación de conocimiento, dinamización de la comunidad epistémica y comunicación y difusión tuvieron mucha importancia durante los años 2007-2011. Estas acciones perdieron vigor y solo se han recuperado parcialmente de la mano del INAP y, más recientemente, del ORS. Actualmente, la Administración foral ofrece de manera estable un curso de quince horas sobre evaluación de políticas públicas, pero las acciones de sensibilización, edición de materiales y difusión de la evaluación han pasado a ser puntuales y aisladas, más allá del ámbito de las políticas sociales propio del ORS. Un ejemplo paradigmático de esta involución es el Registro de Evaluación de Políticas Públicas y Calidad de los Servicios. El registro, accesible en su momento desde la página web del Gobierno de Navarra, se reguló y modificó a través de diversos acuerdos de la Comisión Foral (2006, 2008 y 2010) e, incluso, se editó y publicó un Manual del usuario en 2011 para facilitar el acceso por parte de la ciudadanía. Desgraciadamente, con el período de crisis y el cambio de Gobierno, el Registro dejó de ser mantenido y desde hace años el enlace es inaccesible, incumpliendo así la Ley 21/2005, que estipula que el Registro debe ser público y gratuito.

En relación con las acciones de planificación de la evaluación y de revisión de las evaluaciones, podemos considerar el informe de evaluación de aplicación de la ley 21/2005, realizado en 2009, en tanto que revisa algunos aspectos de las evaluaciones entonces contenidas en el Registro y, además, propone un plan de mejora que, más tarde, se acompaña de un informe sobre las posibilidades de evolución del sistema público de evaluación de Navarra. Lamentablemente, estas recomendaciones no tuvieron seguimiento y actualmente la planificación de la evaluación se limita a las políticas sociales que dependen de la Dirección General del ORS de Navarra.

Las acciones de estímulo y reconocimiento figuraban en la Ley 21/2005, pero solo en relación con la calidad de los servicios públicos, para los que se promovió la organización y entrega de premios a la calidad y a las buenas prácticas. Recientemente, desde el ORS se ha lanzado la convocatoria de los primeros premios a Proyectos e Iniciativas de Evaluación en Navarra13, con las modalidades de estudios teóricos, evaluaciones prácticas y análisis comparativos.

Finalmente, no hay constancia de ninguna acción de financiación de evaluaciones o de acciones estables de asesoramiento, acompañamiento y seguimiento de evaluaciones dirigidos a otras unidades administrativas.

Variable 1.1.4. ¿Existen unidades específicas de evaluación en las Consejerías?

La estructura y enfoque de las unidades dedicadas a este propósito varían significativamente en Andalucía, Cataluña y Navarra.

En Andalucía, el impulso en materia de evaluación lo lidera el IAAP –adscrito actualmente en la Consejería de Justicia, Administración Local y Función Pública– desde la Subdirección de Evaluación e Innovación en la Administración Pública. Como se ha comentado, el Área EPP es la unidad específica en materia de evaluación, no siendo uniforme la relación del resto de consejerías con la evaluación. Existen evidencias de distintas consejerías de la Junta de Andalucía que tradicionalmente han asumido competencias de gestión de evaluación desde un punto de vista sectorial14, pero desde concepciones diferentes de evaluación y, en su mayoría, sin personal especializado en este ámbito.

En Cataluña, la relación de los distintos departamentos con la evaluación también muestra falta de uniformidad. Algunas consejerías, como Salud, Educación y Cooperación al Desarrollo, tienen una tradición más o menos consolidada en la evaluación y cuentan con agencias u órganos sectoriales de evaluación15. Los gabinetes técnicos de cada Consejería, en teoría, asumen las competencias de gestión de la evaluación. Sin embargo, un estudio reciente señala que seis de las trece consejerías no tienen un equipo interno dedicado a la evaluación de políticas (Cerrillo, 2023Cerrillo Martín, I. (2023). Estat de l’avaluació a Catalunya. Situació actual i reptes de futur per la promoció de l’avaluació. Ivàlua. https://ivalua.cat/sites/default/files/inline-files/Estat%20de%20l%E2%80%99avaluacio%CC%81%20Cat_Def_0.pdf).

Por su parte, en Navarra la visión sectorial prevalece en algunas áreas específicas. La Dirección General del ORS de la Consejería de Derechos Sociales, el Servicio Navarro de Empleo SNE-NL, la Consejería de Educación y el Departamento de Salud tienen unidades dedicadas a la planificación y evaluación de políticas en sus respectivos campos. Sin embargo, más allá de estos casos no se observa una homogeneidad en todas las unidades de los departamentos de la Administración foral en cuanto a la dedicación a la EPP.

Variable 1.1.5. ¿Existen organismos públicos de carácter transversal y específicos de evaluación (agencias o similar)?

Andalucía y Navarra no prevén un organismo público autónomo de carácter transversal y específico de evaluación, como sería el modelo de una agencia pública u organismo similar. Aunque en el caso de Andalucía es evidente que desde el año 2015 este rol de referencia se le puede asignar al Área EPP, integrada en la Subdirección de Evaluación e Innovación en la Administración Pública del IAAP.

Las principales actividades desarrolladas en estos años son más de sensibilización, formación, divulgación y promoción, así como de asesoramiento a los distintos organismos y consejerías, aunque con una capacidad de actividad evaluadora limitada. Si bien hay un creciente interés por la evaluación dentro de la Junta de Andalucía, que se refleja en el número de asesoramiento y evaluaciones anuales en los que ha participado o está participando actualmente el área.

En cambio, en Navarra el órgano que ostenta las competencias de evaluación, creado expresamente por la Ley 21/2005, es la Comisión Foral para la Evaluación de las Políticas Públicas y la Calidad de los Servicios Públicos. Se trata, pues, de una unidad inserta en la organización autonómica y no de un órgano autónomo al estilo de una agencia pública. Pero desde 2011, como consecuencia de la crisis económica y los cambios de Gobierno, la Comisión Foral se encuentra inactiva y el Servicio de Calidad se ha desmantelado.

Sin embargo, en Cataluña existe el Insitut Català d’Avaluació de Polítiques Públiques (Ivàlua), un consorcio público adscrito a la Generalitat de Cataluña a través del departamento competente en materia de economía y finanzas. Se trata de una entidad de derecho público de carácter asociativo y voluntario, de duración indefinida y con capacidad para crear y gestionar servicios y realizar actividades en los términos que establece la normativa aplicable a las entidades consorciadas. Un poco más de un tercio de las evaluaciones que constan en el Repositorio de Evaluaciones de Políticas Públicas de Cataluña han sido realizadas por Ivàlua (un total de 38 sobre 105).

Práctica

Variable 1.2.1. ¿Cuál es la intensidad, frecuencia y características de la práctica evaluadora?

No existe un repositorio de evaluaciones de políticas públicas en Andalucía. La única información disponible lo es a través de la plataforma de contratación pública de la Junta de Andalucía16 y la facilitada por el Área EPP en las memorias anuales de actividad. En el periodo 2008-2020 se han encontrado 78 registros en referencia a evaluaciones de planes y/o programas (14 evaluaciones ex ante, tres análisis de evaluabilidad, 8 de evaluación intermedia y cincuenta y 3 finales). Además, en el caso del Área EPP se han realizado estudios/investigaciones y se ha participado o aún se está participando en cuarenta y cinco asesoramientos metodológicos para el desarrollo de diferentes estrategias en la JdA.

Gráfico 1. Número de evaluaciones por año en Andalucía (2016-2020)

Fuente: elaboración propia a partir de los datos de la plataforma de contratación pública de la Junta de Andalucía y las memorias del Área EPP del IAAP.

El gráfico 1 muestra que el incremento del número de evaluaciones tiene una tendencia creciente. En cuanto al tipo de evaluaciones, el 68 % se corresponden con evaluaciones finales, el 22 % con evaluaciones ex ante (incluidos los análisis de evaluabilidad) y el 10 % con evaluaciones intermedias. Respecto al ámbito sectorial de las evaluaciones (gráfico 2), destaca la preponderancia de las evaluaciones en los campos de promoción económica (35 %), Administración pública (16 %), Medio Ambiente y Sanidad, con el 12 % respectivamente, asuntos sociales y desigualdad (10 %) y agricultura (6 %). El resto de campos tienen una presencia más discreta.

Gráfico 2. Ámbito sectorial de las evaluaciones en Andalucía

Fuente: elaboración propia a partir de los datos de la plataforma de contratación pública de la Junta de Andalucía y las memorias del Área EPP del IAAP.

En Cataluña, en los quince años comprendidos entre 2006 y 2020, el Repositorio identifica 105 registros de evaluaciones. Para este análisis, se han añadido a esta base de datos las evaluaciones más recientes realizadas por Ivàlua y que no constaban todavía en el Repositorio (años 2019 y 2020). Asimismo, se han añadido las evaluaciones realizadas en el marco del programa PROAVA (edición 2020), que tampoco constaban en el Repositorio. Así pues, la base de datos del estudio cuenta con 135 evaluaciones, que se distribuyen de la forma siguiente (gráfico 3):

Gráfico 3. Número de evaluaciones en Cataluña periodo 2006-2020

Fuente: elaboración propia a partir de los datos del Repositori d’avaluacions de Polítiques Públiques, Ivàlua i el programa PROAVA.

En cuanto al tipo de evaluación, observamos que el 33 % de las evaluaciones eran o contenían aspectos propios de la evaluación de impacto. Respecto al ámbito sectorial de las evaluaciones (gráfico 4), destaca la preponderancia de las evaluaciones en los campos de salud (25 %) y asuntos sociales y desigualdad (22 %), que juntas suponen casi la mitad de las evaluaciones. Les siguen educación (12 %) y justicia y seguridad (10 %). Ningún otro ámbito sectorial supera el 7 %.

Gráfico 4. Ámbito sectorial de las evaluaciones en Cataluña

Fuente: elaboración propia a partir de los datos del Repositori d’avaluacions de Polítiques Públiques, Ivàlua i el programa PROAVA.

En referencia a Navarra, la inoperancia del Registro de Evaluación de Políticas y Servicios Públicos, previsto por Ley foral 21/2005, ha hecho dificultosa la tarea de cuantificar las evaluaciones de políticas públicas de las Administraciones navarras. Aun así, a través del documento de evaluación del grado de aplicación de la Ley 21/2005, realizada en 2019, se han podido validar 13 evaluaciones realizadas entre 2006 y 2009.

Complementariamente, se ha usado la base de datos del Centro de Documentación del Observatorio de la Realidad Social de Navarra, que cuenta con abundante documentación. A partir de la aplicación de varios filtros relevantes se han identificado 34 registros coincidentes con evaluaciones de políticas públicas, que se han añadido a los 13 registros identificados previamente17. Así pues, la base de datos cuenta con un total de 47 evaluaciones que se distribuyen de la forma siguiente (gráfico 5):

Gráfico 5. Número de evaluaciones en Navarra periodo 2006-2020

Gráfico 6. Número de evaluaciones en Navarra periodo 2006-2020

Fuente: elaboración propia a partir de los datos del documento de evaluación del grado de aplicación de la Ley 21/2005 y del Centro de Documentación del Observatorio de la Realidad Social de Navarra.

En cuanto al tipo de evaluación, observamos que el 32 % de las evaluaciones eran o contenían aspectos propios de la evaluación de impacto. Respecto al ámbito sectorial de las evaluaciones, destaca la preponderancia de las evaluaciones en los campos de asuntos sociales e igualdad (36 %) y ocupación y emprendeduría (26 %). La suma de estos dos sectores representa casi las dos terceras partes de las evaluaciones y, en cambio, ningún otro ámbito sectorial supera el 9 %.

Gráfico 6. Ámbito sectorial de las evaluaciones en Navarra

Gráfico 7. Ámbito sectorial de las evaluaciones en Navarra

Finalmente, en relación con el nivel de gobierno correspondiente a las políticas evaluadas, observamos que en Andalucía y Navarra todas ellas pertenecen al ámbito autonómico y ninguna al ámbito local. Tendencia muy distinta en el caso de Cataluña, donde el 53 % de las evaluaciones pertenecen a políticas públicas de nivel local, mientras que el 47 % restante pertenecen a políticas públicas de nivel autonómico (gráfico 7). La presencia de evaluaciones en el ámbito local es una diferencia significativa con la práctica evaluadora de Andalucía y Navarra.

Gráfico 7. Nivel de gobierno correspondiente a las políticas evaluadas en Cataluña

Gráfico 8. Nivel de gobierno correspondiente a las políticas evaluadas en Cataluña

Fuente: elaboración propia a partir de los datos del Repositori d’avaluacions de Polítiques Públiques, Ivàlua i el programa PROAVA.

Uso

Variable 1.3.1. ¿Cuándo, cómo y para qué se usan las evaluaciones por parte del Ejecutivo?

El uso de la EPP por parte del ejecutivo en las tres CC. AA. es un aspecto poco estudiado, y destaca la variabilidad en la priorización y aplicación de estos procesos evaluativos.

En Andalucía, el análisis se centra en el trabajo del Área EPP, con especial atención a un estudio de 2018 sobre la calidad de los planes estratégicos (IAAP, 2019IAAP (2019). Evaluación de realización y resultados Área de Evaluación de Políticas Públicas del IAAP 216-2018. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/memoriaevaluacion20162018.pdf). Este análisis condujo a una mayor prioridad de las evaluaciones ex ante, con el objetivo de mejorar la eficiencia y eficacia de la acción pública, así como avanzar en el análisis de evaluabilidad. Aunque no se requiere la evaluación, se reconoce su potencial para mejorar la transparencia y la rendición de cuentas, aunque no hay evidencias claras de su uso hasta ahora.

En Cataluña existen dos referencias interesantes que nos pueden ser útiles a modo introductorio. El estudio realizado por Comas y Vílchez (2018)Comas, N. y Vílchez, D. (2018). L’ús de les avaluacions d’Ivàlua (2008-2016). Una anàlisi de com les avaluacions enforteixen les polítiques públiques. Institut Català d’Avaluació de Polítiques Públiques (Ivàlua). https://qrcd.org/3w6N sobre el uso de 32 evaluaciones realizadas por Ivàlua entre los años 2008 y 2016, y el realizado por Cerrillo (2023)Cerrillo Martín, I. (2023). Estat de l’avaluació a Catalunya. Situació actual i reptes de futur per la promoció de l’avaluació. Ivàlua. https://ivalua.cat/sites/default/files/inline-files/Estat%20de%20l%E2%80%99avaluacio%CC%81%20Cat_Def_0.pdf referido al estado de la evaluación en Cataluña a partir de un análisis cuantitativo (encuesta) y cualitativo (entrevistas) dirigido a responsables y cuadros técnicos de los distintos departamentos de la Generalitat y otros organismos autónomos de la Administración catalana.

En cuanto al Gobierno de Navarra, el uso de evaluaciones de políticas públicas no ha quedado recogido de manera explícita y sistemática. Aunque existe un estudio externo de revisión de evaluaciones en 2007, la evidencia actual es escasa, a pesar de la voluntad declarada de utilizar evaluaciones para mejorar la eficiencia y eficacia de las políticas sociales desde la Dirección General del ORS.

Variable 1.3.2. ¿Cuándo, cómo y para qué se usan las evaluaciones por parte del legislativo?

Las referencias a la evaluación por parte del legislativo son escasas o residuales, lo que refleja una baja participación o interés en esta herramienta de análisis por parte del Parlamento en los tres casos. Solo destacar que en Navarra, aunque hubo un debate parlamentario significativo previo a la aprobación de la Ley 21/2005, este no se tradujo en un seguimiento constante en el tiempo. Después de la aprobación de la ley, no ha habido un debate parlamentario continuo y sustancial sobre la EPP que la ley podría haber estimulado.

3.1.2. Variables del subsistema profesional

Formación

Variable 2.1.1. ¿Existe formación universitaria específica en el ámbito de la evaluación?

Andalucía presenta una sólida oferta formativa relacionada con la EPP en diversas instituciones educativas. De forma sintética, se han encontrado evidencias de la existencia de: asignaturas en diferentes universidades andaluzas con referencia directa a la EPP (Almería, Granada, Jaén, Málaga, Sevilla); cursos de verano en la Universidad de Almería (UAL) o la UNIA; másteres en la Universidad Internacional de Andalucía (UNIA) y en la Universidad Pablo de Olavide que incluyen la EPP como parte relevante de la materia, así como un curso de experto y un máster específico de EPP, ambos de la Universidad de Sevilla. Es destacable también la presencia de equipos de investigación en las universidades y otras entidades con interés por las evaluaciones. Como ejemplo, hacer mención al Instituto de Estudios Sociales Avanzados de Andalucía (IESA-CSIC), cuya actividad investigadora está orientada en torno a cinco áreas: sociología política, evaluación de políticas públicas, territorio y desarrollo, cooperación internacional e investigación científica. O la Cátedra Carlos Román de Evaluación de Políticas Públicas de la Universidad de Sevilla creada en 2013.

Sin embargo, tanto en Cataluña como en Navarra no existe formación universitaria específica sobre evaluación. Si bien, en el caso de Cataluña algunos grados, posgrados y másteres en ciencias sociales sí contienen asignaturas específicas como parte de su currículo. Algunas de estas asignaturas son impartidas en colaboración con expertos de Ivàlua18. Y en Navarra, aunque no se ofrece formación, hay que mencionar la existencia del grupo de investigación ALTER de la Universidad Pública de Navarra (UPNA), que recibió el I Premio a los Proyectos e Iniciativas de Evaluación de Políticas Públicas del Gobierno de Navarra19 en 2020.

Variable 2.1.2. ¿Existe otro tipo de formación no académica sobre evaluación?

En el ámbito de la formación no académica, se observan dinámicas y enfoques diversos. En Andalucía, el IAAP lidera una amplia oferta de niveles iniciales y avanzados destinada al personal vinculado a la Junta de Andalucía, así como MOOCs que han alcanzado impacto nacional e internacional. Desde 2016, más de 6800 personas han participado en diecinueve acciones de formación inicial, 367 en diecinueve acciones de nivel avanzado, y más de 8700 en siete MOOCs, siendo el 75 % personal de la Administración andaluza.

Cataluña, a través de Ivàlua, ofrece formación no académica por medio de cursos propios y a medida. Estos cursos, dirigidos a diversos perfiles20, llegaron a 60 personas en 2019, y 116 se formaron a través de cursos a medida (Ivàlua, 2020Ivàlua (2020). Memòria d’activitats 2019. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202019.pdf). En el caso de la formación a medida, se adapta a las necesidades de Administraciones y organizaciones del tercer sector. Mientras tanto, en Navarra el Instituto Navarro de Administración Pública (INAP) y el ORS desempeñan roles fundamentales, ofreciendo cursos específicos21 y un ciclo de talleres sobre evaluación del impacto social desde 2020.

Organización

Variable 2.2.1. ¿Existe una organización profesional (VOPE)?

En ninguna de las CC. AA. existe una organización profesional específica de EPP, como la Sociedad Española de Evaluación (SEE) a nivel estatal. Sin embargo, la presencia de la SEE con sede en Sevilla, liderada desde la Universidad de Sevilla, ha influido en el impulso de la cultura de la evaluación en la región andaluza, organizando congresos bienales desde 2001. Muy vinculada a la SEE destaca también la Cátedra Carlos Román de Evaluación de Políticas Públicas, creada en 2013 en el seno de la Universidad de Sevilla. A lo que habría que sumar dos iniciativas que fomentan la participación de profesionales interesados en EPP, como el grupo de la Red Profesional de la Junta de Andalucía y GPE que colabora con el Área EPP.

En Cataluña, aunque no hay una organización específica, la Generalitat impulsa la comunidad COAVA, una red de profesionales del sector público que promueve encuentros periódicos para compartir conocimientos y experiencias en EPP. Y, por otro lado, Ivàlua también lidera una Red de Profesionales de la Evaluación, con 162 miembros (Ivàlua, 2021Ivàlua (2021). Memòria d’activitats 2020. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202020%20Def.pdf), que difunde licitaciones y contenido técnico relevante.

Por último, en Navarra, a pesar de la ausencia de una organización profesional establecida, la iniciativa de la Red de Evaluación, creada en 2007, representó un esfuerzo para colaborar y compartir ideas sobre evaluación de políticas públicas. Sin embargo, esta experiencia perdió impulso al desaparecer el Servicio de Evaluación y Calidad del INAP.

Estándares

Variable 2.3.1. ¿Existen estándares o guías publicados sobre la práctica de la evaluación?

Cataluña, por su parte, cuenta con una colección de dieciséis guías elaboradas por Ivàlua que abordan modalidades de evaluación, sectores específicos y entornos particulares como el tercer sector social. Además, la serie Toolkit, lanzada en 2020, ofrece once guías más ágiles y visuales para acercar la evaluación a las organizaciones mediante preguntas clave.

En Navarra, la relevancia inicial del Protocolo de evaluabilidad de las políticas públicas en la Comunidad Foral de Navarra (2008) se destaca como un hito pionero en España. También en este primer periodo se elaboró un Cuaderno práctico de gestión de evaluaciones y un Modelo de pliego de condiciones técnicas para la contratación de evaluaciones, entre otros materiales. Más recientemente, en 2020, y bajo el encargo del ORS de Navarra, se ha editado una Guía para la evaluación de las políticas sociales, aunque la falta de acceso centralizado a estas guías plantea desafíos para establecer estándares compartidos.

3.1.3. Variables del subsistema social

Accesibilidad

Variable 3.1.1. ¿Existen repositorios públicos y accesibles de las evaluaciones?

La gestión de la EPP ha adoptado enfoques diversos en la creación y mantenimiento de repositorios. En Andalucía, actualmente, no se dispone de un repositorio en materia de evaluación. La información sobre las evaluaciones realizadas se ha podido extraer principalmente de las memorias anuales del Área EPP del IAAP y la plataforma de contratación pública de la Junta de Andalucía, hasta totalizar 77 registros. Un reto al que debe hacer frente la Administración andaluza es la creación de un repositorio de evaluaciones actualizado.

En cambio, Cataluña destaca por su iniciativa conjunta de Ivàlua y la Universidad Pompeu Fabra, el Repositorio de Evaluaciones de Políticas Públicas. Esta plataforma web, creada en 2019, alberga actualmente 105 registros y proporciona un acceso organizado y detallado a las evaluaciones realizadas en la región. Mientras, en Navarra la creación del Registro de Evaluación de Políticas y Servicios Públicos bajo la Ley foral 21/2005 fue un hito relevante. Sin embargo, tras la crisis y cambios gubernamentales, el registro dejó de mantenerse y en la actualidad ya no es accesible. Aunque a algunas evaluaciones recientes se puede acceder desde la página web del ORS, la falta de mantenimiento dificulta la consulta de manera integral.

Sociedad civil

Variable 3.2.1. ¿Cómo es la discusión pública sobre las evaluaciones en medios de comunicación?

Tanto en Andalucía como en Cataluña y Navarra, la atención mediática hacia las EPP es escasa, lo que ilustra una tendencia general en el panorama español. La falta de estudios específicos en estas regiones dificulta un análisis más detallado sobre la relación entre la EPP y los medios de comunicación.

Variable 3.2.2. ¿Cómo es el conocimiento general sobre las evaluaciones y su uso?

La percepción común es que el entendimiento en estas comunidades sobre las evaluaciones y su aplicación es limitado. En este sentido, Bustelo (2020)Bustelo, M. (2020). Spain. En R. Stockmann, W. Meyer y L. Taubel (eds.), The Institutionalisation of Evaluation in Europe (pp. 303-327). Palgrave Macmillan. https://doi.org/10.1007/978-3-030-32284-7_12 sugiere una falta general de uso y demanda de EPP por parte de la sociedad civil en España. La ausencia de análisis exhaustivos señala la necesidad de profundizar en la comprensión de la percepción ciudadana y su relación con las EPP en estas regiones.

3.2. Resultados comparados del índice de institucionalización de la EPP

A partir del análisis realizado en el apartado anterior, podemos sintetizar el nivel de institucionalización de la evaluación en Andalucía, Cataluña y Navarra. Para ello, valoramos cada una de las variables según los criterios que hemos expuesto en la metodología. Es relevante recordar que el interés del índice no reside en establecer un ranking, sino en abrir una vía de investigación que permita estudios diacrónicos sobre la evolución de la institucionalización de la evaluación en estas comunidades y, eventualmente, también en otras.

Tabla 2. Índice comparado de la institucionalización de la evaluación en Andalucía, Cataluña y Navarra

Subsistema	Ámbito	Código	Pregunta		Andalucía	Cataluña	Navarra
Político	Institucional	1.1.1	Existen leyes específicas sobre la evaluación de las políticas públicas		0	0	1
		1.1.2	Existen leyes o regulaciones parciales o sectoriales sobre la evaluación		1	1	1
		1.1.3.1	Exísten políticas, programas o estrategias transversales sobre la evaluación y su uso	acciones de estímulo y reconocimiento	0	0	0,5
		1.1.3.2		acciones de sensibilización y formación interna	1	1	0,5
		1.1.3.3		acciones de generación de conocimiento	0,5	1	0,5
		1.1.3.4		acciones de dinamización de la comunidad epistémica	0,5	0,5	0
		1.1.3.5		acciones de comunicación y difusión	0,5	0,5	0,5
		1.1.3.6		acciones de financiación de evaluaciones	0	0,5	0
		1.1.3.7		acciones de asesoramiento, acompañamiento y seguimiento	0,5	0,5	0
		1.1.3.8		acciones de planificación de la evaluación	0,5	0,5	0
		1.1.3.9.		acciones de revisión de las evaluaciones	0,5	0,5	0,5
		1.1.4	Existen unidades específicas de evaluación en las Consejerías		0,5	0,5	0,5
		1.1.5	Existen organismos públicos autónomos de evaluación		0	1	0
	Práctica	1.2.1	Cuál es la intensidad y frecuencia de la práctica evaluadora		0	0	0
	Uso	1.3.1	Cúando, cómo y para qué se usan las evaluaciones por parte del ejecutivo		0,5	0,5	0,5
	Uso	1.3.2	Cúando, cómo y para qué se usan las evaluaciones por parte del legislativo		0	0	0
Valor máximo del subsistema político (sobre un máximo de 16)					6	8	5,5
Profesional	Formación	2.1.1	Existe formación universitaria específica en el ámbito de la evaluación		1	0	0
	Formación	2.1.2	Existe otro tipo de formación no académica sobre evaluación		1	1	0,5
	Organización	2.2.1	Existe una organización profesional (VOA)		0	0	0
	Estándares	2.3.1	Existen estándares o guías publicados sobre la práctica de la evaluación		0,5	1	0,5
Valor máximo del subsistema profesional (sobre un máximo de 4)					2,5	2	1
Social	Accesibilidad	3.1.1	Existen repositorios públicos y accesibles de las evaluaciones		0,5	1	0,5
	Sociedad civil	3.2.1	Cómo es la discusión pública sobre la evaluación en medios de comunicación		0	0	0
	Sociedad civil	3.2.2	Cómo es el conocimiento general sobre las evaluaciones y su uso		0	0	0
Valor máximo del subsistema social (sobre un máximo de 3)					0,5	1	0,5
Valor máximo del índice (sobre un máximo de 23)					9	11	7

Fuente: elaboración propia.

Como se puede observar (tabla 2), sobre un total de 23 puntos, la institucionalización de la evaluación en Andalucía obtiene 9 puntos, mientras que Cataluña obtiene 11 y Navarra 7.

El subsistema político es el que más variables concentra, con un total de 16. En este subsistema Andalucía obtiene 6 puntos, Cataluña 8 y Navarra 5,5. Las principales diferencias se concentran en dos variables dicotómicas opuestas, la 1.1.1 (en Navarra existe una ley específica de evaluación, mientras que en Andalucía y Cataluña no), y la 1.1.5 (en Cataluña existe un organismo autónomo de evaluación, mientras que en Andalucía y Navarra no). Las únicas acciones maduras en relación con las políticas de promoción de la evaluación hacen referencia a acciones de sensibilización y formación (variable 1.1.3.1) en Andalucía y Cataluña, y acciones de generación de conocimiento en Cataluña (1.1.3.2).

En cuanto a la práctica de la evaluación (1.2.1), se estima una baja intensidad y frecuencia en las tres CC. AA., propia de sistemas evaluativos poco maduros. La principal diferencia en la práctica evaluadora de las tres CC. AA. se encuentra en el tipo de evaluaciones. En Cataluña el 53 % de las evaluaciones provienen del nivel de gobierno local, mientras que en Andalucía y Navarra todas provienen del nivel de gobierno autonómico. Respecto al uso de las evaluaciones, como es propio de los sistemas parlamentarios, este solo se ha producido a nivel del poder ejecutivo (1.3.1). Aun así, se trata de un uso residual y poco documentado tanto en Andalucía, como en Cataluña y Navarra.

En el subsistema profesional se valoran cuatro ítems. En este subsistema Andalucía obtiene 2,5 puntos, Cataluña 2 y Navarra 1. Los datos muestran que este subsistema está más desarrollado en Andalucía, debido especialmente a la oferta formativa universitaria en EPP (variable 2.1.1), que solo esta comunidad ofrece.

Finalmente, el subsistema social es, con diferencia, el menos desarrollado en los tres casos analizados, siguiendo la misma pauta que ya señaló Bustelo (2020)Bustelo, M. (2020). Spain. En R. Stockmann, W. Meyer y L. Taubel (eds.), The Institutionalisation of Evaluation in Europe (pp. 303-327). Palgrave Macmillan. https://doi.org/10.1007/978-3-030-32284-7_12 en su estudio del caso español y que, de hecho, es una tendencia europea (Stokmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al., 2020Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.). De los 3 puntos posibles en este subsistema, Cataluña obtiene 1, Andalucía 0,5 y Navarra 0,5. En este ámbito, la diferencia principal es que Cataluña cuenta con un repositorio online específico sobre evaluación con carácter público y gratuito.

4. DISCUSIÓN

4.1. Sobre el nivel de institucionalización de la evaluación

El nivel de institucionalización de la evaluación en las tres CC. AA. analizadas es un tanto desigual, con diferencias significativas en los subsistemas político y profesional y similitudes en el subsistema social.

En el subsistema político, Cataluña se destaca con 8 puntos, evidenciando una mayor formalización y consolidación de la EPP en comparación con Andalucía (6 puntos) y Navarra (5,5 puntos). Las variables 1.1.1 y 1.1.5 revelan las diferencias más significativas, donde Navarra posee una ley específica de evaluación, mientras que Cataluña cuenta con un organismo autónomo dedicado a esta función. Estas divergencias subrayan la importancia de la legislación y la presencia de organismos especializados para fortalecer la institucionalización de la evaluación.

En Cataluña, la institucionalización de la evaluación ha pivotado sobre el consorcio Ivàlua y sin una ley específica. En Navarra, el proceso se ha desarrollado a través de una norma jurídica, a partir de la cual se han creado unidades insertas en la organización autonómica. Sin embargo, en Andalucía no hay una ley de evaluación ni tampoco se puede hablar de un organismo público autónomo en sentido estricto, pero el desarrollo institucional parece tomar un modelo más parecido al de Cataluña.

Las acciones maduras relacionadas con la promoción de la evaluación se limitan a iniciativas de sensibilización y formación en Andalucía y Cataluña, y a la generación de conocimiento en Cataluña. La existencia de estas iniciativas indica una conciencia sobre la importancia de fomentar la práctica evaluativa en diversos ámbitos y pueden ser consideradas como un primer paso hacia la consolidación de la cultura evaluativa. En contraste, la ausencia de acciones maduras de promoción de la evaluación en Navarra destaca la necesidad de un enfoque más orientado en la sensibilización y la formación de diversos actores para fomentar la cultura de la evaluación.

Es importante, no obstante, analizar la cobertura y accesibilidad de estas acciones para asegurar que lleguen a un público diverso y que contribuyan de manera efectiva a la comprensión y aprecio de la EPP. Además, se ha de seguir avanzando en el resto de acciones que actualmente tienen un desarrollo menor, como, por ejemplo: dinamización de la comunidad epistémica, comunicación y difusión, financiación, asesoramiento, planificación y revisión de las evaluaciones. Sabemos que en un contexto de débil anclaje institucional, con una cultura política poco proclive a la evaluación, estas variables resultan esenciales si entendemos el proceso de institucionalización como un proceso cultural de transmisión de valores (Lázaro, 2015Lázaro, B. (2015). Comparative study on the institutionalization of evaluation in Europe and Latin America. EUROsociAL. http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf).

En cuanto a la práctica de la evaluación, vale la pena resaltar algunas consideraciones que se desprenden del análisis comparado de las evaluaciones publicadas. En el período 2006-2020 en Cataluña se han podido identificar 135 evaluaciones, en Andalucía 78 y en Navarra 47. Comparativamente, las poblaciones de Andalucía y Cataluña son similares, pero, en cambio, multiplican por doce la población de Navarra. En este sentido, la producción evaluadora de Navarra es muy meritoria y pone en entredicho la hipótesis que la producción de evaluaciones depende del tamaño poblacional, tal como indican algunos estudios (Balthasar, 2010Balthasar, A. (2010). Are there bases for evidence-based health policy in Switzerland? Factors influencing the extent of evaluation activity in health policy in the Swiss cantons. Evidence and Policy: A Journal of Research, Debate and Practice, 6(3), 333-349. https://doi.org/10.1332/174426410X524820). Por otra parte, el número de evaluaciones en Andalucía se debe, al menos, a dos razones: por una parte, el impulso a la institucionalización de la evaluación en esta comunidad empieza de forma más tardía y, por otra, cabe reconocer que existen más evaluaciones no registradas públicamente.

En la práctica de la evaluación, se observa una baja intensidad y frecuencia en las tres CC. AA., lo que indica sistemas evaluativos aún en desarrollo. La disparidad en el origen de las evaluaciones es llamativa en la descentralización en Cataluña, donde más de la mitad provienen del nivel local, en contraste con Andalucía y Navarra, donde predominan las evaluaciones a nivel autonómico. Este hallazgo subraya la importancia de considerar la diversidad de contextos y niveles administrativos al diseñar estrategias de evaluación.

En Andalucía, Cataluña y Navarra, el uso de las evaluaciones se limita, en gran medida, al ámbito del poder ejecutivo, lo que evidencia un enfoque tradicional en el que las evaluaciones informan principalmente a la gestión interna de los programas y políticas gubernamentales. Sin embargo, es importante señalar que este uso es residual y poco documentado en todos los casos, lo que sugiere una oportunidad para mejorar la transparencia y la rendición de cuentas en la aplicación de la evaluación.

A nivel profesional, el liderazgo de Andalucía en este aspecto revela un compromiso más robusto con la preparación académica de profesionales en evaluación. La existencia de programas formativos específicos en universidades andaluzas no solo contribuye a la formación especializada de expertos en EPP, sino que también crea una base sólida para la incorporación de enfoques evaluativos en diversos sectores profesionales. Este enfoque integral puede tener un impacto positivo en la calidad y la relevancia de las evaluaciones realizadas. En contraste, la ausencia de una oferta formativa similar en Cataluña y Navarra sugiere una brecha significativa en la preparación académica de profesionales en el campo de la evaluación.

En cuanto a la formación no académica, Andalucía y Cataluña destacan por la diversidad y amplitud de su oferta formativa no académica en evaluación. En contraste, en Navarra no se identifican iniciativas específicas de formación no académica relevantes en el ámbito de la evaluación. La falta de acciones en este sentido podría indicar una oportunidad de mejora, ya que la formación no académica desempeña un papel crucial en la sensibilización y capacitación de profesionales que, si bien no buscan un enfoque académico, desean adquirir habilidades prácticas y conocimientos aplicables en el ámbito laboral.

Por otro lado, aunque las tres CC. AA. muestran iniciativas significativas en la producción de guías y manuales, es esencial destacar la necesidad de una accesibilidad y centralización de estos recursos para facilitar el intercambio de conocimientos y coherencia en la aplicación de la EPP.

Finalmente, dentro del subsistema social, el desarrollo en general presenta una oportunidad de mejora. La presencia de un repositorio online específico en Cataluña destaca la importancia de facilitar el acceso a información sobre las evaluaciones para el público en general.

4.2. Sobre los factores explicativos

Según las cuestiones analizadas, ¿por qué ha avanzado más la institucionalización en unos casos que en otros? En la búsqueda de factores explicativos la mayor parte de la literatura comparativa sobre institucionalización de la evaluación parte del contraste entre marcos estatales. Los principales factores explicativos que se han hallado desde esta perspectiva son las características constitucionales de cada país, su situación fiscal, la constelación política y la influencia externa ejercida por los donantes (Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al., 2020Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.). Planteadas de esta forma, estas variables tienen poco poder explicativo en nuestra investigación, pues comparamos territorios de un mismo Estado, donde estas variables permanecen iguales o muy similares. Sin embargo, hay otro factor, la independencia efectiva de los órganos de evaluación respecto del poder ejecutivo (Varone y Jacob, 2004Varone, F. y Jacob, S. (2004). Institutionnalisation de l’évaluation et nouvelle gestion publique: un état des lieux comparatif. Revue internationale de politique comparée, 11(2), 271-292. https://doi.org/10.3917/ripc.112.0271; Chelimsky, 2008Chelimsky, E. (2008). A clash of cultures: Improving the “fit” between evaluative independence and the political requirements of a democratic society. American Journal of Evaluation, 29(4), 400-415. https://doi.org/10.1177/1098214008324465; Lázaro, 2015Lázaro, B. (2015). Comparative study on the institutionalization of evaluation in Europe and Latin America. EUROsociAL. http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf; Catalá y De Miguel, 2019Catalá, D. y De Miguel, M. (2019). La institucionalización de la evaluación de las políticas públicas en la Comunitat Valenciana: una necesidad inaplazable. Anals de la Real Acadèmia de Cultura Valenciana, (94), 329-368.; Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al., 2020Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.), que puede apuntarse también como elemento clave, y que es especialmente relevante en un contexto como el nuestro de Estado descentralizado y autonomías con amplias competencias.

Fijémonos en las variables divergentes entre sistemas similares bajo el planteamiento MSSD. Para ello, retomamos el marco analítico que hemos diseñado para valorar el grado de institucionalización de la evaluación, donde cada una de las preguntas informa una o varias variables independientes en nuestra investigación. Cabe hacer dos advertencias antes de continuar. En primer lugar, la desviación posible de las variables es pequeña, pues están planteadas de forma dicotómica (0-1) o tricotómica (0-0,5-1). En segundo lugar, se han escogido deliberadamente tres casos referentes de la evaluación en España, por lo que no deben esperarse grandes diferencias entre ellos.

Teniendo esto en cuenta, un primer análisis nos lleva a destacar las variables más divergentes entre comunidades. Veamos, en primer lugar, la variable 1.1.5 (¿existen organismos públicos autónomos de carácter transversal y específicos de evaluación?), por la que vemos que Cataluña es la única comunidad que cuenta con un organismo público y autónomo específico de evaluación. En efecto, en Cataluña la institucionalización de la evaluación ha pivotado sobre el consorcio Ivàlua, con un alto grado de independencia que ya hemos explicado, mientras que en el caso de Andalucía y Navarra se han creado unidades insertas en la organización autonómica. En segundo lugar, la variable 1.1.1 (¿existen leyes o regulaciones específicas y transversales sobre evaluación de políticas públicas?), por la que vemos que Navarra es la única comunidad que cuenta con una ley específica, siendo pionera en España en este campo. Y, finalmente, la variable 2.1.1 (¿existe formación universitaria específica en el ámbito de la evaluación?), por la que vemos que Andalucía sobresales por ser la única de las tres comunidades que cuenta con formación universitaria en el ámbito de la evaluación.

Si bien es difícil decantarse por la relevancia de una variable frente a otras en un índice complejo como el que nos ocupa, bien podría sostenerse que el mayor desarrollo de la institucionalización de la evaluación en Cataluña podría relacionarse con la variable 1.1.5, reforzando así la hipótesis de la importancia de la independencia efectiva de los órganos de evaluación respecto del poder ejecutivo como elemento potencialmente facilitador. En cambio, la variable 1.1.1 tendría poco poder explicativo en nuestro análisis, en el sentido que la existencia de una ley específica sobre evaluación no parece impulsar la institucionalización de la evaluación en mayor grado que las comunidades que no disponen de dicha normativa.

La variable 2.1.1 sería también un factor destacado, sobre todo teniendo en cuenta el desarrollo de la institucionalización de la evaluación en Andalucía, la única que goza de formación universitaria en este ámbito. Sabemos que, en un contexto de débil anclaje institucional, con una cultura política poco proclive a la evaluación, es esencial invertir tiempo y recursos en acciones de sensibilización y formación al nivel más básico (Lázaro, 2015Lázaro, B. (2015). Comparative study on the institutionalization of evaluation in Europe and Latin America. EUROsociAL. http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf; Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al., 2020Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.). Estas variables resultan esenciales si entendemos el proceso de institucionalización como un proceso cultural de transmisión de valores.

5. CONCLUSIONES

El objetivo de este trabajo ha sido analizar la situación de la institucionalización de la evaluación en Andalucía, Cataluña y Navarra. A partir de un enfoque comparativo, el índice comparado de la institucionalización de la evaluación construido nos ha ayudado a responder a la pregunta de forma objetiva. Hemos examinado veintitrés variables correspondientes a los subsistemas político, profesional y social del sistema evaluativo. De esta forma, el índice atribuye a la institucionalización de la evaluación en Andalucía 9 puntos, 11 en Cataluña y 7 en Navarra.

El análisis ha confirmado que los sistemas evaluativos de las tres comunidades son inmaduros, en el sentido que la práctica de la evaluación no está sistematizada y la cultura de la evaluación no está extendida. Aun así, cabe destacar que hay diferencias notables entre ellos, y que cada caso cuenta con puntos fuertes y puntos débiles.

En Andalucía, el gran potencial se encuentra en el enfoque integral de la estrategia del impulso de la EPP, que contempla actuaciones de sensibilización, formación, capacitación, difusión, divulgación a través de publicaciones, jornadas, asesoramientos, evaluaciones, planificación estratégica, entre otras. A través del Área EPP del IAAP se trabaja sobre tres ejes principales: la cultura, la formación y los instrumentos técnicos que van calando dentro de la Administración. Es una iniciativa interna, desde dentro de la propia Administración andaluza, que posibilita la participación e implica al personal en el impulso y diseño de la estrategia de evaluación. Entre los puntos débiles, el poco recorrido que aún tiene la EPP y acceso a la información de las evaluaciones realizadas.

En Cataluña, los puntos fuertes son la capacidad técnica y el dinamismo de Ivàlua, sobre todo en las acciones de sensibilización, formación y generación de conocimiento. Asimismo, la coordinación con la Generalitat ha fortalecido la posición de la evaluación y ha desembocado recientemente en algunas políticas innovadoras (programas PROAVA, COAVA, CIAVA). Los puntos débiles son el poco recorrido en la implementación de estas políticas y la insuficiente dinamización de la comunidad epistémica en un sentido amplio.

En Navarra, la Ley 21/2005 continúa siendo la única en el Estado español (a nivel autonómico) específicamente dirigida a la EPP, y representa su hito más importante. También es destacable la producción evaluadora de la comunidad, comparativamente alta, teniendo en cuenta sus dimensiones. En cambio, el desmantelamiento de los órganos de impulso de la evaluación y su sustitución por otros con carácter sectorial son un punto débil que está perjudicando seriamente el desarrollo de la institucionalización de la evaluación en esta comunidad.

Por lo que respecta a los factores explicativos, los resultados de este análisis no son concluyentes, si bien el prisma MSSD adoptado nos permite aventurar algunas consideraciones.

Entre los factores explicativos detectados se resaltan factores de tipo organizacional y factores de formación y difusión cultural. En el ámbito organizacional, la existencia de órganos autónomos –especialmente Ivàlua en Cataluña– ha resultado clave por sus características de mayor independencia. Este hecho refuerza la hipótesis según la cual la independencia de los órganos de evaluación respecto del poder ejecutivo es un elemento potencialmente facilitador de la evaluación (Varone y Jacob, 2004Varone, F. y Jacob, S. (2004). Institutionnalisation de l’évaluation et nouvelle gestion publique: un état des lieux comparatif. Revue internationale de politique comparée, 11(2), 271-292. https://doi.org/10.3917/ripc.112.0271; Chelimsky, 2008Chelimsky, E. (2008). A clash of cultures: Improving the “fit” between evaluative independence and the political requirements of a democratic society. American Journal of Evaluation, 29(4), 400-415. https://doi.org/10.1177/1098214008324465; Lázaro, 2015Lázaro, B. (2015). Comparative study on the institutionalization of evaluation in Europe and Latin America. EUROsociAL. http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf; Catalá y De Miguel, 2019Catalá, D. y De Miguel, M. (2019). La institucionalización de la evaluación de las políticas públicas en la Comunitat Valenciana: una necesidad inaplazable. Anals de la Real Acadèmia de Cultura Valenciana, (94), 329-368.; Stockmann Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. et al., 2020Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.).

En el ámbito cultural, las acciones de sensibilización y formación y las acciones de generación de conocimiento se han mostrado decisivas en unos contextos de institucionalización débil y con una cultura política poco proclive a la evaluación. En este sentido, el alcance y la regularidad de estas acciones en Andalucía (la única con formación universitaria en la materia) y en Cataluña han marcado una diferencia con la discontinuidad de estas acciones en Navarra.

El modelo navarro, pionero en su momento, ha acabado acusando, seguramente, un exceso de confianza en la capacidad transformadora de las normas.

En cualquier caso, la disparidad de la institucionalización de la evaluación entre estas tres regiones subraya la necesidad de medidas específicas y adaptadas a las circunstancias particulares de cada CC. AA. Así pues, el índice creado pretende abrir una vía de investigación que permita estudios diacrónicos sobre la institucionalización de la evaluación y, a medio o largo plazo, ahondar también en sus factores explicativos y los retos a abordar de manera estratégica en el marco organizacional, normativo y contextual, donde la dimensión política es determinante. A nuestro juicio, esto debería ser un estímulo para que las administraciones se propusieran revisar y mejoras sus políticas de institucionalización de la evaluación, como una herramienta de mejora de las políticas públicas.

REFERENCIAS BIBLIOGRÁFICAS

AIReF (2021). La institucionalización de la evaluación de políticas públicas en Castilla y León: situación actual y propuestas. Autoridad Independiente de Responsabilidad Fiscal. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf

Baixauli-Cubells, M. (2014). La institucionalización de la evaluación de políticas públicas: un estudio de caso sobre el Institut Català d’Avaluació de Polítiques Públiques Ivàlua. Universidad del País Vasco, Euskal Herriko Unibertsitatea.

Balaguer, M. (2019). La institucionalización de la evaluación: reflexiones a partir de la experiencia de Iválua. En N. Neirotti (coord.), M. Mattalini y L. Carpinacci (eds.), Evaluación y toma de decisiones. Diálogo entre políticos y académicos para fortalecer la democracia (pp. 117-134). Ediciones de la UNLa.

Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Instituto Nacional de Administración Pública.

Ballart, X. (1997). Gestión pública, análisis y evaluación de políticas. Revista de Estudios Políticos (Nueva Época), (97), 223-247. https://www.cepc.gob.es/publicaciones/revistas/revista-de-estudios-politicos/numero-97-julioseptiembre-1997/gestion-publica-analisis-y-evaluacion-de-politicas-1

Balthasar, A. (2010). Are there bases for evidence-based health policy in Switzerland? Factors influencing the extent of evaluation activity in health policy in the Swiss cantons. Evidence and Policy: A Journal of Research, Debate and Practice, 6(3), 333-349. https://doi.org/10.1332/174426410X524820

Barberá Areste, O., Doria Borrell, E. J., Ntutumu, F. y Sanchis Matoses, P. (2020). La institucionalización de la evaluación de políticas públicas: la Comunitat Valenciana en perspectiva comparada. Universitat de València.

Bustelo, M. (2020). Spain. En R. Stockmann, W. Meyer y L. Taubel (eds.), The Institutionalisation of Evaluation in Europe (pp. 303-327). Palgrave Macmillan. https://doi.org/10.1007/978-3-030-32284-7_12

Bustelo, M. et. al. (2009). La situación de la evaluación en España Resultados preliminares de una encuesta realizada a la comunidad evaluadora. VI Seminario sobre experiencias de evaluación de programes y políticas públicas. Madrid.

Bustelo, M. y Ligero, J. A. (2009). La situación de la evaluación en España. VI Seminario sobre Experiencias de Evaluación de Programas y Políticas Públicas, Sevilla.

Casado, J. M. y Del Pino, E. (2021). Evolución, situación actual y retos de la evaluación de políticas públicas en las Administraciones españolas (2000-2021). Cuadernos Económicos de ICE, (102), 13-38. https://doi.org/10.32796/cice.2021.102.7308

Catalá, D. y De Miguel, M. (2019). La institucionalización de la evaluación de las políticas públicas en la Comunitat Valenciana: una necesidad inaplazable. Anals de la Real Acadèmia de Cultura Valenciana, (94), 329-368.

Cerezo, J. J., Herrera, M. e Iriarte, T. (2017). Guía de evaluación ex ante de políticas públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluacionexante.pdf

Cerezo, J. J., Zúñiga-Guevara, R. M. y Herrera, M. (2019). Guía para realizar un diagnóstico para una política pública. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/Guia_diagnostico_politica_publica.pdf

Cerrillo Martín, I. (2023). Estat de l’avaluació a Catalunya. Situació actual i reptes de futur per la promoció de l’avaluació. Ivàlua. https://ivalua.cat/sites/default/files/inline-files/Estat%20de%20l%E2%80%99avaluacio%CC%81%20Cat_Def_0.pdf

Chelimsky, E. (2008). A clash of cultures: Improving the “fit” between evaluative independence and the political requirements of a democratic society. American Journal of Evaluation, 29(4), 400-415. https://doi.org/10.1177/1098214008324465

Comas, N. y Vílchez, D. (2018). L’ús de les avaluacions d’Ivàlua (2008-2016). Una anàlisi de com les avaluacions enforteixen les polítiques públiques. Institut Català d’Avaluació de Polítiques Públiques (Ivàlua). https://qrcd.org/3w6N

Feinstein, O. (2007). Evaluación pragmática de políticas públicas. Información Comercial Española ICE: Revista de Economía, (836) [Monográfico: Evaluación de Políticas Públicas], 19-31. https://revistasice.com/index.php/ICE/article/view/1047

Feinstein, O. y Zapico-Goñi, E. (2010). Evaluation of government performance and public policies in Spain [ECD Working Paper Series, 22]. The World Bank. http://hdl.handle.net/10986/27913

Feria, A., Herrera, M., Martínez, F., Serrano, E., Martínez, E. y García, M. (2017). Manual para la elaboración de planes estratégicos de políticas públicas en la Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/servicios/publicaciones/detalle/79115.html

Garde, J. A. (2004). La evaluación de políticas públicas y su institucionalización en España. Gestión y Análisis de Políticas Públicas, (30-31), 11-28. https://doi.org/10.24965/gapp.vi30-31.371

Garde, J. A. (2006). La institucionalización de la evaluación de las políticas públicas en España. Auditoría Pública: Revista de los Órganos Autónomos de Control Externo, (39), 17-26. https://asocex.es/conferencia-la-institucionalizacion-de-la-evaluacion-de-las-politicas-publicas-en-espana/

Garde, J. A. (2007). La creación de la Agencia de Evaluación en España. Información Comercial Española, ICE: Revista de Economía, (836), 11-18. https://revistasice.com/index.php/ICE/article/view/1046

Gómez, R. y Menéndez, S. (2019). La evaluación de políticas públicas con enfoque de género. Guía de aplicación. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/publicaciones.filter?step=read&cu=25&cd=221495

Herrera, M., Torrecillas, C. y Díaz, A. (2020). Guía para el diseño de estudios piloto de políticas públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaestudiosppp.pdf

IAAP (2016). Evaluación de políticas públicas. Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/evaluacion.epp

IAAP (2019). Evaluación de realización y resultados Área de Evaluación de Políticas Públicas del IAAP 216-2018. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/memoriaevaluacion20162018.pdf

INAP (2009a). Evaluación conceptual de la Ley Foral 21/2005 de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos [FASE I]. Instituto Navarro de Administración Pública.

INAP (2009b). Evaluación del grado de aplicación de la Ley Foral 21/2005 de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos [FASE II]. Instituto Navarro de Administración Pública.

INAP (2011a). Informe de valoración de la Comisión Foral de Evaluación para la Evaluación de las Políticas Públicas y la Calidad de los Servicios Públicos (2006-2010). Instituto Navarro de Administración Pública.

INAP (2011b). El sistema público de evaluación en Navarra. Instituto Navarro de Administración Pública. http://www.navarra.es/NR/rdonlyres/3244F835-70BF-4A8A-B6BE-C561DD1FDD0F/205994/ElsistemapublicodeevaluacionenNavarra.pdf

Ivàlua (2020). Memòria d’activitats 2019. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202019.pdf

Ivàlua (2021). Memòria d’activitats 2020. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202020%20Def.pdf

Lázaro, B. (2012). Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua. Presupuesto y Gasto Público, (68), 25-39. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_02.pdf

Lázaro, B. (2015). Comparative study on the institutionalization of evaluation in Europe and Latin America. EUROsociAL. http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf

Luna, R. J. (2014). El nuevo paradigma de la evaluación de las políticas públicas. REICE: Revista Electrónica de Investigación en Ciencias Económicas, 2(4), 34-48. https://doi.org/10.5377/reice.v2i4.1724

Martínez, A., Herrera, M., Iriarte, T. y Cerezo, J. J. (2017). Guía para el análisis de la evaluabilidad previa de los planes de carácter estratégico. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluabilidad.pdf

Mayne, J. y Johnson, N. (2015). Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, 21(4), 407-428. https://doi.org/10.1177/1356389015605198

Monnier, E. y Spenlehauer, V. (1992). L’évaluation dans le triangle de la décision. Opinions singulières et processus pluraliste. Politiques et management public, 10(3), 61-82. https://www.persee.fr/doc/pomap_0758-1726_1992_num_10_3_3064

Monnier, E. y Toulemonde, J. (1999). Evaluating Socio-Economic Programmes. Glossary of 300 Concepts and Technical Terms [MEANS Collection, Vol. 6]. Office for Official Publications of the European Communities. https://qrcd.org/3YZ1

Morillas, A. (2019). Passant comptes: memòries d’un economista al servei de les institucions. Testimonis Pasqual Maragall. https://www.catalunyaeuropa.net/ca/publicacions/95/passant-comptes-mem%C3%B2ries-d-un-economista-al-servei-de-les-institucions.html

OCDE (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. OECD Publications. https://unsdg.un.org/sites/default/files/OECD-Glossary-of-Key-Terms-in-Evaluation-and-Results-based-Management-Terminology.pdf

Osuna, J. L. y Márquez, C. (2000). Guía para la evaluación de políticas públicas. Instituto de Desarrollo Regional. Fundación Universitaria. https://idus.us.es/handle/11441/56449

Paja-Fano, M. (2017). Un nuevo marco legal para la evaluación. Gestión y Análisis de Políticas Públicas, (17), 6-25. https://doi.org/10.24965/gapp.v0i17.10397

Patton, M. Q. (2008). Utilization-focused evaluation (4.ª ed.). Sage Publications.

Pollit, C. y Bouckaert, G. (2017). Public Management Reform. A Comparative Analysis: Into the Age of Austerity (4.ª ed.). Oxford University Press.

Ramió, C. (2016). La renovación de la función pública. Estrategias para frenar la corrupción política en España. Los Libros de la Catarata.

Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (2004). Evaluation: A Systematic Approach. Sage.

Ruesta, M. A. (2010). El marco institucional de la evaluación de políticas y servicios públicos en Navarra. En T. Rodríguez (coord.), Estudios de la Administración desde la Administración, libro homenaje a Ignacio Bandrés Urriza (pp. 295-318). Instituto Navarro de Administración Pública.

Ruiz, A. (2012). Panorámica actual de la evaluación de las políticas públicas. Presupuesto y Gasto Público, (68), 13-23. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_01.pdf

Serrano, E., Martínez, A., García, J., Díaz, A. y Herrera, M. (2019). Bases para la evaluación de impacto de políticas públicas. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/Bases_Evaluacion_Impacto.pdf

Stockmann, R. y Meyer, W. (2013). Functions, methods and concepts in evaluation research. Springer.

Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.

Stufflebeam, D. L. y Coryn, C. (2014). Evaluation theory, models, and applications (2.ª ed.). Jossey-Bass.

Tarrach, A. (2016). L’avaluació econòmica a la Generalitat de Catalunya. Nota d’Economia, (102), 10-22. https://economia.gencat.cat/web/.content/70_economia_catalana/arxius/publicacions_periodiques/nota_d_economia/ne_102/NE_102_02_Tarrach.pdf

Trías, J. (2022). La institucionalización de la evaluación de políticas públicas en Cataluña y Navarra. Evolución, situación actual y factores explicativos. XVI Congreso Asociación Española de Ciencia Política y de la Administración (7-9 de septiembre, Girona, España). https://aecpa.es/es-es/la-institucionalizacion-de-la-evaluacion-de-politicas-publicas-en-cata/congress-papers/3664/

Varone, F. y Jacob, S. (2004). Institutionnalisation de l’évaluation et nouvelle gestion publique: un état des lieux comparatif. Revue internationale de politique comparée, 11(2), 271-292. https://doi.org/10.3917/ripc.112.0271

Vedüng, E. (1997). Evaluación de políticas públicas y programas. Instituto Nacional de Servicios Sociales.

Viñas, V. (2009). The European Union’s Drive towards Public Policy Evaluation: The Case of Spain. Evaluation, 15(4), 459-472. https://doi.org/10.1177/1356389009341900

Weimer, D. y Vining, A. (2017). Policy Analysis: Concepts and Practice. Routledge.

Weiss, C. H. (1998). Evaluation: Methods for studying programs and policies (2.ª ed.). Prentice Hall.

Zalba, M. (2020). Recorrido de la cultura de evaluación de políticas públicas en la comunidad foral de Navarra: aportaciones desde Sarhe consultores, años 2005-2020 [trabajo presentado al Premio Proyectos e Iniciativas de Evaluación en Navarra 2020].

Zúñiga-Guevara, R. M. (2022). Innovación colaborativa y construcción de capacidades como estrategia de institucionalización de la evaluación en Andalucía. El Grupo de Personas Colaboradoras en Evaluación de Políticas Públicas. Gestión y Análisis de Políticas Públicas, (30), 88-111. https://doi.org/10.24965/gapp.10887

1 Análisis realizado a partir del trabajo de Trías (2022)Trías, J. (2022). La institucionalización de la evaluación de políticas públicas en Cataluña y Navarra. Evolución, situación actual y factores explicativos. XVI Congreso Asociación Española de Ciencia Política y de la Administración (7-9 de septiembre, Girona, España). https://aecpa.es/es-es/la-institucionalizacion-de-la-evaluacion-de-politicas-publicas-en-cata/congress-papers/3664/.

2 Decreto 206/2015, de 14 de julio, por el que se regula la estructura orgánica de la Consejería de Hacienda y Administración Pública.

3 El área se crea mediante el Decreto 38/2014 de 25 de marzo, de reestructuración del Departamento de Economía y Conocimiento.

4 Ley Foral 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos.

5 Hasta la reciente aprobación de la Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado.

6 La explotación de las bases de datos de evaluaciones ha sido de carácter básico en este trabajo, pues no es el centro de la investigación, sino que sirve esencialmente para informar la variable de la práctica evaluadora (1.2.1). Aun así, constituye un reto destacable y sugiere una vía de investigación propia, de carácter comparado y potencialmente muy amplia.

7 Las personas entrevistadas han contribuido a la revisión documental, completando la información existente, ayudando a su interpretación e, incluso, facilitando el acceso a documentos no públicos pero importantes para la investigación.

8 Se han realizado un total de veinte entrevistas (su identificación es posible bajo petición expresa a efectos de justificación académica) entre abril de 2021 y febrero de 2022. El grueso de las entrevistas ha sido de ámbito territorial (catorce), con motivo de profundizar en el conocimiento de la institucionalización de la evaluación en cada comunidad, además de otras seis de ámbito general que han servido para complementar esta información con una mirada experta en el ámbito académico y profesional.

9 Ley 7/2017, de 27 de diciembre, de Participación Ciudadana de Andalucía.

10 Concretamente, la Ley 3/2002, de Finanzas Públicas de Cataluña se modifica en virtud del art. 97.21 de la Ley 5/2020 para incorporar el capítulo X sobre evaluación de políticas públicas.

11 La Ley 14/2004 en lo referente al Gobierno de Navarra, la Ley 15/2004 en lo referente a la Administración Foral, y la Ley 11/2004 en lo referente al régimen local.

12 Acord de Govern el 12 de novembre de 2019, Generalitat de Catalunya.

13 Disponible en: https://www.observatoriorealidadsocial.es/es/premio_evaluacion/

14 Algunos ejemplos: Agencia Andaluza de Evaluación Educativa (extinguida); Agencia para la Calidad Científica y Universitaria de Andalucía (ACCUA); Agencia Andaluza de Evaluación de la Calidad y Acreditación Universitaria (AGAE); Agencia de Evaluación de Tecnologías Sanitarias de Andalucía (AETSA); Unidad de Planificación, Evaluación y Coherencia de Políticas Públicas de la Agencia Andaluza de Cooperación Internacional para el Desarrollo, etc.

15 Sin ánimo de exhaustividad, algunos ejemplos son la Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS), Agència per a la Qualitat del Sistema Universitari de Catalunya (AQU), etc.

16 Se han utilizado los buscadores habilitados en la plataforma para las licitaciones (datos disponibles a partir del año 2008), contratos menores adjudicados y encargos a medios propios (datos disponibles a partir del 9 de marzo de 2018) aplicando varios filtros con la palabra clave «evaluación».

17 Cabe notar que la base de datos del antiguo Registro no ha sido incorporada en la base de datos del Centro de Documentación del Observatorio.

18 Por ejemplo, en 2019 Ivàlua colaboró con siete programas formativos distintos (posgrados y másteres), impartiendo entre dos y diez horas lectivas en cada uno de ellos (Ivàlua, 2020Ivàlua (2020). Memòria d’activitats 2019. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202019.pdf). Por otra parte, la Universitat de Girona (UdG) ofrece a los estudiantes de grado de Ciencias Políticas, Derecho y Criminología la posibilidad de cursar la asignatura optativa Diseño y Evaluación de Políticas Públicas (tres créditos ECTS).

19 Disponible en: https://www.navarra.es/es/noticias/2020/09/29/el-grupo-de-investigacion-alter-ganador-del-i-premio-a-los-proyectos-e-iniciativas-de-evaluacion-que-concede-el-departamento-de-derechos-sociales

20 Personas con responsabilidades directivas y personal técnico de las Administraciones y del tercer sector, así como personal investigador de las universidades, profesionales de la consultoría y de forma general a cualquier persona que quiera adentrarse o perfeccionar sus conocimientos sobre evaluación.

21 Curso de quince horas sobre evaluación de políticas públicas, dirigido a personal técnico y de gestión del Servicio Navarro de Empleo-Nafar Lansare.

22 Editada por el Instituto de Desarrollo Regional, Fundación Universitaria adscrita a la Universidad de Sevilla, entre cuyas líneas de investigación destaca la EPP.