Comparative analysis of three models of public policy evaluation institutionalization in Spain. The cases of Andalusia, Catalonia and Navarre

Authors

DOI:

https://doi.org/10.24965/gapp.11249

Keywords:

public policy evaluation, evaluation institutionalization, evaluation institutionalization index, comparative analysis

Abstract

Objectives: the field of public policy evaluation has diversified horizontally and vertically at a global level in recent years, as a result, evaluation institutionalization models and processes have awoken a growing interest. However, this field is not sufficiently investigated in Spain. Methodology: this study intends to explore the institutionalization of evaluation in Andalusia, Catalonia, and Navarre from a comparative approach, mainly based on a qualitative exploratory methodology. First, we analyze the temporal evolution and the current situation of the evaluation institutionalization in the three communities through a comparative index. Afterwards, we inquire into the possible explanatory factors of the evaluation institutionalization. Results: the results show that the level of institutionalization of evaluation in the three regions is somewhat uneven, with significant differences in the political and professional subsystems and similarities in the social subsiste. Catalonia is the region that marks higher in the comparative index. Conclusions: the three regions still have an immature evaluation system, altough with important differences beetwen them due to organizational factors and factors of formation and cultural diffusion.

Downloads

Download data is not yet available.

Author Biographies

Joan Trias Badruna, Universitat de Girona (UdG). Departamento de Derecho Público (España – Spain)

Profesor asociado de Ciencia Política en la Universitat de Girona (UdG), ha cursado el máster en Política y Democracia (UNED) y el postgrado de Liderazgo para la Gestión Política y Social (UAB). Es delegado en Girona del Collegi Professional de la Ciència Política i la Sociología de Catalunya (COLPIS). Ha ostentado varios cargos públicos en la Administración autonómica y local, y ha trabajado también como consultor para numerosas Administraciones públicas. Sus principales líneas de investigación se centran en el análisis de los procesos de cambio institucional y de las políticas públicas, particularmente en el ámbito de la evaluación de políticas públicas.

Ricardo Manuel Zúñiga Guevara, Agencia Servicio Andaluz de Empleo. Junta de Andalucía (España – Spain)

Doctor en Educación, también ha cursado el máster en Evaluación de Políticas Públicas (Universidad de Sevilla) y el máster en Innovación e Investigación en Educación (especialidad Pedagogía Social) en la UNED. Es miembro del Grupo de Personas Colaboradoras en Evaluación del Instituto Andaluz de Administración Pública (IAAP) desde el año 2016. Sus principales líneas de investigación se centran en el análisis de los procesos de cambio institucional y de las políticas públicas, particularmente en el ámbito de la evaluación de políticas públicas.

References

AIReF (2021). La institucionalización de la evaluación de políticas públicas en Castilla y León: situación actual y propuestas. Autoridad Independiente de Responsabilidad Fiscal. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf

Baixauli-Cubells, M. (2014). La institucionalización de la evaluación de políticas públicas: un estudio de caso sobre el Institut Català d’Avaluació de Polítiques Públiques Ivàlua. Universidad del País Vasco, Euskal Herriko Unibertsitatea.

Balaguer, M. (2019). La institucionalización de la evaluación: reflexiones a partir de la experiencia de Iválua. En N. Neirotti (coord.), M. Mattalini y L. Carpinacci (eds.), Evaluación y toma de decisiones. Diálogo entre políticos y académicos para fortalecer la democracia (pp. 117-134). Ediciones de la UNLa.

Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Instituto Nacional de Administración Pública.

Ballart, X. (1997). Gestión pública, análisis y evaluación de políticas. Revista de Estudios Políticos (Nueva Época), (97), 223-247. https://www.cepc.gob.es/publicaciones/revistas/revista-de-estudios-politicos/numero-97-julioseptiembre-1997/gestion-publica-analisis-y-evaluacion-de-politicas-1

Balthasar, A. (2010). Are there bases for evidence-based health policy in Switzerland? Factors influencing the extent of evaluation activity in health policy in the Swiss cantons. Evidence and Policy: A Journal of Research, Debate and Practice, 6(3), 333-349. https://doi.org/10.1332/174426410X524820

Barberá Areste, O., Doria Borrell, E. J., Ntutumu, F. y Sanchis Matoses, P. (2020). La institucionalización de la evaluación de políticas públicas: la Comunitat Valenciana en perspectiva comparada. Universitat de València.

Bustelo, et. al. (2009). La situación de la evaluación en España Resultados preliminares de una encuesta realizada a la comunidad evaluadora. VI Seminario sobre experiencias de evaluación de programes y políticas públicas. Madrid.

Bustelo, M. y Ligero, J. A. (2009). La situación de la evaluación en España. VI Seminario sobre Experiencias de Evaluación de Programas y Políticas Públicas, Sevilla.

Bustelo, M. (2020). Spain. En R. Stockmann, W. Meyer y L. Taubel (eds.), The Institutionalisation of Evaluation in Europe (pp. 303-327). Palgrave Macmillan. https://doi.org/10.1007/978-3-030-32284-7_12

Casado, J. M. y Del Pino, E. (2021). Evolución, situación actual y retos de la evaluación de políticas públicas en las Administraciones españolas (2000-2021). Cuadernos Económicos de ICE, (102), 13-38. https://doi.org/10.32796/cice.2021.102.7308

Catalá, D. y De Miguel, M. (2019). La institucionalización de la evaluación de las políticas públicas en la Comunitat Valenciana: una necesidad inaplazable. Anals de la Real Acadèmia de Cultura Valenciana, (94), 329-368.

Cerezo, J. J., Herrera, M. e Iriarte, T. (2017). Guía de evaluación ex ante de políticas públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluacionexante.pdf

Cerezo, J. J., Zúñiga-Guevara, R. M. y Herrera, M. (2019). Guía para realizar un diagnóstico para una política pública. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/Guia_diagnostico_politica_publica.pdf

Cerrillo Martín, I. (2023). Estat de l’avaluació a Catalunya. Situació actual i reptes de futur per la promoció de l’avaluació. Ivàlua. https://ivalua.cat/sites/default/files/inline-files/Estat%20de%20l%E2%80%99avaluacio%CC%81%20Cat_Def_0.pdf

Chelimsky, E. (2008). A clash of cultures: Improving the “fit” between evaluative independence and the political requirements of a democratic society. American Journal of Evaluation, 29(4), 400-415. https://doi.org/10.1177/1098214008324465

Comas, N. y Vílchez, D. (2018). L’ús de les avaluacions d’Ivàlua (2008-2016). Una anàlisi de com les avaluacions enforteixen les polítiques públiques. Institut Català d’Avaluació de Polítiques Públiques (Ivàlua). https://qrcd.org/3w6N

Feinstein, O. (2007). Evaluación pragmática de políticas públicas. Información Comercial Española ICE: Revista de Economía, (836) [Monográfico: Evaluación de Políticas Públicas], 19-31. https://revistasice.com/index.php/ICE/article/view/1047

Feinstein, O. y Zapico-Goñi, E. (2010). Evaluation of government performance and public policies in Spain [ECD Working Paper Series, 22]. The World Bank. http://hdl.handle.net/10986/27913

Feria, A., Herrera, M., Martínez, F., Serrano, E., Martínez, E. y García, M. (2017). Manual para la elaboración de planes estratégicos de políticas públicas en la Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/servicios/publicaciones/detalle/79115.html

Garde, J. A. (2004). La evaluación de políticas públicas y su institucionalización en España. Gestión y Análisis de Políticas Públicas, (30-31), 11-28. https://doi.org/10.24965/gapp.vi30-31.371

Garde, J. A. (2006). La institucionalización de la evaluación de las políticas públicas en España. Auditoría Pública: Revista de los Órganos Autónomos de Control Externo, (39), 17-26. https://asocex.es/conferencia-la-institucionalizacion-de-la-evaluacion-de-las-politicas-publicas-en-espana/

Garde, J. A. (2007). La creación de la Agencia de Evaluación en España. Información Comercial Española, ICE: Revista de Economía, (836), 11-18. https://revistasice.com/index.php/ICE/article/view/1046

Gómez, R. y Menéndez, S. (2019). La evaluación de políticas públicas con enfoque de género. Guía de aplicación. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/publicaciones.filter?step=read&cu=25&cd=221495

Herrera, M., Torrecillas, C. y Díaz, A. (2020). Guía para el diseño de estudios piloto de políticas públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaestudiosppp.pdf

IAAP (2016). Evaluación de políticas públicas. Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/evaluacion.epp

IAAP (2019). Evaluación de realización y resultados Área de Evaluación de Políticas Públicas del IAAP 216-2018. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/memoriaevaluacion20162018.pdf

INAP (2009a). Evaluación conceptual de la Ley Foral 21/2005 de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos [FASE I]. Instituto Navarro de Administración Pública.

INAP (2009b). Evaluación del grado de aplicación de la Ley Foral 21/2005 de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos [FASE II]. Instituto Navarro de Administración Pública.

INAP (2011a). Informe de valoración de la Comisión Foral de Evaluación para la Evaluación de las Políticas Públicas y la Calidad de los Servicios Públicos (2006-2010). Instituto Navarro de Administración Pública.

INAP (2011b). El sistema público de evaluación en Navarra. Instituto Navarro de Administración Pública. http://www.navarra.es/NR/rdonlyres/3244F835-70BF-4A8A-B6BE-C561DD1FDD0F/205994/ElsistemapublicodeevaluacionenNavarra.pdf

Ivàlua (2020). Memòria d’activitats 2019. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202019.pdf

Ivàlua (2021). Memòria d’activitats 2020. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202020%20Def.pdf

Lázaro, B. (2012). Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua. Presupuesto y Gasto Público, (68), 25-39. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_02.pdf

Lázaro, B. (2015). Comparative study on the institutionalization of evaluation in Europe and Latin America. EUROsociAL. http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf

Luna, R. J. (2014). El nuevo paradigma de la evaluación de las políticas públicas. REICE: Revista Electrónica de Investigación en Ciencias Económicas, 2(4), 34-48. https://revistacienciaseconomicas.unan.edu.ni/index.php/REICE/article/view/59

Martínez, A., Herrera, M., Iriarte, T. y Cerezo, J. J. (2017). Guía para el análisis de la evaluabilidad previa de los planes de carácter estratégico. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluabilidad.pdf

Mayne, J. y Johnson, N. (2015). Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, 21(4), 407-428. https://doi.org/10.1177/1356389015605198

Monnier, E. y Spenlehauer, V. (1992). L’évaluation dans le triangle de la décision. Opinions singulières et processus pluraliste. Politiques et management public, 10(3), 61-82. https://www.persee.fr/doc/pomap_0758-1726_1992_num_10_3_3064

Monnier, E. y Toulemonde, J. (1999). Evaluating Socio-Economic Programmes. Glossary of 300 Concepts and Technical Terms [MEANS Collection, Vol. 6]. Office for Official Publications of the European Communities. https://qrcd.org/3YZ1

Morillas, A. (2019). Passant comptes: memòries d’un economista al servei de les institucions. Testimonis Pasqual Maragall. https://www.catalunyaeuropa.net/ca/publicacions/95/passant-comptes-mem%C3%B2ries-d-un-economista-al-servei-de-les-institucions.html

OCDE (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. OECD Publications. https://unsdg.un.org/sites/default/files/OECD-Glossary-of-Key-Terms-in-Evaluation-and-Results-based-Management-Terminology.pdf

Osuna, J. L. y Márquez, C. (2000). Guía para la evaluación de políticas públicas. Instituto de Desarrollo Regional. Fundación Universitaria. https://idus.us.es/handle/11441/56449

Paja-Fano, M. (2017). Un nuevo marco legal para la evaluación. Gestión y Análisis de Políticas Públicas, (17), 6-25. https://doi.org/10.24965/gapp.v0i17.10397

Patton, M. Q. (2008). Utilization-focused evaluation (4.ª ed.). Sage Publications.

Pollit, C. y Bouckaert, G. (2017). Public Management Reform. A Comparative Analysis: Into the Age of Austerity (4.ª ed.). Oxford University Press.

Ramió, C. (2016). La renovación de la función pública. Estrategias para frenar la corrupción política en España. Los Libros de la Catarata.

Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (2004). Evaluation: A Systematic Approach. Sage.

Ruesta, M. A. (2010). El marco institucional de la evaluación de políticas y servicios públicos en Navarra. En T. Rodríguez (coord.), Estudios de la Administración desde la Administración, libro homenaje a Ignacio Bandrés Urriza (pp. 295-318). Instituto Navarro de Administración Pública.

Ruiz, A. (2012). Panorámica actual de la evaluación de las políticas públicas. Presupuesto y Gasto Público, (68), 13-23. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_01.pdf

Serrano, E., Martínez, A., García, J., Díaz, A. y Herrera, M. (2019). Bases para la evaluación de impacto de políticas públicas. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/Bases_Evaluacion_Impacto.pdf

Stockmann, R. y Meyer, W. (2013). Functions, methods and concepts in evaluation research. Springer.

Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.

Stufflebeam, D. L. y Coryn, C. (2014). Evaluation theory, models, and applications (2.ª ed.). Jossey-Bass.

Tarrach, A. (2016). L’avaluació econòmica a la Generalitat de Catalunya. Nota d’Economia, (102), 10-22. https://economia.gencat.cat/web/.content/70_economia_catalana/arxius/publicacions_periodiques/nota_d_economia/ne_102/NE_102_02_Tarrach.pdf

Trías, J. (2022). La institucionalización de la evaluación de políticas públicas en Cataluña y Navarra. Evolución, situación actual y factores explicativos. XVI Congreso Asociación Española de Ciencia Política y de la Administración (7-9 de septiembre, Girona, España). https://aecpa.es/es-es/la-institucionalizacion-de-la-evaluacion-de-politicas-publicas-en-cata/congress-papers/3664/

Varone, F. y Jacob, S. (2004). Institutionnalisation de l’évaluation et nouvelle gestion publique: un état des lieux comparatif. Revue internationale de politique comparée, 11(2), 271-292. https://doi.org/10.3917/ripc.112.0271

Vedüng, E. (1997). Evaluación de políticas públicas y programas. Instituto Nacional de Servicios Sociales.

Viñas, V. (2009). The European Union’s Drive towards Public Policy Evaluation: The Case of Spain. Evaluation, 15(4), 459-472. https://doi.org/10.1177/1356389009341900

Weimer, D. y Vining, A. (2017). Policy Analysis: Concepts and Practice. Routledge.

Weiss, C. H. (1998). Evaluation: Methods for studying programs and policies (2.ª ed.). Prentice Hall.

Zalba, M. (2020). Recorrido de la cultura de evaluación de políticas públicas en la comunidad foral de Navarra: aportaciones desde Sarhe consultores, años 2005-2020 [trabajo presentado al Premio Proyectos e Iniciativas de Evaluación en Navarra 2020].

Zúñiga-Guevara, R. M. (2022). Innovación colaborativa y construcción de capacidades como estrategia de institucionalización de la evaluación en Andalucía. El Grupo de Personas Colaboradoras en Evaluación de Políticas Públicas. Gestión y Análisis de Políticas Públicas, (30), 88-111. https://doi.org/10.24965/gapp.10887

Published

01-07-2024

How to Cite

Trias Badruna, J., & Zúñiga Guevara, R. M. (2024). Comparative analysis of three models of public policy evaluation institutionalization in Spain. The cases of Andalusia, Catalonia and Navarre. Gestión Y Análisis De Políticas Públicas, (35), 44–69. https://doi.org/10.24965/gapp.11249