Comparative analysis of three models of public policy evaluation institutionalization in Spain. The cases of Andalusia, Catalonia and Navarre
DOI:
https://doi.org/10.24965/gapp.11249Keywords:
public policy evaluation, evaluation institutionalization, evaluation institutionalization index, comparative analysisAbstract
Objectives: the field of public policy evaluation has diversified horizontally and vertically at a global level in recent years, as a result, evaluation institutionalization models and processes have awoken a growing interest. However, this field is not sufficiently investigated in Spain. Methodology: this study intends to explore the institutionalization of evaluation in Andalusia, Catalonia, and Navarre from a comparative approach, mainly based on a qualitative exploratory methodology. First, we analyze the temporal evolution and the current situation of the evaluation institutionalization in the three communities through a comparative index. Afterwards, we inquire into the possible explanatory factors of the evaluation institutionalization. Results: the results show that the level of institutionalization of evaluation in the three regions is somewhat uneven, with significant differences in the political and professional subsystems and similarities in the social subsiste. Catalonia is the region that marks higher in the comparative index. Conclusions: the three regions still have an immature evaluation system, altough with important differences beetwen them due to organizational factors and factors of formation and cultural diffusion.
Downloads
References
AIReF (2021). La institucionalización de la evaluación de políticas públicas en Castilla y León: situación actual y propuestas. Autoridad Independiente de Responsabilidad Fiscal. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf
Baixauli-Cubells, M. (2014). La institucionalización de la evaluación de políticas públicas: un estudio de caso sobre el Institut Català d’Avaluació de Polítiques Públiques Ivàlua. Universidad del País Vasco, Euskal Herriko Unibertsitatea.
Balaguer, M. (2019). La institucionalización de la evaluación: reflexiones a partir de la experiencia de Iválua. En N. Neirotti (coord.), M. Mattalini y L. Carpinacci (eds.), Evaluación y toma de decisiones. Diálogo entre políticos y académicos para fortalecer la democracia (pp. 117-134). Ediciones de la UNLa.
Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Instituto Nacional de Administración Pública.
Ballart, X. (1997). Gestión pública, análisis y evaluación de políticas. Revista de Estudios Políticos (Nueva Época), (97), 223-247. https://www.cepc.gob.es/publicaciones/revistas/revista-de-estudios-politicos/numero-97-julioseptiembre-1997/gestion-publica-analisis-y-evaluacion-de-politicas-1
Balthasar, A. (2010). Are there bases for evidence-based health policy in Switzerland? Factors influencing the extent of evaluation activity in health policy in the Swiss cantons. Evidence and Policy: A Journal of Research, Debate and Practice, 6(3), 333-349. https://doi.org/10.1332/174426410X524820
Barberá Areste, O., Doria Borrell, E. J., Ntutumu, F. y Sanchis Matoses, P. (2020). La institucionalización de la evaluación de políticas públicas: la Comunitat Valenciana en perspectiva comparada. Universitat de València.
Bustelo, et. al. (2009). La situación de la evaluación en España Resultados preliminares de una encuesta realizada a la comunidad evaluadora. VI Seminario sobre experiencias de evaluación de programes y políticas públicas. Madrid.
Bustelo, M. y Ligero, J. A. (2009). La situación de la evaluación en España. VI Seminario sobre Experiencias de Evaluación de Programas y Políticas Públicas, Sevilla.
Bustelo, M. (2020). Spain. En R. Stockmann, W. Meyer y L. Taubel (eds.), The Institutionalisation of Evaluation in Europe (pp. 303-327). Palgrave Macmillan. https://doi.org/10.1007/978-3-030-32284-7_12
Casado, J. M. y Del Pino, E. (2021). Evolución, situación actual y retos de la evaluación de políticas públicas en las Administraciones españolas (2000-2021). Cuadernos Económicos de ICE, (102), 13-38. https://doi.org/10.32796/cice.2021.102.7308
Catalá, D. y De Miguel, M. (2019). La institucionalización de la evaluación de las políticas públicas en la Comunitat Valenciana: una necesidad inaplazable. Anals de la Real Acadèmia de Cultura Valenciana, (94), 329-368.
Cerezo, J. J., Herrera, M. e Iriarte, T. (2017). Guía de evaluación ex ante de políticas públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluacionexante.pdf
Cerezo, J. J., Zúñiga-Guevara, R. M. y Herrera, M. (2019). Guía para realizar un diagnóstico para una política pública. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/Guia_diagnostico_politica_publica.pdf
Cerrillo Martín, I. (2023). Estat de l’avaluació a Catalunya. Situació actual i reptes de futur per la promoció de l’avaluació. Ivàlua. https://ivalua.cat/sites/default/files/inline-files/Estat%20de%20l%E2%80%99avaluacio%CC%81%20Cat_Def_0.pdf
Chelimsky, E. (2008). A clash of cultures: Improving the “fit” between evaluative independence and the political requirements of a democratic society. American Journal of Evaluation, 29(4), 400-415. https://doi.org/10.1177/1098214008324465
Comas, N. y Vílchez, D. (2018). L’ús de les avaluacions d’Ivàlua (2008-2016). Una anàlisi de com les avaluacions enforteixen les polítiques públiques. Institut Català d’Avaluació de Polítiques Públiques (Ivàlua). https://qrcd.org/3w6N
Feinstein, O. (2007). Evaluación pragmática de políticas públicas. Información Comercial Española ICE: Revista de Economía, (836) [Monográfico: Evaluación de Políticas Públicas], 19-31. https://revistasice.com/index.php/ICE/article/view/1047
Feinstein, O. y Zapico-Goñi, E. (2010). Evaluation of government performance and public policies in Spain [ECD Working Paper Series, 22]. The World Bank. http://hdl.handle.net/10986/27913
Feria, A., Herrera, M., Martínez, F., Serrano, E., Martínez, E. y García, M. (2017). Manual para la elaboración de planes estratégicos de políticas públicas en la Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/servicios/publicaciones/detalle/79115.html
Garde, J. A. (2004). La evaluación de políticas públicas y su institucionalización en España. Gestión y Análisis de Políticas Públicas, (30-31), 11-28. https://doi.org/10.24965/gapp.vi30-31.371
Garde, J. A. (2006). La institucionalización de la evaluación de las políticas públicas en España. Auditoría Pública: Revista de los Órganos Autónomos de Control Externo, (39), 17-26. https://asocex.es/conferencia-la-institucionalizacion-de-la-evaluacion-de-las-politicas-publicas-en-espana/
Garde, J. A. (2007). La creación de la Agencia de Evaluación en España. Información Comercial Española, ICE: Revista de Economía, (836), 11-18. https://revistasice.com/index.php/ICE/article/view/1046
Gómez, R. y Menéndez, S. (2019). La evaluación de políticas públicas con enfoque de género. Guía de aplicación. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/publicaciones.filter?step=read&cu=25&cd=221495
Herrera, M., Torrecillas, C. y Díaz, A. (2020). Guía para el diseño de estudios piloto de políticas públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaestudiosppp.pdf
IAAP (2016). Evaluación de políticas públicas. Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/evaluacion.epp
IAAP (2019). Evaluación de realización y resultados Área de Evaluación de Políticas Públicas del IAAP 216-2018. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/memoriaevaluacion20162018.pdf
INAP (2009a). Evaluación conceptual de la Ley Foral 21/2005 de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos [FASE I]. Instituto Navarro de Administración Pública.
INAP (2009b). Evaluación del grado de aplicación de la Ley Foral 21/2005 de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos [FASE II]. Instituto Navarro de Administración Pública.
INAP (2011a). Informe de valoración de la Comisión Foral de Evaluación para la Evaluación de las Políticas Públicas y la Calidad de los Servicios Públicos (2006-2010). Instituto Navarro de Administración Pública.
INAP (2011b). El sistema público de evaluación en Navarra. Instituto Navarro de Administración Pública. http://www.navarra.es/NR/rdonlyres/3244F835-70BF-4A8A-B6BE-C561DD1FDD0F/205994/ElsistemapublicodeevaluacionenNavarra.pdf
Ivàlua (2020). Memòria d’activitats 2019. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202019.pdf
Ivàlua (2021). Memòria d’activitats 2020. https://ivalua.cat/sites/default/files/inline-files/Mem%C3%B2ria%20Activitats%20Iv%C3%A0lua%202020%20Def.pdf
Lázaro, B. (2012). Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua. Presupuesto y Gasto Público, (68), 25-39. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_02.pdf
Lázaro, B. (2015). Comparative study on the institutionalization of evaluation in Europe and Latin America. EUROsociAL. http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf
Luna, R. J. (2014). El nuevo paradigma de la evaluación de las políticas públicas. REICE: Revista Electrónica de Investigación en Ciencias Económicas, 2(4), 34-48. https://revistacienciaseconomicas.unan.edu.ni/index.php/REICE/article/view/59
Martínez, A., Herrera, M., Iriarte, T. y Cerezo, J. J. (2017). Guía para el análisis de la evaluabilidad previa de los planes de carácter estratégico. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluabilidad.pdf
Mayne, J. y Johnson, N. (2015). Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, 21(4), 407-428. https://doi.org/10.1177/1356389015605198
Monnier, E. y Spenlehauer, V. (1992). L’évaluation dans le triangle de la décision. Opinions singulières et processus pluraliste. Politiques et management public, 10(3), 61-82. https://www.persee.fr/doc/pomap_0758-1726_1992_num_10_3_3064
Monnier, E. y Toulemonde, J. (1999). Evaluating Socio-Economic Programmes. Glossary of 300 Concepts and Technical Terms [MEANS Collection, Vol. 6]. Office for Official Publications of the European Communities. https://qrcd.org/3YZ1
Morillas, A. (2019). Passant comptes: memòries d’un economista al servei de les institucions. Testimonis Pasqual Maragall. https://www.catalunyaeuropa.net/ca/publicacions/95/passant-comptes-mem%C3%B2ries-d-un-economista-al-servei-de-les-institucions.html
OCDE (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. OECD Publications. https://unsdg.un.org/sites/default/files/OECD-Glossary-of-Key-Terms-in-Evaluation-and-Results-based-Management-Terminology.pdf
Osuna, J. L. y Márquez, C. (2000). Guía para la evaluación de políticas públicas. Instituto de Desarrollo Regional. Fundación Universitaria. https://idus.us.es/handle/11441/56449
Paja-Fano, M. (2017). Un nuevo marco legal para la evaluación. Gestión y Análisis de Políticas Públicas, (17), 6-25. https://doi.org/10.24965/gapp.v0i17.10397
Patton, M. Q. (2008). Utilization-focused evaluation (4.ª ed.). Sage Publications.
Pollit, C. y Bouckaert, G. (2017). Public Management Reform. A Comparative Analysis: Into the Age of Austerity (4.ª ed.). Oxford University Press.
Ramió, C. (2016). La renovación de la función pública. Estrategias para frenar la corrupción política en España. Los Libros de la Catarata.
Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (2004). Evaluation: A Systematic Approach. Sage.
Ruesta, M. A. (2010). El marco institucional de la evaluación de políticas y servicios públicos en Navarra. En T. Rodríguez (coord.), Estudios de la Administración desde la Administración, libro homenaje a Ignacio Bandrés Urriza (pp. 295-318). Instituto Navarro de Administración Pública.
Ruiz, A. (2012). Panorámica actual de la evaluación de las políticas públicas. Presupuesto y Gasto Público, (68), 13-23. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_01.pdf
Serrano, E., Martínez, A., García, J., Díaz, A. y Herrera, M. (2019). Bases para la evaluación de impacto de políticas públicas. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/Bases_Evaluacion_Impacto.pdf
Stockmann, R. y Meyer, W. (2013). Functions, methods and concepts in evaluation research. Springer.
Stockmann, R., Meyer, W. y Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan.
Stufflebeam, D. L. y Coryn, C. (2014). Evaluation theory, models, and applications (2.ª ed.). Jossey-Bass.
Tarrach, A. (2016). L’avaluació econòmica a la Generalitat de Catalunya. Nota d’Economia, (102), 10-22. https://economia.gencat.cat/web/.content/70_economia_catalana/arxius/publicacions_periodiques/nota_d_economia/ne_102/NE_102_02_Tarrach.pdf
Trías, J. (2022). La institucionalización de la evaluación de políticas públicas en Cataluña y Navarra. Evolución, situación actual y factores explicativos. XVI Congreso Asociación Española de Ciencia Política y de la Administración (7-9 de septiembre, Girona, España). https://aecpa.es/es-es/la-institucionalizacion-de-la-evaluacion-de-politicas-publicas-en-cata/congress-papers/3664/
Varone, F. y Jacob, S. (2004). Institutionnalisation de l’évaluation et nouvelle gestion publique: un état des lieux comparatif. Revue internationale de politique comparée, 11(2), 271-292. https://doi.org/10.3917/ripc.112.0271
Vedüng, E. (1997). Evaluación de políticas públicas y programas. Instituto Nacional de Servicios Sociales.
Viñas, V. (2009). The European Union’s Drive towards Public Policy Evaluation: The Case of Spain. Evaluation, 15(4), 459-472. https://doi.org/10.1177/1356389009341900
Weimer, D. y Vining, A. (2017). Policy Analysis: Concepts and Practice. Routledge.
Weiss, C. H. (1998). Evaluation: Methods for studying programs and policies (2.ª ed.). Prentice Hall.
Zalba, M. (2020). Recorrido de la cultura de evaluación de políticas públicas en la comunidad foral de Navarra: aportaciones desde Sarhe consultores, años 2005-2020 [trabajo presentado al Premio Proyectos e Iniciativas de Evaluación en Navarra 2020].
Zúñiga-Guevara, R. M. (2022). Innovación colaborativa y construcción de capacidades como estrategia de institucionalización de la evaluación en Andalucía. El Grupo de Personas Colaboradoras en Evaluación de Políticas Públicas. Gestión y Análisis de Políticas Públicas, (30), 88-111. https://doi.org/10.24965/gapp.10887
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Gestión y Análisis de Políticas Públicas
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
