The evaluation methodology in the The National Agency of Public Policies and Quality of Services Evaluation (AEVAL)
DOI:
https://doi.org/10.24965/gapp.11011Keywords:
Evaluation, evaluation methodology, AEVAL, evaluation process, evaluation approach, evaluation designAbstract
The article analyzes the methodology designed and applied by The National Agency for the Evaluation of Public Policies and Quality of Services in the evaluation of programs and public policies throughout their years of existence (2007-2017). An eclectic methodology, mainly pluralistic, although partially adopting other perspectives and paradigms. It was the result of continuous learning and evaluation practice. It reflects on different institutional and organizational elements that conditioned both its methodology and its evaluation practice. The design of AEVAL evaluations, with particular reference to the methods and techniques used, and their evaluation process, are also analysed. Finally, some of the strengths and weaknesses of the Agency’s methodology are highlighted.
Downloads
References
AEVAL (2009). La función evaluadora: principios orientadores y directrices de actuación de la evaluación de políticas y programas. Ministerio de la Presidencia. https://www.mptfp.gob.es/dam/es/portal/funcionpublica/evaluacion-politicas-publicas/Documentos/Metodologias/Evaluacion.pdf#page=1
AEVAL (2010). Fundamentos de evaluación de políticas públicas. Ministerio de Política Territorial y Administración Pública. https://www.mptfp.gob.es/dam/es/portal/funcionpublica/evaluacion-politicas-publicas/Documentos/Metodologias/Guia0.pdf#page=1
AEVAL (2015). Guía práctica para el diseño y la realización de evaluaciones de políticas públicas. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Guias/Guias_Evaluacion_Politicas_Publicas_y_Calidad_SSPP/Guia_evaluaciones_AEVAL.html
Belcher, B. y Palenberg, M. (2018). Outcomes and Impacts of Development Interventions: Toward Conceptual Clarity. American Journal of Evaluation, 39(4), 478-495. https://doi.org/10.1177/1098214018765698
Bericat, E. (1998). La integración de los métodos cuantitativo y cualitativo en la investigación social: significado y medida. Ariel.
Bustelo, M. (2020). Spain. En R. Stockmann, W. Meyer y L. Taube (eds.), The Institutionalisation of Evaluation in Europe (pp. 303-327). Palgrave Macmillan. https://doi.org/10.1007/978-3-030-32284-7_12
Calidoni-Lundberg, F. (2006). Evaluation: definitions, methods and models. An ITPS framework [Working Paper, R 2006: 002]. Swedish Institute for Growth Policy Studies.
Caracelli, V. J. (2000). Evaluation use at the threshold of the twenty-first century. New Directions for Evaluation, 88, 99-111. https://doi.org/10.1002/ev.1194
Casado, J. M. y Del Pino, E. (2021). Evolución, situación actual y retos de la evaluación de políticas públicas en las Administraciones españolas (2000-2021). Cuadernos Económicos de ICE, 102, 13-38. https://doi.org/10.32796/cice.2021.102.7308
Chelimsky, E. (2009). Integrating Evaluation Units into the Political Environment of Government: The Role of Evaluation Policy. En W. M. Trochim, M. M. Mark y L. J. Cooksy (eds.), Evaluation policy and evaluation practice (pp. 51-66). New Directions for Evaluation.
Chen, T. H. (2015). Practical Program Evaluation Theory-Driven Evaluation and the Integrated Evaluation Perspective (2.ª ed.). SAGE Publications Ltd.
Cook, T. D., Scriven, M., Coryn, C. L. S. y Evergreen, S. D. H. (2010). Contemporary Thinking About Causation in Evaluation: A Dialogue With Tom Cook and Michael Scriven. American Journal of Evaluation, 31(1) 105-117. https://doi.org/10.1177/1098214009354918
Creswell, J. W. (2013). Qualitative inquiry and research design: Choosing among five approaches (3.ª ed.). SAGE Publications Ltd.
Feinstein, O. y Zapico-Goni, E. (2010). Evaluation of Government Performance and Public Policies in Spain [ECD Working Paper Series, 22]. World Bank. https://openknowledge.worldbank.org/handle/10986/27913
Instituto para la Evaluación de Políticas Públicas (2020). Guía de evaluación de resultados de políticas públicas. Ministerio de Política Territorial y Función Pública. https://www.mptfp.gob.es/dam/es/portal/funcionpublica/evaluacion-politicas-publicas/Documentos/Metodologias/Guia_de_Evaluacion_de_Resultados.pdf#page=1
Patton, M. Q. (2020). Evaluation Use Theory, Practice, and Future Research: Reflections on the Alkin and King AJE Series. American Journal of Evaluation, 41(4), 581-602. https://doi.org/10.1177/1098214020919498
Pawson, R. (2002). Evidence-based Policy: In Search of a Method. Evaluation, 8(2), 157-181. https://doi.org/10.1177/1358902002008002512
Pawson, R. y Tilley, N. (1997). Realistic Evaluation (1.ª ed.). SAGE Publications Ltd.
Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (2003). Evaluation: A Systematic Approach (7.ª ed.). SAGE Publications, Inc.
Ruiz Martínez, A. (2012). Panorámica actual de la evaluación de las políticas públicas. Presupuesto y Gasto Público, 68, 13-23. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_01.pdf
Stake, R. E. (2005). Investigación con estudio de casos. Morata.
Stufflebeam, D. L., y Shinkfield, A. J. (1995). Evaluación sistemática: Guía teórica y práctica. Ministerio de Educación y Ciencia. Paidós.
Spiel, C., Schober, B., y Bergsmann, E. (2015). Program Evaluation. En J. D. Wright (ed.), International Encyclopedia of the Social & Behavioral Sciences (2.ª ed., pp. 117-122). Elsevier Ltd.
Weiss, C. H. (1983). The stakeholder approach to evaluation: Origins and promise. New Directions for Program Evaluation, 17, 3-14. https://doi.org/10.1002/ev.1322
Weiss, C. H. (1998). Evaluation: Methods for studying programs and policies (2.ª ed.). Prentice Hall.
Yin, R. K. (2009). Case study research: Design and methods (4.ª ed.). SAGE Publications Ltd.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2022 Gestión y Análisis de Políticas Públicas
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
