Innovación colaborativa y construcción de capacidades como estrategia de institucionalización de la evaluación en Andalucía.
El Grupo de Personas Colaboradoras en Evaluación de Políticas Públicas

Collaborative innovation and capacity building as an evaluation institutionalization strategy in Andalusia. Collaborative Group of Policy Evaluation

Zúñiga-Guevara, Ricardo Manuel

Agencia Servicio Andaluz de Empleo. Junta de Andalucía (España)

ORCID: https://orcid.org/0000-0001-7611-6024

ricardom.zuniga@juntadeandalucia.es

NOTA BIOGRÁFICA

Doctor en Educación, también ha cursado el Máster en Evaluación de Políticas Públicas y el Máster en Innovación e Investigación en Educación (especialidad pedagogía social). Es miembro del Grupo de Personas Colaboradoras en Evaluación del IAAP desde el año 2016. Sus principales líneas de investigación se centran en el análisis de los procesos de cambio institucional y de las políticas públicas, particularmente en el ámbito de la Evaluación de Políticas Públicas.

RESUMEN

Esta comunicación tiene por objeto describir los avances realizados en la Comunidad Autónoma de Andalucía en materia de evaluación y destacar el carácter innovador de la estrategia política seguida para construir de forma colaborativa un sistema de Evaluación de Políticas Públicas, fundamentado en los conocimientos, experiencias y la construcción de capacidades en evaluación del personal de la propia Junta de Andalucía. A partir del análisis documental, la encuesta y la observación participante del autor, se presenta una revisión legislativa del estado de la evaluación en Andalucía, el papel del Instituto Andaluz de Administración Pública y, dentro del mismo, el Área de Evaluación de Políticas Públicas y, en especial, el papel determinante del Grupo de Personas Colaboradoras en Evaluación de Políticas Públicas, grupo que actualmente sigue operativo y con gran impacto en la institucionalización de la evaluación en Andalucía. La experiencia está demostrando que esta forma de trabajo colaborativo e interdisciplinar está obteniendo excelentes resultados, que la administración cuenta con grandes profesionales motivados y dispuestos a trabajar colaborativamente para la mejora de la organización y que la estrategia puede ser fácilmente replicable en otras Comunidades Autónomas.

PALABRAS CLAVE

Evaluación; Políticas Públicas; Innovación Pública; Innovación Colaborativa; Construcción de capacidades de evaluación.

ABSTRACT

The purpose of this article is to describe the progress made in the Autonomous Community of Andalusia regarding policy evaluation. It emphasises the innovative nature of the strategic policy that has been implemented to build a policy evaluation system in a collaborative manner. It is based on the knowledge, experience and evaluation capacity building of the staff of the Junta de Andalucía itself, the regional government of Andalusia. Based on documental analysis, surveys by the author and participant observation this article presents a legislative review of the state of evaluation in Andalusia, the role of the Andalusian Government Institute and, within it the Policy Evaluation Department and especially, the crucial role of the Collaborative Group of Policy Evaluation. Currently, this group is still operative and has a significant impact on the institutionalization of the evaluation in Andalusia. This experience shows that this kind of collaborative and interdisciplinary work is achieving excellent results, that the government has talented and motivated professionals, ready to work collaboratively for the improvement of the organisation and that this strategy can be easily replicable in other regional governments.

KEYWORDS

Evaluation; Public policy; Public innovation; Collaborative Innovation; Evaluation capacity building.

SUMARIO

1. INTRODUCCIÓN. 2. INTERÉS TEÓRICO-PRACTICO DEL CASO. 3. PANORÁMICA DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA. 4. LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN LA COMUNIDAD AUTÓNOMA DE ANDALUCÍA. 4.1. ANTECEDENTES NORMATIVOS. 4.2. EL INSTITUTO ANDALUZ DE ADMINISTRACIÓN PÚBLICA: EL ÁREA DE EVALUACIÓN DE POLÍTICAS PÚBLICAS. 4.3. LA ESTRATEGIA DE IMPLANTACIÓN DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS. 5. METODOLOGÍA. 6. EL CASO DEL GRUPO DE PERSONAS COLABORADORAS EN EPP. 6.1. MECANISMOS DE TRABAJO COLABORATIVO Y ROLES DESEMPEÑADOS. 6.2. HITOS MÁS DESTACADOS DEL TRABAJO DEL ÁREA EPP Y GPE (PERIODO 2016-2021). 6.3. VALORACIÓN DE LA ESTRATEGIA DESDE LA PERSPECTIVA DE LOS MIEMBROS DEL GPE. 7. RETOS DE LA EPP PARA LOS PRÓXIMOS AÑOS. 8. DISCUSIÓN. 9. A MODO DE CONCLUSIÓN. REFERENCIAS BIBLIOGRÁFICAS.

1. INTRODUCCIÓN

La sociedad en su conjunto ha cambiado sustancialmente en las últimas dos décadas como consecuencia de la realidad que nos ha tocado vivir tan compleja, tan imprevisible (crisis económica iniciada en 2007, pandemia COVID-19 traducida en una crisis económica y social de gran impacto), cuyos efectos están transformando, de forma cada vez más evidente, la relación entre ciudadanía, política y políticas públicas (Ruiz, 2012).

Ante esta nueva realidad, tan distinta, tan compleja, las administraciones públicas están obligadas a poner a disposición de la ciudadanía herramientas que den respuesta a los nuevos retos que ésta plantea: participación ciudadana, apertura de la administración, mayor transparencia, control del gasto público y garantía de calidad de las políticas públicas (Casero, 2012; Osuna y Márquez, 2015; Villoria, 2011; Zúñiga, 2018; Zúñiga, 2019). Como indica el Informe del Centro de Innovación del Sector Público de la Fundación de PwC e IE Bussinnes School (2014, p. 3) «disponer de herramientas, estándares y sistemas que nos permitan saber qué hacer y cómo llevarlo a cabo, es la mejor garantía para tomar decisiones acertadas, algo que los gestores de lo público no pueden perder de vista», ya que estos tendrán la posibilidad de apoyar sus decisiones en evidencias que les aporten argumentos sólidos para rendir cuentas a la ciudadanía y apoyar la toma de decisiones en cualquier fase del ciclo de la intervención pública: diseño, implementación, resultados e impacto.

Es evidente, por tanto, el valor y la necesidad de la evaluación como herramienta imprescindible para responder a los retos planteados. La evaluación permitirá valorar la utilidad y bondad de las intervenciones públicas antes de la definición de nuevas estrategias que se materialicen en políticas públicas más eficaces para resolver los problemas detectados en la sociedad. Una evaluación que vaya más allá del simple análisis de datos que constatan los resultados de la política implementada, que analice el diseño y fundamentación del programa (si la intervención pública estaba bien fundamentada, si parte de un diagnóstico adecuado de la problemática y de su población objetivo, si las iniciativas han sido las adecuadas para conseguir los objetivos perseguidos), las proyecciones y escenarios (si se han alcanzado los resultados y a qué coste, en qué medida estos resultados son imputables a dicha intervención o cuáles son los efectos adversos que se han generado) en los que toda la información disponible, se traduzca en procesos de toma de decisiones para la mejora de los programas públicos para que sean eficaces, eficientes y de mayor calidad (Zúñiga, 2018).

2. INTERÉS TEÓRICO-PRÁCTICO DEL CASO

Este artículo tiene por objeto contribuir a la literatura a través del estudio empírico del caso de la estrategia de evaluación de políticas públicas en la Junta de Andalucía. En este sentido, es preciso generar mayor evidencia empírica que permita repensar la acción pública para potenciar mecanismos de innovación en los procesos, políticas y funcionamiento de la propia Administración que maximicen el impacto de las políticas y la eficacia de la gestión pública (Arenilla y García-Vegas, 2013; Osoro, 2017; Sánchez, 2014; Zurbriggen y González, 2014).

Analizaremos e identificaremos los procesos subyacentes a su diseño y gestión, que permita generar aprendizaje y conocimiento útil. Hablamos de un proyecto relativamente reciente, fundamentado en los conocimientos y experiencias del personal de la propia Junta de Andalucía como veremos más adelante, que supone un giro sustancial tanto a las estrategias de innovación en la gestión pública como de construcción de capacidades de evaluación, de aprendizaje institucional. Pensamos que la mejor forma de poner en valor el proceso para aquellas personas que no han participado del mismo, es compartir no sólo cómo se cimentó, hasta qué punto se ha avanzado, sino como elementos esenciales, las razones y motivaciones que hay detrás que sirven de base y que están ayudando al avance y consolidación de este, teniendo en cuenta que nos enfrentamos a un proceso complejo por los múltiples factores intervinientes, tanto internos como externos.

3. PANORÁMICA DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA

La evaluación no es un concepto novedoso como objeto de estudio, pero sí podemos decir que ha alcanzado una relevancia muy significativa en las últimas cuatro décadas –al menos desde el punto de vista teórico– como parte del corpus doctrinal del análisis de las políticas públicas (Ballart, 1997; Ruiz, 2012).

La trayectoria histórica de la evaluación no ha tenido un desarrollo lineal, pues más que desarrollarse a través de modelos teóricos concretos, ha ido avanzando producto de aproximaciones desde distintas ópticas y con distintos objetivos, como respuesta a los retos y problemas prácticos que planteaba la aplicación de la evaluación que pretendía actuar sobre una realidad social cada vez más compleja (Ballart, 1993; Stufflebeam y Cory, 2014; Shadish et al., 1991; Weiss, 1998).

El término «Evaluación de Políticas Públicas» (en adelante EPP) se acuñó en Estados Unidos en la primera parte del siglo xx –años 30 aproximadamente– dentro del marco de la Ciencia Política y, en concreto, en el campo del Análisis de Políticas Públicas como marco teórico de referencia (Ballart, 1993; Stufflebeam y Cory, 2014). A partir de aquí, la práctica de la evaluación de programas y políticas públicas se extiende principalmente a los países anglosajones y de la parte Norte de Europa, mientras en el resto de países, se desarrolla posteriormente.

En el caso de los países más avanzados en la materia, el valor que la evaluación puede proporcionar a las organizaciones públicas tiene un rápido reflejo en la práctica, mientras en el resto del continente, los avances se producen más a nivel teórico con desigual profundidad, carente de proyección práctica sólida, que según indica Bouzas (2005), hubiese sido necesaria para dotar de credibilidad desde un principio a la EPP y evitar que factores como la reducción del déficit público o lucha contra la corrupción absorbieran su potencial de utilidad.

En este contexto, la gestión y control de los Fondos Estructurales de la Comunidad Europea para el desarrollo y el equilibrio de sus Estados miembro, impulsó un avance significativo de los sistemas de EPP en la mayoría de los países de la Unión Europea, impulso que se extendió al conjunto de la sociedad y organizaciones no gubernamentales. Los distintos países han ido adaptando su propia organización y sistemas a este nuevo enfoque de gestión pública «combinando sistemas de verificación de resultados con métodos de evaluación de políticas públicas» (Osuna y Márquez, 2015, p. 58) en un intento por perfeccionar los procesos de toma de decisiones para mejorar los resultados de los programas públicos y proporcionar un servicio más eficaz, eficiente y de mayor calidad.

En el caso de España, tanto a nivel de la Administración General del Estado como a nivel autonómico, la EPP se ha enfrentado y sigue enfrentándose con retos similares a los que pueden ser observados a nivel internacional, con la gran diferencia que los intentos de institucionalización comenzaron más tarde que en otros países (AIReF, 2021). Una explicación de este menor avance es «la coincidencia en el tiempo del inicio del proceso de institucionalización de la evaluación con la crisis económica, y la consiguiente adopción de medidas de ajuste y austeridad presupuestaria» (Ruiz, 2012, p. 16).

Si bien, el impulso de los últimos años ha sido significativo, a pesar de las numerosas dificultades de diversa índole (institucionales, jurídica y técnicas), lo ha hecho con cierto retraso respecto a otros países de nuestro entorno. La EPP avanza, pero muy poco a poco, y es difícil pensar que en un contexto como el de las últimas décadas, a lo que habría que sumar un modelo de estado descentralizado y en continuo proceso de transformación, pueda facilitar un modelo de evaluación propio, si bien existe un cierto nivel de acuerdo en la necesidad-bondad de incorporar la evaluación en la gestión de las políticas y las administraciones públicas.

Hemos de decir que los distintos niveles de gobierno anteriormente mencionados han dado pasos en materia de EPP, aunque con distinta intensidad, principalmente como consecuencia de la obligatoriedad en relación con los programas financiados con fondos europeos. Este contexto supuso un punto de inflexión para la evaluación que comienza a cobrar mayor importancia tanto en las políticas de nivel europeo como en las políticas de ámbito más nacional y regional como procedimiento autónomo para justificar y rendir cuentas sobre las políticas implantadas. A través de la evaluación se quería conocer los efectos de las políticas para legitimar la gestión eficaz (o no), eficiente y transparente de las políticas públicas (Arriazu, 2015).

Con el paso de los años –mediados de los 90– la evaluación empieza a tener valor no sólo como rendición de cuentas, sino que se ve también como una oportunidad de retroalimentación y mejora de las deficiencias detectadas, aunque los procesos aún eran poco sistemáticos y ligados principalmente a políticas sectoriales de carácter social (Bustelo, 2020). Pero quizá uno de los pasos más significativos es la creación de la Agencia Estatal de Evaluación de Políticas Públicas y la Calidad de los Servicios (AEVAL) a principios de 2007 y del Instituto para la Evaluación de las Políticas Públicas (IEPP) en 2017 a la vez que desaparecía la AEVAL.

Estos procesos de institucionalización de la práctica evaluadora han supuesto pasos importantes para incorporar la cultura evaluadora en las organizaciones responsables de la ejecución de las políticas públicas –que han podido aprovechar los avances en otros países para incorporar los enfoques más novedosos en la materia desde el inicio–, pero no suficiente para garantizar una implantación de la evaluación como una práctica interiorizada y sistemática en las organizaciones públicas.

Asistimos pues, a una toma de conciencia sobre la evaluación por parte de nuestros representantes y gestores públicos, presente en la agenda política, que ya se está traduciendo en iniciativas concretas (Ley Foral de Evaluación de Políticas Pública y Calidad de los Servicios de Navarra; la extinta AEVAL y el IEPP; Instituto Catalán de Evaluación de Políticas Públicas-Ivàlua; Plan de Innovación Pública del Gobierno Vasco; Oficina de Evaluación adscrita al Gobierno de Baleares; Instituto Andaluz de Administración Pública; Anteproyecto de ley de institucionalización de la evaluación de políticas públicas en la Administración General del Estado; entre otras), que otorgan mayores niveles de transparencia y un apoyo esencial para la definición de nuevas estrategias, aspectos que nos permiten entender que estamos ante un elemento clave en el sector público. En el caso de Andalucía, objeto de nuestro análisis, se han dado pasos importantes desde el año 2015 para dar forma y sentido a una estrategia de implantación de la EPP.

4. LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN LA COMUNIDAD AUTÓNOMA DE ANDALUCÍA

4.1. Antecedentes normativos

A nivel autonómico, prácticamente todas las Comunidades Autónomas, contemplan la EPP en su marco jurídico como herramienta a desarrollar, si bien sus avances en la materia son muy desiguales. En el caso concreto de la Comunidad Autónoma de Andalucía, la evaluación está presente en su ordenamiento jurídico de forma significativa. La Ley Orgánica 2/2007, de 19 de marzo, de reforma del Estatuto de Autonomía para Andalucía, ordena establecer un sistema de EPP, que como indica en su artículo 138, la organización y funcionamiento del sistema se regulará por Ley. Además, ese mismo año, en la Ley 9/2007, de 22 de octubre, de Administración de la Junta de Andalucía, se indica en su artículo 6. Calidad de los servicios, concretamente en el punto 6.1, el compromiso con la mejora continua de los servicios de la administración a través de los sistemas de calidad y evaluación aprobados por el Consejo de Gobierno, orientados en todo caso al logro de la excelencia en la gestión.

Por otro lado, a partir del año 2014, se han dado varios pasos esenciales para dar forma y sentido a una estrategia de implantación de la EPP. La Ley 1/2014, de 24 de junio, de Transparencia Pública de Andalucía, en su exposición de motivos, reconoce la evaluación como un instrumento operativo para cumplir objetivos de transparencia. Además, resalta que la Junta de Andalucía se marca como objetivo avanzar en el diseño de un Sistema Andaluz de Evaluación de Políticas Públicas, haciendo referencia a lo dispuesto en el artículo 138 del Estatuto de Autonomía y en orden a la mayor transparencia en la gestión pública.

Es importante resaltar, que en el artículo 12, se dice expresamente que:

«se considera evaluación de políticas públicas el proceso sistemático de generación de conocimiento encaminado a la comprensión integral de una intervención pública para alcanzar un juicio valorativo basado en evidencias respecto de su diseño, puesta en práctica, resultados e impactos. Su finalidad es contribuir a la mejora de las intervenciones públicas e impulsar la transparencia y la rendición de cuentas.».

En el verano de 2015, tras el inicio de la X Legislatura, el Gobierno Andaluz atribuye a la Secretaría General para la Administración Pública, la dirección, definición e impulso de los planes, proyectos e iniciativas de transformación de la Administración Pública y, por ende, de la EPP. En este sentido, el Decreto 206/2015, de 14 de julio, por el que se regula la estructura orgánica de la Consejería de Hacienda y Administración Pública encomienda al Instituto Andaluz de Administración Pública (IAAP) el impulso de la planificación y EPP.

Queda claro que en Andalucía la evaluación está ya presente en la normativa, pero también requiere voluntad política para su impulso, que facilite su institucionalización y limite las posibles barreras culturales dentro de la propia administración. En este sentido, es de interés resaltar algunos extractos de las intervenciones de la entonces Consejera de Hacienda en el Parlamento de Andalucía, María Jesús Montero, en la que viene a respaldar la apuesta del ejecutivo sobre el papel decisivo de la evaluación ante la nueva realidad de la administración andaluza. El 16 de julio de 2015, en su intervención decía que:

«... La evaluación se va a constituir en un elemento nuclear de la gestión pública durante esta legislatura. Y creo que todos estamos de acuerdo en que la Administración sólo se legitima si es útil para las personas. Por ello, queremos poner en marcha la cultura de evaluación de las políticas públicas, que permita no solo, y como es obvio, garantizar el dinero público, sino también que el lugar donde se ubica ese dinero es lo que resulta más rentable para el bienestar general de los ciudadanos» (Diario de Sesiones del Parlamento de Andalucía, Núm. 32, X Legislatura, 16 de julio de 2015, p. 11).

Y en la intervención del 19 de octubre de ese mismo año, señalaba:

«... vamos a mejorar la eficiencia y el control del gasto público, modernizando la Administración con una avanzada innovación en la evaluación de las políticas públicas y también en el apartado de rendición de cuentas. En este sentido, el Instituto Andaluz de Administración Pública (IAAP)… que va a jugar un papel relevante, en esta nueva etapa… va a tener entre sus objetivos la configuración de un sistema integral de evaluación» (Diario de Sesiones del Parlamento de Andalucía, Núm. 72, X Legislatura, 19 de octubre de 2015, p. 8).

Y en otro momento de la intervención decía «Es nuestra intención –antes de que termine el año– sentar las bases de la evaluación de estas políticas, que deben considerarse como un primer escalón para la elaboración de esta cultura política» (pág. 13).

A partir de ese momento, se estuvo trabajando en un Decreto para la EPP durante aproximadamente un año y medio, llegando a ser supervisado por los responsables legislativos de la Consejería de Hacienda y Administración Pública que, finalmente, se decidió no tramitar coincidiendo con la marcha de la hasta entonces Consejera, María Jesús Montero (fue nombrada Ministra del Gobierno), quien lo había liderado, y la cercanía de las elecciones al parlamento de Andalucía de 2018, lo que lógicamente supuso un contratiempo para la institucionalización de la práctica evaluadora en la Junta de Andalucía.

Tras las elecciones de 2018 y con el cambio de gobierno en coalición entre Partido Popular y Ciudadanos, el desarrollo normativo de la EEP sigue pendiente de los futuros movimiento del nuevo Gobierno, si bien ya se están dando los pasos para aprobar a lo largo del año 2022 la Ley de Evaluación de Políticas Públicas de Andalucía.

En definitiva, que en Andalucía se han empezado a dar pasos prometedores, aunque queda mucho camino por recorrer para la institucionalización de la EPP, que están permitiendo un avance significativo en la materia especialmente notorio a partir del año 2016, con una clara apuesta por parte de la Administración y con un papel determinante del IAAP, aspecto que analizaremos a continuación.

4.2. El Instituto Andaluz de Administración Pública: el Área de Evaluación de Políticas Públicas

Como hemos indicado anteriormente, en el año 2015, el IAAP asume el impulso de la EPP. A partir de ese momento, se empieza a trabajar en esta dirección con la creación de un grupo de trabajo integrado por personal técnico de la Dirección General de Planificación y Evaluación, así como personal del propio IAAP, con los siguientes propósitos:

• Estudiar la Evaluación de Políticas Públicas a nivel nacional e internacional.
• Analizar la realidad de la evaluación en la Junta de Andalucía (oportunidades y debilidades).
• Desarrollar un documento base que permitiese orientar la actuación pública.

Los resultados de los trabajos previos se plasmaron en un documento marco «Evaluación de Políticas Públicas. Junta de Andalucía 2016», aprobado por la citada Consejera, en enero de 2016, en el que se señalaban tres objetivos estratégicos para el impulso de la EPP que podemos ver en el Gráfico 1 (IAAP, 2016).

Gráfico 1. Objetivos estratégicos para el impulso de la Evaluación de Políticas Públicas

Fuente: Elaboración propia.

Unos meses más tarde, se constituye (de forma funcional) el Área EPP dentro del IAAP como unidad responsable de la reflexión, formación e impulso de la acción en materia de planificación y EPP con una hoja de ruta definida en base a los tres objetivos estratégicos indicados.

El Área EPP está formada, en este momento, por un equipo multidisciplinar de tres personas Seniors, apoyado por una Oficina Técnica de Evaluación de Políticas Públicas (OTEVAL) integrada por cuatro personas más y con la colaboración de un grupo de personas empleadas públicas adscritas a diferentes centros directivos de la Junta de Andalucía que constituye el estudio de caso que analizaremos en profundidad en el siguiente apartado.

Gráfico 2. Esquema Área EPP

Fuente: Elaboración propia.

De forma resumida, exponemos las funciones de cada actor reflejado en el Gráfico 2 (IAAP, 2019a):

• Dirección del IAAP: establece las directrices del Área EPP, así como las prioridades y los principales objetivos que debe perseguir.
• Área EPP: unidad responsable del impulso de la evaluación y planificación de políticas públicas en la Junta de Andalucía.
• OTEVAL: proporciona apoyo y soporte técnico directo al Área EPP y a los órganos promotores con los que el IAAP trabaja.
• Red de Personas Colaboradoras: grupo de trabajo en torno a 40 que colaboran con las diferentes actividades que se impulsan desde el Área EPP.
• Personas Promotoras de la Junta de Andalucía: conjunto de personas responsables de la planificación y evaluación en los diferentes organismos y centros directivos de la Junta de Andalucía interesadas en contar con el asesoramiento y colaboración del Área EPP para la elaboración de planes estratégicos y en la realización de evaluaciones.
• Red Profesional: grupo abierto en la red corporativa formado por más de 450 personas interesadas en la EPP.

4.3. La estrategia de implantación de la Evaluación de Políticas Públicas

Es en 2015, con la incorporación del nuevo director del IAAP, José María Sánchez Bursón, y coincidiendo con las nuevas competencias asignadas para el impulso de la EPP, cuando se decide realizar el encargo de estudiar el tema de la evaluación a un grupo de 3 técnicos del IAAP, coordinados por una de ellas (Doctora en Evaluación y actual responsable del Área EPP), que junto a otras dos personas de la Dirección General de Planificación y Evaluación elaboran el documento estratégico que da inicio al proyecto. En ese documento, ya se hacía referencia explícita a la llamada «Red de Personas Evaluadoras». Por ejemplo, dentro de los objetivos se contemplaba «Articular los medios para implantar el sistema de evaluación» y entre las acciones previstas «Conformar una red de evaluadores de las Consejerías y Organismos» (IAAP, 2016, p. 19) cuyo papel se refleja en la página 29 donde se dice que: «El planteamiento está explicado en el gráfico y arranca con la aprobación de la propuesta y la conformación del Equipo técnico y la implicación de las Consejerías. Para pasar a la fase de formación y creación de la red de evaluadores para que funcionen como asesores y especialistas en la concreción del Modelo a presentar al Órgano asesor y que debería aprobar el Consejo de Gobierno».

Es decir, desde un inicio, se tiene claro que la participación de las personas que ya forman parte de la Junta es esencial para impulsar el proyecto. La decisión del Director del IAAP y de la Consejera propicia el lanzamiento de una convocatoria abierta a todo el personal de la Administración, en base a:

• El convencimiento de que el impulso de las prácticas de EPP no se podía conseguir sin el compromiso y complicidad del personal interno de la propia administración.
• La seguridad de que en la organización ya había personas con competencias y experiencia que podían ayudar.
• La falta de recursos propios en el IAAP para crear un equipo técnico en la materia.
• La necesidad de que el cambio cultural para la institucionalización de la EPP se hiciese a partir de las personas que ya estaban sensibilizadas.

En febrero de 2016 se lanza la convocatoria abierta y masiva a las 10.200 personas que ocupaban puestos técnicos de la Junta de Andalucía, independientemente a cuál fuera su puesto de trabajo y ubicación geográfica. A la convocatoria respondieron más de 400 personas que solicitaban más información del proyecto y estaban predispuestas a afrontar el desafío que suponía la evaluación, a quienes se le remitió una respuesta personalizada con toda la información y a las que se les pidió una serie de datos sobre su perfil. Se recibió respuesta de 178 personas que querían continuar en el proceso de selección para participar en el proyecto, aunque la mitad de ellos decían que no tenían formación ni experiencia en el tema pero que estaban dispuestos a aprender y colaborar.

Antes de la selección final, se realizó una reunión informativa en Sevilla a principios del mes de abril a la que acudieron unas 100 personas, que se ofreció también por streaming a través del canal de YouTube del IAAP para que todas las personas tuviesen acceso desde cualquier ubicación geográfica. En el transcurso de la reunión se explicó en detalle lo que se estaba buscando para configurar la Red de Personas Colaboradoras de EPP por parte del Director del IAAP y la persona responsable del Área EPP, además de atender a los ruegos y preguntas de los asistentes. El aceptar participar en el grupo suponía un esfuerzo extra al trabajo ya desarrollado dentro de la Administración, por lo que se dejó claro qué se demandaba y el ofrecimiento por parte de IAAP a cambio de su colaboración: participar en un grupo de personas con alta motivación para la mejora de la organización; formación específica en materia de EPP; colaborar en proyectos específicos de evaluación (aprender-haciendo); certificar su colaboración; visitas técnicas; y dietas de desplazamiento.

Gráfico 3. Número de componente del GPE por provincias

Fuente: Elaboración propia.

Gráfico 4. Número de personas evaluadoras por Consejerías de pertenencia

Fuente: Elaboración propia.

El resultado del proceso fue, la selección de 40 personas donde se primó las competencias, experiencia y formación específica en EPP, así como la multidisciplinariedad y diversidad de procedencias en cuanto a las áreas de la organización y ámbito geográfico.

Desde la configuración inicial del grupo, el número de personas se ha mantenido constante, debido a la estrategia de captación continua de nuevos miembros a través de las propias personas que ya participan en el grupo, las acciones formativas realizadas, la red profesional o las jornadas desarrolladas en estos años. La captación continua es esencial para la propia supervivencia del grupo y el enriquecimiento de nuevas perspectivas desde diferentes áreas. Actualmente el grupo lo componen personal de casi todas las Consejerías (Gráfico 4) y provincias andaluzas (Gráfico 3), con un peso importante de las personas que trabajan en centros directivos ubicados en Sevilla, algo lógico si tenemos en cuenta que las funciones de planificación y evaluación de políticas están ubicadas generalmente en las Consejerías y que gran parte del personal de la Junta de Andalucía está en Sevilla (un 50 % aproximadamente).

5. METODOLOGÍA

Teniendo en cuenta la naturaleza y las características complejas del tema a investigar, así como el objeto planteado en el punto 2, se opta por desarrollar la investigación como un estudio de caso que nos ofrece la posibilidad de una comprensión más profunda del fenómeno en cuestión –desde diferentes perspectivas– para verificar cómo y por qué se están introduciendo cambios en la forma de gestionar los asuntos públicos en un contexto sociopolítico e institucional concreto.

Es verdad que un estudio de caso no puede ser generalizable estadísticamente, pero sí analíticamente, en la medida en que el caso es relevante a nivel teórico, pues el objetivo es ampliar y generalizar proposiciones teóricas, lo que permite realizar abstracciones a la teoría como si de un experimento de laboratorio se tratara. En este sentido, es importante utilizar múltiples fuentes de datos para intentar verificar si los datos obtenidos de las diferentes fuentes convergen y guardan relación entre sí, cumpliendo de este modo el principio de triangulación que nos ofrezca garantías sobre la validez interna de la investigación.

En nuestro caso, hemos decidido utilizar fuentes primarias (normativa; informes e información disponibles en el Web del IAAP; memorias y otros documentos internos de trabajo del propio grupo objeto de análisis; observación participante del investigador como miembro del grupo; así como datos obtenidos de encuesta a informantes clave) y secundarias (revisión bibliográfica).

Es importante aclarar que la muestra utilizada para la encuesta está formada por la totalidad de miembro del grupo objeto de estudio que asciende a 41 personas, a las que se les envió un correo electrónico donde se les informaba del estudio a realizar, se le pedía su colaboración y se le adjuntaba el enlace al cuestionario que debían responder compuesto por 8 preguntas abiertas. La tasa de respuesta al cuestionario fue muy alta, 92,68 %.

Finalmente, una vez obtenida la información tanto de las fuentes primarias como secundarias, se ha procedido al análisis de los datos obtenidos –en base al principio de triangulación– para garantizar la calidad y objetividad del investigador a la hora de exponer los resultados y principales conclusiones. De forma resumida, la secuencia ha sido la siguiente: 1. Recogida de información (trabajo de campo); 2. Estructuración y organización de los datos; 3. Codificación de los datos; 4. Análisis y ajuste de los resultados (triangulación); y 5. Elaboración de conclusiones.

6. EL CASO DEL GRUPO DE PERSONAS COLABORADORAS EN EPP

El Grupo de Personas Colaboradoras en EPP (en adelante GPE) ha sido, quizás, uno de los elementos claves del avance de la institucionalización de la EPP dentro de la Junta de Andalucía, grupo que actualmente sigue operativo y con una gran actividad que trataremos de resumir en este apartado. Estudiar el caso resulta de interés por diferentes motivos: 1) por la metodología de trabajo participativo; 2) los principales hitos conseguidos que evidencian su influencia en la institucionalización de la evaluación dentro de la Administración andaluza; 3) las valoraciones realizadas por las personas que forman para del propio grupo; y 4) la posibilidad de replicar la estrategia en otras Comunidades Autónomas.

6.1. Mecanismos de trabajo colaborativo y roles desempeñados

La dinámica de trabajo del GPE se estructura a partir de dos elementos esenciales: las reuniones trimestrales y el trabajo en subgrupos.

Las reuniones trimestrales

Uno de los elementos que le ha dado solidez al GPE, han sido las reuniones presenciales en las instalaciones del IAAP en Sevilla. Cada tres meses se han planteado reuniones de trabajo (envío de orden del día con al menos 20 días de antelación) para la discusión teórica y práctica, el establecimiento de prioridades, presentación del estado de los compromisos adquiridos por cada subgrupo, organización-reestructuración de los subgrupos (o creación de otros nuevos), detección de necesidades del propio grupo, recogida de propuestas e intereses, etc.

Otro elemento para destacar, dentro de las reuniones trimestrales, es la participación de personas expertas en diferentes ámbitos que ha servido para adquirir conocimientos y avanzar en la materia. Han participado tanto personas externas como propias de la Junta de Andalucía.

Los subgrupos de trabajo

Todas las personas que forman el GPE deben adscribirse como mínimo a un subgrupo de trabajo (máximo 2) en el que se colabora en la consecución de un objetivo concreto acordado por el propio subgrupo. Los subgrupos establecen sus propios tiempos y ritmos de trabajo, en base al plan de trabajo que deben presentar donde se contempla una serie de entregas o productos finales que son presentados al GPE en las reuniones trimestrales para su debate. La exposición al GPE de los avances de los diferentes subgrupos es muy importante, pues en las reuniones se aclaran los compromisos adquiridos, se pone límite a las tareas, se acotan las expectativas, se recuerda la estrategia global que muestra las sinergias entre los diferentes subgrupos y favorece el aprendizaje colaborativo.

El trabajo de los subgrupos es esencialmente online con la coordinación de una de las personas que forman parte de ese subgrupo. En caso de que el trabajo lo requiera, los subgrupos tienen la posibilidad de mantener reuniones presenciales al margen del resto del GPE.

Los subgrupos son vivos, están abiertos a modificaciones y adaptaciones en función de las necesidades detectadas en las reuniones trimestrales. En la última reunión del GPE, en diciembre de 2020, se fijaron los siguientes subgrupos (Gráfico 5).

Gráfico 5. Subgrupos de trabajo primer trimestre 2021

Fuente: Elaboración propia.

La estrategia de trabajo en subgrupos está dando muy buenos resultados, ya que está enfocada a la producción de un producto tangible de utilidad para el GPE, para las personas interesadas en el EPP o para la propia organización. Además, permite a las personas sentirse motivadas pues su participación se ve reflejada en los logros generales del GPE, así como reconocimiento explícito en la autoría de los materiales y cualquier otro evento. Entre los elementos desarrollados podemos destacar: manuales; guías; bases de datos; materiales para formación en EPP; documentos de trabajo; organización de jornadas; visual thinking, etc.

En definitiva, siempre se ha pretendido poner al servicio del proyecto, el conocimiento y experiencia del personal de la organización. Hasta el momento, las personas del GPE han desempeñado múltiples roles, entre los que podemos destacar:

• Colaboración en el diseño de evaluaciones.
• Diseño de técnicas e instrumentos de recogida de información para evaluaciones concretas.
• Análisis de datos de diferentes técnicas de evaluación.
• Participación en sesiones de trabajo para el seguimiento de procesos de evaluación.
• Redacción de informes de evaluación (análisis de datos, conclusiones y recomendaciones).
• Participación en reuniones formativas e intercambio de experiencias con otras personas de la Administración en materia de EPP.
• Análisis de evaluabilidad de un plan o programa.
• Colaboración como docentes en la formación del personal de la Junta de Andalucía.
• Elaboración de manuales, guías, protocolos de evaluación, etc.
• Asesoramiento como personas expertas en determinados procesos de evaluación.
• Colaboración en investigaciones evaluativas puestas en marcha por el IAAP.
• Difusión de la EPP a través de diferentes mecanismos (red profesional, portal de noticias EPP, redes sociales, jornadas formativas, etc.).
• Participación en el diseño de soportes de difusión (dípticos, videos, folletos, etc.).

6.2. Hitos más destacados del trabajo del Área EPP y el GPE (periodo 2016-2021)

Desde que en el año 2016 se puso en marcha la estrategia de impulso de la EPP, se han ido consiguiendo diferentes hitos que dejan patente que poco a poco se va consolidando la institucionalización de la EPP en la Junta de Andalucía. A continuación, se presentan los principales hitos del periodo 2016-2021.

Uno de los productos más relevantes del Área EPP, es la investigación realizada en el año 2018 sobre la calidad de 74 planes estratégicos vigentes en la Junta de Andalucía. Entre sus hallazgos, cabe destacar (IAAP, 2019a):

• Ausencia de un diagnóstico concreto que permita saber si la situación de partida ha cambiado tras la acción pública.
• Dificultad para delimitar los problemas, necesidades o retos que se quieren resolver por la falta, en muchos casos, de calidad y suficiencia de datos. El 90 % utiliza solo datos internos de gestión y muy poco técnicas y herramientas de investigación social.
• Los objetivos no son evaluables (ni mucho menos medibles) en el 79 % de los casos analizados y, además, suelen ser excesivamente amplios e indefinidos. En el 69 % de los planes, se encontró que ningún objetivo tenía un indicador asociado. Y solo el 25 % cuenta con algún tipo de indicadores.
• El 95 % de los planes tiene previsto el seguimiento, pero sólo el 60 % tiene previsto la evaluación de resultados.
• El 75 % de los planes no ha determinado quién tiene que llevar a cabo las acciones ni cuándo, así como tampoco se ha determinado el presupuesto necesario.

Analizados los resultados y con la experiencia adquirida desde 2016 en la práctica evaluadora por el Área EPP, se decidió trabajar en profundidad sobre el ciclo de las políticas públicas que mejor se adaptara a la realidad de la Administración andaluza, entendiendo su complejidad y la necesidad de desarrollar un ciclo integral de evaluación que incluyese los aspectos relevantes que se habían entendido esenciales tras participar en la elaboración y evaluación de diversas políticas (Cerezo et al., 2019). De modo ilustrativo, el ciclo quedó definido como muestra el Gráfico 6.

El gráfico define el marco conceptual bajo el que se ha desarrollado el trabajo en estos años y sin el cual no se puede entender el avance en referencia a la EPP.

Gráfico 6. Ciclo de elaboración e implantación de una política pública

Fuente: Guía para realizar un diagnóstico para una política pública (Cerezo et al., 2019).

Incremento de encargos por el Área EPP, así como vías de procedencia

El incremento de encargos hacia el Área EPP desde el inicio de la estrategia de impulso de la EPP ha sido considerable. Hasta el momento, se han realizado 7 estudios/investigaciones, 8 evaluaciones ex ante, 1 evaluación intermedia y se ha participado o se está participando en 35 asesoramientos metodológicos para el desarrollo de diferentes estrategias en la Junta de Andalucía. Por ejemplo: estudio sobre la Calidad de la Planificación Estratégica en la Junta de Andalucía; estudio del teletrabajo; evaluación ex ante de la Estrategia de Impulso del Sector TIC 2020; evaluación ex ante de la Estrategia de Compra Pública de Innovación en la Junta de Andalucía; la Evaluación Intermedia de la Estrategia Minera de Andalucía 2020; asesoramiento en los Planes de Transporte Metropolitano; asesoramiento en el I Plan Estratégico Integral para personas mayores en Andalucía 2020-2021; asesoramiento en el Plan Estratégico de los RR.HH de la Administración de la Junta de Andalucía; evaluación ex ante del Plan META (Turismo); evaluación final de las ayudas a las pymes en materia de prevención de riesgos laborales; entre otras.

Otro dato de interés es la valoración recibida por parte de las direcciones y secretarias generales de los organismos con los que se ha colaborado, que han otorgado una puntuación de 9 sobre 10 en la encuesta online realizada. Algunas de las razones que explican esta calificación la extraemos de los comentarios realizados: «El servicio nos brindó una metodología que nos ayuda a organizar el proceso de manera coherente y lógica»; «Nos dio confianza en la aprobación del plan»; o «Representa un gran apoyo, más aún si no se está familiarizado con la planificación de políticas públicas».

Elaboración colaborativa de manuales y guías de evaluación

Los manuales y guías que se han presentado en estos años (Gráfico 7) han sido realizados de forma interna, de forma colaborativa, por miembros del GPE (Cerezo et al., 2017; Cerezo et al., 2019; Feria, 2017; García et al., 2021; Gómez y Menéndez, 2019; Herrera et al., 2020; Martínez, 2017; Menéndez et al., 2021; Serrano et al., 2019), con lo que queda patente la existencia de personas con conocimientos y experiencia dentro de la organización. Cada trabajo se ha realizado dentro de un subgrupo de trabajo en el que participaban personas con conocimientos en la temática o interesadas en la misma. En cada subgrupo se seleccionaban uno o varios coordinadores (autores) además de otras 3-4 personas que colaboraban aportando bibliografía. El objetivo era la producción de materiales que pudiesen ser útiles a todos los organismos de la administración, independientemente del área, con un lenguaje sencillo, adaptado al público al que se dirigía y al contexto de la Administración andaluza.

La decisión consciente de elaborar colaborativamente los manuales tenía una doble intención. Por un lado, el aprendizaje colaborativo de las personas que participaban activamente en el desarrollo del manual/guía. Y, por otro lado, construir material de trabajo y formación para el propio grupo y el resto del personal de la Administración como podemos apreciar en el siguiente hito.

Gráfico 7. Manuales y guías elaborados por el GPE periodo 2017-2021

Fuente: Elaboración propia.

Diseño e impartición de acciones formativas en materia de EPP

Un aspecto importante es la formación desde una doble perspectiva: por un lado, la formación recibida por parte de los miembros del GPE; y, por otro lado, el diseño e impartición de acciones formativas destinada al personal de la Administración.

El GPE se ha ido consolidando a través del aprendizaje colaborativo y la formación especializada de sus miembros que ha permitido el desarrollo de un lenguaje común. Por ejemplo, desde el IAAP se ha apoyado a doce personas en la realización de un curso de Experto en Evaluación de Políticas Públicas de la Universidad de Sevilla, a otra de ellas, que ya tenía el curso de Experto, se le apoyó en la realización del Máster en Evaluación de Políticas Públicas de la Universidad de Sevilla y el resto de las personas han recibido formación especializada dentro del IAAP.

El subgrupo de formación en estos años ha diseñado cursos de formación de nivel inicial y avanzado que han sido incluidos en la oferta formativa del IAAP destinada al personal vinculado a la Junta de Andalucía (Gráfico 8). Las acciones han sido impartidas por profesionales de referencia y por algunas de las personas del propio GPE, principalmente han sido formadoras en los cursos de nivel inicial y docentes-dinamizadores en los MOOCs (Massive Open Oline Course), que han tenido un impacto considerable a nivel nacional e internacional en las cinco ediciones que se han realizado (más de 4.550 personas inscritas, de las que el 77 % son personal de la Junta de Andalucía).

Gráfico 8. Oferta Formativa IAAP en materia de EPP

Fuente: Elaboración propia.

Jornadas de Evaluación de Políticas Públicas

Se han celebrado cinco ediciones de las Jornadas de Evaluación de Políticas Públicas de la Junta de Andalucía: I Jornadas de EPP. Junta de Andalucía (19 de octubre de 2017); II Jornadas de EPP. La evaluación de políticas públicas: una herramienta esencial para un buen gobierno (8 y 9 de octubre de 2018); III Jornadas de EPP. Evaluar para responder, evaluar para acertar (23 y 24 de octubre de 2019); IV Jornadas de EPP. La situación y futuro de la EPP. Innovación en tiempo de crisis (3 de diciembre de 2020); y V Jornadas de EPP. La evaluación como motor de innovación y cambio (4 de noviembre de 2021).

Difusión de la cultura evaluadora

Creación de la sección «Evaluación de Políticas Públicas» en la Red Profesional (red corporativa del personal de la Junta de Andalucía), el portal de noticias scoop.it y la revista de EPP «Valor de lo Público» para la difusión de la cultura evaluadora y del Área EPP.

Reconocimiento público y respaldo institucional

Cuestiones relevantes: participación al más alto nivel en las III, IV y V Jornadas que organiza el Área EPP; acuerdos de gobierno que incorporan el compromiso con la evaluabilidad del plan con la participación del Área EPP; papel relevante en el proceso de reflexión sobre el nuevo modelo de función pública de la Administración General de la Junta de Andalucía (colaboración en la elaboración de la estrategia, coordinación de grupos focales, monográficos realizados, etc.).

Presencia cada vez más relevante en foros nacionales e internacionales en la materia, entre los que se pueden destacar: Congreso Nacional de Innovación y Servicios Públicos (CNIS); Congreso NOVAGOB; trabajo en red con el Joint Research Centre de la Unión Europea o la red de Evaluadores de Naciones Unidas; Jornadas de Evaluación de Políticas Públicas de Castilla y León; Bienal de la Sociedad Española de Evaluación de Políticas Pública de la que el IAAP es socio institucional desde 2020 y en la que se consiguió una Mención de Honor por uno de los trabajos presentados por un miembro del GPE.

Más recientemente, el proyecto ha recibido un galardón en los Premios Europeos del Sector Público 2021 (EPSA 2021) otorgado por el European Institute of Public Administration (EIPA) en la categoría «Innovative Public Administration», concretamente el Certificado de Buena Práctica por el proyecto titulado «The public policy planning and evaluation area».

Posición de referencia del Área EPP

A partir del año 2019 se han empezado a recibir solicitudes de información de los gobiernos de Murcia, Extremadura, Castilla y León, así como colaboración a través de CEDDET de diferentes gobiernos de América Latina (Chile y México). La intención de las peticiones de información es conocer la estrategia que se está siguiendo en Andalucía para la institucionalización de la EPP.

Relevancia de las responsabilidades que han asumido diferentes personas del GPE

Hemos detectado que un porcentaje importante de personas del GPE promocionan en sus puestos de trabajo. En los últimos años, cuatro personas han sido promocionadas a puestos de Jefatura de Servicios, una de ellas como titular de una Coordinación Técnica en una Secretaría General Técnica y otra como titular de una Secretaría General. Además, un miembro del grupo ha sido designado como experto nacional destacado en el grupo de evaluación de la Dirección General de Agricultura y Desarrollo Rural de la Comisión Europea.

Participación en el desarrollo normativo de la EPP

Ahora es momento de centrarse en participar en la futura Ley de Evaluación de Políticas Públicas de Andalucía, que se encuentra en la fase de consulta pública, que abre una gran oportunidad para realizar todas las aportaciones oportunas a un elemento vehicular de la EPP en Andalucía.

6.3. Valoración de la estrategia desde la perspectiva de los miembros del GPE

Hasta aquí, hemos realizado una revisión de la EPP en Andalucía, el papel desempeñado por el Área EPP, los hitos conseguidos, además de explicar cómo se creó, cómo funciona, cómo se organiza y el rol desempeñado por el GPE como elemento clave. Pero sin duda, la información más enriquecedora, es la opinión de los verdaderos protagonistas, las personas que participan activamente en el GPE, muchas de ellas desde el inicio del proyecto, otras desde hace 2 años, 1 año e incluso menos, pero cuya opinión es igualmente válida.

Para plasmar la opinión del GPE se han utilizado dos vías: 1. Se ha accedido a los números de la revista Valor Público (de fácil acceso desde la web del IAAP) donde, en cada número, se realiza una pequeña entrevista (siempre con las mismas preguntas y formato) a integrantes del GPE. Y 2. Se ha realizado una encuesta para completar la información con 8 preguntas abiertas que intentan detectar los factores claves de la estrategia seguida y que puedan ser de ayuda para el desarrollo de estrategias similares.

Realizado un análisis de contenido, se presentan los aspectos que más se repiten y algunos comentarios que reflejan el sentir general del grupo en cada una de las cuestiones planteadas:

¿Qué has encontrado en el GPE?

La mayoría de respuesta hacen referencia a cualidades del propio grupo, que podríamos expresar como un grupo de personas comprometidas, con altas competencias, motivadas, muy implicadas con el proyecto e Ilusionadas con la mejorar de los servicios públicos de Andalucía.

Se valora especialmente el enriquecimiento profesional y personal que aporta la formación y el intercambio de experiencias dentro del grupo. Se destaca el proyecto de trabajo colaborativo con el objetivo de crear conocimiento, promover la capacitación del personal de la organización y mejorar las herramientas para la evaluación y la planificación estratégica.

Oportunidad de innovar y aportar valor a la organización, que se refleja en uno de los comentarios: «encontré una comunidad de interés en torno a la evaluación, un foro que pretende cambiar la organización desde dentro y propiciar políticas públicas participativas, transparentes y con perspectiva de género, con las que alcanzar resultados que mejoren la Administración andaluza».

Analizando el trabajo realizado en estos años ¿qué consideras que has aportado a nivel individual?

Las respuestas a esta cuestión incluyen elementos como: motivación; trabajo; experiencia; implicación; compromiso; actitud colaboradora; ganas de trabajar y contribuir a los grupos de trabajo; visión práctica de la evaluación; creatividad a la hora de construir conocimientos; o lo que responde una de las personas encuestadas, que bien podría responder cualquier persona del grupo «he aportado un montón de horas de trabajo que me han resultado muy rentables porque he recibido mucho más de lo que he aportado». También es interesante reflejar la opinión de una persona que se incorporó al grupo hace menos de un año «he aportado tiempo y esfuerzo, me he formado para poder ponerme a su altura y poder participar con ellos en diferentes actividades, pues la capacidad del grupo es impresionante».

Hemos hablado de lo que a nivel personal has aportado, pero ¿qué has recibido del GPE?

Los elementos clave que aparecen en todas las respuestas es la formación de calidad y el aprendizaje continuo. En algunas respuestas se matiza: aprendizaje de nuevos enfoque y herramientas; formación de calidad en EPP; una visión interna de los procesos de EPP desde el IAAP; un foro de debate; etc.

Otro aspecto que se repite es el sentimiento de pertenencia, como indica una de las personas «sentirme parte de un grupo con alto nivel de competencias y compromiso» y en otra respuesta «pertenecer a este grupo ha supuesto un importante aporte de conocimientos y experiencia de muchas personas que son estupendas profesionales. Se han creado lazos afectivos que, como un nudo gordiano, ha permitido crecer el sentido de pertenencia a una estructura profesional enriquecedora y gratificante». Además, se hace referencia al apoyo y motivación que el propio grupo ejerce para seguir evolucionando profesionalmente y la ampliación de la red profesional.

Por otro lado, se hace referencia al refuerzo de la identidad corporativa con respecto a la Junta de Andalucía y la oportunidad de colaborar en la mejora de la Administración andaluza «empoderamiento como persona al participar en cómo deberían ser algunos procesos administrativos» o como expresa una de las personas encuestadas «hacer de profeta de la EPP dentro de mi institución».

Para finalizar, resaltar una de las respuestas que engloba en cierta manera el sentir del grupo: «me ha servido para ser mejor profesional, para conocer grandes profesionales de diferentes ámbitos, para compartir conocimiento y vivencias, para sentirme valorado y ser partícipe de una iniciativa que marcará un antes y un después dentro de la administración».

¿Qué te ha parecido novedoso de la iniciativa?

El aspecto que más se destaca es la metodología utilizada con la participación en subgrupos de trabajo y las reuniones de seguimiento trimestrales, que ha permitido un trabajo colaborativo en red, un proceso de construcción colaborativo «sin distinguir rango jerárquico a la hora de implicarse y valorar el trabajo».

Otro elemento importante, es la forma flexible de contribución al GPE. La participación voluntaria de un número considerable de personas (de distintos sectores y niveles) que sin esperar grandes contrapartidas (sí en lo profesional) han generado conocimiento y actuaciones muy importantes para el ámbito de la EPP. Además, se pone en valor el aprovechamiento del conocimiento y potencial de «nuestros maravillosos recursos humanos» y con la «flexibilidad de la auto asignación de cargas de trabajo y responsabilidad». Como se indica en una de las respuestas «este tipo de iniciativas es una buena fórmula para la mejora de la gestión pública desde dentro, sabiendo aprovechar el capital humano del que dispone la Administración».

Por último, también se pone en valor lo novedoso del GPE en sí, como con la combinación de formación externa e interna, ha sido capaz de avanzar y desarrollar materiales de utilidad para la EPP.

¿Qué copiarías para desarrollar una iniciativa similar en otra comunidad?

Las personas encuestadas copiarían el sistema en su conjunto «donde se extrae el talento de los profesionales de Administración» a través del trabajo colaborativo flexible, estructurado en reuniones y grupos de trabajo con tareas y encargos concretos, que tienen por objetivo la entrega de productos que sirven de referencia como instrumentos específicos para las administraciones interesadas. Como se indica en una de las respuestas «habría que clonar al grupo, es sorprendente la motivación que tienen estas personas y la participación y colaboración con la que se organizan las diferentes actividades y trabajos».

La idea de promover el cambio desde dentro hacia una gestión pública mejorada «desde la formación y el empoderamiento de sus recursos humanos». En este sentido, se resalta el modo de configuración del GPE, su proceso de selección y el impulso guiado desde arriba, buscando profesionales con experiencia, preparación y motivación.

«Todo puede mejorar, pero el GPE puede considerarse un ejemplo dentro y fuera de la Junta».

¿Qué ha sido lo más efectivo?

La organización del trabajo por subgrupos con productos concretos y el planteamiento de alcanzar resultados al finalizar cada año, por ejemplo: la elaboración de manuales, guías y otros productos que pueden ser utilizados por cualquiera. En definitiva «la orientación a resultados» y «la combinación de las reuniones presenciales con el trabajo en red».

Por otro lado, se hace referencia a diferentes aspectos: apoyo humano y profesional del grupo; grupo abierto al compromiso y la implicación en la medida de las posibilidades de cada persona; valor, escucha y respeto de todas las opiniones que confluyen en un objetivo común; la coordinación desde el IAAP; los cursos y las jornadas que han llegado a muchas personas.

El GPE lleva ya más de 4 años funcionando, ¿qué mejorarías?

Cuatro son los aspectos que más destacados por parte de las personas encuestadas:

En primer lugar, crear un área funcional de EPP y puestos de trabajo en la materia, argumentando que «cada vez conlleva más tiempo de dedicación personal y a veces es difícil compatibilizar los proyectos del GPE con la vida personal y el propio puesto de trabajo. Los objetivos y propuestas del GPE están creciendo y la exigencia en plazos cada vez son mayores». Por tanto, según los encuestados es necesaria la institucionalización del GPE a nivel orgánico y de funcionamiento, con el impulso y apoyo político.

En segundo lugar, ampliar la formación especializada para las personas que componen el GPE (becas de formación para expertos, máster, asistencia a congresos u otras actividades de interés).

En tercer lugar, mayor reconocimiento del trabajo que realiza el GPE dentro y fuera de la organización. Consideran importante dar a conocer el trabajo y la metodología de trabajo colaborativo. Además, resaltan la necesidad de «obtener alguna acreditación administrativa que reconozca nuestra labor en el conjunto de la Administración General de la Junta de Andalucía», es decir, ya se tiene un reconocimiento interno de la organización, pero se carece de un reconocimiento administrativo.

Y, en cuarto lugar, mayor participación de los miembros del GPE en los encargos/proyectos que el IAAP lleva a cabo.

Por último, sin valorar el tiempo que llevas participando en el GPE, nos gustaría saber ¿por qué sigues?

Esta pregunta es quizás una de las que mejor refleja las fortalezas y el éxito que está teniendo el GPE. Las motivaciones son diversas, pero en un esfuerzo de síntesis, se ha decidido resaltar las categorías que con más frecuencia se repiten y las respuestas consideradas más significativas en base al sentido de las opiniones analizadas. Así, las categorías más destacadas son:

• Valor de pertenencia al GPE: … «porque me siento orgullosa de pertenecer a él».
• Apuesta por el proyecto: … «porque creo firmemente en el proyecto, porque creo en lo que estamos haciendo»; «nos queda mucho trabajo por delante y aún estamos en el inicio de un gran proyecto que espero ver consolidado e integrado dentro de la cultura de trabajo de nuestra administración».
• Avance y objetivos alcanzados: … «por los hitos que se están logrando y todo lo que se ha avanzado. Se ven los resultados de todo el trabajo realizado estos años y el apoyo de la administración que apuesta por la EPP».
• Reto: … «porque queda mucho por hacer desde el talento interno de los recursos humanos de la JdA y como reto cooperativo e innovador implantar la cultura de la EPP»; «porque seguimos planteándonos retos».
• Desarrollo personal y profesional: … «por aprender, enseñar, compartir y difundir la cultura evaluadora, porque todos los días aprendo algo».
• Contribución a la mejora: … «tengo la posibilidad de contribuir a la mejora del servicio público»; «encontrar un espacio de autocrítica que pretende cambiar las cosas desde dentro, de forma transparente y participativa».

Para finalizar este apartado, utilizamos una respuesta que refleja el qué y el porqué del GPE: «Ante los retos de las sociedades complejas y la necesidad de mejorar gobernanza y el gobierno abierto, la calidad de la evaluación de las políticas públicas precisa de personas con capacidad, experiencia, formación y motivación, todas ellas características del actual GPE».

7. RETOS DE LA EPP PARA LOS PRÓXIMOS AÑOS

La EPP en Andalucía empieza a consolidarse gracias a los trabajos realizados por el Área EPP y el GPE que están contribuyendo a la sensibilización y permeabilidad del enfoque de planificación y evaluación en la Junta de Andalucía. La experiencia y aprendizaje continuo de estos años es la base para la definición de los retos para los próximos años, entre ellos: Consolidar la EPP en Andalucía y Avanzar en la institucionalización de la EPP.

Es determinante seguir trabajando en la misma dirección para consolidar el enfoque de planificación y evaluación que haga las políticas en la Junta de Andalucía más eficaces. Varias líneas de actuación:

• Fortalecer las capacidades en EPP para avanzar en la institucionalización en la Junta de Andalucía en la misma medida que se progresa en competencias del personal y en capacidades del sistema (cultura evaluadora; formación; respaldo institucional de los responsables políticos; desarrollo de metodologías; investigación; normativa; etc.). Ya se han sentado las bases para establecer la obligatoriedad del informe de evaluabilidad de los planes antes de su aprobación en Consejo de Gobierno.
• Mantener la producción de materiales de apoyo y asesoramiento que se estimen necesarios. Se ha alcanzado el compromiso de elaborar a lo largo de 2021 tres nuevas guías: Guía de evaluación de resultados; Guía de evaluación intermedia de políticas públicas; y Guía sobre participación y planificación de políticas.
• Dotar de un papel relevante al GPE impulsando su colaboración específica en asesoramientos y encargos recibidos de los diferentes centros directivos y poniendo en valor el papel dentro de sus respectivas Consejerías como personas destacadas que pueden ser de utilidad en funciones de planificación y evaluación de políticas públicas.
• Impulsar una estrategia de coordinación institucional del proceso (trámites y plazos) a seguir por los diferentes entes y organismos con competencia sectorial en el asesoramiento en la elaboración de políticas públicas, de modo que los tiempos y actividades preceptivas a realizar por los diferentes organismos gocen de mayor nivel de coherencia tanto en contenidos como temporal.
• Apoyar a la Secretaría General de Regeneración Democrática en la elaboración de la futura Ley de EPP de la Junta de Andalucía.
• Fortalecer la presencia nacional e internacional del Área EPP mediante la participación en encuentros de referencia y organizando encuentros al máximo nivel. Se tiene previsto consolidar las vías de relación de la red europea e internacional.
• Difundir la cultura evaluadora mediante estrategias de difusión con objetivos claros y bien definidos.

8. DISCUSIÓN

Todas las administraciones desean la innovación, pero pocas saben cómo obtenerla, por ello se considera de interés promover una reflexión sobre la innovación en el seno de las propias administraciones públicas.

En el trabajo que se ha presentado se ha pretendido evidenciar los mecanismos que generan y ayudan a difundir la innovación en el proceso de desarrollo de políticas públicas desde nuevos marcos y conceptos que se están implantando en Andalucía. Se han buscado los fundamentos derivados del caso de estudio –el porqué, el qué y el cómo–, centrando el foco de análisis sobre cómo se generó su fuerza innovadora.

Innovamos en palabras de Brugué et al. (2014) cuando se es capaz de generar ideas que revolucionan la forma de definir y abordar los viejos problemas, de generar nuevo conocimiento a través de procesos de reflexión compartida, pues la innovación no la generan individuos de forma aislada, sino que supone un avance que sólo se produce a través de procesos de aprendizaje colectivo que transforman las ideas y las convierten en conocimiento.

La clave es determinar qué características o rasgos pueden determinar la consideración de modelos innovadores, sin quedar atrapado por la minuciosidad del análisis puramente incremental que trabaja sobre lo que se conoce y renuncia a un análisis más profundo que, con toda probabilidad, nos visualizará otras dimensiones y casuísticas del caso estudiado (Aguilar, 2012). En este sentido, nos centraremos en analizar el cambio introducido desde tres puntos de vista: qué tipo de cambio se hace; cómo se ha realizado el cambio; y cómo se ha estructurado (organizado) el cambio.

Tipo de cambio

En base a las evidencias encontradas podríamos decir que se está produciendo un proceso de cambio sustantivo, pues la estrategia implantada trae consigo una novedad, un cambio de paradigma, que se está desarrollando en un ambiente óptimo y a través de una clara línea estratégica que aporta consistencia en el corto-medio plazo. Supone un cambio de sistema, un cambio en las reglas del juego, que afecta a la interacción y relaciones de poder internas de la Administración.

Y por qué ese cambio sustantivo lo podemos considerar innovación. Si hacemos una revisión de la literatura sobre el concepto innovación, para considerar el proceso como «innovación», este debe: hacer algo de forma diferente como la generación de nuevos procesos o nuevas formas de organización que mejoren los procesos; que los cambios sean deliberados y duraderos, que impliquen mejoras significativas; propiciar la producción e intercambio de ideas y conocimientos entre múltiples actores internos y externos a la organización; y estar enfocado en satisfacer uno o más objetivos que tengan impacto en la creación de valor público.

Entendemos que el caso cumple con todos los aspectos anteriores, argumento apoyado por su presencia cada vez más relevante en foros nacionales e internacionales, la Mención de Honor recibida en la Bienal de la Sociedad Española de Evaluación de Políticas Públicas en 2020 y, especialmente, por el Certificado de Buenas Prácticas en la categoría «Innovative Public Administration» recibido en los Premios EPSA 2021.

En este sentido, en las diferentes cartas de apoyo a la candidatura, se destacaba la novedad de las metodologías aplicadas en comparación con otras regiones de España para promover la cultura e institucionalización de la evaluación y el enfoque creativo de la Red de Evaluadores del IAAP (Juan Casero, Secretario General de la Sociedad Española de EPP; Antonio Igea, presidente de la Red Internacional de Evaluación de Políticas Públicas; Adán Ruiz, Vicepresidente del Grupo de Evaluación de Naciones Unidas).

Cómo se ha realizado el cambio

Como hemos señalado, uno de los aspectos más destacados de la estrategia es la metodología seguida. El trabajo colaborativo de las personas que se implican en un proyecto innovador genera un conocimiento compartido que resulta significativamente útil a la propia Administración para el desarrollo de sus funciones y la consecución de sus objetivos, con un mínimo coste, pero también para la construcción de capacidades del personal a su servicio.

El GPE desarrolla un trabajo colaborativo que aporta una visión multidisciplinar que a través de un modelo creativo de intervención aporta ideas, productos y valoraciones sustentadas en evidencias que fortalecen las prácticas administrativas y afianza logros necesarios para el servicio a la ciudadanía.

Este enfoque creativo de trabajo colaborativo tiene como materia prima esencial las aportaciones de cada una de las personas que conforman los grupos de trabajo, sus ideas, su implicación, sus capacidades, su experiencia, el conocimiento compartido que se genera que se gestiona mediante herramientas de carácter innovador en productos para la formación, publicaciones y otros productos de difusión en materia de planificación y EPP. Además, gracias al enfoque flexible del GPE, son capaces de adaptarse a las cambiantes necesidades de la Administración pública andaluza en materia de formación y especialización.

Es importante aquí, resaltar el enfoque en la construcción de capacidades, antes que la regulación legal, y el compromiso con el empoderamiento de los empleados públicos. En este sentido, la creación de capacidades de evaluación (Evaluation Capacity Building) es un tema clave para muchas organizaciones que se enfrentan a la creciente demanda de rendición de cuentas y toma de decisiones basadas en evidencias (Cousins et al., 2008).

Tomando como referencia el marco conceptual «The Capacity to Do and Use Evaluation» (Cousins et al., 2004; Cousins, Goh y Clark, 2006; Cousins, Goh, Aubry et al., 2006), la capacidad de evaluación es parte integral del constructo de la capacidad organizacional de aprendizaje. En este sentido, podemos decir, que el caso analizado, refleja las cinco dimensiones atribuibles a las organizaciones que aprenden (Cousins et al., 2008): misión y visión, liderazgo, experimentación, transferencia de conocimiento, trabajo en equipo y cooperación. Aspectos de interés que abren una posible línea de investigación que aborde los problemas de creación de capacidades organizacionales para realizar evaluaciones, la capacidad dentro de las organizaciones para utilizar la evaluación y cómo desarrollar una cultura de evaluación dentro de estas.

Si bien, en base a los datos aportados, podemos afirmar que la estrategia seguida está teniendo la capacidad de desarrollar conocimiento, habilidades y actitudes hacia la cultura evaluativa, el uso de la evaluación para la toma de decisiones basadas en evidencias, y la creencia compartida del potencial de la evaluación para la mejora de las políticas públicas y la propia Administración para la que se trabaja.

Esta estrategia cuenta con múltiples fortalezas, todas ellas sustentadas en las personas que la desarrollan, en el conocimiento compartido que surge del trabajo colaborativo y en la difusión de los productos creados para el autoaprendizaje de las administraciones y en la mejora continua en la planificación y evaluación de las políticas públicas, sin pasar por alto, el rol de referentes de evaluación en los distintos departamentos en lo que trabajan. Pero también tiene algunas debilidades que han sido expresadas por miembros del GPE, como, por ejemplo: una clara apuesta por la institucionalización del GPE a nivel orgánico y de funcionamiento, con el impulso y apoyo político; muy relacionado con el anterior, mayor reconocimiento del trabajo que realiza el GPE dentro y fuera de la organización; ampliar la formación especializada; y, finalmente, mayor participación de los miembros del GPE en los encargos/proyectos de evaluación que el IAAP lleva a cabo.

Cómo se ha estructurado el cambio

El éxito de la experiencia ha sido posible gracias a la participación de todas las personas del grupo y por supuesto a la predisposición del IAAP. El resultado es la creación de líneas de trabajo que se van consolidando en el tiempo y que gracias al esfuerzo y dedicación de todas estas personas consiguen impregnar el pensamiento evaluativo en diversos ámbitos y niveles de la Administración andaluza. Todo ello redunda en unos beneficios del cual se nutre la propia institución y las personas que componen este grupo.

Pero quizás, podemos destacar tres aspectos claves esenciales para comprender el impulso de la estrategia y la posibilidad de réplica y adaptación a otros contextos.

En primer lugar, el liderazgo. Para que una estrategia como la presentada en este trabajo avance es necesario tener apoyo a nivel político, pero más importante aún es tener el liderazgo y apoyo constante de una figura de peso dentro de la organización, en el caso analizado la figura del director del IAAP, que tenga la capacidad de mantener la motivación y los esfuerzos para impulsar la iniciativa, lo que conlleva la asunción de riegos cuando las prácticas de evaluación y los procesos pueden ser algo extraños para la mayoría. Volviendo al caso, en su momento se tomó una decisión arriesgada y se lanzaron a trabajar convencidos con que el impulso de las prácticas evaluativas no se podía conseguir sin el compromiso y complicidad del personal interno de la propia Administración, en la que con seguridad había personas con competencias y experiencias que podían ayudar al cambio cultural para la institucionalización de la EPP.

En según lugar, la existencia de una unidad funcional responsable de la coordinación e impulso de la estrategia, en este caso el Área EPP del IAAP. El papel de esta unidad es determinante para marcar una hoja de ruta en base a los objetivos estratégicos planteados y su labor de coordinadora de todos los trabajos en la materia.

Y, en tercer lugar, la definición de una metodología de trabajo colaborativo que de manera creativa aproveche el conocimiento interno que ya tiene la organización con un propósito compartido y que les permite crecer colectivamente. En el caso analizado, a través de un grupo altamente motivado se desarrollan varias dinámicas de trabajo estructuradas a partir de dos elementos esenciales: las reuniones trimestrales y el trabajo en subgrupos.

Con la combinación adecuada de un buen liderazgo, una estructura adecuada y la motivación interna, cualquier organización puede promover, implantar, mantener y difundir la cultura de la evaluación no sólo desde estructuras funcionales sino de cambio cultural en la Administración, aspecto crucial en cualquier estrategia de cambio.

En definitiva, la estrategia expuesta es innovadora y exitosa (se consiguen grandes resultados con pocos medios), con potencial para ser replicada y adaptada a otras regiones con similar nivel de desarrollo institucional de la EPP.

9. A MODO DE CONCLUSIÓN

El proceso a lo largo de estos años no ha sido fácil (periodo 2016-2021), pero paso a paso se ha avanzado considerablemente y todo apunta a que en los próximos años –si la situación tan excepcional lo permite– se empezará a institucionalizar la EPP dentro de la Junta de Andalucía.

Existen evidencias que muestran claramente el avance de la EPP en estos años. En primer lugar, el incremento en la dotación de recursos del IAAP al Área EPP, pasando de 1 persona en 2015, a 3 personas en el año 2019, más una Oficina Técnica de apoyo con otras 4 personas, a las que hay que sumar la colaboración directa del GPE compuesto por 40 personas cuyo potencial es incuestionable. En segundo lugar, el creciente interés por la evaluación de los Organismos y Consejería de la Junta de Andalucía que se evidencia en el aumento de las solicitudes (por iniciativa propia) de colaboración del Área EPP, que se ha reflejado en el número de asesoramiento y evaluaciones anuales en los que ha participado o está participando actualmente el Área EPP desde 2016. Y, por último, las buenas valoraciones recibidas de las personas responsables de los Centros Directivos que han recibido el apoyo del Área EPP en sus proyectos (IAAP, 2019b), lo que hace pensar que se cuenta con un equipo preparado para el desarrollo de los trabajos requeridos.

La coordinación y trabajo colaborativo del Área EPP, la OTEVAL, el GPE y los responsables políticos, es clave para conseguir los retos futuros. Pero quizás, el trabajo desarrollado por el GPE descrito en estas páginas, ha sido uno de los elementos claves del avance de la cultura de la EPP en la Junta de Andalucía, entendida esta no como control de la legalidad sino como un instrumento de apoyo que permita saber a los decisores públicos si las políticas son eficaces y mejoran la realidad social que justifican su puesta en marcha o si son las más adecuadas para resolver las necesidades detectadas.

Esta apuesta política de impulso de la EPP, estratégicamente y de forma innovadora, se decidió desarrollar aprovechando el potencial de los empleados públicos de la Junta de Andalucía a través de un proceso colaborativo, de trabajo en red, de captación y desarrollo del talento y liderazgo colectivo y participativo. La experiencia está demostrando que esta forma de trabajo colaborativo e interdisciplinar está obteniendo excelentes resultados, pues las personas que forman parte del GPE comparten un proyecto común e ilusionante que permite sacar lo mejor de cada cual y ponerlo al servicio del proyecto de impulso de la EPP. Además, el proyecto ha demostrado que la Administración cuenta con grandes profesionales motivados y dispuestos a trabajar colaborativamente para la mejora de la organización y con ganas de aprender.

A este grupo de empleados públicos implicados y valientes se le debe dotar de un papel más relevante, otorgándoles mayores funciones, profesionalizando la labor de evaluación, con formación especializada, buscando fórmulas de colaboración institucionalizada que reconozca su función y dedicación dentro de la jornada laboral. En este sentido, es necesario definir un mapa competencial de las personas evaluadoras y diseñar un itinerario formativo similar al que se hace para el personal directivo de la Junta de Andalucía.

Lo que es evidente es que los procesos colaborativos son esenciales en el nuevo paradigma de gobernanza pública, donde la participación es un elemento indispensable y un reto que afrontar en los procesos de planificación y evaluación. Precisamente uno de los mayores avances en estos años han sido los procedimientos de asesoramiento y el desarrollo de herramientas que han permitido la construcción de un sistema de EPP sólido y confiable que mejora las intervenciones públicas, contribuye a la transparencia y rendición de cuentas, favorece la toma de decisiones, fomenta el aprendizaje organizativo, contribuye al fomento de la cultura evaluadora y la participación de todos los colectivos implicados. En definitiva, una mayor eficacia y eficiencia de la acción pública.

Analizando los datos, podemos afirmar que ya se ha empezado a crear cultura y sensibilización en EPP como paso previo a la regulación normativa. Es cierto que no se ha logrado la plena institucionalización dentro de la organización, pero si se dispone de madurez conceptual y herramientas que ayudarán a la institucionalización de la práctica con el desarrollo de la nueva Ley de Evaluación de Políticas Públicas de Andalucía que fijará un marco institucional claro para la evaluación y articulará los medios para implantar un sistema de evaluación en la Junta de Andalucía. El desafío principal es la utilidad que se haga con los resultados de esta.

REFERENCIAS BIBLIOGRÁFICAS

Aguilar, L. F. (comp.) (2012). Política Pública. Siglo veintiuno editores. Disponible en http://data.evalua.cdmx.gob.mx/docs/estudios/i_pp_eap.pdf

AIReF (2021). La institucionalización de la evaluación de políticas públicas en castilla y león: situación actual y propuestas [estudio]. Autoridad Independiente de Responsabilidad Fiscal. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf

Arenilla, M. y García-Vegas, R. (2013). Innovación Social. La integración social en la Administración Pública. Netbiblo.

Arriazu, R. (2015). La importancia de la evaluación en las Políticas Públicas Españolas: una aproximación histórica basada en el método biográfico. Revista de Estudios de la Administración Local y Autonómica, 3, 209-220. http://dx.doi.org/10.24965/reala.v0i3.10248

Ballart, X. (1993). Evaluación de políticas. Marco conceptual y organización institucional. Revista de Estudios Políticos (Nueva Época), 80, 199-224. http://www.cepc.gob.es/publicaciones/revistas/revista-de-estudios-politicos/numero-80-abriljunio-1993/evaluacion-de-politicas-marco-conceptual-y-organizacion-institucional-1

Ballart, X. (1997). Gestión pública, análisis y evaluación de políticas. Revista de Estudios Políticos (Nueva Época), 97, 223-247. http://www.cepc.gob.es/publicaciones/revistas/revista-de-estudios-politicos/numero-97-julioseptiembre-1997/gestion-publica-analisis-y-evaluacion-de-politicas-1

Bouzas, R. (2005). Los caminos de la evaluación de políticas públicas: una revisión del enfoque. RIPS. Revista de Investigaciones Políticas y Sociológicas, 2(4), 69-86. http://hdl.handle.net/10347/8254

Brugué, Q., Blanco, I. y Boada, J. (2014). Entornos y motores para la innovación en las políticas públicas. Revista del CLAD Reforma y Democracia, 59, 5-34. Disponible en https://www.redalyc.org/articulo.oa?id=357533691001

Bustelo, M. (2020). Spain. En R. Stockmann, W. Meyer y L. Taube (eds.), The Institutionalization of Evaluation in Europe (pp. 308-328). Palgrave Macmillan.

Casero, J. (2012, 27 y 28 de septiembre). Retos de la evaluación de políticas públicas en un entorno de crisis económica [ponencia]. III Congreso Internacional en Gobierno, Administración y Políticas Públicas. Madrid, España. GIGAPP-IUIOG. http://www.gigapp.org/index.php/comunidad-gigapp/publication/show/435

Cerezo, J., Herrera, M. e Iriarte, T. (2017) Guía de evaluación ex ante de políticas públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluacionexante.pdf

Cerezo, J. J., Zúñiga-Guevara, R. M. y Herrera, M. (2019). Guía para realizar un diagnóstico para una política pública. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/Guia_diagnostico_politica_publica.pdf

Cousins, J. B., Amo, C., Bourgeois, I., Chouinard, J., Goh, S. y Lahey, R. (2008). Organizational capacity to do and use evaluation: results of a pan-canadian survey of evaluators. The Canadian Journal of Program Evaluation, 23(3), 1-35. https://www.evaluationcanada.ca/secure/23-3-001.pdf

Cousins, J. B., Goh, S., Aubry, T., Lahey, R., Montague, S. y Elliott, C. (2006). What makes evaluation useful in government? A concept mapping study [paper]. Annual meeting of the American Evaluation Association.

Cousins, J. B., Goh, S. y Clark, S. (2006). Data use leads to data valuing: Evaluative inquiry for school decision making. Leadership and Policy in Schools, 5(2), 155-176. https://doi.org/10.1080/15700760500365468

Cousins, J. B., Goh, S., Clark, S. y Lee, L. (2004). Integrating evaluative inquiry into the organizational culture: A review and synthesis of the knowledge base. Canadian Journal of Program Evaluation, 19(2), 99-141. https://evaluationcanada.ca/system/files/cjpe-entries/19-2-099.pdf

Feria, A. (2017). Manual de Elaboración de Planes Estratégicos de políticas Públicas en la Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/servicios/publicaciones/detalle/79115.html

Fundación de PwC e IE Business School (2014). Ahora o nunca: es el momento de evaluar las políticas públicas. PwC e IE Business School.

García, M., Pérez, M. V., Cerezo, J., López, R. y Rubio, I. (2021). Guía para realizar la Evaluación de Resultados de las Políticas Públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaEvaluacionResultadosPP.pdf

Gómez, R. y Menéndez, S. (2019). La evaluación con enfoque de género. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/Evaluacion_Enfoque_Genero.pdf

Herrera, M., Torrecillas, C. y Díaz, A. (2020). Guía para el diseño de Estudios Piloto de Políticas Públicas. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guiaestudiosppp.pdf

IAAP (2016). Evaluación de políticas públicas. Junta de Andalucía. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/evaluacion.epp

IAAP (2019a). Evaluación de realización y resultados Área de Evaluación de Políticas Públicas del IAAP. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/EvaluacionRealizacionyResultados.pdf

IAAP (2019b). Memoria del Área de Evaluación de Políticas Públicas del Instituto Andaluz de Administración Pública. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/memoriaevaluacion2019.pdf

Jefatura del Estado (2007). Ley Orgánica 2/2007, de 19 de marzo, de reforma del Estatuto de Autonomía para Andalucía. Boletín Oficial del Estado, núm. 68. https://www.boe.es/boe/dias/2007/03/20/pdfs/A11871-11909.pdf

Junta de Andalucía (2007). Ley 9/2007, de 22 de octubre, de Administración de la Junta de Andalucía. Boletín Oficial de la Junta de Andalucía, núm. 215. https://www.juntadeandalucia.es/boja/2007/215/1

Junta de Andalucía (2014). Ley 1/2014, de 24 de junio, de Transparencia Pública de Andalucía. Boletín Oficial de la Junta de Andalucía, núm. 124. https://www.juntadeandalucia.es/boja/2014/124/1

Junta de Andalucía (2015). Decreto 206/2015, de 14 de julio, por el que se regula la estructura orgánica de la Consejería de Hacienda y Administración Pública. Boletín Oficial de la Junta de Andalucía, núm. 136. https://www.juntadeandalucia.es/boja/2015/136/BOJA15-136-00430.pdf

Junta de Andalucía (2015a). Diario de Sesiones del Parlamento de Andalucía, núm. 32. X Legislatura, 16 de julio de 2015. http://www.parlamentodeandalucia.es/webdinamica/portalwebparlamento/pdf.do?tipodoc=diario&id=105053

Junta de Andalucía (2015b). Diario de Sesiones del Parlamento de Andalucía, núm. 72. X Legislatura, 19 de octubre de 2015. https://www.parlamentodeandalucia.es/webdinamica/portalwebparlamento/pdf.do?tipodoc=bopa&id=107893

Martínez, A. (2017). Guía para el análisis de la evaluabilidad previa de los planes de carácter estratégico. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluabilidad.pdf

Menéndez, S., Torralbo, M. y Luque, S. (2021). Guía práctica para la planificación y evaluación participativas de las políticas públicas. La participación transversal. Instituto Andaluz de Administración Pública. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/guia_participatransversal_epp.pdf

Osoro, A. (2017). La innovación de la administración pública en el siglo XXI. Universidad del País Vasco. https://es.calameo.com/read/000579849bd032e2b645b

Osuna, J. L. y Márquez, C. (2015). Guía para la evaluación de políticas públicas. Instituto de Desarrollo Regional. Fundación Universitaria.

Ruiz, A. (2012). Panorámica actual de la evaluación de políticas públicas. Presupuesto y Gasto Público, 68, 13-21. https://www.ief.es/docs/destacados/publicaciones/revistas/pgp/68_01.pdf

Sánchez, C. (2014, 11 y 14 de noviembre). Cómo sistematizar la innovación en la gestión pública: un modelo de valor [ponencia]. XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Quito-Ecuador. Centro Latinoamericano de Administración para el Desarrollo (CLAD).

Serrano, E. et al. (2019). Bases para la evaluación de impacto de políticas públicas. Instituto Andaluz de Administración Pública. http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/Bases_Evaluacion_Impacto.pdf

Shadish, W. R., Cook, T. y Levinton, L. (1991). Foundations of Program Evaluation. Theories of Practice. Sage Publications.

Stufflebeam, D. y Cory, C. (2014). Evaluation theory, models, and applications (2.ª ed.). Jossey-Bass.

Villoria, M. (2011). Evaluación de programas, calidad democrática y ética profesional. Claves, Reflexiones socio laborales de la UGT de Andalucía (pp. 57-60). UGT Andalucía. http://fudepa.org/BibliotecaTrabajo/recursos/ficheros/BUF20110000069/CLAVES%2005.pdf

Weiss, C. H. (1998). Evaluation: Methods for studying programs and policies (2.ª ed.). Prentice Hall.

Zúñiga, R. M. (2018). Desempleo juvenil y programas de empleo: la iniciativa Emple@Joven en Andalucía. La formación elemento clave [Tesis Doctoral]. Universidad de Almería. https://www.educacion.gob.es/teseo/imprimirFicheroTesis.do?idFichero=bfM6OFsfI7M%3D

Zúñiga, R. M. (2019). La evaluación de políticas públicas como elemento clave del sector público. En R. Dalouh, A. J. González y P. Ayala (coords.). Re-inventando la Investigación en Salud para una Sociedad Transcultural: propuestas de acción (pp. 226-233). Universidad de Almería. Edual.

Zurbriggen, C. y González, M. (2014). Innovación y co-creación: nuevos desafíos para las políticas públicas. Revista de Gestión Pública, 3(2), 329-361. https://doi.org/10.22370/rgp.2014.3.2.2245