Los otros trabajos de AEVAL: análisis y desarrollos metodológicos

Other AEVAL works: analysis and methodological developments

Ruiz Martínez, Ana

Consejo de Transparencia y Buen Gobierno (España – Spain)

ORCID: https://orcid.org/0000-0001-5139-2524

urdin56@gmail.com

NOTA BIOGRÁFICA

Licenciada en Ciencias Políticas y Sociología por la Universidad Complutense de Madrid (1980). Máster en Gestión y Análisis de Políticas Públicas por la Universidad Carlos III de Madrid. (2007). Funcionaria perteneciente al Cuerpo Superior de Técnicos de Administración de la Seguridad Social (1983). Directora del Departamento de Evaluación en AEVAL (2008). Presidenta de la AEVAL desde 2011 hasta su supresión en 2017. En la actualidad es Vocal-Asesora en el Consejo de Transparencia y Buen Gobierno.

RESUMEN

El artículo describe un conjunto de trabajos desarrollados por AEVAL a lo largo de sus años de existencia, que van más allá de sus dos funciones principales: la evaluación de las políticas y los programas públicos y la promoción de la gestión de calidad en las administraciones públicas. El desarrollo de estos trabajos posibilitó el mantenimiento de la actividad de AEVAL durante los años en que no se aprobaban planes de trabajo de evaluación. Pero por otra parte, muchos de estos trabajos aportaron soluciones innovadoras a viejos problemas de gestión y tuvieron una acogida muy favorable tanto por parte de las organizaciones que los habían encargado como por parte de otros actores interesados. Sin embargo, la resistencia al cambio y el refuerzo tras la crisis de 2008 de los aspectos más conservadores de la cultura administrativa y política hizo que algunos de estos trabajos nunca se llevaran a la práctica.

PALABRAS CLAVE

Metodología; gestión pública; innovación pública; planificación; evaluación.

ABSTRACT

The article describes a set of works developed by AEVAL throughout its years of existence, which go beyond its two main functions: the evaluation of public policies and programs and the promotion of quality management in public administrations. The development of these works made possible to maintain AEVAL’s activity during the years in which evaluation work plans were not approved. But on the other hand, many of these works provided innovative solutions to old management problems and were very well received both by the organizations that had commissioned them and by other interested actors. However, the resistance to change and the reinforcement after the 2008 crisis of the most conservative aspects of the administrative and political culture meant that some of this work was never put into practice.

KEYWORDS

Methodology; public management; public innovation; planning; evaluation.

SUMARIO

INTRODUCCIÓN. 1. LOS TRABAJOS VINCULADOS AL NIVEL ESTRATÉGICO DE LA ACCIÓN PÚBLICA. 2. LOS TRABAJOS VINCULADOS AL NIVEL OPERATIVO DE LA ACCIÓN PÚBLICA. CONCLUSIÓN. REFERENCIAS BIBLIOGRÁFICAS.

INTRODUCCIÓN1

A lo largo de sus años de existencia, AEVAL fue desarrollando diferentes actividades no estrictamente vinculadas a la evaluación de políticas públicas. Una de ellas es el impulso de la gestión de calidad en las organizaciones públicas, actividad que tradicionalmente venía desarrollándose, desde la mitad de los años noventa del siglo pasado, por la Inspección General de Servicios de la Administración General del Estado. Sin embargo, la creación de la Agencia implicó importantes novedades en este ámbito, especialmente el diseño del modelo EVAM (Evaluación, Aprendizaje y Mejora) y el impulso del Observatorio de la Calidad de los servicios públicos. Además, la integración de las funciones de evaluación de nivel macro (políticas públicas), meso (servicios públicos) y micro (organizaciones públicas), constituye una de las características más singulares de la Agencia en relación con otras organizaciones especializadas en evaluación.

Por otra parte, entre 2012 y 2017, año de supresión de AEVAL, el Ministerio de adscripción de la Agencia no elevó los planes de trabajo de evaluaciones, para su aprobación por el Consejo de Ministros, en tres de los seis años que abarca este periodo. Esta situación de bloqueo institucional propició que, bien por iniciativa propia o bien por encargo directo de distintas organizaciones, se desarrollasen diversos trabajos tanto de carácter analítico como metodológico, lo que posibilitó el mantenimiento de la actividad de AEVAL, especialmente en el ámbito de la evaluación de políticas públicas, totalmente dependiente de la aprobación de los planes anuales de trabajo de evaluación por parte del Consejo de Ministros. De hecho, una de las revisiones externas de las autoevaluaciones de calidad realizadas por la Agencia, resaltó en positivo este factor de resiliencia de AEVAL para el mantenimiento a toda costa de su actividad. Se trataba de evitar, en definitiva, que la supresión de la Agencia pudiese justificarse en función de su hipotética inactividad.

Finamente, este conjunto de trabajos que se describirán más adelante también pueden contemplarse desde el punto de vista de una de las funciones estatutarias de la Agencia: elaborar y proponer metodologías.

Una posible clasificación de estos otros trabajos de AEVAL puede efectuarse en función del nivel estratégico u operativo de la acción pública al que se refieran.

Desde el punto de vista metodológico, este artículo forma parte de un conjunto de cuatro trabajos que, mediante un análisis documental en profundidad y sobre la base de evidencias, han abordado una revisión del proceso de génesis y evolución de AEVAL, incluyendo aspectos tales como el modelo de institucionalización, su enfoque evaluativo y sus aportaciones al desarrollo de metodologías específicas de evaluación de la calidad de los servicios públicos así como su proyección nacional e internacional, entre otras cuestiones.

Este análisis se inscribe en la metodología de estudios de casos (Stake, 1998; Yin, 2018; Coller, 2005), metodología ampliamente utilizada en investigación social, que permite una comprensión holística de un fenómeno dentro de contextos de la vida real desde la perspectiva de los involucrados. Dentro de los posibles enfoques vinculados a esta metodología, se ha optado por un diseño de estudio de caso instrumental único basado en la metodología descrita por Stake, fundamentada en supuestos constructivistas (Boblin et al., 2013).

Se trata, por lo tanto, de un trabajo de carácter empírico y descriptivo cuyo objetivo es la búsqueda de conocimiento sobre una experiencia singular, a través de evidencias obtenidas mediante el análisis de información procedente, en gran medida, de los conocimientos del propio investigador, como de las opiniones de diversos actores o de una revisión bibliográfica, entre otras técnicas de investigación aplicables a este tipo de estudios.

1. LOS TRABAJOS VINCULADOS AL NIVEL ESTRATÉGICO DE LA ACCIÓN PÚBLICA

Al abordar el primer nivel, es preciso efectuar una referencia al Programa Nacional de Reformas de España (PNR) que, aunque se encuadra dentro de las tareas de evaluación desarrolladas por la Agencia, presenta algunas singularidades.

En primer lugar, porque el diseño del PNR, al ser un instrumento de despliegue de la política de convergencia europea, contempla la práctica totalidad de los sectores de política pública en España, excepción hecha de la política de seguridad y de defensa. Esto propició que AEVAL trascendiera los ámbitos en los que, con mucha frecuencia, se han centrado las evaluaciones realizadas por instituciones públicas independientes de evaluación –básicamente políticas sociales y de empleo–.

En segundo lugar, el PNR constituye el primer documento estratégico que contempla explícitamente una evaluación anual de sus medidas que se encarga a AEVAL, incluso antes de su propia creación. Posteriormente, la Estrategia Española de Desarrollo Sostenible, así como la Ley de Unidad de Mercado o el Plan de medidas de mejora de los servicios de sanidad exterior, incluyeron mandatos explícitos de evaluación por parte de la Agencia.

En tercer lugar, porque el mandato de evaluación contemplado en el PNR facilitó enormemente el desarrollo de los trabajos de evaluación de la Agencia, al configurarse como un contrapeso a las reticencias de muchos de los Ministerios a la evaluación en general y a la evaluación externa en particular.

Entre 2006 y 2011, AEVAL ejecutó numerosas evaluaciones de planes o programas contemplados en los PNR. Esta actividad finalizó en 2012, cuando el PNR correspondiente a ese año excluyó la evaluación externa de la Agencia, a pesar de que su inclusión en los PNR anuales anteriores mereció una valoración muy positiva por parte de la Comisión Europea.

Al revisar los otros trabajos vinculados al nivel estratégico de la acción pública, destaca el Informe relativo a posibles duplicidades, solapamientos e ineficiencias en el Estado Autonómico, encargado por el Vicepresidente Chaves y que formó parte del Plan de Trabajo 2011 de AEVAL. Este informe, titulado “La eficacia de la acción pública en el Estado Autonómico: diagnóstico y propuestas de mejora”, tenía por objeto identificar las posibles duplicidades, solapamientos e ineficiencias del sistema, incluyendo, como indica su título, propuestas de mejora. El informe, de carácter introductorio, supuso un primer intento de conceptualización y catalogación de las potenciales disfunciones que pueden surgir en el funcionamiento de los modelos descentralizados de organización territorial del poder similares al español.

Su abordaje se realizó con un enfoque de política pública, razón por la que el análisis se focalizó en las posibles ventajas y disfunciones que el modelo de organización territorial puede inducir en el diseño e implementación de las políticas y programas públicos y, lógicamente, en cómo estas ventajas y disfunciones podrían impactar en su eficacia.

Otro elemento clave del enfoque con que se acometió este informe, es que, en la medida de lo posible, intentó integrar la doble perspectiva en torno a esta cuestión del poder central y de las comunidades autónomas, perspectivas no siempre coincidentes, dado que pueden verse afectadas por intereses u objetivos diferentes. Por último, en relación con el enfoque del informe, es preciso señalar que éste no se centró exclusivamente en las disfunciones existentes entre la administración del Estado y las administraciones autonómicas, sino que también abordó las disfunciones que pueden generarse «ad intra» en cada uno de los niveles de gobierno.

A lo largo de sus páginas, el informe realiza un análisis orientado a definir los distintos conceptos empleados en el debate sobre las disfunciones observadas en los estados multinivel.

En segundo término, identifica y analiza las ventajas y potenciales disfunciones que, desde el punto de vista de la eficacia de las políticas públicas, presentan los estados compuestos, con el objeto de trazar un marco teórico de las potenciales disfunciones existentes en la ejecución de las políticas en cada ámbito competencial. Este análisis se fundamentó en una revisión de las investigaciones realizadas por diversos autores para distintos países de corte federal: Bakvis y Brown (2010) para Canadá y Estados Unidos; Salvail (1992), Russell (2004) para Canadá; Braun (2006), Brown y Bellamy (2007) para Australia; Scharpf (1988), Benz (2008), Tudela y Kölling (2009), Burkhart (2009), Sturm (2010) para Alemania; Braun (2009) para Suiza; Behnke (2009) para Austria; Mitchell (2009), Jeffery (2009) para Reino Unido, entre otros.

En tercer lugar, encuadra las disfunciones observadas en el estado autonómico en este marco teórico; y finalmente, se aportan evidencias –tanto respecto de las disfunciones como de las ventajas del modelo de organización territorial del poder en España– para sectores concretos de política pública a partir de las evaluaciones realizadas por AEVAL y de los estudios empíricos analizados en la revisión bibliográfica realizada para la elaboración del informe.

Este trabajo, que se efectuó exclusivamente con recursos de la propia Agencia, supuso un notable esfuerzo de profundización, análisis y síntesis para las personas que participaron en su elaboración. Aunque estaba prevista su presentación por el Vicepresidente Chaves, la convocatoria de elecciones generales en septiembre de 2011 impidió, por razones de oportunidad, su presentación y publicación.

Sin embargo, el informe fue posteriormente rescatado por el Subsecretario de la Presidencia y responsable de la Comisión para la Reforma de la Administración Pública (CORA), Jaime Pérez Renovales. Esta Comisión creada en 2012, incluía una subcomisión sobre duplicidades administrativas, cuyo objetivo era identificar y eliminar posibles duplicidades y reforzar los mecanismos de cooperación entre administraciones.

Una de las medidas CORA contempladas por esta subcomisión, era la elaboración de un manual para la racionalización y eliminación de duplicidades (AEVAL, 2016d) elaboración que se encargó a AEVAL y cuyo encargo que se materializó en el Plan de Trabajo 2013. Como es lógico, el manual se basó en gran medida en el Informe de 2011 y lo que aportó fue una ampliación de sus contenidos y la operativización de muchas de las propuestas efectuadas.

El primer objetivo que se planteó el manual fue evidenciar que la existencia de disfunciones entre los diferentes niveles de gobierno y administración no era una singularidad propia del modelo español –argumento utilizado con profusión por sectores detractores del estado autonómico–, sino algo frecuente en los estados compuestos e incluso en los estados centralizados y que su abordaje constituía una práctica habitual en los países con modelos de organización territorial del poder similares al nuestro.

En segundo lugar, partiendo del marco teórico establecido en el informe de 2011, el manual se centró en cuatro dimensiones clave para el funcionamiento de los estados compuestos en general y del estado autonómico en particular: cooperación y colaboración, la adopción conjunta de decisiones –menos eufemísticamente: planificación conjunta de las políticas públicas–, los sistemas de información y la gestión de las políticas y servicios públicos. La principal novedad que proporciona el manual es la aportación de una especie de inventario –no exhaustivo– de las disfunciones identificadas en cada una de estas dimensiones y clasificadas por sector de política pública. Para ello, a las ya señaladas en el informe de 2011, se añadieron las identificadas por los distintos ministerios y remitidas a la subcomisión de duplicidades y se efectuaron un conjunto de recomendaciones dirigidas a su eliminación.

El tercer elemento que aporta el manual, es una herramienta para la elaboración de diagnósticos relativos a las posibles disfunciones existentes en los distintos ámbitos sectoriales. Esta herramienta se fundamentó en la metodología de evaluación de políticas públicas. Por último, se proporcionaba una herramienta para la elaboración de planes departamentales dirigidos a la eliminación de las disfunciones existentes en los sectores de política pública de su competencia, así como un sistema de seguimiento de estos planes departamentales.

Como producto derivado de este manual se elaboró la guía metodológica para el desarrollo de procesos de planificación de políticas públicas en el ámbito sectorial (AEVAL, 2016b). Realmente la guía pretendía facilitar el desarrollo de planes conjuntos entre el Estado y las Comunidades Autónomas, partiendo, obviamente, de la autonomía de cada nivel de gobierno. El propósito de la guía era dotar a los departamentos ministeriales de una herramienta que posibilitase «un enfoque cooperativo en todas las fases del despliegue de las políticas públicas en España, desde la fase de planificación a la de gestión» teniendo en cuenta que la inmensa mayoría de las políticas públicas –dado el modelo competencial de nuestro país– presentan un fuerte componente intergubernamental en su diseño y ejecución.

La principal innovación que aporta la guía es que, hasta donde alcanza nuestro conocimiento, fue de las primeras –al menos en nuestro país, la primera– que abordó esta cuestión desde una perspectiva que promueve una conceptualización de la acción pública desde una perspectiva intergubernamental e interterritorial. Además de señalar las ventajas que desde el punto de vista de la eficacia de la acción pública presenta el abordaje de procesos de planificación conjunta, la guía señala algunos condicionantes previos para garantizar el éxito de estos procesos y describe las fases y las actividades y herramientas necesarias para el desarrollo de estos planes, aplicando para ello la metodología de análisis de políticas públicas.

Siguiendo los trabajos de índole metodológica desarrollados por la Agencia en el nivel estratégico de la acción pública, es preciso destacar la elaboración de la Metodología para la Evaluación y Seguimiento de la Transparencia de la Actividad Pública (MESTA) (AEVAL, 2016c). Dado que tanto la transparencia como la evaluación son elementos nucleares de la rendición de cuentas, se ha encuadrado este trabajo en el nivel estratégico de la acción pública.

La elaboración de esta metodología respondió a un encargo directo del Consejo de Transparencia y Buen Gobierno (CTBG). Los objetivos que se marcaba el CTBG fueron que el diseño permitiese una aplicación homogénea a todas aquellas entidades e instituciones obligadas por la Ley de Transparencia, Acceso a la Información y Buen Gobierno (LTAIBG), independientemente de su naturaleza y que permitiese una medición objetiva del cumplimiento de las obligaciones, tanto de transparencia activa como pasiva, impuestas por la LTAIBG y tanto desde una perspectiva cuantitativa como cualitativa.

A diferencia de las metodologías existentes elaboradas por diferentes organizaciones, caracterizadas por una definición subjetiva2 de las dimensiones y atributos para evaluar el nivel de transparencia de una organización, el modelo MESTA se basa en la LTAIBG y más concretamente, en las obligaciones y requisitos que ésta impone a las entidades incluidas en su ámbito de aplicación, con la intención de objetivar, en la mayor medida posible, la evaluación del cumplimiento de la ley, que es el mandato encomendado al CTBG por esta norma.

Por otra parte, MESTA integra la evaluación tanto de la transparencia proactiva (publicidad activa) como de la transparencia pasiva (derecho de acceso) e incorpora entre los criterios de valoración del cumplimiento de las obligaciones de publicidad activa aspectos vinculados a la calidad de la información publicada, como la organización, la actualización, la accesibilidad o la claridad de la información, entre otros aspectos.

MESTA es la metodología con la que el CTBG desarrolla sus evaluaciones anuales de cumplimiento de la Ley a día de hoy, fue favorablemente acogida en el ámbito académico y por las organizaciones de la sociedad civil dedicadas a la promoción del derecho de acceso a la información pública, adoptada por Comunidades Autónomas –T-Canarias es una adaptación de MESTA– y ha posibilitado que España se encuentre entre los muy escasos países que han desarrollado una metodología específica de evaluación del nivel de transparencia en la actividad pública.

Por último, y para finalizar este bloque de actividades de AEVAL encuadradas en el nivel estratégico de la acción pública, cabe destacar el impulso del Observatorio de la Calidad de los Servicios y su producto más destacado: los estudios de percepción ciudadana sobre el funcionamiento de los Servicios Públicos (AEVAL, 2006; 2009a; 2010; 2011; 2012b; 2013; 2014a; 2015b; 2016a). El Observatorio se constituyó como una herramienta de análisis permanente de la calidad de los servicios públicos cuyo cometido era la elaboración de un conjunto de informes anuales que, además de proveer diagnósticos en torno a la calidad de los servicios públicos, propusiese acciones orientadas a su mejora. Dentro de estos informes destacan, como se ha indicado, los informes derivados de los estudios de percepción ciudadana elaborados conjuntamente por AEVAL y el Centro de Investigaciones Sociológicas (CIS). Estos estudios, que se iniciaron en 2006 y que dieron lugar a una colección específica en el CIS –calidad de los servicios públicos–, desgraciadamente solo sobrevivieron un año a la supresión de la Agencia.

Los estudios se estructuraban en una parte fija –lo que permitió generar una serie histórica de indicadores de satisfacción con los servicios públicos y con determinadas políticas públicas– y una parte variable que exploraba diversas cuestiones de interés de carácter coyuntural. A lo largo de sus trece ediciones, el estudio profundizó en cuestiones tales como las actitudes frente a la participación ciudadana, frente a posibles recortes en la financiación de servicios y políticas públicas, la agenda sistémica –tanto a nivel agregado como territorial–, el grado de confianza de los ciudadanos en los empleados públicos, la administración electrónica y las dificultades de uso y barreras percibidas por la ciudadanía, la contribución de los servicios públicos al bienestar de los ciudadanos, la valoración de las medidas modernizadoras de la administración impulsadas por el gobierno o la valoración del grado de extensión de la corrupción en las administraciones públicas. El último estudio realizado por AEVAL, se centró en la contrastación empírica de diversas teorías en torno a los determinantes de la satisfacción con los servicios públicos. La Agencia fue suprimida antes de que el informe sobre el estudio, que ya estaba finalizado, pudiese publicarse y la versión que finalmente se publicó, eliminó la mayor parte de los contenidos vinculados al análisis de los determinantes de la satisfacción. Las personas que participamos en la realización de este informe, sospechamos que esta supresión se basó en la incomprensión de los análisis3 efectuados y de las evidencias obtenidas a partir de dichos análisis.

2. LOS TRABAJOS VINCULADOS AL NIVEL OPERATIVO DE LA ACCIÓN PÚBLICA

En el nivel operativo de la acción pública cabe destacar dos trabajos vinculados a la calidad de la gestión en las organizaciones públicas: el modelo EVAM (Evaluación, Aprendizaje y Mejora) y la metodología de evaluación de la calidad de los servicios públicos.

Los inicios de la política de calidad para la administración pública en España, se pueden situar en el proceso de modernización administrativa abordado a finales de los años 80, a partir de diversas recomendaciones de la OCDE (1987). Es en la década de los 90 del siglo pasado, cuando desde el extinto Ministerio de Administraciones Públicas, se inicia, en el marco de diferentes estrategias de modernización de la Administración del Estado, la implantación de diversas herramientas orientadas a la mejora de la eficacia y eficiencia interna de las organizaciones y de la calidad de los servicios públicos. Entre estas herramientas cabe destacar, la autoevaluación de las organizaciones conforme a modelos de excelencia.

Una de las preocupaciones de los gestores públicos en relación con la implantación de este tipo de herramientas, se centraba en las dificultades que para las organizaciones de la administración pública presenta la autoevaluación conforme a modelos de excelencia, ya que se trata de herramientas complejas, para cuya utilización práctica dichas organizaciones están poco habituadas, conceptual y metodológicamente. De ahí la necesidad de buscar fórmulas adaptativas de los modelos de excelencia y el diseño de modelos más sencillos que permitieran a las organizaciones públicas experimentar ejercicios «iniciáticos» en la autoevaluación. Es en este contexto en el que se inscribe el desarrollo del modelo EVAM (Ruiz e Hidalgo, 2006).

El modelo EVAM (AEVAL, 2009b) es un modelo de iniciación a la gestión de calidad para las organizaciones públicas que facilita a estas organizaciones la implantación, en una fase posterior, de modelos de calidad más complejos o avanzados4. De hecho, puede considerarse una versión simplificada del modelo EFQM de la European Foundation for Quality Management.

El modelo, que se basaba en la experiencia adquirida en la realización de autoevaluaciones de calidad y en los modelos de referencia aplicados en el sector público –los señalados en la nota al pie–, es una herramienta que posibilita la realización de diagnósticos organizacionales para la posterior planificación de actuaciones de mejora. También EVAM se configuró como una herramienta de evaluación externa de la calidad de la gestión de las organizaciones públicas, pero, sobre todo, como una herramienta de autoevaluación. Este último enfoque se desarrolló, como se ha señalado, a demanda de las propias organizaciones que pretendían mejorar la calidad de su gestión aplicando modelos de referencia. El modelo fue bastante utilizado y su aplicación logró que 32 organizaciones públicas obtuviesen una certificación del nivel de calidad alcanzado conforme a este modelo.

En cuanto a la metodología de evaluación de la calidad de los servicios públicos, se desarrolló en paralelo a la realización de la evaluación de la calidad del servicio prestado por los museos de titularidad estatal (AEVAL, 2008). Esta evaluación, que se incluyó en el Plan de Trabajo 2007 de la Agencia, respondía a la necesidad de llenar el vacío metodológico existente en la evaluación del nivel meso de la acción pública: los servicios públicos.

La metodología desarrollada, contemplaba tanto la perspectiva subjetiva o de resultados –satisfacción de los usuarios con el funcionamiento del servicio– como la perspectiva objetiva o de rendimiento –evaluación de proceso–, incorporando cuestiones como la gestión organizacional o el modo en que las organizaciones se comprometen públicamente con los usuarios, partiendo de que la calidad subjetiva es el resultado de la interacción de un conjunto de factores que intervienen en el diseño y prestación del servicio. Por esta razón, la metodología diseñada combina herramientas y técnicas que permiten evaluar ambas perspectivas o dimensiones.

Así, la calidad objetiva se evalúa mediante el análisis de las Cartas de Servicios, la realización de un diagnóstico organizacional aplicando el modelo EVAM y el grado de implantación de los Programas del Marco General para la Mejora de la Calidad en la Administración General del Estado5. De la misma forma, la calidad subjetiva se evalúa mediante la realización de estudios mediante encuesta dirigidos a los usuarios de los servicios que, entre otras muchas cuestiones, incluían un conjunto de preguntas que posibilitaban la cuantificación del nivel de calidad percibida aplicando el modelo SERVQUAL6 y la aplicación de la técnica del cliente misterioso –observación directa–. Finalmente, la metodología se completaba con una evaluación comparativa7 –Benchmarking–.

La evaluación de los Museos Estatales concluía con una cuestión que, a partir de entonces, constituyó un debate interno inconcluso sobre cómo integrar en los procesos de evaluación de las políticas públicas, las evaluaciones de calidad de los servicios en los que éstas se despliegan y de las organizaciones que las gestionan: la realización de un análisis del Plan Estratégico de la Red de Museos Estatales 2004-2008 y de los museos como instrumentos necesarios para su implementación, es decir una evaluación de la implementación de los planes o programas vinculados a la política cultural en los aspectos relativos a Museos. Esta cuestión se abordó en 2011 con la evaluación de la calidad del servicio prestado por la Ventanilla Única Aduanera de Canarias (AEVAL, 2012a), más orientada a la evaluación del proceso y al alineamiento del servicio con los objetivos del Convenio que sentaba las bases de este servicio, diseñado por las administraciones estatal y autonómica (López y Ruiz, 2012).

Otro desarrollo metodológico encuadrado en estos otros trabajos de AEVAL en el nivel operativo, es la Metodología de seguimiento y evaluación de la formación para el empleo dirigida a empleados públicos de la Administración General del Estado (AEVAL, 2015a). Este trabajo respondió a un encargo del Instituto Nacional de Administración Pública (INAP) y se incluyó en el Plan de Trabajo 2013.

Al igual que la metodología de evaluación de la calidad de los servicios públicos, este desarrollo metodológico se realizó en paralelo a la evaluación del Programa de Formación para el empleo de empleados públicos. El enfoque metodológico adoptado trascendía de los ámbitos en los que, tradicionalmente, se había centrado la evaluación de la formación –organización, capacidad didáctica y nivel de conocimientos del profesorado y satisfacción de los participantes en el proceso formativo–, incorporando aspectos como la adecuación de la formación a las políticas de recursos humanos, la eficacia de la formación para mejorar los conocimientos de los empleados públicos en función de las competencias necesarias para desempeñar sus puestos de trabajo, o el impacto de la formación en las organizaciones públicas.

La metodología propuesta definía un modelo de seguimiento de los planes y programas formativos mediante el diseño de un conjunto de indicadores vinculados a diferentes dimensiones de la formación –recursos económicos, actividad formativa, población destinataria, gestión de la formación y costes– y construidos a partir de un conjunto de datos básicos –por ejemplo, subvención asignada y ejecutada, presupuesto propio aportado por el promotor, acciones formativas según tipo y modalidad de impartición, etc.–, complementados por datos adicionales que permitiesen la construcción de variables de clasificación o segmentación y finalmente datos obtenidos de fuentes externas, como, por ejemplo, número de empleados públicos, según nivel de administración o según tipo de vinculación.

En cuanto al modelo de evaluación, la principal dificultad que presentaba el diseño era la evaluación del criterio de eficacia, dadas las dificultades y el coste asociado a efectuar mediciones objetivas en el puesto de trabajo del grado de transferencia de los conocimientos adquiridos y de la mejora del desempeño atribuible a la formación. Una dificultad adicional, era cómo medir los aspectos vinculados a la naturaleza, estructura y funcionamiento de las organizaciones que también inciden en la eficacia de la formación y, junto a ello, la carencia casi generalizada de indicadores objetivos de resultados que permitiesen medir de manera rigurosa el rendimiento de los empleados públicos.

Por esta razón, se optó por una fórmula pragmática, sustituyendo las mediciones objetivas –imposibles de realizar– por el análisis de las percepciones de los distintos actores sobre la eficacia de la formación. Para ello, se diseñaron dos estudios por encuesta, uno dirigido a promotores de formación y otros a empleados públicos de la Administración General del Estado, tanto participantes como no participantes en acciones formativas. A partir de los resultados de este último estudio, se aplicaron un conjunto de técnicas estadísticas multivariantes8, que permitieron analizar la eficacia de la formación. Desde 2013 y hasta 2017, AEVAL efectuó el seguimiento del Programa de Formación por encargo del INAP. La segunda evaluación no pudo ser concluida porque la supresión de la Agencia en el verano de 2017, impidió que culminaran los trabajos iniciados ese año.

También en 2013 se desarrolló otro trabajo metodológico, esta vez por encargo de la Dirección General de Función Pública. El diseño de una metodología para caracterizar las funciones desarrolladas por los servicios centrales de la Administración General del Estado. SIFAGE (AEVAL, 2014b), tenía como objetivo diseñar una herramienta que permitiese la comparación entre Ministerios y unidades y organismos dependientes, que aportase criterios objetivos para la asignación de recursos humanos y también de estructuras o recursos compartidos.

El diseño partía de la hipótesis de que unidades orgánicas iguales constituyen bloques organizativos con «funciones» homogéneas de responsabilidad que pueden ser comparables entre sí –independientemente del sector de política pública o ámbito material en el que estas organizaciones desarrollen sus funciones y competencias– y que la base de esta comparación radica en el grado de complejidad –definida por cuestiones como el volumen de producción, los tiempos de tramitación, el número de unidades que intervienen, etc.– de dichas funciones y competencias. Para ello se definieron un conjunto de funciones genéricas que desarrollan todas las organizaciones públicas y que son independientes del ámbito material relativo a cada Ministerio, teniendo en cuenta, además, el papel que debe desempeñar la Administración del Estado en un Estado descentralizado como el nuestro. Así, se definieron siete funciones genéricas: Planificación, Relaciones Internacionales, Relaciones Institucionales –distinguiendo entre funciones de colaboración/cooperación y funciones de dirección–, Fomento –distinguiendo entre funciones de fomento económico y no económico–, Revisión y Control y finalmente, una categoría «otras» que agrupaba otras funciones relevantes no clasificables en las anteriores. El siguiente paso era la asignación de las funciones y competencias establecidas en los Reales Decretos de estructura de los Departamentos Ministeriales a cada una de estas funciones genéricas.

Al mismo tiempo se definieron un conjunto de criterios de complejidad: volumen de producción –con indicadores específicos para cada tipo de función–, tipo de gestión de los procesos asociados a la función –realización íntegra o compartida por la unidad objeto de análisis o externalización–, tiempo medio de tramitación, estacionalidad de la actividad y necesidad de informes técnicos externos. Estos criterios contemplaban también ponderaciones partiendo del hecho de que algunas actividades presentan complejidades inherentes a su realización. Por ejemplo, no se consideraba equiparable que, dentro de la función genérica de planificación, la elaboración de una norma se realizase de manera íntegra por la unidad analizada o de manera compartida con otras unidades del Ministerio.

La complejidad de las competencias de cada unidad se determina a partir de las funciones genéricas en las que estas competencias se encuadran y la complejidad de estas funciones genéricas se mide por los criterios de complejidad de sus actividades. Se trata de una medición que va agregando información de los diferentes niveles de complejidad, desde las actividades, pasando por las competencias y las funciones genéricas, hasta llegar a medir la complejidad de la unidad analizada.

El núcleo de la medición es un cuestionario de funciones, que incluye todas las competencias asignadas a la unidad en el Real Decreto de estructura correspondiente e indaga para cada una de estas competencias todas las funciones genéricas a las que esta competencia se vincula, las actividades relativas a cada una de estas funciones genéricas y los criterios de complejidad predefinidos para cada una de éstas. Siguiendo con el ejemplo de la función de Planificación, supongamos que el Real Decreto de estructura que define las competencias de una determinada unidad le asigna la de elaboración de normativa básica en su ámbito de actuación. En el apartado correspondiente a la función de planificación, el cuestionario incluye preguntas tales como si estas normas se desarrollan íntegramente por la unidad o en colaboración con otras unidades –que es el criterio que se utiliza para ponderar la complejidad del desarrollo efectivo de esta función–, el número de propuestas elaboradas –en este supuesto serían el número de normas (Leyes o Reales Decretos)– que es el criterio de complejidad asignado a la función de planificación.

El cuestionario se complementaba con información sobre los recursos económicos gestionados obtenida a partir de los programas de gasto que afectan a la unidad analizada y sobre los puestos de trabajo asignados, distinguiendo entre puestos técnicos (grupos A1 y A2 y asimilados en el caso del personal laboral) y personal de apoyo (grupos C1 y C2 y asimilados en el caso del personal laboral).

Aunque el modelo constituía un auténtico sistema de información para poder analizar la actividad que se desarrolla en la Administración General del Estado, ampliable mediante la agregación de módulos específicos (recursos tecnológicos, presupuestos, estructuras) en su desarrollo práctico se centró en su aplicación para la asignación de recursos humanos. Para ello, se efectuó un estudio piloto en tres ministerios, tomado como unidad de análisis la dirección general y como unidades de información las subdirecciones generales de cada una de ellas. Este estudio permitió validar la metodología diseñada.

Como se indica en el propio informe SIFAGE, la metodología permite la comparación entre unidades del mismo nivel a nivel meso, no contempla las decisiones de índole política que se materializan en una mayor –o menor– asignación de recursos a determinadas políticas públicas y tampoco las cargas de trabajo o la gestión ordinaria de los recursos, ni la estructura organizativa concreta de una unidad.

Los resultados del estudio piloto mostraron que el diseño se ajustaba a sus objetivos y que ofrecía criterios objetivos a la hora de asignar recursos humanos entre las diferentes unidades que podían ser aplicados por las unidades de recursos humanos de los ministerios. Tuvo una acogida muy positiva por parte de la Dirección General de Función Pública y de los responsables de función pública de diversas comunidades autónomas. No ocurrió lo mismo con la entonces responsable de la Oficina para la Ejecución de la Reforma de la Administración (OPERA), quien se opuso a su utilización por la Dirección General de Función Pública, con el argumento de que todo lo que no fuese una medición de cargas de trabajo efectuada por un auditor con cronómetro (sic) no tenía ninguna validez.

El último trabajo que contempla este bloque es el “Diagnóstico de situación y rediseño del Sistema de Información Administrativa” (AEVAL, 2014c), realizado por encargo de la entonces Dirección General de Modernización Administrativa, Procedimientos e Impulso de la Administración Electrónica. El objetivo del estudio era elaborar el diseño de un sistema integrado de información que formase parte del Punto de Acceso General, a partir de un diagnóstico de la situación en aquel momento del SIA, que fuese útil tanto a la administración para la toma de decisiones como a los ciudadanos facilitando la búsqueda y acceso a la información administrativa necesaria en su vida cotidiana.

Para ello se efectuó un análisis de la consistencia del diseño y del lenguaje del SIA, un análisis de sus contenidos y de la gestión de cada ministerio en relación con el SIA, así como la identificación de trámites existentes no incluidos en el sistema y finalmente se diseñó un cuadro de mando. Una de las novedades que aportó este trabajo fue la propuesta de organizar la información por eventos vitales, es decir, del conjunto de trámites administrativos vinculados a un tema que tiene sentido para el ciudadano (jubilarse, estudiar, encontrar trabajo, etc.) independientemente de quién o quienes los presten. La mayor parte de las recomendaciones efectuadas a partir de este análisis fueron incorporadas por la Dirección General de Modernización Administrativa, en el rediseño de este sistema de información.

CONCLUSIÓN

A lo largo de sus 11 años de existencia, AEVAL fue conocida básicamente por las actividades de evaluación y calidad. Sin embargo, también fue capaz de asumir y desarrollar otro tipo de trabajos que, aunque vinculados a estas actividades principales, tuvieron una identidad diferenciada.

Se han desarrollado en los epígrafes anteriores algunos de estos trabajos, pero cabría señalar muchos más. La Carta de Compromisos con la Calidad de las Administraciones Públicas Españolas desarrollada en el seno de la Red Interadministrativa de Calidad de los Servicios9 y aprobada por la Conferencia Sectorial de Administración Pública en 2009, las numerosas guías metodológicas vinculadas al desarrollo de los Programas del Marco General de Calidad, las guías metodológicas de evaluación de políticas públicas son otros trabajos desarrollados por AEVAL que fueron muy bien acogidos, especialmente por los Departamentos de Ciencia Política y de la Administración de muchas universidades y que, junto a los informes de evaluación, se han utilizado como material didáctico que ha contribuido a la formación de varias promociones de estudiantes de los grados de ciencia política y de gestión pública.

Muchos de estos trabajos aportaban soluciones innovadoras a problemas crónicos de la gestión pública en nuestro país. Sin embargo, la resistencia al cambio tan frecuente en nuestras organizaciones y sobre todo, entre algunos responsables públicos, hicieron que algunas de estas iniciativas no se aplicasen en la práctica. Y junto a ello, los efectos en las administraciones públicas de la crisis de 2008, que propiciaron un refuerzo de los aspectos más conservadores de la cultura administrativa y política, con una orientación marcadamente juridicista de carácter tradicional, y la postergación de los procesos gerenciales y transformadores existentes en buena parte de los países de nuestro entorno, que en España se promovieron en la primera parte de la legislatura 2004-2008 (Garde y Ruiz, 2019).

REFERENCIAS BIBLIOGRÁFICAS

AEVAL (2006). Percepción ciudadana del funcionamiento de los servicios públicos (2006). Una valoración de los resultados de la encuesta conjunta del CIS y la Agencia de Evaluación y Calidad [Estudio del Observatorio de calidad de los servicios públicos, Papeles 5/2007]. Ministerio de Administraciones Públicas. http://www.aeval.es/en/difusion_y_comunicacion/publicaciones/Papeles/Papeles_de_Evaluacixn_nx_5.html

AEVAL (2008). Evaluación de la calidad del servicio de los museos de titularidad estatal [Evaluación E08/2007]. Ministerio de Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Evaluacion/Evaluaciones_2007/E08.html

AEVAL (2009a). La percepción social de los servicios públicos en España (1985-2008). Ministerio de la Presidencia. https://funcionpublica.hacienda.gob.es/gobernanza-publica/calidad/informes/percepcion/percepcion1.html

AEVAL (2009b). Modelo EVAM. Modelo de Evaluación, Aprendizaje y Mejora. Ministerio de la Presidencia. http://www.aeval.es/export/sites/aeval/comun/pdf/calidad/guias/guia_evam_2009.pdf

AEVAL (2010). Agenda Pública y Satisfacción con los Servicios Públicos en el Estado Autonómico. Ministerio de Política Territorial y Administración Pública. http://www.aeval.es/export/sites/aeval/comun/pdf/calidad/informes/agenda_publica_2010.pdf

AEVAL (2011). La Administración Pública a juicio de los ciudadanos: satisfacción con los servicios, valoración del gasto, confianza en los empleados públicos y actitudes hacia la e-administración. Ministerio de Política Territorial y Administración Pública. https://www.mptfp.gob.es/portal/funcionpublica/gobernanza-publica/calidad/informes/percepcion/percepcion3.html

AEVAL (2012a). Evaluación de la Calidad del servicio prestado por la Ventanilla Única para el Comercio Exterior de Canarias (VEXCAN). Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Evaluacion/Evaluaciones_2011/E32.html

AEVAL (2012b). La importancia de los Servicios Públicos en el bienestar de los ciudadanos. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Calidad/Informes_de_Percepcion/Informe_Percepcion2012.html

AEVAL (2013). La Calidad de los Servicios Públicos y las actitudes de los ciudadanos hacia las medidas modernizadoras de la Administración Pública. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Calidad/Informes_de_Percepcion/Informe_Percepcion2013.html

AEVAL (2014a). Calidad de los Servicios Públicos en tiempos de austeridad. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Calidad/Informes_de_Percepcion/Informe_Percepcion2014.html

AEVAL (2014b). Diseño de una metodología para caracterizar las funciones desarrolladas por los servicios centrales de la Administración General del Estado. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Evaluacion/Evaluaciones_2013/E37.html

AEVAL (2014c). Diagnóstico de situación y rediseño del Sistema de Información Administrativa. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Evaluacion/Evaluaciones_2013/E38.html

AEVAL (2015a). Evaluación de la formación dirigida a los empleados públicos de la Administración General del Estado. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Evaluacion/Evaluaciones_2013/E35.html

AEVAL (2015b). Calidad y sostenibilidad de los servicios públicos. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Calidad/Informes_de_Percepcion/Informe_Percepcion2015.html

AEVAL (2016a). Estabilidad y mejoría en los servicios públicos. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Calidad/Informes_de_Percepcion/Informe_Percepcion2016.html

AEVAL (2016b). Guía metodológica para el desarrollo de procesos de planificación de políticas públicas en el ámbito sectorial. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Guias/Guias_Evaluacion_Politicas_Publicas_y_Calidad_SSPP/Guia_Planificacion.html

AEVAL (2016c). Metodología de evaluación y seguimiento de la transparencia en la actividad pública. Ministerio de Hacienda y Función Pública. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Evaluacion/Evaluaciones_2016/E42.html

AEVAL (2016d). Manual para la racionalización y eliminación de duplicidades. Ministerio de Hacienda y Administraciones Públicas. http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Informes/Informes_de_Evaluacion/Evaluaciones_2013/E39.html

Bakvis, H. y Brown, D. (2010). Policy Coordination in Federal Systems: Comparing Intergovernmental Processes and Outcomes in Canada and the United States. Publius: The Journal of Federalism, 40(3), 484-507. https://doi.org/10.1093/publius/pjq011

Behnke, N. (2009). Towards a new organization of federal States? Lessons from the processes of constitutional reform in Germany, Austria, and Switzerland [Polis, 66]. FernUniversität in Hagen. http://nbn-resolving.de/urn:nbn:de:hbz:708-dh4277

Benz, A. (2008). From Joint-decision Traps to Over-regulated Federalism: Adverse Effects of a Successful Constitutional Reform. German Politics, 17(4), 440-456. https://doi.org/10.1080/09644000802490410

Boblin, S., Irlanda, S., Kirkpatrick, H. y Robertson, K. (2013). Using Stake’s Qualitative Case Study Approach to Explore Implementation of Evidence-Based Practice. Qualitative Health Research, 23(9), 1267-1275. https://doi.org/10.1177/1049732313502128

Braun, D. (2006). Between Market-Preserving Federalism and Intergovernmental Coordination: The Case of Australia. Swiss Political Science Review, 12(2), 1-36. https://doi.org/10.1002/j.1662-6370.2006.tb00387.x

Braun, D. (2009). Constitutional Change in Switzerland. Publius: The Journal of Federalism, 39(2), 314-340.

Brown, A. J. y Bellamy, J. A. (eds.) (2007). Federalism and Regionalism in Australia New Approaches, New Institutions? Australian National University Press.

Burkhart, S. (2009). Reforming Federalism in Germany: Incremental changes instead of the Big Deal. Publius: The Journal of Federalism, 39(2), 341-365. https://doi.org/10.1093/publius/pjn035

Coller, X. (2005). Estudio de casos [colección Cuadernos Metodológicos]. Centro de Investigaciones Sociológicas.

Garde, J. A. y Ruiz, A. (2019). La institucionalización de la evaluación en España y la experiencia de AEVAL. En M. J. Garde, J. Gascón y T. Merola (coords.) Hacienda Pública y gobernanza fiscal en España: desafíos 2020. En reconocimiento a la trayectoria profesional en el sector público de D. Juan Antonio Garde Roca. Instituto de Estudios Fiscales.

Jeffery, C. (2009). Devolution in the United Kingdom: Problems of a Piecemeal Approach to Constitutional Change. Publius: The Journal of Federalism, 39(2), 289-313.

López, A. M. y Ruiz, J. (2012). Evaluación Smart. Utilidad de la evaluación de la calidad de los servicios. Gestión y Análisis De Políticas Públicas, 8, 115-143. https://doi.org/10.24965/gapp.v0i8.10006

Mitchell, J. (2009). Devolution in the UK. Manchester University Press.

OCDE (1987). Administration as service, the public as client. OCDE. www.oecd.org/gov/digital-government/1910557.pdf

Parasuraman, A., Zeithaml, V. A. y Berry, L. L. (1988). SERVQUAL: A Multiple-Item Scale for Measuring Consumer Perceptions of Service Quality. Journal of Retailing, 64(1), 12-40.

Ruiz, J. e Hidalgo, C. (2006). La Autoevaluación en la Administración al alcance de la mano. El modelo de evaluación, aprendizaje y mejora (EVAM). Análisis Local, 68, 17-30.

Russell, P. H. (2004). Constitutional Odyssey: Can Canadians Become a Sovereign People? University of Toronto Press.

Salvail, M. (1992). Federal-Provincial program overlap. Library of Parliament – Research Branch.

Scharpf, F. W. (1988). The joint-decision trap: lessons from german federalism and european integration. Public Administration, 66(3), 239-278. https://doi.org/10.1111/j.1467-9299.1988.tb00694.x

Stake, R. E. (1998). Investigación con estudios de casos. (1.ª ed.). Morata.

Sturm, R. (2010). More courageous than expected? The 2006 reform of German federalism. En J. Erk y W. Sweden (coords.), New Directions in Federalism Studies, (pp. 34-49). Routledge.

Tudela, J. y Kölling, M. (eds) (2009). La reforma del Estado Autonómico Español y del Estado Federal Alemán. Fundación Manuel Giménez Abad – Centro de Estudios Políticos y Constitucionales (CEPC).

Yin, R. K. (2018). Case Study: Research and Applications. (6.ª ed.). SAGE Publications.