Propuesta de mejora de los instrumentos de evaluación del Servicio de Políticas de Diversidad y Ciudadanía de la Diputación de Barcelona
Anabel Díaz Pineda
Diputació de Barcelona
Daniel Montolio
Universitat de Barcelona e Institut d’Economia de Barcelona (IEB)
Recibido: 4 de octubre de 2012
Aceptado: 30 de julio de 2013
Resumen
El presente trabajo describe el proceso de mejora de los instrumentos de evaluación del Servicio de Políticas de Diversidad y Ciudadanía de la Diputación de Barcelona que se llevó a cabo como parte de la adaptación de dicha institución a las nuevas demandas de los gobiernos locales. Así, se analizan los instrumentos de evaluación del Servicio detectándose una serie de carencias. En concreto, se observa una necesidad de adecuación del sistema de indicadores a la nueva realidad presupuestaria; una necesidad de definir los indicadores de tal manera que se pueda estudiar la tendencia temporal de las acciones llevadas a cabo; la necesidad de mejorar la información recogida que, hasta el momento, no reflejaba con claridad la realidad del Servicio así como las variables utilizadas, que no contaban con una definición precisa de los elementos que las componían. Para superar dichas carencias, se presenta una propuesta de sistema de indicadores de gestión adecuado al Servicio haciendo especial referencia al diseño, la definición y la gestión interna de dichos indicadores de gestión.
Palabras Clave
Instrumentos de evaluación, seguimiento y evaluación de políticas públicas, Administración Local, Diputación de Barcelona.
Proposal of Improving the Evaluation Instruments of the Diversity and Citizenship Policy Service of the Barcelona Provincial Council
Abstract
This paper describes the process of improving the evaluation instruments of the Diversity and Citizenship Policy Service of the Barcelona Provincial Council, process that was held as part of the institution adaptation to the new demands of local governments. Thus, we analyze the evaluation instruments of the Service detecting a number of shortcomings. In particular, we observe the need to adapt the system of indicators to new budgetary reality; the need to define the indicators to allow the study of the temporal trend of the activities carried out; the need to improve the information given that the information collected so far did not reflect properly the reality of the Service, and the variables used given that they did not have a precise definition of their composing elements. To overcome these shortcomings we present a proposal of performance indicators appropriate to the Service management with particular reference to the design, definition and internal management of those indicators.
Keywords
Assessment instruments, monitoring and evaluation of public policies, Local Administration, Barcelona Provincial Council.
1. Introducción
La creciente preocupación por optimizar los recursos públicos requiere de la constante evaluación del desempeño, ampliamente definido, obtenido en los servicios que lleva a cabo el Sector Público. Así, el Sector Público, como cualquier otra organización, requiere para poder mejorar sus resultados, en primer lugar poder medirlos y cuantificarlos mediante, por ejemplo, los llamados indicadores de gestión dado que como apunta Salgueiro (2001) “sólo se puede mejorar aquello que se puede medir”.
El uso en el ámbito público de instrumentos pertenecientes a la llamada Nueva Gestión Pública (ver García-Sánchez, 2007), como son los indicadores de gestión, está cada vez más difundida en nuestro país. Dichos instrumentos están encaminados en todo momento a la consecución de una administración eficaz y eficiente de los recursos públicos, así como a formar parte destacada dentro de las herramientas que proveen información relevante para la toma de decisiones de los responsables públicos (ver González-Páramo y Onrubia, 2003).
Así, la tendencia en las administraciones públicas en nuestro país ha sido implementar herramientas de gestión que ayuden a la toma de decisiones directivas al proporcionar información periódica sobre el nivel de cumplimiento de los objetivos previamente establecidos mediante indicadores como, por ejemplo, el cuadro de mando integral planteado en Kaplan y Norton (1997) que permite la translación de la estrategia de la organización en objetivos concretos y la evaluación de la interrelación entre los diferentes indicadores. A pesar de que el uso de indicadores de resultados en general favorece la transparencia en la gestión y el establecimiento de un equilibrio entre las acciones inmediatas y las líneas estratégicas de la organización, también se debe tener en cuenta, tal y como apuntan Moynihan y Pandey (2010), los factores que influyen en el uso (apropiado) que se hace de la información de resultados que se deriva de las herramientas de gestión. En este sentido, la motivación, el liderazgo, la disponibilidad de acceso a la información, la cultura organizacional y la flexibilidad del entorno favorecen el uso correcto de la información que se deriva de los sistemas de información orientados a resultados.
A pesar de los avances que se han producido en los últimos años en el diseño y aplicación de baterías de indicadores de gestión en varios niveles de la Administración Pública, no existe actualmente una aplicación sistemática y adecuadamente estandarizada de dichas medidas que permita llevar a cabo los análisis comparativos que tan relevantes resultan para la evaluación de la eficiencia en entidades pertenecientes, por ejemplo, al ámbito local; ámbito que tradicionalmente ha utilizado de manera pionera e intensiva los indicadores de gestión (ver, entre otros, Aibar, 2003 o Bosch y Mas, 2008).
En la Administración Local es donde se pueden encontrar la mayor parte de ejemplos y aplicaciones del uso de indicadores de gestión en el Sector Público. Así, si el artículo de Bosch y Mas (2008) establece los fundamentos teóricos que dichos indicadores han de tener para su correcta y exitosa aplicación1, los trabajos de Boada y Mora (1999), Batet et al. (2003) o Navarro y Ortiz (2003) presentan ejemplos prácticos de implementación de dichas herramientas de gestión en los servicios municipales.
Así pues, en general, a pesar de existir un amplio consenso entre políticos, gestores públicos y académicos de la necesidad de aplicar técnicas de gestión modernas en la Administración aún hace falta un marco consensuado y generalizado de aplicación de los indicadores de gestión. Hasta el momento se ha avanzado en el estudio y la aplicación de los indicadores de gestión a través del análisis de casos concretos en los que se han usado como herramienta de gestión en el Sector Público. En este sentido, el presente trabajo pretende ampliar el conocimiento sobre la aplicación práctica de los indicadores de gestión a través de la descripción de todo el proceso que se llevó a cabo en la Diputación de Barcelona sobre la implementación de los indicadores de gestión en un servicio determinado. Vale la pena destacar que la Diputación de Barcelona se ha mostrado como una institución intensamente preocupada por la mejora de la gestión de los servicios públicos, haciendo un esfuerzo constante por la mejora de los servicios provistos a nivel local (ver Diputación de Barcelona, 1998 y 2006).
Así, en el año 2007 la Diputación de Barcelona inició un proceso de reformulación de sus objetivos para dar respuesta a las demandas de los municipios a los cuales presta servicio, en el que como resultado se fijaron una serie de ideas. Entre ellas, se definió a la Diputación de Barcelona como administración con capacidad de asesorar e innovar en políticas públicas, para la cual se hacía necesario crear una metodología con indicadores y control de calidad.
En este punto, uno de los servicios de la Diputación de Barcelona, concretamente el Servicio de Políticas de Diversidad y Ciudadanía (en adelante, Servicio), decidió replantearse su metodología con el objetivo de adaptarse a las nuevas demandas de los gobiernos locales. Como punto de inicio, se analizaron los instrumentos de evaluación de los servicios que prestaba y se detectaron una serie de carencias. En primer lugar, era necesario adecuar el sistema de indicadores a la nueva realidad presupuestaria; en segundo lugar, dado que el documento que recopilaba estos indicadores se componía de variables independientes, se hacía difícil estudiar la tendencia de las acciones llevadas a cabo; en tercer lugar, la información plasmada no reflejaba con claridad la realidad del Servicio; y, por último, las variables utilizadas no contaban con una definición precisa de los elementos que las componían.
El presente trabajo describe todo el proceso de mejora de los instrumentos de evaluación de una política pública. Para ello, el artículo se estructura de la siguiente forma. La sección 2 presenta el Servicio objeto de estudio en el cual se analizó y se diseñó un sistema de indicadores de gestión adecuado. La sección 3 define el contexto en el cual se enmarca el estudio, la diagnosis y el proceso llevado a cabo para formular las alternativas planteadas. La sección 4 presenta las propuestas de mejora que se hicieron al sistema de evaluación de resultados del Servicio y presenta las principales aportaciones de este artículo, con especial referencia al diseño, la definición y la gestión interna de los indicadores de gestión. Finalmente, la sección 5 presenta las principales conclusiones a las que llega este estudio.
2. El Servicio de Políticas de Diversidad y Ciudadanía de la Diputación de Barcelona
La Diputación de Barcelona es una institución de gobierno local que actúa prestando servicios, principalmente, en cooperación con los ayuntamientos de su ámbito territorial, es decir, la provincia de Barcelona. Fundamentalmente, ofrece apoyo técnico, económico y tecnológico a los ayuntamientos para que éstos puedan ofrecer servicios locales de calidad y de forma más homogénea en todo el territorio.
La Diputación lleva a cabo esta misión a través del trabajo en red con los ayuntamientos, lo que supone compartir experiencias para mejorar la calidad de los servicios y difundir las buenas prácticas. Además, esta actuación en red también permite optimizar los recursos, tanto humanos como técnicos y materiales, de tal manera que se aumenta su rendimiento, traduciéndose en más y mejores servicios.
En este sentido, el Servicio de Políticas de Diversidad y Ciudadanía pretende ofrecer apoyo a los ayuntamientos en relación con los nuevos retos relacionados con la igualdad de oportunidades, la cohesión social, la convivencia ciudadana y, en general, la calidad de vida de la población. El Servicio actúa prestando apoyo y ofreciendo servicio a los ayuntamientos, investigando y difundiendo nuevas políticas públicas y estableciendo un trabajo institucional en los ámbitos de inmigración, diversidad y ciudadanía.
Esta misión se materializa en la oferta de diversos instrumentos a disposición de los ayuntamientos de la provincia de Barcelona (para ampliar información sobre estos instrumentos, véase el anexo 1):
a) Formación dirigida a técnicos de los ayuntamientos.
b) Planes de recepción y acogida municipal (PRAM).
c) Informes sociodemográficos.
d) Informes de migración y ciudadanía.
e) Catálogo de actividades de diversidad y ciudadanía.
f) Programa de Agentes Locales.
g) Plan de Concertación “Xarxa Barcelona Municipis de Qualitat” (XBMQ).
h) “Xarxa Local per a la Diversidad i la Ciutadania” (XLDC).
i) Convenios para el impulso de servicios de mediación ciudadana.
j) Exposiciones itinerantes por los municipios de la provincia pensadas para promover el civismo y la sensibilización ciudadana en relación con el hecho migratorio.
k) Jornadas en el ámbito de la diversidad y la ciudadanía.
l) Planes de convivencia y civismo.
m) Convenios de colaboración y subvenciones a entidades sin ánimo de lucro.
n) Edición del Migrainfo.
o) Centro de documentación.
Durante el año 2010, el Servicio contaba con un presupuesto de gasto aproximado de unos siete millones y medio de euros y la plantilla estaba formada por treinta y siete personas, entre las cuales se cuentan los agentes locales, los cuales se destinaban a los ayuntamientos para dar respuesta a los problemas relacionados con la integración, la convivencia y cohesión social, la juventud y la igualdad de género. Orgánicamente, estaba dividido en tres departamentos: uno encargado de facilitar apoyo a los ayuntamientos; otro, de carácter técnico, relacionado con la investigación y la difusión; y el último, de gestión administrativa, desde el cual se planteó el presente trabajo.
Hasta el año 2009, los instrumentos o actividades enumerados anteriormente que ofrecía el Servicio se englobaban dentro de un único programa presupuestario (diversidad y ciudadanía), pero por necesidades de gestión se hizo necesario establecer dos programas presupuestarios: diversidad e inmigración, y convivencia y civismo.
3. Antecedentes, contexto, diagnóstico y proceso de elaboración de alternativas
3.1 Antecedentes y contexto
En el año 2007, ante la necesidad de adecuarse y anticiparse al nuevo entorno institucional y social mediante el diseño y la implantación de nuevas políticas públicas, la Diputación de Barcelona se plantea reformular sus objetivos y retos para dar respuesta a las nuevas demandas de los municipios. Este proceso se materializa en la elaboración del RE!SET (Diputación de Barcelona, 2007), un documento de reflexión estratégica sobre las políticas que se quieren desarrollar en el futuro y el nuevo papel institucional de la Diputación. Como resultado de un proceso participativo entre actores internos y externos, se identifican una serie de ideas que sirven de orientación para el nuevo escenario de futuro y que se concretan en la definición de cinco objetivos estratégicos:
a) La Diputación como gobierno con capacidad de representar y defender los intereses locales.
b) La Diputación como gobierno local con capacidad de pensar a escala intermedia y de planificar a medio plazo.
c) La Diputación como administración especializada en ofrecer servicios de calidad garantizando la equidad en el acceso de la ciudadanía.
d) La Diputación como Administración Local con capacidad de asesorar, evaluar e innovar en políticas públicas locales.
e) La Diputación como una Administración Local que consolida el modelo de trabajo en red con los municipios.
En el cuarto objetivo, la Diputación como Administración Local con capacidad de asesorar, evaluar e innovar en políticas públicas locales, se parte de la idea de que la experiencia y el conocimiento acumulado funcionan como plataforma de análisis de la Administración Local y que ésta actúa como centro de innovación y evaluación de políticas públicas locales, permitiendo generar indicadores e instrumentos de gestión de servicios. Por ello, para poder dar nuevas y mejores respuestas a los retos del mundo local, es necesario crear una metodología con indicadores y control de calidad, evaluación y seguimiento que sea útil y fácil de utilizar para tomar decisiones. Y es en este punto que se hace necesario replantear la metodología del Servicio de Políticas de Diversidad y Ciudadanía, con el objetivo de adaptarse a las nuevas demandas de los gobiernos locales.
3.2 Diagnóstico y proceso de elaboración de alternativas
Como punto de partida, se analizaron los instrumentos de evaluación y seguimiento de políticas públicas de que disponía el Servicio. Éste contaba con unos indicadores elaborados trimestralmente que venían fijados por una unidad central, el Servicio de Programación, el cual centralizaba la recogida de datos de todos los servicios de la Diputación. Este servicio tenía como objetivo, entre otros, proporcionar ayuda a la corporación en materia de planificación, presupuestación y evaluación presupuestaria como elementos de racionalidad económica para optimizar la gestión de los recursos disponibles. Trimestralmente, elaboraba un análisis de cada uno de los programas presupuestarios, no sólo en términos presupuestarios, sino también de eficacia y eficiencia para poder evaluar el grado de consecución de los objetivos.
Se observó que estos indicadores presentaban ciertas deficiencias o carencias:
a) A partir del año 2009, el Servicio contaba con dos programas presupuestarios, de tal manera que los indicadores requerían su distribución entre estos dos programas.
b) El documento que recogía estos indicadores se componía de variables independientes, las cuales no se relacionaban entre sí y dificultaban estudiar la tendencia generada por las acciones llevadas a cabo.
c) La información que plasmaba el documento mostraba el punto de vista de la unidad central que los elaboraba, de tal manera que en determinadas ocasiones o no se adecuaban a la realidad del Servicio o no eran los adecuados para conocer el grado de consecución de los objetivos.
d) No se detallaban los elementos que componían cada variable y, por tanto, dependiendo de quién facilitara los datos, el indicador variaba. Así, se puede decir que la información contenida en el documento no presentaba datos del todo fiables.
A raíz de las deficiencias observadas en los indicadores del Servicio, se propusieron una serie de acciones de mejora con el objetivo de modificarlos y corregir sus carencias, las cuales se centraron en:
a) Distribuir los indicadores existentes entre los dos nuevos programas presupuestarios; diversidad e inmigración, y convivencia y civismo (véase Sección 4.1).
b) Proponer nuevos indicadores de gestión que se adecuaran a la realidad del Servicio y facilitaran su gestión interna (véase Sección 4.2).
c) Adecuar el documento de recogida y análisis de los indicadores a la nueva realidad, modificando los aspectos necesarios y definiendo la información contenida en cada variable (véase Sección 4.3).
En la Figura 1, se presenta esquemáticamente el procedimiento llevado a cabo para la elaboración de la propuesta de indicadores de gestión y los resultados obtenidos con el mismo.
Figura 1. Propuesta de indicadores de gestión: procedimiento y resultados
Fuente: elaboración propia
4. Propuestas de mejora de los instrumentos de evaluación
4.1 Distribución de los indicadores por programas presupuestarios
Como se ha comentado anteriormente, hasta el año 2009 el Servicio contaba con un programa presupuestario (diversidad y ciudadanía), pero por necesidades de gestión se establecieron dos programas presupuestarios (diversidad e inmigración, y convivencia y civismo). A partir de entonces, se hizo necesario adecuar el documento de recogida y análisis de los indicadores a esta nueva realidad.
En primer lugar, se tuvo en cuenta una primera propuesta de distribución de estos indicadores facilitada por la unidad central encargada de la recogida de datos. Cabe decir que esta primera propuesta contó con el punto de vista de la unidad central con el objetivo de facilitar esta tarea a los servicios gestores.
A partir de esta primera distribución, se comprobó la idoneidad de la clasificación y se adecuaron aquellos indicadores que, o no estaban en el programa presupuestario más adecuado, o no permitían su diferenciación por programas. Durante un mes de trabajo, se organizaron dos reuniones con los jefes correspondientes con la finalidad de recibir la aprobación de la propuesta y, finalmente, se transmitió a la unidad central para la adecuación del documento de indicadores.
Cabe decir que la distribución de los indicadores entre los dos programas presupuestarios se realizó teniendo en cuenta, por un lado, el ámbito de actuación de la actividad concreta y, por otro lado, la clasificación que existía presupuestariamente de dicha actividad, esto es, a qué programa presupuestario se imputaba el gasto generado por la actividad.
En aquellos casos en los cuales se hizo difícil asignar una actividad a uno de los dos programas, se optó por acordar con el responsable su distribución. También cabe aclarar que, aunque existían ciertos ámbitos o actividades susceptibles de separación por programas, se consideró más idónea su inclusión en únicamente uno de ellos, ya que presupuestariamente esta diferenciación no existía y no aportaría ningún valor añadido en cuanto a la gestión del Servicio.
Asimismo, además de adecuar el documento de recogida y análisis de indicadores según los dos nuevos programas presupuestarios, se realizó una descripción de cada indicador, haciendo referencia a toda la información o elementos que éstos debían incluir y el criterio a seguir para su cómputo. De esta manera, se obtienen datos fiables y comparables dado que se tienen en cuenta los mismos parámetros, y todo ello independientemente de quien los haya elaborado.
En el anexo 2 (Tablas 2 y 3) se muestra la distribución de los indicadores entre los dos programas presupuestarios (diversidad e inmigración, y convivencia y civismo), así como la descripción de cada uno de ellos, haciendo referencia a la información necesaria para el cálculo de los mismos.
4.2 Propuesta de indicadores de gestión
Una vez distribuidas las diferentes actividades que realizaba el Servicio, y sus respectivos indicadores de gestión, entre los dos nuevos programas presupuestarios, se propusieron unos nuevos indicadores de gestión ya que, como se ha comentado con anterioridad, los existentes no se adecuaban a la realidad del Servicio. Para elaborarlos se tuvieron en cuenta, por un lado, el programa presupuestario al cual se imputaba el gasto generado por esa actividad y, por otro lado, la materia relacionada con dicha actividad.
El proceso de elaboración de la nueva propuesta de indicadores se basó, en primer lugar, en tener en cuenta la literatura existente sobre la materia, no únicamente relacionada con la evaluación de políticas públicas, sino también con la inmigración y la convivencia (ver Diputación de Barcelona, 2004 y Galais-González, 2010). En este sentido, se observó que la mayor parte de los indicadores del Servicio correspondían a indicadores de actividad o estratégicos, es decir, que medían las actividades llevadas a cabo por éste y en qué medida se estaba logrando la consecución de los objetivos. Pero no se disponía de indicadores de dimensión económica (costes asociados a la prestación del servicio o actividad) ni relacionados con la satisfacción del usuario o cliente. Por tanto, la propuesta que se elaboró contaba con una tipología más amplia de indicadores.
También se contó con la participación de todos los agentes implicados, esto es, la unidad central encargada de centralizar la recogida de datos de todos los servicios de la corporación, los técnicos especialistas de cada ámbito, los cuales disponían de un amplio conocimiento de las actividades prestadas por el Servicio, y de la alta dirección y mandos intermedios.
En la Tabla 1, se puede observar la propuesta de indicadores de gestión clasificados por los dos nuevos programas presupuestarios, así como una tercera categoría que pretendía comparar cual de los dos programas presupuestarios tenía más demanda y, por tanto, se debía potenciar. Junto con esta propuesta, se acompañó la argumentación de cada indicador definido, la cual no se incluye en este estudio por encontrarse fuera del alcance del mismo.
Tabla 1. Propuesta de indicadores de gestión por programa presupuestario y comparativa
Programa Diversidad e inmigración |
Programa Convivencia y civismo |
Comparativa |
Formación |
||
|
|
|
Exposiciones |
||
|
|
|
Jornadas |
||
|
|
|
Convenios |
||
|
|
|
Programa Diversidad e inmigración |
Programa Convivencia y civismo |
PRAM |
Catálogo de actividades de diversidad y ciudadanía |
|
|
Informes sociodemográficos |
Agentes locales |
|
|
Informes de migración y ciudadanía |
Ayudas del plan de concertación XBMQ |
|
|
XLDC |
Mediación ciudadana |
|
|
Boletín electrónico |
Planes de convivencia y civismo |
|
|
Centro de documentación |
|
|
Fuente: elaboración propia
4.3 Adecuación de la documentación interna de recogida y análisis de indicadores
Una vez definida la propuesta de indicadores de gestión para cada programa presupuestario, se propuso adecuar el documento existente de recogida y análisis de los mismos, incorporando los nuevos indicadores derivados de la propuesta anterior y definiendo la información a tener en cuenta para elaborarlos. Durante dos meses, se realizaron las adecuaciones pertinentes en el documento de trabajo y se planificaron diversas reuniones con el responsable de la unidad de gestión administrativa del Servicio, quien se encargaba de la recogida de datos y de su posterior remisión a la unidad central.
En cuanto a la configuración del documento, se optó por realizarlo mediante hoja de cálculo, ya que la información contenida debía ser tratada a través de fórmulas. Y por lo que respecta a la distribución de la información dentro del documento, se propuso separarla, en primer lugar, por programa presupuestario y, en segundo lugar, según si se trataba de indicadores o de variables, incorporando además unas breves instrucciones para rellenar correctamente el documento. En el anexo 3 (Figura 3) se muestra la imagen de las instrucciones que aparecían en el documento en primer lugar, las cuales pretendían ser una breve guía de cómo completarlo.
Como se ha comentado anteriormente, la información se distribuía por programa presupuestario, en primer lugar, y por indicador o variable, en segundo lugar. En cuanto a las variables, la información estaba agrupada por temática y existía la posibilidad de plasmar datos de varios años. Además, cada variable llevaba asociada una breve descripción con el objetivo de plasmar la información de la forma más homogénea posible. En la Figura 4 del anexo 3 se puede observar cómo se plasmaba la distribución de las variables por temática y las explicaciones asociadas a las mismas.
Para conseguir las variables relacionadas con datos geográficos, se debía rellenar otra pestaña llamada Mapa, la cual contenía una lista de los ayuntamientos de la provincia de Barcelona y las variables a calcular. En este caso, únicamente había que marcar aquellos entes que realizaban las acciones concretas y, posteriormente, desde la unidad central de recogida de datos, se elaboraba un mapa de la provincia con dichos resultados con el objetivo de conocer qué zonas geográficas demandaban más servicios.
Todos estos datos recogidos en las pestañas de Variables y Mapa se plasmaban en otra llamada Indicadores, la cual tenía la única función de visualizar la información (véase Figura 5 del anexo 3). Esta pestaña, de la misma forma que las variables, disponía de la información agrupada por temática y permitía visualizar datos de varios años.
Por último, cabe decir que existía otra pestaña que mostraba una comparativa de aquellos indicadores que coincidían en los dos programas presupuestarios, la cual no requería introducir ningún dato adicional ya que las variables ya se habían informado para cada programa.
5. Conclusiones
A raíz del análisis de los instrumentos de evaluación de los servicios que prestaba el Servicio de Políticas de Diversidad y Ciudadanía de la Diputación de Barcelona, se detectaron una serie de carencias: la falta de adecuación del sistema de indicadores a la nueva realidad presupuestaria; la composición del documento de indicadores a través de variables independientes, dificultando el estudio de la tendencia de las acciones llevadas a cabo; la no adecuación a la realidad del Servicio de la información plasmada; y, por último, la falta de definición precisa de los elementos que componían las variables.
Una vez detectadas estas deficiencias y con la finalidad de mejorar la gestión interna del Servicio y, en consecuencia, de facilitar la información necesaria para la toma de decisiones, se propusieron una serie de acciones para modificarlas y corregirlas. A partir de estas acciones orientadas a adecuar los indicadores y el documento de recogida de datos, se pueden extraer los siguientes puntos a tener en cuenta a la hora de implementar o mejorar los instrumentos de evaluación de un servicio o departamento concreto:
a) Para el éxito de cualquier cambio es necesario contar con la participación y el punto de vista de todos los agentes implicados, ya que, de forma directa o indirecta, influyen en la consecución de los objetivos. En este caso, si los indicadores vienen fijados por la alta dirección, como ésta no conoce exhaustivamente cómo se prestan los servicios, puede ocurrir que sea materialmente imposible recopilar los datos o que sean inadecuados.
b) Es de vital importancia que la alta dirección y los mandos intermedios compartan una misma visión de futuro y apoyen el proyecto que se vaya a desarrollar. Así, en el caso del Servicio analizado resulta del todo imprescindible que los técnicos especialistas colaboren para cumplir los objetivos y para recopilar los indicadores, lo que permite medir las acciones llevadas a cabo y, consecuentemente, el éxito (o fracaso) del Servicio.
c) Antes de empezar cualquier proyecto, se deben planificar las acciones que se llevaran a cabo, su temporalidad y los recursos necesarios, así como determinar claramente los objetivos a alcanzar, tanto a corto como a largo plazo. Cualquier proyecto requiere de una planificación previa para determinar si el modo de llevarlo a cabo es el más idóneo y si los recursos que se pueden utilizar son suficientes.
d) En cuanto a los instrumentos de evaluación, se deben utilizar aquellos que sean útiles para medir el cumplimiento de los objetivos marcados, ya que una deficiente definición puede provocar que no se acaben cumpliendo. En este estudio, uno de los objetivos del Servicio consiste en dar soporte a los ayuntamientos en el ámbito de migración y convivencia. Por ello, para conocer si las acciones formativas cumplen con el objetivo marcado, es necesario saber, no únicamente si la acción tiene afluencia, sino también el punto de vista de los técnicos de los ayuntamientos asistentes a la formación.
e) Los indicadores deben permitir estudiar las tendencias a través del tiempo y posibilitar la comparación con otros servicios u organismos del mismo ámbito de actuación. Por ello, se hace indispensable que estos indicadores se compongan de variables relacionadas. En el caso de estudio, el indicador Acciones formativas realizadas, por ejemplo, por sí solo no permite la comparación con otros entes ya que las acciones pueden variar dependiendo del presupuesto para ejecutarlas o de la prioridad que cada departamento les otorgue en función de sus prioridades. Así, sería más adecuado proponer el indicador Asistentes por acción formativa realizada.
f) En relación con el punto anterior, las variables que forman los indicadores se deben definir claramente. De esta forma, se obtendrán unos datos fiables que permitirán su comparación. A modo de ejemplo, el indicador Número de informes sociodemográficos, dependiendo de la persona que recopile los datos, puede imputarse a trimestres diferentes o incluso duplicarse, ya que si no se definen las variables, puede tenerse en cuenta la fecha de aprobación del informe o la de su finalización. Estos aspectos resultan cruciales tenerlos en cuenta para asegurar el éxito de los instrumentos de evaluación.
g) Por último, en el momento de elaborar los indicadores a utilizar, además de tener en cuenta que deben medir la consecución de los objetivos marcados, debe existir una cierta diversidad en cuanto a la tipología, ya que cada una de ellas aporta una visión distinta del servicio prestado. Se puede distinguir entre indicadores estratégicos, que se utilizan para medir si se han cumplido los objetivos marcados; indicadores de coste, dirigidos a minimizar el coste por servicio y aumentar la eficiencia; indicadores de actividad, destinados a conocer información sobre las actividades o servicios prestados; indicadores de usuario, que pretenden mostrar el punto de vista del cliente; o indicadores de recursos humanos, entre otros, que aportan información acerca de los recursos humanos utilizados y sus condiciones laborales.
Anexo 1. Ámbito de actuación del Servicio2
a) Formación dirigida a técnicos de los ayuntamientos, con el objetivo de formarlos en las materias relacionadas con las políticas públicas de ciudadanía. Esta oferta formativa presenta diversas modalidades: centralizada, impartida en espacios de la Diputación de Barcelona; descentralizada, constituida por cursos que se ofrecen a los ayuntamientos para realizarlos en sus espacios y para sus empleados; y a medida, pensada para aquellos ayuntamientos con necesidades específicas de formación para sus profesionales.
b) Planes de recepción y acogida municipal (PRAM), que no son más que instrumentos de gestión y planificación para abordar el hecho migratorio en el ámbito local, así como los procesos de diversificación social y cultural que éste comporta. Entre sus objetivos se encuentran el de garantizar el acceso a la información y servicios básicos de las personas recién llegadas y el de fomentar la coordinación entre los agentes que trabajan en el ámbito de la acogida de la población inmigrada en el municipio.
c) Informes sociodemográficos, los cuales aportan información estadística y sociológica sobre los movimientos de población de un determinado municipio (inmigración y emigración), todo ello a través de los datos que ofrece el Padrón Municipal de Habitantes. Estos informes contienen un análisis del movimiento demográfico desde el año 2000 hasta la actualidad, el perfil de la población recién llegada, el origen y su distribución dentro del territorio.
d) Informes de migración y ciudadanía, esto es, estudios de prospección sobre la realidad migratoria de un municipio que aportan propuestas de actuación y así poder orientar la acción de los ayuntamientos en relación con las políticas de gestión de la diversidad. La finalidad de estos estudios es analizar las características sociodemográficas de la población inmigrante y compararlas con la población total, así como realizar una diagnosis de los diversos servicios implicados en este ámbito para elaborar propuestas de actuación que faciliten la gestión de la diversidad en el municipio.
e) Catálogo de actividades de diversidad y ciudadanía, un conjunto de acciones de carácter pedagógico dirigidas a toda la población y ofrecidas por entidades que trabajan en el ámbito del Servicio.
f) Programa de Agentes Locales, en colaboración con la Generalitat de Catalunya, que tiene como objetivo la creación de perfiles profesionales que pretenden dar respuesta a la nuevas necesidades relacionadas con la integración, la convivencia y cohesión social, la juventud y la igualdad de género. Este programa tiene como finalidad incorporar a estos trabajadores en la estructura municipal, de tal manera que se mejore la calidad de los servicios públicos y el bienestar en los barrios de los municipios.
g) Plan de Concertación “Xarxa Barcelona Municipis de Qualitat” (XBMQ), una herramienta que pretende ofrecer apoyo económico y técnico a los ayuntamientos para el desarrollo de políticas locales a través de la concertación. La concertación es un método de trabajo entre administraciones públicas que gestiona los recursos ofrecidos por la Diputación de Barcelona en función de las prioridades de cada ayuntamiento (ver Figura 2). De esta manera, se fomenta una manera de trabajar basada en la asociación de esfuerzos y recursos para mejorar la eficiencia y los impactos y, en última instancia, ofrecer mejores respuestas a las necesidades ciudadanas.
Figura 2. Acción concertada
Fuente: www.diba.cat
a) “Xarxa Local per a la Diversidad i la Ciutadania” (XLDC), esto es, un fórum de alcaldes, alcaldesas, regidores y regidoras con la finalidad de identificar, generar y difundir instrumentos conceptuales, políticos y operativos que sirvan a los gobiernos locales para gestionar mejor los servicios que prestan en el ámbito de la diversidad y la ciudadanía. Esta red pretende favorecer el intercambio de información y conocimiento entre los gobiernos locales, cooperar en la realización de proyectos innovadores y experimentales de manera mancomunada y difundir las buenas prácticas realizadas por sus integrantes, entre otras funciones.
b) Convenios para el impulso de servicios de mediación ciudadana, que tienen como objetivo establecer una red de profesionales de la mediación para la resolución de conflictos ciudadanos. La función de la mediación consiste en establecer enlaces entre las personas que plantean un conflicto, ayudándolas a crear comunicación y generando ideas y maneras de resolver ese conflicto ágil y positivamente.
c) Exposiciones itinerantes por los municipios de la provincia pensadas para promover el civismo y la sensibilización ciudadana en relación con el hecho migratorio. Actualmente, el Servicio cuenta con dos exposiciones; “Gràcies. Fem un bon equip”, pensada para promover el civismo entre la ciudadanía; y “Tan iguals, tan diferents”, con el objetivo de favorecer el conocimiento y trabajar la sensibilización ciudadana en relación con el hecho migratorio.
d) Jornadas en el ámbito de la diversidad y la ciudadanía, las cuales pretenden definir el marco de actuación de las políticas locales en este ámbito y presentar experiencias prácticas.
e) Planes de convivencia y civismo, que tienen como objetivo estructurar el contenido de propuestas de actuación para reforzar los valores cívicos, la convivencia y la cohesión social. Se trata de una herramienta con la cual se favorece el diseño de respuestas de anticipación y prevención de los gobiernos locales.
f) Convenios de colaboración y subvenciones a entidades sin ánimo de lucro que ponen a disposición de los municipios diferentes productos y servicios. Entre estas entidades se encuentran la Obra Social de Caixa Catalunya, la Fundación ACSAR o la Fundación CIDOB.
g) Edición del Migrainfo, un boletín electrónico de periodicidad trimestral que recoge noticias y experiencias relacionadas con la migración y la diversidad.
h) Centro de documentación, que pretende atender las necesidades informativas y documentales de los responsables que gestionan el hecho migratorio.
Anexo 2. Distribución de los indicadores por programas presupuestarios
Tabla 2. Programa Diversidad e inmigración
Indicador |
Descripción |
Formación |
|
Acciones formativas centralizadas |
Número de cursos en materia de diversidad e inmigración dentro de la oferta formativa centralizada. Se contarán tomando como referencia la fecha de la última sesión. |
Asistentes a la formación centralizada |
Número total de participaciones de técnicos y electos a las actividades formativas centralizadas finalizadas. Se contará cada asistente como un registro (si una misma persona asiste a dos acciones formativas diferentes, se cuenta como dos participaciones). |
Acciones formativas descentralizadas |
Número de cursos en materia de diversidad e inmigración ofrecidos a los ayuntamientos para realizarlos en sus espacios y para su personal. Se contarán tomando como referencia la fecha de la última sesión. |
Asistentes a la formación descentralizada |
Número total de participaciones de técnicos y electos a las actividades formativas descentralizadas finalizadas. Se contará cada asistente como un registro (si una misma persona asiste a dos acciones formativas diferentes, se cuenta como dos participaciones). |
Acciones formativas a medida |
Número de cursos en materia de diversidad e inmigración ofrecidos a los ayuntamientos con necesidades específicas de formación. Se contarán tomando como referencia la fecha de la última sesión. |
Asistentes a la formación a medida |
Número total de participaciones de técnicos y electos a las actividades formativas a medida finalizadas. Se contará cada asistente como un registro (si una misma persona asiste a dos acciones formativas diferentes, se cuenta como dos participaciones). |
Total de acciones formativas |
Número de cursos en materia de diversidad e inmigración finalizados de cualquier tipo de acción formativa. El número total de cursos se obtiene de la suma de los cursos contabilizados en los indicadores de los diferentes tipos de acciones formativas. |
Total de asistentes a las acciones formativas |
Número total de participaciones de técnicos y electos a las acciones de cualquier tipo de acción formativa. El número total de asistentes a los cursos se obtiene de la suma de los asistentes contabilizados en los indicadores de los diferentes tipos de acciones formativas. |
Entes locales que han participado en las acciones formativas |
Número de entes locales diferentes de procedencia de los asistentes a cualquier acción formativa. Si de un mismo ente local participa más de una persona, se cuenta una sola vez. |
PRAM |
|
Número de planes |
Número de planes de recepción y acogida autorizados. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD) si es contratado, y la fecha del inicio del informe si es cap. I. |
Entes locales beneficiados |
Número de entes locales donde se ha autorizado la elaboración de PRAM. Se tiene en cuenta la fecha de contabilización de la autorización y disposición del gasto (AD). Si un ente local dispone de más de uno, se pondrá el número. |
Informes sociodemográficos |
|
Número de informes |
Número de informes de actualización sociodemográfica. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD) si es contratado, y la fecha del inicio del informe si es cap. I. |
Entes locales beneficiados |
Número de entes locales donde se ha autorizado la elaboración del informe. Se cuentan los entes locales donde se ha autorizado la elaboración del informe (fecha de contabilización de la autorización y disposición del gasto). |
Informes de migración y ciudadanía |
|
Número de informes |
Número de informes de migración y ciudadanía autorizados. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD) si es contratado, y la fecha del inicio del informe si es cap. I. |
Entes locales beneficiados |
Número de entes locales donde se ha autorizado la elaboración del informe. Se cuentan los entes locales donde se ha autorizado la elaboración del informe (fecha de contabilización de la autorización y disposición del gasto). |
XLDC |
|
Entes locales integrantes de la XLDC |
Número de entes locales adheridos a la XLDC. Se toma como referencia el momento de la adhesión. |
Acciones realizadas |
Número de actividades finalizadas en el marco de la XLDC. Se toma como referencia la fecha de la última sesión. |
Asistentes a los grupos de trabajo |
Número de asistentes a las sesiones de los grupos de trabajo de la XLDC. Se contará cada asistente como un registro, independientemente de si son de un mismo ente local. |
Entes locales participantes a los grupos de trabajo |
Número de entes locales diferentes de procedencia de los asistentes a las sesiones de los grupos de trabajo de la XLDC. Si de un mismo ente local participa más de una persona, se cuenta una sola vez. |
Exposiciones |
|
Número de exposiciones |
Exposiciones que se ofrecen a los entes locales en materia de diversidad e inmigración. Se especificarán cuáles son. |
Entes locales donde se realizan exposiciones |
Número de entes locales que han finalizado, como mínimo, una exposición. Se toma como referencia el momento de finalizar la exposición. |
Jornadas |
|
Número de jornadas organizadas |
Número de jornadas en materia de diversidad e inmigración finalizadas. |
Asistentes a las jornadas |
Número de asistentes a las jornadas en materia de diversidad e inmigración finalizadas. Se contará cada asistente como un registro, independientemente de si son de un mismo ente local. |
Entes locales asistentes a las jornadas |
Número de entes locales u otras entidades asistentes a las jornadas finalizadas. Si de un mismo ente participa más de una persona, se cuenta una sola vez. |
Convenios |
|
Número de convenios formalizados |
Número de convenios de colaboración relacionados con el hecho migratorio formalizados con cualquier tipo de entidad y con aportación económica o no. Se toma la fecha de contabilización del documento contable de autorización y disposición del gasto (AD) si hay aportación económica, o la fecha de la firma del convenio en caso contrario. |
Boletín electrónico |
|
Ejemplares enviados |
Número de ejemplares de la revista digital Migrainfo enviados electrónicamente. Se tendrá en cuenta la fecha del envío. |
Centro de documentación |
|
Documentos en el centro de documentación |
Número de documentos que el centro de documentación tiene recopilados. Se contarán todos los documentos de cualquier tipo y soporte (dosier, revista, reseña, libros, etc.) que figuran en el centro, independientemente de si son susceptibles de préstamo. |
Consultas de artículos del Diario de la Diversidad |
Número de consultas de artículos del Diario de la Diversidad efectuadas en el centro de documentación. Se contarán las consultas de artículos del diario efectuadas en el centro. |
Número de consultas especializadas |
Número de consultas especializadas formuladas al centro de documentación. |
Fuente: elaboración propia
Tabla 3. Programa Convivencia y civismo
Indicador |
Descripción |
Formación |
|
Acciones formativas centralizadas |
Número de cursos en materia de convivencia y civismo dentro de la oferta formativa centralizada. Se contarán tomando como referencia la fecha de la última sesión. |
Asistentes a la formación centralizada |
Número total de participaciones de técnicos y electos a las actividades formativas centralizadas finalizadas. Se contará cada asistente como un registro (si una misma persona asiste a dos acciones formativas diferentes, se cuenta como dos participaciones). |
Acciones formativas descentralizadas |
Número de cursos en materia de convivencia y civismo ofrecidos a los ayuntamientos para realizarlos en sus espacios y para su personal. Se contarán tomando como referencia la fecha de la última sesión. |
Asistentes a la formación descentralizada |
Número total de participaciones de técnicos y electos a las actividades formativas descentralizadas finalizadas. Se contará cada asistente como un registro (si una misma persona asiste a dos acciones formativas diferentes, se cuenta como dos participaciones). |
Acciones formativas a medida |
Número de cursos en materia de convivencia y civismo ofrecidos a los ayuntamientos con necesidades específicas de formación. Se contarán tomando como referencia la fecha de la última sesión. |
Asistentes a la formación a medida |
Número total de participaciones de técnicos y electos a las actividades formativas a medida finalizadas. Se contará cada asistente como un registro (si una misma persona asiste a dos acciones formativas diferentes, se cuenta como dos participaciones). |
Total de acciones formativas |
Número de cursos en materia de convivencia y civismo finalizados de cualquier tipo de acción formativa. El número total de cursos se obtiene de la suma de los cursos contabilizados en los indicadores de los diferentes tipos de acciones formativas. |
Total de asistentes a las acciones formativas |
Número total de participaciones de técnicos y electos a las acciones de cualquier tipo de acción formativa. El número total de asistentes a los cursos se obtiene de la suma de los asistentes contabilizados en los indicadores de los diferentes tipos de acciones formativas. |
Entes locales que han participado en las acciones formativas |
Número de entes locales diferentes de procedencia de los asistentes a cualquier acción formativa. Si de un mismo ente local participa más de una persona, se cuenta una sola vez. |
Catálogo de actividades |
|
Actividades concedidas |
Número de actividades del catálogo concedidas. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD). |
Entes locales participantes |
Número de entes locales donde se han concedido actividades del catálogo. Si a un ente local se le ha concedido más de unas actividad, se cuenta una sola vez. |
Programa de Agentes locales |
|
Entes locales beneficiados |
Número de entes locales con programa de agentes locales. Se toma como referencia el inicio del periodo de prestación del servicio. |
Convenios de continuidad |
Número de convenios para promover la contratación de los agentes locales en los entes locales. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD). |
Plan de Concertación XBMQ |
|
Número de subvenciones otorgadas |
Número de subvenciones que se otorgan a los entes locales para la realización de políticas locales de diversidad y ciudadanía según el Plan de concertación XBMQ-servicios y actividades. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD). |
Entes locales beneficiados |
Número de entes locales que reciben apoyo económico para la realización de cualquier actividad dentro del Plan de concertación XBMQ-servicios y actividades. Si un mismo ente local realiza más de una acción, se cuenta una sola vez. |
Mediación ciudadana |
|
Convenios de mediación formalizados |
Número de convenios firmados para el impulso y la consolidación de servicios de mediación ciudadana a través de la figura del mediador ciudadano. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD). |
Agentes locales de mediación |
Número de agentes locales de mediación que prestan asesoramiento técnico a los entes locales. Si un ente local cuenta con más de uno, se pondrá el número. |
Casos atendidos por los servicios de mediación |
Número de casos atendidos por los servicios de mediación ciudadana. Se cuentan los casos, consultas y conflictos atendidos, independientemente del municipio donde se gestionen y de si se hayan resuelto o no. |
Exposiciones |
|
Número de exposiciones |
Exposiciones que se ofrecen a los entes locales en materia de convivencia y civismo. Se especificarán cuáles son. |
Entes locales donde se realizan exposiciones |
Número de entes locales que han finalizado, como mínimo, una exposición. Se toma como referencia el momento de finalizar la exposición. |
Jornadas |
|
Número de jornadas organizadas |
Número de jornadas en materia de convivencia y civismo finalizadas. |
Asistentes a las jornadas |
Número de asistentes a las jornadas en materia de convivencia y civismo finalizadas. Se contará cada asistente como un registro, independientemente de si son de un mismo ente local. |
Entes locales asistentes a las jornadas |
Número de entes locales u otras entidades asistentes a las jornadas finalizadas. Si de un mismo ente participa más de una persona, se cuenta una sola vez. |
Planes de convivencia y civismo |
|
Número de planes |
Número de planes de convivencia y civismo comprometidos. Se toma como referencia la fecha de contabilización de la autorización y disposición del gasto (AD) si es contratado, y la fecha del inicio del informe si es cap. I. |
Entes locales beneficiados |
Número de entes locales donde se ha autorizado la elaboración del plan. |
Convenios |
|
Número de convenios formalizados |
Número de convenios de colaboración relacionados con la convivencia y la cohesión social formalizados con cualquier tipo de entidad y con aportación económica o no. Se toma la fecha de contabilización del documento contable de autorización y disposición del gasto (AD) si hay aportación económica, o la fecha de la firma del convenio en caso contrario. |
Fuente: elaboración propia
Anexo 3. Documento de recogida y análisis de indicadores
Figura 3. Instrucciones
Fuente: elaboración propia
Figura 4. Variables
Fuente: elaboración propia
Figura 5. Indicadores
Fuente: elaboración propia
Bibliografía
Aibar, C. (2003), “Modelos de indicadores para la gestión pública: el cuadro de mando integral”, Auditoría Pública, 30: 14-23.
Batet, M.; Pastor, J. R.; Carreras, J. M. y Mora, A. (2003), Propuesta de indicadores básicos de gestión de servicios públicos locales, Documents Pi i Sunyer, núm. 23, Barcelona.
Boada, M. y Mora, A. (1999), Aplicació pràctica dels indicadors de gestió a la valoració d’alguns dels serveis municipals obligatoris, Col·legi d’Economistes de Catalunya, Barcelona.
Bosch, N. y Mas, D. (2008), “Indicadores de gestión: Aplicación a los servicios públicos municipales”, Papeles de Economía Española, 115: 244-258.
Diamond, J. (2005), “Establishing a Performance Management Framework for Government”, IMF Working Papers, 50, Washington, DC: International Monetary Fund.
Diputación de Barcelona:
- (2007), Re!set. Plan Estratégico 2007 de la Diputación de Barcelona: De una administración local a un gobierno local en red. Barcelona: Diputación de Barcelona.
- (2006), “Indicadores de gestión de servicios municipales. Guía de interpretación 2005”, Sevei de Programació Diputació de Barcelona, Barcelona.
- (2004), “Elements per a una actuació municipal de recepció i acollida d’immigrants”, Consorci de Recursos per a la Integració de la Diversitat (CRID), Diputació de Barcelona, Barcelona.
- (1998) “Guía de indicadores de gestión”, Papers de Formació Municipal, núm. 44, Barcelona.
Galais-González, C. (2010), “Les polítiques locals de civisme a Espanya”, Diputació de Barcelona, Barcelona.
García-Sánchez, I.M. (2007), “La nueva gestión pública: evolución y tendencias”, Presupuesto y Gasto Público, 47: 37-64.
González-Páramo, J. M. y Onrubia, J. (2003), “Información, evaluación y competencia al servicio de una gestión eficiente de los servicios públicos”, Papeles de Economía Española, 95.
Kaplan, R.S. y Norton, D.P. (1997), El Cuadro de Mando Integral. The Balanced Scorecard. Barcelona: Ediciones Gestión 2000.
Moynihan, D.P. y Pandey, S.K. (2010), “The big question for performance management: why do managers use performance information?”, Journal of Public Administration Research and Theory, 34, 549-866. doi: 10.1093/jopart/muq004.
Navarro, A. y Ortiz, D. (2003), “Propuesta metodológica para la aplicación del benchmarking a través de indicadores: una investigación empírica en administraciones locales”, Revista de Contabilidad, 6 (12): 109-138.
OECD:
- (1994), “Performance Management in Government: Performance Measurement and Results-Oriented Management”, Public Management Occasional Papers, No. 3 (Paris: OECD).
- (1997), “Benchmarking, Evaluation and Strategic Management in the Public Sector”. París: PUMA/OECD.
- (2004), “Public Sector Modernization: Governing for Performance,” PUMA, París, April 1–2.
Salgueiro, A. (2001), Indicadores de gestión y cuadro de mando. Madrid: Ediciones Díaz de Santos.
Smith, P. (1990), The use of performance indicators in the Public Sector, Royal Statistical Society: York.
Smith, P. y Goddard, M. (2003), “Los indicadores de gestión en el sector público. Fortalezas y limitaciones”, Papeles de economía española, 95, 35-46.
1 Trabajo que se une a la extensa literatura, especialmente anglosajona, sobre el tema y que tiene en los organismos internacionales como la OCDE o el FMI instituciones pioneras en la aplicación de técnicas de gestión en el ámbito público en busca del llamado value for money. Ver, por ejemplo, Smith (1990), Smith y Goddard (2003), OCDE (1994, 1997, 2004) o Diamond (2005).