En busca de un marco para medir el valor intangible de la gestión pública. Análisis de casos prácticos de evaluación del «valor público»1

In search of a framework to assess the intangible value of public management. Analysis of real cases of public value assessment

María José Canel Crespo

Universidad Complutense de Madrid

mjcanel@ucm.es

NOTA BIOGRÁFICA

Doctora en Comunicación (Universidad de Navarra, España), Catedrática de Comunicación Política y Sector Público (Universidad Complutense de Madrid, España). Visiting Scholar de la London School of Economics (1992), Jyväskylä University (2014, 2015) y George Washington University (2016-2017). Especialista en comunicación de gobiernos y sector público, intangibles en el sector público, evaluación del impacto de la gestión pública.

RESUMEN

¿Qué aporta a la sociedad la gestión de la Administración Pública y cómo se puede medir? El artículo tiene como objetivo identificar qué aspectos tiene que tener en cuenta un gestor público para diseñar la evaluación ad hoc del valor público intangible que tiene su gestión. La metodología triangula el análisis conceptual con la observación empírica. Se identifican y exploran relaciones entre los planteamientos sobre la evaluación de las relaciones públicas y comunicación organizacional, bienes intangibles y la corriente denominada Public Value. Con las conclusiones de esta exploración se elaboran unos criterios para el análisis de casos prácticos, es decir, se realiza un meta-análisis de action-research. El análisis revela que evaluar la gestión pública con el enfoque del valor público intangible implica registrar tanto el comportamiento de la organización como la reacción de la sociedad y, por tanto, computar efecto acumulado, pudiendo así proporcionar medidas del impacto; facilita además calibrar la brecha que hay entre gestión real y gestión percibida, así como explorar sus causas. Por último y en consecuencia, se explicitan los niveles, áreas y enfoques que ha de tener en cuenta un líder público para evaluar su gestión.

PALABRAS CLAVE

Comunicación Administración Pública; Bien intangible; Evaluación comunicación; Valor Público; Impacto comunicativo.

ABSTRACT

What does public sector management provide to society and how can it be measured? This article aims at identifying what a public leader should take into account in order to plan an ad hoc assessment of the intangible public value of public management. Methodology combines theory analysis with empirical observations. Conceptual relations are explored in the literature of assessment and evaluation in public relations and corporate communication, public sector intangible assets, and the stream of studies titled Public Value, in order to elaborate the criteria to analyze practical cases of public value creation in public administrations. The analysis reveals that assessing public management with the approach of intangible public value implies looking at both organizational behavior as well as at the society’s feedback; it also enables calibrating the gap that there might exist between real government performance and what people perceive of that performance, as well as exploring causes for this gap. Finally, and subsequently, the article elucidates the levels, areas, and foci that a public leader should take into account in assessing public management.

KEYWORDS

Public Administration Communication; Intangible asset; Communication Evaluation; Public Value; Communication Impact.

SUMARIO

INTRODUCCIÓN. I. OBJETIVO, METODOLOGÍA Y PREGUNTAS DE INVESTIGACIÓN. II. RESULTADOS: ANÁLISIS DE RELACIONES CONCEPTUALES. EVALUACIÓN DEL VALOR Y COMUNICACIÓN. BIEN INTANGIBLE Y EVALUACIÓN DE LA GESTIÓN PÚBLICA. PUBLIC VALUE Y EVALUACIÓN DE LA GESTIÓN PÚBLICA. III. RESULTADOS: EVALUACIÓN DE CASOS PRÁCTICOS. CASO 1. CÓMO PROCESAR LA VALORACIÓN DEL VALOR DE LOS DISTINTOS PÚBLICOS. EL MINISTERIO DE CULTURA Y ARTE DE AUSTRALIA OCCIDENTAL. Datos identificativos del caso. Descripción del caso. Análisis del caso. CASO 2. CÓMO COMPUTAR LAS DIFERENTES DIMENSIONES DE LA LEGITIMIDAD PARA LA EVALUACIÓN DEL VALOR PÚBLICO. EL PROBLEMA DE LA CONGESTIÓN DE TRÁFICO DE MINNEAPOLIS. Datos identificativos del caso. Descripción del caso. Análisis del caso. CASO 3. EL EFECTO DE LA MOTIVACIÓN DE LA EVALUACIÓN. EL CASO DE DOS GOBIERNOS LOCALES ITALIANOS. Datos identificativos del caso. Descripción del caso. Análisis del caso. IV. Conclusiones. V. Referencias bibliográficas.

INTRODUCCIÓN

¿Qué aporta a la sociedad la gestión de la Administración Pública y cómo se puede medir? Ésta es una de las preguntas que guía la investigación académica actual sobre el aprendizaje y el desarrollo del liderazgo público (Bell & Bridgeman, 2017; Wood, 2017), y la literatura constata las dificultades que entraña darle respuesta. Evaluar la gestión pública es ciertamente tarea complicada. Primero, porque resulta difícil identificar los criterios conforme a los cuales se podrían proporcionar datos de evaluación que tengan sentido para los distintos públicos de la Administración Pública. Lo que es prioritario para los asistentes a un museo (acceder a todas las obras de arte) puede que lo sea menos para los conservadores (más centrados en preservar el estado de las mismas para generaciones futuras). La Administración Pública tiene que responder a instancias variadas y múltiples intereses que con frecuencia entran en conflicto, pues son instancias que conciben y computan el valor con criterios o estándares muy diferentes.

La dificultad se debe, en segundo lugar, a que una buena parte de lo que proporciona o facilita la Administración Pública (seguridad, crecimiento, movilidad, educación, etc.) es de carácter intangible y, y por ser tal, no se cuenta con una referencia de mercado, es decir, con una medida del valor que sea objetiva, clara y aceptada por todos. Es ya extensa la literatura que argumenta sobre la necesidad de combinar en la evaluación de la Administración Pública el criterio monetario con el social, las metodologías cualitativas con las cuantitativas (Arvidsson, 1986; Bond and Dent, 1998; Canel & Luoma-aho, 2019), y poder así explicar lo que está en el germen de más del 60% de la riqueza de los países (World Bank, 2006; World Bank, 2011).

Tercero, y por último, son muchas las investigaciones que constatan que los juicios que los ciudadanos realizan de la política, los políticos, la gestión pública y, en general, lo público, son resultado de una compleja dinámica que, con frecuencia, carece de relación causa-efecto entre recursos públicos empleados, logros de gestión, comunicación, satisfacción ciudadana y confianza (Van de Walle & Bouckaert, 2003; Carmeli & Tishler, 2005; James, 2009 y 2011a; James & Moseley, 2014; Sanders & Canel, 2015). Es decir, evaluar la gestión pública pasa por el complejo mundo de las percepciones ciudadanas, en el que fácilmente se producen brechas entre la gestión real (por ejemplo, el índice de criminalidad de una municipio) y la gestión percibida (la valoración que los ciudadanos hacen de cómo su ayuntamiento lo gestiona, y que se expresa en su sensación de seguridad). Cuando hay una brecha entre la gestión real y la gestión percibida es que hay un problema de comunicación (Luoma-aho, 2008), y es éste el aspecto en el que se centra la presente investigación.

Este artículo parte de dos asunciones que se apoyan en investigación precedente sobre el valor intangible de la Administración Pública (Canel, Piqueiras y Ortega, 2017; Canel & Luoma-aho, 2015; 2019 y en prensa. La primera asunción entiende que computar el valor de la gestión de la Administración Pública pasa por prestar atención al valor de la relación que se establece entre organizaciones públicas y ciudadanos-stakeholders, valor que en parte viene indicado por los bienes intangibles que en ella se desarrollan (tales como la confianza, reputación, legitimidad, satisfacción, responsabilidad social, capital intelectual, capital humano, etc.). La segunda asunción es que los estudios sobre el Public Value (del ámbito disciplinar de la Administración Pública), que se preguntan por el valor que los gestores públicos aportan a la sociedad, combinados con la literatura sobre los bienes intangibles (del ámbito disciplinar de la comunicación organizacional) pueden complementarse para avanzar en el reto de evaluar de la gestión pública. La investigación mencionada concluye que el public value es intangible, y los distintos bienes intangibles de una organización pública vienen a proporcionar medidas de valor público desde los diferentes ángulos bajo los que los públicos se forman las percepciones de las organizaciones públicas.

Este artículo quiere contribuir al desarrollo de la evaluación del impacto de la gestión pública, y más concretamente de su valor intangible desde la perspectiva de la comunicación. Se apoya en el hecho de que todo gestor y gestión pública tienen una dimensión comunicativa, es decir, en la medida en que gestionar implica la relación con públicos, la forma de hacerlo moldea las percepciones que estos tengan. La estructura del artículo es la siguiente. Tras exponer los objetivos y metodología, se describe el marco teórico (es decir, los resultados de la exploración de las propuestas conceptuales para la evaluación del valor público intangible). Con la plantilla de evaluación que resulta de esta exploración conceptual, se analizan tres casos prácticos de evaluación de valor público, para concluir con unas consideraciones que puedan ayudar a elaborar un marco de evaluación.

I. OBJETIVO, METODOLOGÍA Y PREGUNTAS DE INVESTIGACIÓN

Esta investigación se propone identificar qué aspectos tiene que tener en cuenta un gestor público para diseñar la evaluación ad hoc del valor público intangible que produce su gestión.

La metodología triangula la exploración conceptual con la observación empírica. Primero se identifican y exploran relaciones entre los planteamientos sobre la evaluación en el ámbito de las relaciones públicas y comunicación organizacional, bienes intangibles y Public Value. De esta exploración se elabora una plantilla con los elementos que hay que tener en cuenta para evaluar casos concretos. Por último, se aplica la plantilla a tres casos de evaluación de valor público que se han desarrollado en administraciones públicas y, como tal, constituye un meta-análisis de action-research, es decir, de la observación llevada a cabo por académicos sobre la acción de gestores públicos; se combina así experiencias concretas con la conceptualización abstracta (Bracci et al., 2014: 136). Las fuentes de información para el análisis de los casos son los documentos publicados sobre las mismas.

La pregunta de investigación es la siguiente: ¿Qué ha de tener en cuenta un líder público si quiere plantear su gestión de forma tal que se pueda computar el carácter intangible del valor público que ésta tiene?

Responder a esta pregunta pasa por atender a las siguientes sub-preguntas:

• • ¿Qué aportan los conceptos de «bien intangible» y «valor público» para la evaluación de la gestión pública?
• • ¿Qué lecciones se extraen del análisis de casos prácticos que han tratado de evaluar el valor público?
• • ¿Qué consecuencias se pueden extraer para la evaluación de la dimensión comunicativa del valor público de una organización pública?

II. RESULTADOS: ANÁLISIS DE RELACIONES CONCEPTUALES

Evaluación del valor y comunicación

Porque evaluar consiste en «estimar, apreciar, calcular el valor de algo» (Diccionario de la Real Academia Española), la acción de evaluar requiere de unos criterios o puntos de referencia que determinan valor. El concepto «valor» es tan profundo como ambiguo, y está sujeto a múltiples perspectivas: la comida, las infraestructuras, la remuneración y el dinero son valores diferentes a la educación, la salud o la felicidad, como diferentes también son los valores que tienen que ver con la conducta humana (como el altruismo, el amor o la aventura) (Wang & Christensen, 2017).

Esta investigación adopta la visión de que la comunicación facilita que el valor (los valores), que son invisibles pero se expresan en opiniones, actitudes, preferencias y elecciones (Meier & O’Toole, 2011), se pongan de manifiesto en las organizaciones. La comunicación contribuye a la creación de valor (Zerfass, 2008, págs. 66-70; Volk, 2016). En el caso de la gestión pública, la comunicación ayuda a la provisión del servicio público, facilita que la organización y sus funciones tengan sentido para los ciudadanos; y, en definitiva, contribuye a crear bienes intangibles como la reputación, la cultura organizacional, la legitimidad, la responsabilidad social, el capital intelectual, etc. (Canel y Luoma-aho, 2019).

Es relevante lo que se pone en juego en la evaluación, y por eso son extensos los debates en torno a las dimensiones, aspectos, niveles, o ángulos desde los cuales se ha de evaluar algo. La literatura que se ocupa de la evaluación del valor que crea la comunicación permite identificar una serie de retos y necesidades que son de utilidad para el objeto de esta investigación. Primero, la literatura establece que hay que diferenciar los distintos niveles a los que aplicar las medidas de la evaluación. Así lo estipula el modelo sugerido por la Unión Europea (European Comission, 2014), que sigue la lógica de la distinción de los inputs, outputs, outtakes, intermediate outcomes y outcomes, una distinción sobre la que Gregory (2015) proporciona una útil descripción:

• • Inputs: es la «entrada» o, se podría decir, lo que se «pone en juego» para lograr los productos comunicativos (por ejemplo, textos, contenido visual, eventos): tiempo, dinero, etc. En el contexto de la presente investigación hay que decir que estos productos comunicativos no son sólo los que elabora el responsable de comunicación, sino todo gestor público, y por tanto aquí se pueden incluir también los discursos, las intervenciones en reuniones con el personal, las conversaciones telefónicas con jefes o subalternos, etc. Para evaluar estos inputs habría que prestar atención a factores como la comprensibilidad de estos contenidos, la eficiencia de su gestión, etc.
• • Outputs: es lo que «sale» de este proceso de producción, es decir, tiene que ver con el alcance que adquieren los productos comunicativos y, por tanto, con cuánto se distribuyen y usan. Esto se puede medir con datos cuantitativos (como por ejemplo el número de medios que reproducen el texto de una nota de prensa; el número de personas que se exponen a los contenidos; el número de veces que se accede al mismo a través de la web, etc.).
• • Out-takes: viene determinado por lo que una persona extrae de la comunicación (independientemente de lo que haga con esa información): por ejemplo, cuánta gente participa en un evento o el número de seguidores de una cuenta en una red social.
• • Outcomes: es lo que la persona hace como resultado de la comunicación, es decir, de haberse expuesto a la información: recuerdo, conocimiento, confianza, satisfacción, actitud de cambio, etc.
• • Outflow: es el efecto en el largo plazo, es decir, acumulado a través del tiempo, y se registra combinando distintas actividades de comunicación, campañas o programas. Es lo que se suele llamar impacto. Se puede considerar el impacto en un nivel organizacional como también en un nivel social. La evaluación del impacto mira por tanto a cuestiones menos inmediatas como la reputación, el efecto financiero, la cultura organizacional, el cambio social (conducir con más precaución, hábitos saludables, etc.).

En realidad el impacto es a lo que en último término ha de mirar toda evaluación, y así se establece en los principios propuestos por distintas entidades que alertan sobre la importancia de no quedarse en lo inmediato (los outputs) al evaluar, sino llegar a proporcionar idea del outome (AMEC, 2015) y del outflow. Por tanto, un segundo reto es el de orientar y llevar la evaluación hasta el impacto, y como afirman Stacks y Michaelson (2014), es a esto hacia donde cada vez más miran los profesionales de la comunicación (para una revisión actualizada sobre cómo está esta idea presente en los modelos de evaluación de la comunicación ver Macnamara, 2017). En el ámbito de la Administración Pública esto obliga a identificar bien los plazos de tiempo que han de transcurrir desde que se adopta una política pública hasta que su impacto pueda ser registrado en mediciones concretas.

Un tercer reto tiene que ver con las áreas a las que aplicar la evaluación. Para que la comunicación contribuya al valor hace falta que se den unas determinadas condiciones tanto en el nivel estructural (por ejemplo, la organización de la comunicación: organigrama, dinámicas de trabajo, infraestructuras, etc.) como en el personal (por ejemplo, capacitación que tiene el staff que trabaja en la comunicación). Por eso una buena evaluación contempla todos los aspectos organizacionales (Zerfass, 2008; Gregory, 2015).

La evaluación de la contribución de la comunicación a la creación de valor debe además tomar como referencia las metas organizacionales, de manera que las medidas pongan en relación los outcomes y el impacto con los objetivos que en un principio se han establecido (Macnamara, Lwin, Adi, & Zerfass, 2015). Por ejemplo, si un ministerio de sanidad tiene como objetivo incrementar la prevención de la gripe, los objetivos de una campaña de comunicación tendrán que ver con el número de personas que deciden vacunarse (lo que puede venir indicado en el número de vacunas que se administran). La evaluación de la comunicación entonces ha de plantearse de tal forma que se ligue con la evaluación de los logros organizacionales.

Un quinto reto que se desprende de la literatura es el de que la evaluación ha de aportar capacidad estratégica (Gregory, 2015; Macnamara, 2015), y abordarlo tiene que ver con el uso que se da a los resultados de la evaluación: ¿cuál es la finalidad y propósito que animan la evaluación y qué se hace con los datos de la misma? A este respecto resulta útil la aportación de Saunders (2000) sobre el uso de la evaluación. El modelo RUFDATA que propone para la evaluación de programas educativos sugiere comenzar la planificación determinando las razones, propósitos y usos de la evaluación. ¿Qué motiva la evaluación, y qué uso le vamos a dar? Entre los usos que Saunders sugiere como posibles están la planificación, gestión, aprendizaje, desarrollo, obtener feedback de los públicos, rendir cuentas. En cuanto a los posibles usos, los datos obtenidos se pueden emplear para el marketing y comunicación, para tener datos que permitan monitorizar y controlar la gestión, o para acumular información sobre buenas prácticas, entre otros. En realidad, considerar la evaluación desde la dimensión comunicativa de la gestión pública requiere que el propósito que la anime tenga que ver con la interacción con los públicos, y el uso, con el desarrollo de acción estratégica para el refuerzo de esa interacción. En el ejemplo, si se constatara que el número de vacunas administradas no se ha incrementado después de la campaña, habría que concluir que la campaña no se hizo en sintonía con los públicos (quizá se dio el mensaje en donde los públicos no estaban, o quizá lo que se transmitió no se entendió) y, en consecuencia, habría que recolocar la estrategia de comunicación del ministerio para que haya un mejor entendimiento mutuo.

En definitiva, de lo afirmado hasta aquí se puede establecer que evaluar el valor que aporta la gestión pública incluye evaluar la comunicación, y las medidas han de poner en relación los objetivos organizacionales con los objetivos de la comunicación, es decir, con las percepciones y comportamientos de los públicos. Por tanto, la evaluación de la gestión pública ha de lograr determinar el valor del impacto, es decir, ha de captar si las respuestas de los stakeholders y ciudadanos están en línea con los objetivos organizacionales.

Bien intangible y evaluación de la gestión pública

La tarea de evaluar la gestión de la Administración Pública tiene además la dificultad de que ésta trabaja con recursos, objetivos y productos que son intangibles (Queiroz, Callén, & Cinca, 2005). En otra investigación se ha propuesto la definición de bien intangible en el sector público como:

Un activo no monetario (sin sustancia física) que permite y da acceso a los bienes tangibles, activado mediante la comunicación, construido sobre hechos pasados (ligado a la conducta de la organización); da lugar a un recurso identificable y del que tanto la organización como los stakeholders/ciudadanos pueden esperar un beneficio/valor (social, monetario, etc.) en el largo plazo (Canel & Luoma-aho, 2019: 77).

Así por ejemplo la buena reputación del alcalde de una ciudad es algo intangible que, en la medida en que atrae inversión, facilita las relaciones institucionales de la ciudad, o incrementa el orgullo de pertenencia, y en consecuencia, supone un beneficio tanto para el ayuntamiento como para los ciudadanos.

Cabría preguntarse: ¿Cuánto está dispuesto a pagar un ciudadano por vivir en la ciudad que tiene mayor seguridad, o que está liderada por el alcalde que inspira más confianza? Pero no es pregunta ésta de fácil respuesta, pues resulta difícil computar la seguridad o la confianza. El sector público necesita encontrar maneras de medir los valores intangibles que mejor se ajusten al carácter multidimensional de lo que proporciona (Petty and Guthrie, 2000). La función específica de la Administración Pública es, como afirman Bond y Dent, mejorar el bienestar no solo económico sino también social, luego «no se debe medir la contribución sólo con criterios del estilo “valor por dinero”, sino que hay que incorporar también la dimensión de la calidad de vida» (Bond y Dent, 1998, 371). Por tanto, argumentan estos autores, los debates sobre la eficiencia de la Administración Pública deben incluir criterios no sólo monetarios, sino también sociales o de calidad de vida, y su evaluación ha de hacerse no sólo con medidas cuantitativas sino también cualitativas (Arvidsson, 1986; Bond & Dent, 1998).

Con apoyo en investigaciones precedentes (Canel y Luoma-aho, 2019 y en prensa), en las que se han identificado los rasgos de bien intangible, así como los motores, amenazas y retos para su traslado al sector público, la Tabla 1 identifica qué hace falta para poder llevar a cabo la evaluación, y sugiere algunas preguntas para el gestor público.

Tabla 1. Bien intangible y requerimientos para su evaluación en la Administración Pública

Rasgo del concepto bien intangible	Motores para su desarrollo en la Administración Pública	Amenazas y retos	Requisitos para la evaluación: ¿Qué se necesita?	Preguntas para el gestor público
Sin sustancia física	La necesidad de rendir cuentas de un área importante de valor que es intangible.	Los servicios públicos (sus objetivos, recursos, resultados) son intangibles.	Identificar qué es lo que se va a registrar, teniendo en cuenta que carece de sustancia física.	¿Cómo defino el valor que proporciona este servicio/política/medida?
Construido sobre hechos pasados	La necesidad de proporcionar información sobre la trayectoria de gestión pública, de sus logros y avances.	Por la longitud de las legislaturas con que funciona la Administración Pública, se cuenta con poco tiempo para construir pasado.	Identificar cuáles son los hechos pasados sobre los que se apoya la gestión, y que son fuente de valor; identificar también los que pueden obstruirlo.	¿Cuáles son los hechos pasados, positivos y negativos, asociados a esta medida específica, y que pueden estar en el germen de la creación/destrucción de valor?
Capacidad para explicar la disparidad entre el valor de mercado y el valor contable	Creciente debate sobre la necesidad de constatar si hay valor y cuánto en la gestión pública.	No hay referencia del mercado para medir valor; la Administración Pública se apoyan en el conocimiento.	Encontrar maneras de expresar en la contabilidad el incremento de recursos o el ahorro de costes que supone un determinado bien intangible.	¿Cuáles son los registros contables que podrían recoger el valor intangible de lo que hago?
Fuente de la ventaja competitiva; ayuda a distinguirse en el sector	La creciente competitividad (convergencia de público/privado) para la provisión servicios públicos.	No hay necesidad de exclusividad; la reputación ideal para la mayoría de las organizaciones públicas es la de neutralidad más que la de excelencia.	Establecer maneras de evaluar de forma homologable el valor intangible que proporcionan los distintos proveedores de un mismo servicio público.	¿Cuáles son las entidades y servicios comparables a lo que yo hago? ¿Qué información hay sobre lo que hago y cuánta es homologable?
Genera un recurso del que se puede esperar un beneficio económico futuro	Presiones financieras, recortes. Hace falta incrementar ingresos, reducir costes y obtener nuevos recursos.	Los recursos generados no son económicos por naturaleza: por ejemplo, el networking, el apoyo público, la cohesión social.	Encontrar maneras de identificar los distintos tipos de valor (social, económico, político, cultural, etc.), y criterios para medirlos. Diferenciar lo que registra el valor individual (para la persona), del valor organizacional y del de la comunidad.	¿Cuáles son las áreas/aspectos del impacto de esta política pública? ¿Qué proporciona medida de la satisfacción individual? ¿Qué proporciona mediad de valor comunitario?
Tanto para la organización como para los stakeholders/ciudadanos	Creciente reto de la legitimidad de las organizaciones públicas.	La necesidad de complacer por igual a stakeholders diversos y con intereses encontrados.	Dirimir cuando los criterios y valores de los distintos públicos entran en conflicto, establecer criterios para jerarquizarlos y equilibrar las presiones procedentes de las distintas fuentes.	¿A qué distintos públicos afecta esto? ¿Cuáles son los diferentes criterios con que cada público lo medirá? ¿Cuáles son las posibles negociaciones de intereses?
En el largo plazo	El tipo de beneficio que proporciona la Administración Pública (seguridad, salud, educación, etc.) requiere del largo plazo.	La Administración Pública funciona con legislaturas que son de duración más corta que el largo plazo en el que se suele producir impacto.	Identificar los tiempos/plazos más adecuados para la medición del beneficio.	¿Cuándo se espera que esta medida produzca impacto? ¿Cuál sería el calendario de acción, medición de impacto e información sobre el impacto?
La gestión de intangibles requiere de apoyo institucional y de una organización ad hoc	Crecientes experiencias del hartazgo ciudadano con la burocracia.	Implica importantes modificaciones estructurales y procedimentales, en entidades que son de pocos incentivos para la eficacia y eficiencia, pero sometidas a gran escrutinio.	Contar con apoyo institucional para llevar a cabo las transformaciones que son necesarias para orientar la organización hacia una continuada evaluación. Crear sistemas de incentivos que sean acordes con la motivación de la evaluación.	¿Con quién puedo contar que crea en la evaluación? ¿Cuáles son los principales obstáculos para dar a conocer resultados de evaluación? ¿Cómo se pueden abordar? ¿Cuál es el objetivo de esta evaluación y cómo puedo incentivar al personal?
Se requieren de medidas estandarizadas, que puedan y sean reportadas	Creciente necesidad de rendición de cuentas con medidas objetivas y comparables.	Poca cultura de la medición, a pesar de las urgentes presiones financieras para ello. Dificultad para encontrar medidas que sean aplicables a las distintas áreas de valor, para los distintos públicos; y que sean objetivas y aceptadas por todos.	Combinar medidas cualitativas y cuantitativas. Encontrar la forma de identificar, procesar y reportar la gran cantidad de dispersa información que, mejor organizada, puede proporcionar medidas significativas.	¿Con qué recursos cuento para llevar a cabo evaluación? ¿Cuánto está preparada mi organización para evaluar? ¿Hace falta inversión en entrenamiento y formación?
Está ligado al reconocimiento y percepciones de los públicos	La legitimidad de la Administración Pública está ligada a las percepciones ciudadanas, al reconocimiento.	Hay grandes gaps entre la gestión real y la gestión percibida; el ciudadano está sometido a muchas influencias al formular sus juicios sobre la gestión pública.	Establecer mecanismos que proporcionen información sobre el contraste que hay entre gestión real y gestión percibida.	¿Cuáles son los hechos de gestión previstos en este plazo, y qué medidas de percepciones están asociadas?
La comunicación tiene un papel en su desarrollo	Como los públicos de la Administración Pública son grandes, dispersos y variados, hace falta el trabajo de hacer manifiestos los valores.	Se considera que la comunicación es costosa y no se ve como una fuente de beneficio; hay que mostrar el papel crucial de la comunicación en la creación de valor intangible.	Integrar la posición, función y jerarquía de los gestores públicos y los comunicadores. Determinar en el organigrama la función y tareas de la evaluación.	¿De qué forma transforma el trabajo de comunicación el estar orientado a la creación de valor intangible?

Fuente: elaboración propia a partir de Canel y Luoma-aho, en prensa.

Tres ideas se desprenden de esta tabla como centrales para tener en cuenta en la evaluación de la gestión pública. Primero, porque es intangible, buena parte del valor que aporta la gestión pública tiene que ver con las percepciones que logra generar. Segundo, porque lo intangible sólo existe si hay comportamientos que lo apoyen, es preciso que la evaluación trate de poner en correspondencia medidas de percepciones con medidas de hechos de gestión. Tercero, y como consecuencia, la evaluación de la gestión pública requiere de estructuras y dinámicas de trabajo que permitan coordinar la gestión de hechos, de las acciones, con la generación de percepciones, con los mensajes; lo que también se podría decir en otros términos como que la evaluación de la gestión ha de coordinarse con la evaluación de la comunicación.

Public Value y evaluación de la gestión pública

Como se ha adelantado, investigaciones precedentes han tratado en más detalle en qué consiste la corriente Public Value (Canel & Luoma-aho, 2019; Canel & Luoma-aho, en prensa; Canel, en prensa), y argumentan que combinar la literatura del Public Value con la literatura sobre bienes intangibles ayudará a avanzar en el reto de encontrar las mejores fórmulas, métodos y técnicas para captar el valor que la gestión pública proporciona a la sociedad. De hecho, esta corriente se ocupa de forma extensa de cuestiones relacionadas con el valor: quién decide qué es valor para la sociedad, cómo se identifica, con qué criterios se ha de medir y quién debe aplicarlos (ver por ejemplo Bozeman y Sarewitz, 2011; Meynhardt y Bartholomes, 2011; Bozeman y Johnson, 2015; Bryson, Crosby, y Bloomberg, 2015). Inserto en los estudios de Administración Pública, este planteamiento ha sido categorizado como el siguiente gran paso en las reformas del sector público (Talbot 2009, 167; Coats and Passmore, 2008), o incluso como el paradigma que eclipsará los enfoques tradicionales de gestión (Stoker, 2006). Aquí referiré lo que está relacionado con la evaluación.

La noción de «valor público» fue acuñada por Mark H. Moore, quien con su libro Creating Public Value: Strategic Management in Government, publicado en 1995, aborda el problema de la evaluación y rendición de cuentas del valor que las organizaciones proporcionan a la sociedad. El Public Value tiene que ver con lo que es bueno para el funcionamiento de la sociedad (Meynhardt, Gomez, y Schweizer, 2014: 5), y lleva consigo una forma de medir la gestión pública y, por tanto, de rendir cuentas (Moore, 2013, 2014). El valor público es multidimensional (Bracci et al. 2014, 133) y como tal representa valores de distintas áreas, públicos, aspectos y dimensiones.

El problema, claro está, radica en cómo medirlo, y es extensa la literatura que se ocupa de proponer esquemas, enfoques o marcos. Por ejemplo, Moore, en su primera propuesta, presenta una cuenta de valor público y una public scorecard como medios para evaluar el valor; en trabajos posteriores pondrá el acento en valores institucionales y democráticos (Moore 2013; Moore 2014; Moore 2015). Bozeman mapea los valores públicos para sugerir lo que considera una medida más equilibrada y no tan económica como la de Moore (Bozeman, 2007; Bozeman & Johnson, 2015; Jørgensen & Bozeman, 2007; Welch, Rimes & Bozeman, 2015). La propuesta de Meynhardt tiene la singularidad de que sitúa las percepciones y las relaciones en la base de la creación de valor público (Meynhardt, 2009; Meynhardt, 2015; Meynhardt et al., 2014): el valor público, a juicio de este autor, deriva de las percepciones de la gente: No hay valor público si no hay valoración humana y por tanto, aunque el valor público puede ser creado y proporcionado, no llega a existir hasta que no hay alguien elaborando un juicio y, por tanto, atribuyéndolo a una organización. Bryson, Crosby y Bloomberg (2015) tratan de integrar diferentes perspectivas mediante lo que llaman el Public Value Government Triangle (PVGT): mantienen el triángulo estratégico de Moore (con la dimensión de la legitimidad, la operatividad y la cuenta de valor público), y en su centro añaden la lista de valores públicos de Bozeman.

Se puede sintetizar lo que añade el paradigma del Public Value al planteamiento de evaluación de la gestión pública tratado hasta ahora en los siguientes tres puntos: primero, evaluar valor público es tener en cuenta el feedback o interacción de los públicos; segundo, porque los públicos son diferentes y tienen distintos criterios de evaluación, además de las métricas hay que definir también el peso que en el cómputo final se da a los distintos ángulos o interlocutores; tercero y por último, «prorratear» valor por interlocutores solo se puede hacer si hay una clara definición de qué se entienden por valor. La pregunta entonces que cabe hacer a los casos prácticos que siguen es: ¿cómo se gestiona en la práctica la interacción con los diferentes actores para poder distribuir el peso de valor que a cada uno corresponde?

Fruto de la exploración conceptual aquí realizada se elaboró la plantilla que se recoge en la Tabla 2 para el análisis de los casos prácticos.

Tabla 2. Plantilla para el análisis de los casos prácticos

Datos identificativos del caso	Lugar, Fecha, Entidades participantes, Actores.
Descripción del caso	Objetivos, Metodología, Desarrollo y Resultados (según la información aportada en las fuentes correspondientes).
Análisis propio del caso	Concepto del valor público intangible: ¿cómo se entiende y qué ha aportado a la práctica de la evaluación? Propósito y uso de la evaluación: ¿hay medida del feedback y con utilización estratégica? (Se prestará atención especial a la medida de la interacción –negociaciones entre distintos feedback– así como a la retroalimentación estratégica –alineación con los objetivos organizacionales y de comunicación–. Resultados de la evaluación: ¿Qué aporta la medida del feedback a la evaluación del impacto? (Se prestará especial atención a la relación entre el comportamiento organizacional y la gestión de percepciones).
Discusión global de los casos	¿Qué hay que tener en cuenta para evaluar la gestión pública?

Fuente: elaboración propia.

III. RESULTADOS: EVALUACIÓN DE CASOS PRÁCTICOS

Esta investigación ha realizado un meta-análisis de los casos de evaluación de valor público que se han desarrollado en varias administraciones públicas de distintos países. El objetivo es identificar qué aspectos tiene que tener en cuenta un gestor público para diseñar herramientas de evaluación ad hoc del valor público intangible que tiene su gestión.

Se han seleccionado casos que pudieran aportar un aprendizaje de interés al objetivo establecido. El primero, del Ministerio de Cultura de Australia Occidental, constituye una descripción sencilla de cómo se puede registrar la información sobre lo que los distintos públicos valoran; el segundo, del Ministerio de Transporte del Estado de Minnesota, da buena cuenta de las dificultades que entraña negociar los diferentes criterios y compromisos con que los públicos valoran; y el último, el caso de dos gobiernos locales italianos, muestra el efecto que tiene en el impacto la motivación de quien lleva a cabo la creación (y subsiguiente evaluación) del valor público que se genera.

A continuación se exponen los resultados de la aplicación de la plantilla de análisis a los casos.

CASO 1. Cómo procesar la valoración del valor de los distintos públicos. El Ministerio de Cultura y Arte de Australia occidental

Datos identificativos del caso

El Ministerio de Cultura y Arte de Australia Occidental lanzó en marzo de 2010 el programa denominado Creating Public Value: An Arts and Culture Sector Policy Framework. Implicó a investigadores y entidades públicas y privadas, nacionales e internacionales, con el objetivo de crear valor público en el ámbito de la cultura, es decir, de «proporcionar el mejor valor posible a todos mediante el apoyo a las experiencias culturales y de las artes» (Department of Culture and the Arts, 2014: 5).

Descripción del caso

Objetivos

Crear un sistema que pueda proporcionar un análisis comprehensivo y reportar el valor público de forma continuada, con datos procedentes de artistas, expertos y públicos; y combinarlo con los datos del tradicional monitoreo como la asistencia a eventos, financiación, taquilla, y datos sociodemográficos de audiencias.

Metodología

Con la participación de todos los actores implicados (expertos, artistas y ciudadanos) se elaboró un marco para la evaluación del valor público. Por un lado, se pidió a los artistas que identificaran qué aspectos de su trabajo podrían y deberían ser medidos; se identificó así qué querían que la gente experimentara con sus creaciones y qué pensaban que merecía el apoyo institucional para el fomento de la cultura. Por otro, se identificaron dos dimensiones del valor público: la calidad (los valores asociados son imaginación, originalidad, rigor, actualidad, autenticidad, innovación, excelencia) y la envergadura (con valores como la diversidad, conexión con comunidades de interés, colaboración, atracción de fondos).

Desarrollo

Una vez creadas las métricas, se diseñó un sondeo que se administró por aplicación digital y un portal para recoger las valoraciones que sobre cada dimensión hacen las distintas partes (expertos –donde está incluida la organización–, autores de creaciones culturales y público). Cada valor es un ítem de valoración en una escala numérica. La aplicación se llama Culture Counts, y proporciona a tiempo real en un teléfono portátil u ordenador la evaluación que se da a cada creación o evento cultural.

Resultados

La herramienta suministra de forma continuada la evaluación de los distintos públicos. Según el informe publicado, el proyecto logra «un modelo de evaluación que tiene nueva lógica, pues abarca todo el rango de la creación de valor de las artes, incluyendo tanto lo gubernamental como la opinión de los artistas y del público» (Department of Culture and the Arts, 2014: 5). Este marco permite elaborar informes para la toma de decisiones; agregar información e identificar variaciones y tendencias en un único sistema; triangular el feeddback de la persona individual con el de los expertos y el del público.

Análisis del caso

Concepto del valor público intangible: ¿cómo se entiende y qué ha aportado a la práctica de la evaluación?

El ministerio entendió que el valor público está formado por «los beneficios culturales, sociales y económicos creados por las artes y la cultura para la comunidad australiana occidental» (Department of Culture and the Arts, 2014: 5). En la práctica, esto ha implicado: a) registrar datos sobre los distintos criterios de valor de los distintos actores; b) obtener información de la interacción de manera continuada; y c) registrar datos tanto de percepciones como de comportamiento organizacional, y tanto del valor económico como del valor social.

Propósito y uso de la evaluación: ¿hay medida del feedback y con utilización estratégica?

Tal y como consta en la definición del objetivo de la herramienta elaborada, la evaluación en este caso se realiza para mejorar la política cultural, en el entendido de que ésta sólo es posible mediante el contraste de medidas de los distintos públicos. La evaluación ha permitido conocer mejor la interacción entre los públicos: registrar, por una parte, información de las intenciones artísticas de una pieza particular (y sus méritos), y por otra, de la compleja respuesta ciudadana. Por tanto, con apoyo en esta herramienta de evaluación será posible desarrollar un diálogo a tiempo real sobre la calidad de lo que se hace, datos que serán de relevancia tanto para los artistas como para las políticas de fomento de la cultura del ministerio. En los materiales que se han publicado sobre el caso se afirma el deseo de utilizar los datos de la evaluación para tomar decisiones estratégicas, pero no se advierte información que demuestre que efectivamente así se ha utilizado. No se aprecia información sobre la manera en como se han negociado las tensiones entre los distintos criterios de valor de los distintos públicos.

Resultados de la evaluación: ¿Qué aporta la medida del feed-back a la evaluación del impacto?

Si bien como tal los resultados de la evaluación no están proporcionando una medida del impacto, ciertamente constituyen una fuente de información que, acumulada, podrá llegar a evaluarlo. Lo que sí se puede decir es que la herramienta elaborada con la inspiración del concepto public value proporciona continuada información sobre el comportamiento organizacional (lo que hace la política cultural y los artistas) y sobre las percepciones (respuestas de los públicos). Es razonable pensar que estos datos de valor público, junto a iniciativas tradicionales de investigación de mercado con que cuenta el ministerio, constituyen fuente de información relevante para la futura evaluación del impacto.

CASO 2. Cómo computar las diferentes dimensiones de la legitimidad para la evaluación del valor público. El problema de la congestión de tráfico de Minneapolis

Datos identificativos del caso

La Urban Partnership Agreement (UPA) es un acuerdo de colaboración entre varias agencias de transporte federales, estatales y locales para resolver la congestión de tráfico de Minneapolis. Financiado por el Ministerio de Transporte de los Estados Unidos, así como por el del estado correspondiente (Minnesota), tuvo como socios a distintas entidades gubernamentales (estatales y locales), de investigación, no lucrativas, empresariales y asociaciones ciudadanas. Se trata de un caso muy propicio para ser evaluado desde la perspectiva del valor público, pues en él se juntan distintos actores (y, por tanto, con distintos contextos, intereses y criterios de valor) para resolver un problema común, la congestión del tráfico. La evaluación del valor público indicará cuánto se ha logrado ceder para llegar a acuerdos y aunar criterios de valor. La evaluación del valor público la realizaron investigadores de la Universidad de Minnesota entre los años 2008 y 2009 y la publicaron en Page et al., (2015).

Descripción del caso

Objetivos

Evaluar el valor público del partenariado o colaboración desarrollada por distintas entidades para resolver la congestión de tráfico de Minnesota.

Metodología

La metodología empleada trata de registrar de forma combinada tres aspectos del valor público que, según los autores, suelen estar de forma dispersa: la responsabilidad democrática, la legitimidad procedimental y los resultados de gestión (Page et al., 2015: 3). Con este planteamiento se pretende ir más allá de la eficiencia de gestión. La responsabilidad democrática (o democratic accountability) incluye la transparencia, la apertura y receptividad hacia los ciudadanos y stakeholders por parte de las autoridades públicas. Tiene una dimensión vertical (hacia los jefes y autoridades) y horizontal (hacia los iguales). La legitimidad procedimental atiende a si los procesos son justos, transparentes y razonables. Cuando hay legitimidad procedimental se incrementan las posibilidades de que los distintos stakeholders (colaboradores, autoridades y ciudadanos) acepten los resultados de un partenariado público/privado y, por tanto, de que éste se gestione de forma responsable y efectiva. Hay legitimidad procedimental cuando se cumplen las leyes y pautas establecidas así como las prácticas políticas y profesionales que son relevantes para todos. Se mide mediante tres atributos: la racionalidad procedimental, la justicia procedimental, y el control operacional (ver definiciones e indicadores en la Tabla 3). La asunción es que «altos valores en estos tres indicadores demostrarán que un partenariado está usando la flexibilidad delegada para servir responsablemente a los propósitos subsidiarios y a los mandatos» (Page et al., 2015: 5); es decir, a indicadores con valores más altos, más se puede considerar que ha funcionado la alianza entre los distintos actores para resolver el problema. Por último, los resultados de gestión (substantive outcomes) registran la efectividad y eficiencia, la equidad (en la distribución tanto de beneficios como de costes) y la capacidad para resolver los problemas. Por su interés, recogemos en la Tabla 3 la información completa del marco aplicado, con los atributos y sus indicadores.

Tabla 3. Metodología para evaluar el valor público de los programas de la UPA

Atributo del valor público	Definición	Indicadores
Responsabilidad vertical democrática	Grado en que las decisiones y su implementación son legales y sensibles a quienes las autorizan.	Expresiones formales o informales de apoyo por parte de los jefes. MOAs (Memoranda of Agreement), acuerdos de colaboración firmados por las autoridades públicas. Resistencia, objeciones o sanciones impuestas por las autoridades.
Responsabilidad democrática horizontal	Grado en que las decisiones y su implementación tienen el apoyo de los colaboradores, compañeros de trabajo, y otros stakeholders.	Apoyo, MOAs o expresiones informales de apoyo. Datos de opinión pública. Resistencia, objeciones o retos legales planteados por stakeholders o el público.
Racionalidad procedimental	Grado en que las decisiones están bien fundamentadas en datos, análisis y planificación.	Lógica de panificación, toma de decisiones e implementación. Existencia de planes fundamentaos en datos, informes, presupuestos. Uso de evidencias para tomar las decisiones en las reuniones con los socios colaboradores.
Justicia procedimental	Grado en que los stakeholders perciben las decisiones de colaboración y las actividades como justas y transparentes.	Uso de prácticas inclusivas en la toma de decisiones, implicación de amplio rango de participantes y puntos de vista. Naturaleza y rango de prácticas para implicar a los ciudadanos (citizen engagement)
Control operacional	Grado en que la colaboración utiliza requerimientos, presupuestos y calendarios para supervisar proyectos y actividades.	Relevancia de los requerimientos, presupuestos y calendarios de los proyectos y a las actividades. Lógica del flujo de información y autoridad. Solidez de los procedimientos para manejar los casos excepcionales.
Eficacia de la actuación	Grado en que el partenariado adquiere sus objetivos.	Logros de los resultados intermedios y finales producidos.
Eficiencia de la actuación	Grado en que el partenariado adquiere sus objetivos a coste razonable.	Ratio beneficio-coste. Grado en que se cumple lo siguiente: la solución del problema en forma de partenariado ha generado una forma innovadora de ahorrar costes.
Equidad de beneficios	Grado en que los beneficios producidos se distribuyen apropiadamente entre los stakeholders y el público.	Percepciones sobre cómo se distribuyen los beneficios entre investigadores, stakeholders y públicos.
Equidad de costes	Grado en que los costes de la colaboración se distribuyen apropiadamente entre los stakeholders y el público.	Percepciones sobre cómo se distribuyen los costes entre investigadores, stakeholders y públicos.
Capacidad de resolución de problemas	Nuevas conductas o normas que incrementan la capacidad para abordar problemas complejos.	Creación de partenariados nuevos. Toma de decisiones colaborativas más efectivas. Nuevos enfoques para abordar problemas y retos.

Fuente: traducción propia de Page et al., 2015: 8.

Desarrollo

Además de documentos de los distintos proyectos, se hicieron varias olas de entrevistas con los actores del caso (un total de 51 entrevistase). Hay que decir que el reporte del análisis se centra en identificar las dificultades que se han encontrado para llevar a cabo el registro de la información y elaborar los distintos indicadores.

Resultados

Según los datos reportados por los investigadores, adoptar un marco de evaluación de valor público tuvo los siguientes resultados: se logró un acuerdo entre públicos muy diferentes sobre la relevancia del problema de la congestión de tráfico; se registraron las metas que debían tener los proyectos; y se establecieron los procesos para llevar a cabo el seguimiento de los costes. Se generó además innovación tecnológica, pues gracias al partenariado, al mejorar los servicios de información de los autobuses, se integraron los sistemas de fibra óptica, mejorando con ello también las señales luminosas del centro de Minneapolis (más abajo se reportan otros resultados).

Análisis del caso

Concepto del valor público intangible: ¿cómo se entiende y qué ha aportado para la práctica de la evaluación?

Este caso concibe el valor público como la integración de los diferentes criterios de valor y posibles conflictos entre ellos. Constata así que el valor público es de naturaleza multifacética. Esto tiene las siguientes implicaciones para la práctica de la evaluación. Primero, el marco que se aplique requiere que quienes lo evalúan conozcan en detalle tanto los contextos, procesos y estructuras en los que se desarrolla la gestión pública (en este caso, los partenariados público-privados), como las características del valor público (por ejemplo, uno de los indicadores, como señala la Tabla 3, es el de «distribución apropiada de los costes entre los distintos stakeholders», pero lo que «apropiado» significa es algo que hay que acordar entre todas las partes. Segundo, evaluar el valor público requiere de muchas concesiones mutuas para poder determinar cuándo un partenariado ha creado valor público (por ejemplo, para llegar a un acuerdo sobre lo que se entiende por equidad entre costes y beneficios); o para llegar a un acuerdo ante el conflicto entre las distintas fuentes de legitimación (el ciudadano como votante versus quien financia); o entre quienes ponen la resolución de problemas antes que la eficiencia (pues la primera puede generar más costes).

Propósito y uso de la evaluación: ¿hay medida del feedback y con utilización estratégica?

La evaluación se realizó con el fin de determinar si tiene valor público la solución que aporta un partenariado o colaboración entre distintas entidades a un problema comunitario (tal como la congestión de tráfico). El marco de evaluación que se aplicó está ciertamente buscando registrar el feedback de los públicos ya sea de forma directa (la legitimidad horizontal está midiendo si se ha permitido la deliberación, si se cuenta con acuerdo mayoritario) como indirecta (la legitimidad vertical, en la medida que registra si algo es legal, computa si está apoyado por quienes eligieron a las autoridades). Pero el análisis del caso revela que en realidad la evaluación se hizo con el fin de identificar cuáles son las dificultades para la recopilación de información y, entendemos, aprender a desarrollar proyectos de valor público. Lo que se ha aprendido es que una acción gubernamental, por tener públicos de distinta naturaleza, «muy difícilmente gozará de altos niveles de valor público en todos los atributos identificados en el marco» (Page et al., 2015: 13). De aquí se desprende que es importante que, al determinar el marco de evaluación, el evaluador decida con claridad qué es lo que quiere evaluar, y qué tipo de concesiones se está dispuesto a hacer cuando aparezcan los conflictos entre los distintos públicos y valores. La evaluación del valor público lleva consigo gestionar desacuerdos.

Resultados de la evaluación: ¿Se llega a la evaluación del impacto?

Según los datos reportados, se puede afirmar que los resultados de la evaluación del valor público dan medida del impacto. Por ejemplo, se proporcionó información sobre el cambio de comportamientos que hubo en los públicos: el incremento en un 13% de la utilización del transporte diverso (uso de autobús y de park-and-ride slots). La información aportó también medida no solo de valor económico (como la eficiencia: finalización de los proyectos en plazo y dentro de presupuesto), sino también del valor social (por ejemplo: el cambio en las rutinas institucionales, pues como se consigna en la investigación publicada, fruto de este proyecto el lenguaje del partenariado y colaboración entre instituciones permeó el plan estratégico del Ministerio de Transporte de Minnesota del siguiente año).

CASO 3. El efecto de la motivación de la evaluación. El caso de dos gobiernos locales italianos

Datos identificativos del caso

La administración pública italiana, al igual que en otros muchos países, lleva años introduciendo medidas para evaluar la gestión de los gobiernos. El Ministerio de Asuntos Públicos italiano estableció los principios, estructuras y contenidos del informe social que deben proporcionar de manera regular las entidades públicas. Si bien no es obligatorio aplicar un esquema de public value, según Guarini «el lenguaje del public value se ha convertido en algo familiar en la administración pública italiana en las últimas décadas» (2014: 307). Este caso es la observación de la aplicación de un programa de public value en dos gobiernos locales (ver la información completa en Guarini, 2014).

Se escogieron dos ayuntamientos de municipios similares en población, pero diferentes en cuanto a otras características. El municipio A, situado al sur de Italia, carece de buena reputación (es conocido por su pobre gestión, lenta burocracia y manejo inadecuado de las finanzas), mientras que el municipio B, situado al norte, tiene fama de eficiente e innovador. Los dos priorizan los sistemas de evaluación de la gestión pública y los dos siguieron la sugerencia de la ley italiana de aplicar esquemas de evaluación de public value, para lo que hicieron las modificaciones necesarias en sus sistemas tradicionales de evaluación.

Descripción del caso

Objetivo

Identificar las barreras que tienen los gobiernos locales al aplicar enfoques de evaluación propios de Public Value.

Metodología

Mediante action research, durante 12 meses varios investigadores académicos analizaron la aplicación del public value de dos gobiernos locales. Llevaron a cabo análisis de documentos internos (presupuestos, planes estratégicos, etc.) y entrevistas en profundidad.

El marco conceptual que emplearon se apoya en el modelo de cadena de valor desarrollado por Porter (1985). Reclasificaron entonces la información diferenciando la aportación de los distintos actores en la provisión de los servicios públicos, con un sistema de contabilidad de gastos distinguiendo por destinatarios (o usuarios) y categorías (receptor de fondos: non-profit, compañías, otras agencias, etc.). Si bien siempre se había registrado esta información, nunca se había utilizado. Se constató, por ejemplo, que el 77% del gasto regional se dedicaba a programas, y se distribuía en un 53% a empresas, en un 24% a non-profit, en un 17% a gobiernos locales y en un 6% de forma directa.

Desarrollo

Se pidió a los gerentes de los dos gobiernos que requirieran por ley el establecimiento de estructuras para la implementación de la evaluación del valor público, se recopilaron los datos financieros y no financieros y se elaboraron informes de evaluación para uso interno.

Las áreas de observación fueron las siguientes: tipo de servicios proporcionados en relación a la demanda; criterios de priorización establecidos en los programas gubernamentales; forma en que se desarrollaron los programas (si fue la propia organización, o subcontratando, mediante partenariado, etc.) y la financiación (mediante cobro a usuarios, becas, subvenciones, etc.). En cada una de estas áreas se pidió a los gerentes que compararan los resultados esperados (es decir, lo registrado en el plan estratégico) con los resultados reales, y que analizaran el contraste.

Resultados

El análisis revela diferencias de logros en el proceso de evaluación. El gobierno A aportó datos vagos, escasos o dispersos (sin posibilidad de benchmarking); no contó con documentos estratégicos que sirvieran de referencia y que proporcionaran información sobre la priorización de los criterios de los programas gubernamentales; se preocupó más de los datos económicos (su bondad o deficiencia) que de rendir cuentas. A diferencia del gobierno A, el gobierno B tradujo de forma efectiva la información a un esquema cuantitativo; elaboró y validó las medidas contando con la comunidad (se pidió participación a todos los stakeholders para lo que se organizaron foros de encuentro con ellos).

Análisis del caso

Concepto del valor público intangible: ¿cómo se entiende y qué ha aportado a la práctica de la evaluación?

El entender el valor público como cadena de valor ha llevado consigo la consignación y reconocimiento del peso financiero que tienen los actores no gubernamentales, y proporcionado una visión del valor que aportan todos los actores implicados en la provisión de un servicio público; además, la propia evaluación ha llevado consigo también la publicación, es decir, la visibilidad de la contribución de los distintos actores: fruto del caso todos saben quién aporta cuánto.

Propósito y uso de la evaluación: ¿hay medida del feedback y con utilización estratégica?

Este es un caso que revela cómo puede afectar la motivación: mientras que el gobierno A se lo tomó como una forma de cumplir con las exigencias legales de evaluar la gestión y dar el salto al paradigma de public value, el gobierno B decidió acogerse voluntariamente a esta forma de medir, y con el fin de comunicar la gestión de gobierno y de lograr implicarse e implicar a los diferentes stakeholders. A juicio de los autores del caso, esto marca una gran diferencia: mientras que en el gobierno A los gestores transmitieron una actitud burocrática de cumplimiento de la ley, en el gobierno B hubo verdadera implicación de los líderes para interactuar con los públicos y validar con ellos las medidas de evaluación.

Parece desprenderse de aquí que la actitud y propósito que se tiene para la evaluación tiene efecto. Cuando se utiliza para obtener medidas que puedan ayudar a la rendición de cuentas y a contar la gestión de gobierno, es más fácil que los resultados se utilicen para la planificación estratégica; es más fácil también que se genere confianza entre los distintos actores, y que haya un verdadero compromiso de los líderes con la evaluación del valor público. Cuando la motivación se queda en un mero cumplimiento burocrático, las rutinas burocráticas se hacen con el proceso, y los directivos acaban desentendiéndose (Guarini, 2014: págs. 315-316).

Resultados de la evaluación: ¿Qué aporta la medida del feed-back a la evaluación del impacto?

Del análisis de los resultados reportados de la evaluación se puede decir que la evaluación del valor público contribuye a la mejora de la comunicación de un gobierno, y puede generar confianza y diálogo entre los distintos actores de una sociedad. Pero para que la medida del feedback contribuya a la evaluación del impacto hace falta que se dé una actitud como la mostrada por el gobierno B. Como afirma Guarini, se necesita «cambiar la cultura y competencia de los gestores públicos y que haya líderes que crean en la importancia de la evaluación del valor público» (2014: págs. 316-317)

IV. CONCLUSIONES

Esta investigación ha tratado de identificar qué ha de tener en cuenta un líder público si quiere plantear su gestión de forma tal que se pueda computar el carácter intangible del valor público que ésta tiene. La exploración conceptual de la evaluación en el ámbito de las relaciones públicas, bienes intangibles y Public Value, así como el análisis de los casos prácticos, permite llegar a las siguientes conclusiones.

Primero, en el reto de llevar la evaluación de la gestión pública más allá de los efectos inmediatos para llegar a calibrar el impacto, resulta de ayuda el planteamiento del carácter intangible del valor público. El enfoque del valor público buscar registrar reacción de la sociedad y se pregunta por las percepciones que ésta tiene de la gestión pública. El enfoque de bien intangible exige además poner el acento también en los comportamientos de la organización: qué hechos, logros y realidades pueden ayudar a construir las percepciones. Por tanto, la evaluación del valor público intangible está computando efecto acumulado y se mueve en el largo plazo, pudiendo así proporcionar medidas del impacto. Al fin y al cabo, por ejemplo, la legitimidad de que goza una determinada política sanitaria está dando idea del impacto social de la misma.

Segundo, la evaluación de la gestión pública desde la perspectiva del valor público intangible es, en esencia, conocimiento de los públicos. Quien la lleve a cabo podrá calibrar mejor las necesidades y expectativas de los ciudadanos y, con ello, podrá también calibrar la brecha que hay entre gestión real y gestión percibida y explorar las causas.

Tercero, porque la motivación de la evaluación es determinante en el modo de llevarla a cabo, es necesario que esté liderada por alguien que desea la interacción con los públicos. Como ha mostrado el caso de los dos gobiernos locales italianos, una motivación burocrática (el cumplimiento de lo estipulado por la ley para la evaluación) no logra implicar a los públicos y, por tanto, dificulta el conocimiento de estos. Es preciso que la evaluación esté liderada por quien tiene deseo de relacionarse e interactuar con los públicos.

Cuarto, y como consecuencia, sólo al conocer a los públicos e implicarse con ellos se pueden llevar a cabo las negociaciones para las cesiones mutuas que requiere la gestión pública; y en este proceso el enfoque del Public Value proporciona pautas para poner sobre la mesa los distintos criterios de valor y jerarquizarlos. Como ha mostrado el caso del departamento de transporte de Minnesota, no es posible obtener valores altos en todas las dimensiones del valor público, lo que se podría decir, con otras palabras, como que no se puede satisfacer a todos los públicos por igual; hace falta negociar y gestionar compromisos. Esto adquiere especial relevancia en un momento en que predominan los gobiernos que, por ser de coalición, necesitan estar llegando a acuerdos para avanzar en la gestión pública. Con indicadores de valor público se podrían gestionar mejor tales contextos de negociación.

Quinto y por último, gestionar con orientación al valor público lleva consigo una estructura y dinámica de trabajo tales que permitan coordinar la gestión de hechos con la generación de percepciones, o con otras palabras, la evaluación de la gestión con la de la comunicación.

Con apoyo en el esquema RUFDATA de Saunders (2000) se puede decir que de estas conclusiones se deriva que para evaluar el valor público intangible de la gestión pública hace falta tener en cuenta lo siguiente:

a) Determinar el propósito y uso que va a tener los datos de evaluación para los distintos actores: ¿Para qué se evalúa y qué se va a hacer con los resultados?

b) Diferenciar los tres niveles que son necesarios para contemplar la dimensión comunicativa: gestión real (hechos), la comunicación (los mensajes) y la gestión percibida (percepciones de los stakeholders).

c) Consignar los objetivos en cada uno de estos tres niveles, y analizar el contraste: ¿Hay coherencia entre los objetivos de la gestión pública y de los mensajes, y qué correspondencia hay con las prioridades reflejadas por los stakeholders?

d) Identificar dónde hay datos y evidencias en cada uno de los tres niveles que puedan proporcionar medidas para el contraste.

e) Establecer un calendario que tenga en cuenta los plazos que han de transcurrir desde que se llevan a cabo los hechos y los mensajes hasta que se produzcan reacciones en los públicos.

f) Determinar quién y cómo va a hacer la recopilación de los datos necesarios.

Al tratar de dar respuesta a estas preguntas, el gestor público podrá identificar a tiempo qué modificaciones debería hacer en la organización de su trabajo para poder gestionar con vistas a la evaluación del impacto. La evaluación le proporcionará medida de las brechas que existen entre su comportamiento organizacional, sus mensajes y los públicos; podrá explorar las causas de éstas; y podrá, en último término, medir de qué forma su gestión ha incorporado la perspectiva de la sociedad.

V. REFERENCIAS

AMEC (INTERNATIONAL ASSOCIATION FOR THE MEASUREMENT AND EVALUATION OF COMMUNICATION) (2015). Barcelona Principles 2.0. London, UK: Author. Extraído de http://amecorg.com/wp-content/uploads/2015/09/Barcelona-Principles-2.0-development-and-detailed-changes.-7-September-2015.pdf, ultimo acceso 13 de abril de 2018.

BELL, E. & BRIDGEMAN, T. (2017). “Why management learning matters”. Management Learning, 48 (1), 3-6. https://doi.org/10.1177/1350507616679058.

ARVIDSSON, R. (1986). “Performance evaluation”, en KAUFMAN, F. (ed.). Guidance, control and evaluation in the public domain Berlin. Berlin: Walter de Gruyter.

BOND, S. & DENT, P. (1998). “Efficient management of public sector assets. The call for correct evaluation criteria and techniques”, Journal of Property Valuation and Investment, 16 (4), 369-385. https://doi.org/10.1108/14635789810228169.

BOZEMAN, B. (2007). Public values and public interest: Counterbalancing economic individualism. Georegetown, D. C.: Georgetown University Press.

BOZEMAN, B. & JOHNSON, J. (2015). “The Political Economy of Public Values. A Case for the Public Sphere and Progressive Opportunity”, The American Review of Public Administration, 45 (1), 61-85. https://doi.org/10.1177/0275074014532826.

BOZEMAN, B. & SAREWITZ, D. (2011). “Public value mapping and science policy evaluation”, Minerva, 49 (1), 1-23. https://doi.org/10.1007/s11024-011-9161-7.

BRACCI, E., DEIDDA GAGLIARDO, E. & BIGONI, M. (2014). “Performance management systems and public value strategy: A case study”, en Public value management, measurement and reporting (págs. 129-157). Emerald Group Publishing Limited. https://doi.org/10.1108/s2051-663020140000003006.

BRYSON, J. M., CROSBY, B. C. & BLOOMBERG, L. (2015). “Introduction”, en Public Value and Public Administration (págs. xvii-xxvi). Washington, DC: Georgetown University Press.

CANEL, M. J. & LUOMA-AHO, V. (2019). Public Sector Communication. Closing Gaps Between Citizens and Organizations. Boston: Wiley-Blackwell.

CANEL, M. J. y LUOMA-AHO, V. (n. d. en prensa). “Intangible assets and public value”, en LUOMA-AHO, V. y CANEL, M. J. (eds.), Handbook of Public Sector Communication. Wiley-Blackwell.

CANEL, M. J. & PIQUEIRAS, P. y ORTEGA, G. (2017). La comunicación de la Administración Pública. Conceptos y casos prácticos de los bienes intangibles. Madrid: Instituto Nacional de Administración Pública.

CANEL, M. J. & LUOMA-AHO, V. (2015). Crisis en la Administración Pública, oportunidad para la intangibilidad, en VILLAFAÑE, J. (ed.). La Comunicación empresarial y la gestión de los intangibles en España y Latinoamérica (págs. 121-132). Madrid: Pearson.

CANEL, M. J. (en prensa). Comunicación de la Administración Pública. Para Gobernar con la Sociedad. México, D. F.: Fondo de Cultura Económica.

CARMELI, A. & TISHLER, A. (2005). “Perceived organizational reputation and organizational performance: an empirical investigation of industrial enterprises”. Corporate Reputation Review, 8 (1), 13-30. https://doi.org/10.1057/palgrave.crr.1540236.

COATS, D. & PASSMORE, E. (2008). Public value: The next steps in public service reform. London: Work Foundation.

DEPARTMENT OF CULTURE AND THE ARTS (2014). “Public value measurement framework. Measuring the quality of the arts”. Extraído de http://www.dca.wa.gov.au/Documents/New%20Research%20Hub/Research%20Documents/Public%20Value/PVMF_Measuring_Quality_Arts_Research_Hub_08_14.pdf, último acceso 28 de julio de 2017.

Diccionario de la Real Academia Española, http://dle.rae.es/srv/search?m=30&w=evaluar. Último acceso 28 de julio de 2017.

EC (European Commission) (2014). “Measuring the European Commission’s communication: Technical and methodological report”. Extraído de http://ec.europa.eu/dgs/communication/about/evaluation/index_en.htm, último acceso 28 de julio de 2017.

GREGORY, A. (2015). Planning and managing public relations campaigns. London: Kogan Page.

GUARINI, E. (2014). “Measuring public value in bureaucratic settings: opportunities and constraints”, en Public value management, measurement and reporting (págs. 301-319). Emerald Group Publishing Limited. https://doi.org/10.1108/s2051-663020140000003013.

JAMES, O. (2009). “Evaluating the expectations disconfirmation and expectations anchoring approaches to citizen satisfaction with local public services”, Journal of Public Administration Research and Theory, 19 (1), 107-123. https://doi.org/10.1093/jopart/mum034.

JAMES, O. & MOSELEY, A. (2014). “Does performance information about public services affect citizens’perceptions, satisfaction, and voice behaviour? Field experiments with absolute and relative performance information”. Public Administration, 92 (2), 493-511.

JØRGENSEN, T. B. & BOZEMAN, B. (2007). “Public values an inventory”. Administration & Society, 39 (3), 354-381. https://doi.org/10.1177/0095399707300703.

LUOMA-AHO, V. (2008). “Sector reputation and public organisations”, International Journal of Public Sector Management, 21 (5), 446-467. https://doi.org/10.1108/09513550810885778.

MACNAMARA, J. (2015). “Overcoming the measurement and evaluation deadlock: A new approach and model”, Journal of Communication Management, 19 (4), 371-387.

MACNAMARA, J. (2017). Evaluating public communication: Exploring new models, standards, and best practice. Abingdon, UK: Routledge. https://doi.org/10.4324/9781315391984.

MACNAMARA, J., LWIN, M., ADI, A. & ZERFASS, A. (2015). Asia Pacific Communication Monitor 2015/16: The state of strategic communication and public relations in a region of rapid growth. Survey results from 23 countries. Asia Pacific Association of Communication Directors (APACD) and Helios Media. Extraído de http://www.communicationmonitor.asia. Último acceso 28 de julio de 2017.

MEIER, K. J. & O’TOOLE, L. J. (2011). “Comparing public and private management: Theoretical expectations”, Journal of Public Administration Research and Theory, mur027, último acceso 28 de julio de 2017. https://doi.org/10.1093/jopart/mur027.

MEYNHARDT, T. (2009). “Public value inside: What is public value creation?”, International Journal of Public Administration, 32 (3-4), 192-219.

MEYNHARDT, T. (2015). Public value: turning a conceptual framework into a scorecard. Actas del congreso Creating Public Value in a Multi-Sector, Shared-Power World, Minneapolis, MN, USA.

MEYNHARDT, T. & BARTHOLOMES, S. (2011). “(De) Composing public value: In search of basic dimensions and common ground”, International Public Management Journal, 14 (3), 284-308. https://doi.org/10.1080/10967494.2011.618389.

MEYNHARDT, T., GOMEZ, P. & SCHWEIZER, M. (2014). “The Public Value Scorecard: what makes an organization valuable to society?”, en Performance, 6, 1-8.

MOORE, M. H. (2013). Recognizing public value. Cambridge: Harvard University Press. https://doi.org/10.4159/harvard.9780674067820.

MOORE, M. H. (2014). “Public value accounting: Establishing the philosophical basis”, Public Administration Review, 74 (4), 465-477. https://doi.org/10.1111/puar.12198.

MOORE, M. H. (2015). “Creating a Public Value Account and Scorecard”, en BRYSON, J. M., CROSBY, B. C. & BLOOMBERG, L. (ed.), Public Value and Public Administration. Georgetown: Georgetown University Press.

PAGE, S. B., STONE, M. M., BRYSON, J. M. & CROSBY, B. C. (2015). “Public Value Creation by Cross-Sector Collaborations: A Framework and Challenges of Assessment”, Public Administration, 93 (3), 715-732.

PETTY, R. & GUTHRIE, J. (2000). “Intellectual capital literature review: measurement, reporting and management”, Journal of Intellectual Capital, 1 (2), 155-176. https://doi.org/10.1108/14691930010348731.

QUEIROZ, A. B., CALLÉN, Y. F. & CINCA, C. S. (2005). “Reflexiones en torno a la aplicación del capital intelectual en el sector público”. Spanish Journal of Finance and Accounting / Revista Española de Financiación y Contabilidad, 34 (124), 211-245. https://doi.org/10.1080/02102412.2005.10779547.

SANDERS, K. & CANEL, M. J. (2015). “Mind the gap: Local government communication strategies and Spanish citizens’ perceptions of their cities”, Public Relations Review, 41 (5), 777-784. https://doi.org/10.1016/j.pubrev.2015.06.014.

SAUNDERS, M. (2000). “Beginning an evaluation with RUFDATA: theorizing a practical approach to evaluation planning”. Evaluation, 6 (1), 7-21. https://doi.org/10.1177/13563890022209082.

STACKS, D. W. & MICHAELSON, D. (2014). A practitioner’s guide to public relations research, measurement, and evaluation (2.ª ed.). New York, NY: Business Expert.

STOKER, G. (2006). “Public value management: a new narrative for networked governance?”, The American Review of Public Administration, 36 (1), 41-57.

TALBOT, C. (2009). “Public Value – The Next «Big Thing» in Public Management?”, International Journal of Public Administration, 32 (3-4): 167-170. https://doi.org/10.1080/01900690902772059.

VOLK, S. C. (2016, March). A systematic review of 40 years of public relations evaluation and measurement research: Looking into the past, the present, and the future. Paper presented at the 19th Annual International Public Relations Research Conference, Miami, Florida, USA. https://doi.org/10.1016/j.pubrev.2016.07.003.

VAN DE WALLE, S. & BOUCKAERT, G. (2003). “Public service performance and trust in government: the problem of causality”. International Journal of Public Administration, 26 (8-9), 891-913. https://doi.org/10.1081/pad-120019352.

WANG, B. and CHRISTENSEN, T. (2017). “The Open Public Value Account and Comprehensive Social Development. An Assessment of China and the United States”, Administration and Society, 49 (6), 852-881. https://doi.org/10.1177/0095399715587522.

WELCH, J., RIMES, H. & BOZEMAN, B. (2015). “Public value mapping”, en BRYSON, J., CROSBY, B. y BLOOMBERG, L., Public Value and Public Administration (págs. 131-146). Washington, DC: Georgetown University Press.

WOOD JR, T. (2017). “Resisting and surviving the mainstream scientific model: Findings on social relevance and social impact in the tropics”. Management Learning, 48 (1), 65-79. https://doi.org/10.1177/1350507616659832.

WORLD BANK (2011). The changing wealth of nations: measuring sustainable development in the new millennium. Washington, DC: World Bank Publications. https://doi.org/10.1596/978-0-8213-8488-6.

WORLD BANK (2006). Where is the wealth of nations? Measuring capital for the 21st century. Washington, DC: World Bank Publications. https://doi.org/10.1596/978-0-8213-6354-6.

ZERFASS, A. (2008). “Corporate communication revisited: Integrating business strategy and strategic communication”, en ZERFASS, A., VAN RULER, B. & SRIRAMESH, K. (eds.), Public relations research. European and international perspectives and innovations (págs. 65-96). Wiesbaden, Germany: VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-531-90918-9_5.