La participación ciudadana como criterio de valor en evaluaciones de carácter integral. Una aproximación desde la experiencia de AEVAL

Ana Ruiz Martínez

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL)

Presidenta

anam.ruiz@aeval.es

Resumen

Desde hace años la cuestión de la participación ciudadana ha suscitado un notable interés. Tanto en el ámbito académico como desde organismos internacionales se han generado numerosos trabajos en relación con modelos y procesos de participación, evaluaciones de políticas públicas con enfoque participativo o considerando la participación como una variable explicativa de su éxito o fracaso. Sin embargo es dificultoso encontrar evaluaciones de políticas públicas que contemplen entre otros criterios de valor, el de participación. El problema que se pretende abordar en este artículo es cómo evaluar la participación ciudadana en procesos de evaluación de carácter integral y que por lo tanto abordan todo el ciclo de la política utilizando para ello múltiples criterios de valor.

Palabras clave

Participación ciudadana, evaluación de políticas públicas, evaluaciones integrales, criterios de valor.

Citizen participation as a value criterion in comprehensive evaluations. An approach from the experience of AEVAL

Abstract

For years the issue of citizen participation has generated important interest. Both academia and international organizations have generated numerous studies concerning models and participatory processes, evaluations of public policies with participatory approach or considering participation as an explanatory variable for their success or failure. However it is difficult to find evaluations of public policies that include participation among other value criterion. The problem to be addressed in this article is how to evaluate public participation in comprehensive evaluation processes, and therefore address the full policy cycle using multiple value criteria.

Keywords

Citizen participation, public policy evaluation, comprehensive evaluation, value criterion.

INTRODUCCIÓN

El interés de los académicos y más recientemente, de los políticos por la participación ciudadana coincide con la crisis de la democracia representativa, originada básicamente por el cuestionamiento de unas instituciones políticas envejecidas en el actual contexto social. Font (2004) enumera un conjunto de factores explicativos de ambas cuestiones:

• – Ciudadanos más formados, más interesados en actuar políticamente y nuevas formas de acción política que acentúan este cuestionamiento.
• – La ampliación de los ámbitos susceptibles de acción pública, difícilmente clasificables sobre la base de posiciones ideológicas tradicionales, que afecta al papel de intermediación de los partidos políticos ya que “el ciudadano se ve obligado a elegir entre un pequeño número de ofertas partidarias que tienen que posicionarse ante innumerables temas, sin que los esquemas ideológicos sirvan para dotar a éstos de un sentido globalmente coherente” (Font 2004:25).
• – La expansión de los llamados “públicos temáticos” integrados por un importante volumen de ciudadanos interesados en determinados ámbitos políticos y cuyos conocimientos y capacidades en relación con éstos, cuestionan también el tradicional “monopolio” del conocimiento de técnicos y políticos.

En la misma línea Parra (2007:77-86), vincula la inclusión de la participación ciudadana en las agendas de los gobiernos a la desafección de los representados por sus representantes y a la preocupación de los políticos por los posibles efectos de esta desafección: despolitización, deterioro de los valores democráticos e incluso “la extinción de la participación o de las identidades partidarias”. Como señala esta misma autora, la dificultad para resolver los problemas de la democracia representativa, radica en cómo lograr la interacción entre una sociedad “fuertemente diferenciada, altamente organizada y necesariamente interdependiente” con un sistema político administrativo anclado en el paradigma de la decisión racional. La solución puede encontrarse en “convertir el problema de la participación en asunto público y esto implica mayor énfasis en el desarrollo de las capacidades de los ciudadanos para poder influir realmente en la agenda gubernamental”.

Quizá por ello, en relación con la participación ciudadana, lo más novedoso tanto en el ámbito académico como político, es el énfasis puesto en el proceso de adopción de decisiones más que en “el cambio de las condiciones institucionales de la democracia”. (del Pino y Colino, 2007:2). De manera que cada vez más el debate en torno a la cuestión de la participación se centra en el análisis de cómo las nuevas formas de participación, más próximas a los modelos de democracia directa y deliberativa, pueden ampliar el papel de los ciudadanos posibilitando su participación en todas las fases del proceso de toma de decisiones.

Roth 1, citado por del Pino y Colino (2007), identifica tres tipos de beneficios vinculados a la incorporación de la participación ciudadana a la acción pública: corresponsabilización en la gestión de lo público, generación de capital social y contrapeso a los problemas de la democracia representativa. De manera más concreta y exclusivamente en relación con las políticas públicas, se presume que la participación ciudadana en su diseño e implementación mejora su eficacia y legitimidad.

Bajo estos presupuestos se han promovido en los últimos años de manera institucional por diversos organismos internacionales, y también como consecuencia del interés académico en la cuestión, multitud de estudios que analizan, normativa y empíricamente, los procesos de participación ciudadana y sus mecanismos de implementación, especialmente en el ámbito local, ámbito en el que se han dado con mayor profusión 2. Más recientemente el interés parece centrase en conocer los resultados de estos procesos participativos, en “empezar a contrastar la verdad empírica de las promesas asociadas a la práctica participativa” (Castellá y Jorbá, 2005:79).

Por lo tanto se dispone en la actualidad de una importante producción científica centrada en la necesidad de la participación como instrumento para la resolución de los problemas de la democracia representativa, en el estudio de las prácticas participativas y más recientemente en la evaluación de la calidad y de los resultados de los procesos participativos.

Sin embargo resulta mucho más dificultoso encontrar evaluaciones de políticas públicas que incorporen la participación ciudadana entre los criterios o referentes de valor que utilizan para juzgar la política 3. Probablemente esto puede explicarse por la hegemonía de un enfoque de evaluación centrado en los aspectos más instrumentales de la acción de gobierno, orientada exclusivamente al conocimiento de los efectos - preferiblemente netos - de las políticas, un tanto obsesionada por la utilización de herramientas de análisis que refuercen el carácter científico-técnico de la evaluación y menos o nada preocupada por los aspectos políticos de las políticas públicas.

Pero paulatinamente se va imponiendo una visión 4 de la evaluación que enfatiza los aspectos políticos de la acción pública, como única manera de comprender políticas complejas (multisectoriales, multinivel, que abordan problemas complejos, en las que interactúan múltiples actores muchas veces con intereses contrapuestos) y que más allá de preguntarse cómo se han hecho las cosas, se interesa en conocer por qué se han hecho así. Evaluaciones que además de valorar la eficacia y eficiencia de las políticas públicas deben pronunciarse por su capacidad de generación de valor público y que deben incluir entre sus utilidades la rendición de cuentas a los ciudadanos sobre el uso de los recursos públicos.

La realización de evaluaciones con este último enfoque, implica la necesidad de ampliar los referentes de valor en las evaluaciones incorporando criterios que permitan juzgar también el nivel político-estratégico de las políticas.

¿POR QUÉ INCORPORAR LA PARTICIPACIÓN COMO CRITERIO DE VALOR EN EVALUACIONES INTEGRALES?

La primera cuestión a abordar en este apartado es el concepto de evaluación integral. Ya Aguilar y Bustelo (2010) advierten que lo que denominan “evaluación estándar” se fundamenta en dos supuestos que se han demostrado falsos: la idoneidad del diseño de las políticas públicas y la suficiencia de la acción gubernamental para el control de la realidad social. Esta visión de las políticas públicas asume como premisas la existencia de una teoría e hipótesis de intervención y unos objetivos claramente explicitados; la presencia de un único actor que adopta decisiones libremente y con una lógica “cartesiana” y, por último, una concepción del ciclo de la política como una sucesión lineal de sus distintas etapas. Desde esta perspectiva teórica, la evaluación tendría un carácter retrospectivo, y se centraría exclusivamente en los resultados de las intervenciones públicas (Ruiz, 2012).

Sin embargo la formulación e implementación de las políticas públicas se caracterizan por su racionalidad limitada derivada de las diferentes interpretaciones que los actores tienen del problema público que está en su origen; la contingencia de las organizaciones cuyos rasgos (estructuras, procesos, etc.) pueden condicionar la consecución de los objetivos previstos y finalmente la insuficiencia del gobierno como actor único en la resolución de los problemas públicos. Por tanto, los supuestos de los que parte la evaluación estándar “no consideran los límites del gobierno”…”mientras sus resultados informan permanentemente acerca de los límites de análisis, estructura, dirección y operación de los gobiernos” (Aguilar y Bustelo, 2010:5).

Por otra parte, la complejidad e interconexión de los problemas públicos exigen un abordaje integral tanto de los problemas como de sus soluciones frente a los análisis fragmentados y descontextualizados que ofrece la “evaluación estándar”. Se trata de generar un enfoque de evaluación que permita valorar políticas públicas que son integrales, capaces de abordar múltiples problemas y que incorporan “elementos de complejidad durante las diversas fases del proceso” (Grau-Soles et al., 2011:70). En otras palabras, de abordar las evaluaciones analizando todo el ciclo de la política y contemplando todas las políticas conexas y la complejidad que les afecta.

Este tipo de evaluación integra el nivel estratégico de las políticas - problemas, diagnósticos, actores, teorías e hipótesis de intervención, formulación y formalización de la intervención e impactos-, sin olvidar los aspectos operativos de su despliegue - objetivos, recursos, procesos y resultados intermedios y finales-. Da, por lo tanto, respuesta a las necesidades derivadas de la doble función de gobierno: legitimación (buen gobierno) y funcionalidad (buena administración).

Abordar la evaluación integrando el nivel estratégico y operativo de las políticas, implica una dificultad adicional que no se sitúa en el propio proceso evaluador que básicamente sigue siendo el mismo. La diferencia radica en los criterios de valor y en las preguntas de evaluación que los operativizan, en las necesidades de información a las que pretende dar respuesta y, en las recomendaciones que han de servir simultáneamente a ambos niveles de la política.

La evaluación integral tiene que equilibrar referentes como la eficacia o la eficiencia de la acción pública con otros criterios fundamentales de valor público, necesarios además, para poder emitir un juicio de valor más integral sobre las políticas públicas (Ruiz, 2012). Por esta razón además de los criterios “tradicionales” de evaluación más vinculados al principio de buena administración (relevancia, coherencia, complementariedad, eficacia, eficiencia, sostenibilidad, etc.) es necesario incorporar criterios vinculados al principio de buen gobierno como pertinencia, equidad, cohesión, participación o transparencia, entre otros. Y junto a estos últimos otros criterios ad hoc que se relacionan con otros valores sociales que subyacen a cada política concreta.

La evaluación del criterio de participación en evaluaciones integrales se justifica además por tres razones adicionales:

• – La naturaleza integral de las políticas públicas señalada más arriba, obliga a analizar hasta qué punto éstas son capaces de integrar la complejidad a través de “fuentes de integralidad”, entre otras, la participación ciudadana (Grau-Soles et al., 2011: 63-84).
• – La función de la evaluación como herramienta de transparencia y rendición de cuentas. Desde esta perspectiva y partiendo de la dependencia de la eficacia de las políticas públicas de su diseño –también de su grado de legitimación social- parece lógico pensar que los ciudadanos tengan interés en conocer los diagnósticos realizados y los criterios para la selección de la alternativa adoptada. Así como qué actores participaron, sobre la base de qué criterios participaron unos actores y no otros, qué deliberaciones llevaron a la selección de la alternativa elegida, etc., (Aguilar y Bustelo, 2010)
• – Un argumento adicional es si las políticas públicas deben concebirse como el resultado de la concurrencia y competencia entre intereses, en la que resultan ganadores los defendidos por los actores mejor organizados o con más capacidad de hacer llegar sus propuestas o por el contrario es necesario garantizar la igualdad de oportunidades para participar en la elaboración e implementación de las políticas (Villarreal, 2009).

Finalmente, las evaluaciones tienen una utilidad añadida que hace necesaria la evaluación del criterio de participación: contribuir proporcionando información al debate social en torno a un problema público, a las alternativas seleccionadas para resolverlo y a los resultados obtenidos.

Incorporar la participación como criterio de valor en las evaluaciones, implica también una conceptualización previa: ¿qué tipo de participación es relevante al evaluar el diseño y la implementación de las políticas públicas?

Cunill (2008) considera cuatro tipos diferenciados de participación según se relacionen con los intereses (participación social), el desarrollo comunitario orientado a la atención de necesidades y la reproducción social (participación comunitaria), la implicación de los ciudadanos en las instituciones del sistema político (participación política) o la implicación directa en acciones públicas (participación ciudadana).

Dado que el interés de la evaluación de políticas públicas se centra tanto en los aspectos de legitimidad como de eficacia de la decisión y gestión pública (Ziccardi 2004 citado por Villarreal, 2009), la evaluación de la participación debe incorporar tanto la representación de intereses como la participación directa de ciudadanos en las acciones públicas. Además, como indica Cardozo (2008:149) la participación ha de estar alineada con el concepto de gobernanza que contempla tanto la participación de organizaciones y ciudadanos como de “un amplio espectro de interesados” en el diseño e implementación de las políticas.

LA EVALUACIÓN DEL CRITERIO DE PARTICIPACIÓN EN EVALUACIONES INTEGRALES: EL CASO DE AEVAL

Antes de afrontar la cuestión de cómo evaluar la participación en evaluaciones integrales, resulta interesante conocer si en la práctica se está efectuando dicho análisis en las evaluaciones de políticas públicas y de qué manera se aborda. Para ello se utilizará como estudio de caso la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL).

La selección de las evaluaciones de AEVAL como estudio de caso se debe a varias razones. En primer lugar al hecho de que AEVAL es una institución cuya misión principal es la evaluación, tanto de políticas como de servicios y organizaciones públicas. Además la práctica evaluativa de AEVAL es de carácter generalista ya que abarca múltiples sectores de política pública y se centra, en general, en los grandes instrumentos de despliegue de las políticas públicas. Por otra parte, y como es bien sabido, la evaluación de políticas públicas tiene todavía un muy escaso desarrollo en España 5, de manera que solo existe evidencia del desarrollo práctico de la evaluación de políticas públicas por parte de AEVAL en la Administración General del Estado y de Iválua en el ámbito de la Comunidad Autónoma de Cataluña.

Por otra parte, el enfoque de evaluación que ha ido desarrollando la Agencia se corresponde con el concepto de evaluación integral que se ha desarrollado en el epígrafe anterior. Este enfoque de evaluación se ve reforzado por el hecho de que la Agencia incluye entre sus objetivos el de impulsar la transparencia y la rendición de cuentas (AEVAL, 2009) y porque incluso entre los principios básicos de actuación de la propia AEVAL se contemplan los de transparencia y participación 6.

A pesar de que es en 2007 cuando AEVAL aborda el primer plan de trabajo de evaluaciones, no es hasta 2008 cuando se empieza aplicar –y desarrollar en años posteriores a partir del aprendizaje obtenido en los procesos evaluativos- este enfoque de evaluación. Por esta razón para el análisis de cómo se ha evaluado el criterio de participación en la Agencia, se estudiarán las evaluaciones realizadas por ésta entre este último año y 2014.

Se analizarán por tanto las 26 evaluaciones 7 de políticas y programas realizadas en ese periodo. Estas evaluaciones se centran en intervenciones 8 públicas relacionadas con múltiples sectores de política pública desde medioambiente, pasando por I+D+i, sanidad, educación, políticas económicas o de cooperación al desarrollo, por poner algunos ejemplos.

Para la valoración del grado en que el análisis de la participación se ha incorporado en las evaluaciones revisadas, se han utilizado los siguientes indicadores: la incorporación del criterio de participación como referente de valor, la existencia de preguntas relativas a la participación en la matriz de evaluación 9, los aspectos que exploran dichas preguntas (actores, mecanismos, proceso, resultados del proceso de participación, etc.), el análisis de la participación que se efectúa en el informe de evaluación y la existencia de recomendaciones en relación con la incorporación de procesos participativos en el diseño, implementación o evaluación de la intervención evaluada.

10 de las 26 evaluaciones realizadas en este periodo, el 38 por ciento del total, incorporan la evaluación del criterio de participación, si bien como se verá más adelante, con una importante variabilidad. De ellas, 8 incorporan el criterio de manera explícita, mientras otras dos lo hacen de manera indirecta a través de otros criterios de valor: en un caso a través del criterio de “gobernanza” y en otro del de “apropiación”.

Aunque esta cifra inicialmente pueda parecer modesta, al analizar su evolución anual se observan importantes incrementos en la incorporación del criterio, tal y como se refleja en el gráfico 1. Entre 2008 y 2010 el número de las evaluaciones que incluyen la participación como criterio de valor se incrementa en más de 33 puntos porcentuales. El cambio de tendencia que se observa en relación con el plan de trabajo 2011 puede explicarse por las características de las evaluaciones que lo integraban, mientras que en 2013 las tres evaluaciones de políticas contempladas incorporan explícitamente el criterio. 10

Curiosamente es mayor el número de evaluaciones que incluyen preguntas relacionadas con la participación en las políticas públicas, lo que se explica porque algunas se proponen indagar sobre esta cuestión sin contemplar directa o indirectamente la participación como referente de valor. Trece evaluaciones incorporan preguntas que en diez de ellas se orientan a constatar la existencia o no de mecanismos de participación (cuatro plantean si dichos mecanismos son adecuados, sin más precisión). Una evaluación adicional no incluye preguntas pero sí indicadores vinculados al criterio de participación en la evaluación del criterio de pertinencia.

Gráfico 1. Evolución anual del número de evaluaciones realizadas por AEVAL que incorporan el criterio de participación tanto de manera explícita como a través de otros referentes de valor

Fuente: elaboración propia

Por lo que respecta a los actores involucrados, en seis evaluaciones se pregunta por la participación de actores concretos, en la mayoría de los casos representantes de intereses, expertos en la política pública evaluada y en cinco casos se hace referencia explícita a la participación de actores institucionales o de las administraciones públicas implicadas, cuya participación en las fases de diseño e implementación de una política pública debería evaluarse bajo el criterio de cooperación. Sólo una evaluación plantea si los actores consultados son representativos de los diferentes intereses existentes.

La mayoría de las matrices no incluye preguntas relativas a la fase del ciclo de la política en la se produce el proceso participativo. Solo cinco se interrogan por la participación en fases concretas primando las preguntas sobre la participación en la fase de diseño. En menor medida existen preguntas relativas a la fase de implementación exclusivamente centradas en los sistemas de seguimiento.

Sólo una evaluación se propone explorar los resultados del proceso participativo en términos de satisfacción de los participantes con dicho proceso y de la incorporación de sus resultados al diseño de la intervención. Incluso va más allá, al añadir una subpregunta que intenta analizar la posible relación entre el grado de aplicación y éxito de las acciones contempladas y el nivel de participación.

Catorce evaluaciones incorporan epígrafes específicos sobre participación en el informe 11, en tres de ellas sin que se haya contemplado el criterio de participación y sin que existan preguntas concretas sobre esta cuestión en la matriz de evaluación. Tres informes más no incorporan un epígrafe concreto pero si diversas referencias a lo largo del texto.

En general, diez evaluaciones, el análisis de la participación es de carácter descriptivo centrándose en la constatación de la existencia (o inexistencia) de procesos participativos, la tipología de los actores participantes en el proceso o de los mecanismos de participación articulados. Cuatro evaluaciones además profundizan en algunos aspectos como la disponibilidad de información o el funcionamiento de los instrumentos de participación.

Finalmente ocho informes efectúan recomendaciones en relación con la participación. Estas recomendaciones se orientan hacia el establecimiento o reforzamiento de mecanismos de participación en todas las fases del ciclo de las intervenciones evaluadas. En un caso se propone el aporte de información y formación para promover una mayor “participación pública”, en otro potenciar la participación ciudadana “más allá de la participación de intereses y la información y consulta pública” y en otro la incorporación de todos los actores implicados en la política evaluada y finalmente un informe recomienda incorporar la participación también en los procesos de evaluación. La tabla 1 muestra de marea esquemática los resultados del análisis realizado.

Tabla 1. Evaluación de la participación en evaluaciones de AEVAL: incorporación del criterio, preguntas de evaluación, reflejo en el informe y recomendaciones relacionadas

Evaluación	¿Contempla el criterio de participación?	¿Existen preguntas relativas al criterio de participación en la matriz de evaluación?	¿Cómo se incorpora la evaluación del criterio al texto del informe?	¿Existen recomendaciones relativas a la participación?
Ayudas financiadas con cargo a los Presupuestos Generales del Estado en las Áreas de influencia socioeconómica de la Red de Parques nacionales.	Si	En la elaboración y el diseño de la intervención ¿Han sido consultados expertos, agentes sociales afectados, otras AAPP? Y en general, ¿se han establecido mecanismos de consulta con los principales agentes afectados?	Epígrafe específico relativo a transparencia y participación. Se identifican actores que han participado en los trámites de audiencia previos al diseño normativo y concesión de las ayudas. Se valora la disponibilidad de información y la existencia de mecanismos de participación en los distintos Parques Nacionales evaluados.	No existen recomendaciones específicas pero en el texto del informe se plantea la necesidad de de incorporar mecanismos de participación en los Parques Nacionales como condición básica para la puesta en marcha de planes de desarrollo sostenible.
Política de bonificación y reducción de cuotas de la Seguridad Social.	No	No	No	No
Participación de la Administración General del Estado en el Sistema para la Autonomía y Atención a la Dependencia.	No	No	No	No
Sistema de Gestión Colectiva de los Derechos de Propiedad Intelectual (Primera Fase).	No	No	No	No
Sistema General de Becas Educativas	No	No	No	No
Política de Mejora del Sistema de Transferencia de Tecnología a las empresas.	No	No	No	No
Programas de formación de la cooperación española: programa PIFTE.	No, se evalúa bajo el criterio de apropiación.	¿En qué medida los países socios lideran los procesos de los programas de formación PIFTE? ¿En qué medida participan las instituciones de cada país en la definición de objetivos generales y específicos de la formación para el fortalecimiento institucional? ¿En qué medida participan los países socios en. el diseño de la formación institucional aportando la identificación de necesidades. en la docencia? ¿En qué medida los países socios conocen y participan en el seguimiento y evaluación de los programas?	Se incluye un epígrafe específico en el apartado relativo a la detección de necesidades formativas.	Consolidar la participación en la política cooperación en el Plan director de la cooperación española. Reforzar los órganos de participación en el programa.
Medidas de Racionalización y Mejora de la Gestión de la Incapacidad Temporal.	No	No	No	No
Sistema de Gestión Colectiva de los Derechos de Propiedad Intelectual (Segunda Fase).	No	No	No	No
Programa Aprendiendo a Exportar (APEX)	No	No	No	No
Política de Bonificación y Reducción de Cuotas de la Seguridad Social para personas con discapacidad.	No	No	No	No
Plan Nacional de Transición a la Televisión Digital Terrestre.	No	No	No	No
Gestión y Funcionamiento de las Confederaciones Hidrográficas.	Si	En la elaboración y el diseño de la intervención, ¿han sido consultados expertos, agentes sociales afectados, otras Administraciones Públicas? ¿Y el Consejo del Agua? ¿Y las ONG?	Se incluye un epígrafe específico en el apartado de planificación hidrológica. Carácter descriptivo incluye información relativa al número de personas participantes, valoración por estas de distintas cuestiones sobre el proceso participativo así como una tipología de participantes para la Cuenca del Guadiana. Se incluye un epígrafe específico de carácter analítico en conclusiones derivado del hecho de que uno de los objetivos de la Directiva Marco de Agua es la participación pública.	Potenciar la participación ciudadana –más allá de la participación de intereses y la información y consulta pública- en la gestión de los organismos de cuenca así como la cantidad y calidad de la información suministrada con el objetivo de desarrollar una auténtica “ciudadanía de cuenca”.
Plan Estratégico de Seguridad Vial 2005-2008.	No, se evalúa bajo el criterio de gobernanza.	¿En qué medida participan los agentes sociales en el sistema de seguimiento del Plan? (incluye subpreguntas relativas a la participación en el sistema de seguimiento del plan). ¿En qué medida participan los propietarios de las acciones y los agentes sociales en el diseño del plan y de las acciones mismas?: ¿Se habilitó un sistema de participación adecuado? ¿Se incorporó las sugerencias hechas por los actores? ¿Están satisfechos los actores con su participación? ¿Existe relación entre el grado de aplicación y éxito conseguido en las acciones y el grado de consulta que se hizo con los agentes afectados? ¿En qué medida se ha incorporado la capacidad de actuación de los propios agentes sociales?	Descripción genérica de los órganos de participación. Se señala la inexistencia de órganos específicos de participación. Epígrafe específico de análisis en relación con un área estratégica del Plan relativa a la participación de la sociedad civil, en el que se señalan los déficits del Consejo Superior de Seguridad Vial cómo órgano de participación, con un peso excesivo de la representación de intereses frente a la participación ciudadana.	Ampliación de la participación a todos los actores implicados en la política. Sistema de participación pública para todas las fases del plan incluida la evaluación.
Evaluación Intermedia del Plan Estratégico de Ciudadanía e Integración.	No	No	Epígrafe descriptivo de los actores, contenidos, y mecanismos de participación en la elaboración del Plan. Epígrafe analítico sobre la participación en el diseño del Plan.	No
Vacaciones para mayores y Termalismo Social.	No	No aparecen preguntas en la matriz de evaluación.	Epígrafe específico relativo a la participación de los actores interesados en la articulación de los programas en el que se constata la inexistencia de vías de participación directa en el diseño y gestión de los programas.	No
Gestión y funcionamiento de las Demarcaciones de Costas.	No	No aparecen preguntas en la matriz de evaluación pero si indicadores: Grado de participación de actores (institucionales, sociales y expertos) en la identificación y solución del problema. Grado de consenso en la identificación del problema. Grado de consenso social (conflictos) en la intervención. Grado de consenso expertos en la intervención. Presencia de actores interesados en el proceso previo.	Diversas referencias a lo largo del texto a déficits de participación en política de costas.	Información y formación para promover una mayor participación pública. Se propone como ejemplo de buena práctica a la Comisión de participación en la ordenación y gestión del litoral de Andalucía. Foros de consulta y participación en Demarcaciones y Servicios de Costas. Habilitar ámbitos y mecanismos de participación ciudadana en los procesos de gestión del litoral.
Programa de Ayudas a la reindustrialización.	Si	¿Participan en la articulación del programa los interlocutores relevantes?	Epígrafe de carácter descriptivo en el que se señala como vía de participación el desarrollo de acciones de difusión del programa.	No
Estrategia de Cuidados Paliativos del Sistema Nacional de Salud.	No	No aparecen preguntas en la matriz de evaluación.	Diversas referencias a lo largo del informe de evaluación sin que exista un epígrafe específico.	Valorar explorar las diferentes opciones posibles que permitan una mayor participación ciudadana en el diseño y evaluación de la estrategia.
Líneas ICO-PYME (Primera Fase)	No	No	No	No
Plan Español de Energías Renovables 2005-2010.	Si	¿Existen mecanismos adecuados de coordinación, participación y seguimiento de las AA.PP y de los agentes implicados, institucionales y sociales? ¿En qué medida los agentes del sector participan en el seguimiento del PER? ¿Ha sido diseñado el PER contando con la participación de los agentes sociales e institucionales pertinentes?	Epígrafe de carácter descriptivo sobre comunicación y participación. No analiza ni actores, ni mecanismos, ni proceso ni resultados.	Sistemas de participación pública en la elaboración, implementación, seguimiento y evaluación del Plan.
Programas de Selección y Formación de la Escuela de Administración Regional de Castilla la Mancha.	No	No	No	No
Trabas administrativas para la creación de empresas.	Si	¿Existen mecanismos adecuados de cooperación entre los gestores de las medidas y los emprendedores? ¿En qué medida los agentes participan en el diseño y seguimiento de las medidas?	Breve referencia en el texto en relación con los convenios con Cámaras de Comercio como instrumento de participación en Plan de Acción de Reducción de Cargas Administrativas.	No
Plan de Medidas de Mejora de los Servicios de Sanidad Exterior.	Si	¿Han participado en la articulación del Plan los principales actores?	Referencia en el epígrafe de formulación del plan a la inexistencia de procesos de participación de los actores institucionales.	No
Plan de Ahorro y Eficiencia Energética 2008-2012.	Si	¿Las organizaciones o instituciones participantes son representativas de los diferentes intereses existentes? ¿Han existido mecanismos de participación de la sociedad civil en el diseño de la política y en el diseño de sus objetivos?	Epígrafe descriptivo en el que se incluyen referencias a la participación de actores institucionales y ciudadana.	No
Formación para el Empleo de los Empleados Públicos.	Si	¿En qué grado participan los interlocutores relevantes en el modelo formativo?	Epígrafe analítico sobre actores, mecanismos y ámbitos de participación en el diseño e implementación del programa.	No

Fuente: elaboración propia.

A modo de conclusión podría afirmarse que aunque la presencia de la participación como criterio de valor no puede considerarse anecdótica en las evaluaciones de la Agencia, no es menos cierto que el hecho de que en ocasiones no se identifique como un criterio con identidad propia, de que no se contemplen preguntas en las matrices de evaluación, o que éstas se limiten a constatar la existencia o no de procesos participativos, que en los informes de evaluación se analice de manera limitada o que las recomendaciones relativas a este tema –cuando existen- sean bastante genéricas, refuerza la necesidad de definir cómo evaluar el criterio si se pretende ir más allá de una evaluación puramente formal.

DIMENSIONES, PREGUNTAS E INDICADORES PARA LA EVALUACIÓN DE LA PARTICIPACIÓN EN EVALUACIONES INTEGRALES

Una cuestión previa a considerar a la hora de definir cómo evaluar el criterio de participación en evaluaciones de políticas públicas, son los propósitos de este tipo de evaluación, que no son otros que aportar información para la comprensión y transformación de las políticas, ayudar a mejorar los procesos de toma de decisiones, profundizar en el grado de legitimación social de la acción pública, y por otra parte, conocer sus impactos y las posibles alternativas y mejoras y dotar de mayor transparencia a los gobiernos.

Por esta razón, de la misma manera que la evaluación analiza la política para poder valorar sus resultados pero no sustituye – ni aspira a sustituir- el estudio de la política, tampoco la evaluación del criterio de participación en las evaluaciones de políticas públicas puede sustituir los análisis y evaluaciones de procesos participativos. Por lo tanto las evaluaciones de políticas públicas deben incorporar el criterio de participación pero de manera que su evaluación resulte equilibrada con los restantes criterios de valor que, conjuntamente, posibilitan alcanzar un juicio global sobre la política pública evaluada. La evaluación de la participación no se puede abordar, en consecuencia, con el nivel de profundidad con el que se realizan las evaluaciones monográficas de procesos participativos.

Hecha esta precisión, el primer análisis a realizar tiene que centrarse forzosamente en la metodología y herramientas que habitualmente se utilizan en las evaluaciones de procesos participativos.

La revisión de la literatura relativa a teoría y práctica de la evaluación de procesos participativos realizada, muestra que existe un importante grado de acuerdo sobre en qué centrarse a la hora de evaluar dichos procesos.

Rodríguez García et al. (2011) enfocan esta evaluación desde el punto de vista de sus efectos o rendimientos e identifican cuatro grupos de ellos:

• – Procedimentales: relativos a los procesos políticos a partir de los que se produce la toma de decisiones y que se centran en el nivel de representatividad de los participantes, en la calidad del proceso deliberativo o en la garantía de igualdad en la decisión final.
• – Eficacia decisoria: que implican la transformación de las decisiones en políticas, servicios o iniciativas públicas cuya ejecución, además, se corresponda con lo decidido.
• – Cívicos: que suponen el reforzamiento de la capacidad de los actores al abordar los asuntos públicos, en definitiva la generación de capital social.
• – Participativos: que se traducen en una mayor implicación política de los ciudadanos.

Dado que nuestro interés se centra en la evaluación de la política y no del proceso participativo, parece lógico pensar que los dos primeros tipos de rendimientos identificados por los autores citados sean los más relevantes, ya que se relacionan directamente con la génesis e implementación de una política pública.

Por su parte Castellá y Jorbá (2005) se centran en dos dimensiones para la evaluación de procesos participativos, proceso y resultados, y proponen un conjunto de criterios de evaluación. En lo que respecta a la dimensión resultados sus criterios coinciden con lo que Rodríguez García et al. (2011) denominan rendimientos cívicos y de eficacia decisoria. Interesa por tanto centrarse en su propuesta de criterios para la evaluación de la dimensión proceso. Nuevamente esta propuesta muestra una gran concordancia con la que efectúan Rodriguez García et al. para la evaluación de los rendimientos procedimentales y más concretamente con aquellos directamente vinculados al diseño e implementación de la política.

De los cuatro atributos de los procesos de participación propuestos por las autoras (objetivos, contenidos y adecuación de los resultados a los objetivos iniciales; iniciativa y gestión del proceso; participantes; diseño y encaje del proceso en el sistema participativo) se consideran relevantes para la evaluación de la participación en evaluaciones integrales los siguientes:

• – Iniciativa y gestión del proceso desde el punto de vista de sí los responsables de la política evaluada han incorporado procesos de participación en la fase de diseño e implementación y con qué finalidad.
• – Participantes: desde el punto de vista de la incorporación de actores que representen la pluralidad de posiciones existentes en relación con el problema público y las posibles alternativas de solución.
• – Diseño y encaje del proceso en el sistema participativo en relación con el suministro de información plural y clara que permita generar una posición, la intensidad de la participación en función del papel que se asigna en el proceso a los actores: información, comunicación, consulta, deliberación y participación en la toma de decisiones (Arnstein, 1971, citado por las autoras) y, finalmente, el desarrollo de los procesos de deliberación.

Jorbá et al. (2007) identifican cinco ámbitos de evaluación de los procesos participativos – contexto, participantes, temática, método y resultados- y proponen también criterios (subcriterios desde la perspectiva de la evaluación de la política) para la evaluación de estas dimensiones. Se trata de subcriterios operativos muchos de los cuales podrían ser aplicables a evaluaciones integrales. Anduiza y de Maya (2005) dan un paso más en la operativización de la evaluación de la participación elaborando una propuesta de indicadores para su medición.

Sobre la base de estos cuatro trabajos se ha elaborado la propuesta de dimensiones, preguntas e indicadores que podrían aplicarse a la evaluación del criterio de participación en evaluaciones integrales.

Inicialmente se han considerado dos dimensiones: proceso y resultados. La inclusión de la dimensión proceso se justifica porque las características del proceso de participación, el modo en que se haya desarrollado, constituyen una variable explicativa de sus resultados.

Por otra parte, el enfoque y los aspectos analizados en la evaluación del proceso participativo que efectúan los trabajos citados, coinciden en gran medida con lo que Rodríguez García et al. (2011) denominan resultados procedimentales. Por esta razón, finalmente se propone centrar la evaluación de la participación en evaluaciones integrales en los resultados tanto procedimentales como de eficacia decisoria de los procesos de participación en la política objeto de evaluación. Los subcriterios que podrían ser aplicables, siempre desde la perspectiva de equilibrio en la evaluación de los distintos criterios de valor evaluados serían los siguientes:

• – Resultados procedimentales:
• o Iniciativa: compromiso en relación con los resultados de la participación.
• o Participantes: diversidad y representatividad.
• o Diseño del proceso: difusión y calidad de la información, intensidad de la participación y calidad del proceso deliberativo.
• – Resultados de eficacia decisoria:
• o Influencia en los resultados.
• o Correspondencia de la política con el problema y las necesidades sociales derivadas.
• o Adecuación de los resultados a los procesos decisorios.

Tabla 2. Propuesta de subcriterios, preguntas, indicadores y fuentes de verificación para la evaluación del criterio participación en evaluaciones integrales

SUBCRITERIO	ATRIBUTO	PREGUNTAS	INDICADOR	FUENTES
Resultados Procedimentales	Iniciativa	¿Se han impulsado mecanismos de participación en la fase de diagnóstico y diseño y/o en la de implementación? ¿Cuáles?	Existencia de un proceso participativo. Tipología de mecanismos de participación utilizados.	Análisis documental. Encuesta o entrevista cualitativa o grupo de discusión a/con actores y entrevista a responsables del diseño e implementación de la política.
		¿Por qué razones y con qué objetivos se ha impulsado el proceso de participación?	Existencia de objetivos explícitos en relación con el proceso de participación.	Análisis documental. Entrevista cualitativa a responsables del diseño e implementación de la política.
		¿Se asume por los responsables del diseño e implementación de la política algún compromiso de traslación de los resultados del proceso participativo al diseño o implementación?	Existencia de compromisos explícitos en relación con los resultados del proceso de participación.	Análisis documental. Entrevista cualitativa a responsables del diseño e implementación de la política.
	Participantes	¿Están representados todos los actores identificados como relevantes para la política en el proceso de participación?	Grado de pluralismo existente en el grupo de actores participantes.	Análisis documental. Mapa de actores. Encuesta o entrevista cualitativa o grupo de discusión a/con actores.
		¿Se ha garantizado suficientemente la pluralidad de posiciones en relación con el problema y las posibles alternativas?	Proporción de actores participantes sobre el total de actores identificados.	Análisis documental. Mapa de actores. Encuesta o entrevista cualitativa o grupo de discusión a/con actores.
		Las organizaciones o instituciones participantes ¿son representativas de los diferentes intereses existentes?	Percepción del grado de representatividad de organizaciones e instituciones.	Análisis documental. Encuesta o entrevista cualitativa o grupo de discusión a/con actores.
	Diseño del proceso	¿Se ha contado con información suficiente y clara en relación con el diagnóstico del problema y las posibles alternativas?	Percepción positiva de la calidad de la información suministrada.	Encuesta o entrevista cualitativa o grupo de discusión a/con actores.
		¿Con qué papel participan los actores?	Valoración en función de la escala de intensidad de la participación de Arnstein.	Análisis documental. Encuesta o entrevista cualitativa o grupo de discusión a/con actores.
Eficacia decisoria	Influencia	Los actores participantes ¿consideran que su participación ha influido en el diagnóstico y el diseño de la política o en su implementación?	Percepción positiva de los resultados del proceso participativo en el diseño o implementación de la política.	Encuesta o entrevista cualitativa o grupo de discusión a/con actores.
	Pertinencia	Los actores participantes ¿consideran que la política da respuesta a todas las facetas del problema y a las necesidades sociales derivadas del mismo?	Percepción positiva de la manera en que la política pública aborda el problema y las necesidades sociales derivadas.	Encuesta o entrevista cualitativa o grupo de discusión a/con actores.
	Adecuación	El diseño o la implementación de la política ¿Ha incorporado las decisiones y acuerdos alcanzados a través de las deliberaciones?	Percepción positiva de la traslación de decisiones y acuerdos al diseño de la política.	Encuesta o entrevista cualitativa o grupo de discusión a/con actores.

Fuente: Elaboración propia.

Existiría además un subcriterio previo obvio: si en el proceso de diseño o implementación de la política se ha articulado algún proceso participativo.

La tabla anterior (tabla 2), muestra la propuesta de matriz de evaluación con subcriterios, preguntas, indicadores y fuentes de verificación para la evaluación de la participación en evaluaciones integrales.

Una cuestión adicional a considerar a la hora de evaluar el grado de participación ciudadana o de los diferentes grupos de interés, es conocer qué factores pueden afectar a la eficacia de esta participación desde el punto de vista del diseño e implementación de las políticas.

Un estudio de caso realizado en 2013 por el Banco Interamericano de Desarrollo (BID), complementado con una revisión de la literatura relativa a evaluaciones de procesos participativos, señala que no existe evidencia empírica concluyente sobre el impacto de los procesos participativos en la eficacia de las políticas públicas. Algunos de estudios (Mansuri y Mao, 2011; Gaventa y Barret, 2010) 12, coinciden en señalar como factores explicativos del éxito de las experiencias analizadas con resultados positivos, la existencia de alianzas entre los actores, de organizaciones representativas y de un gobierno comprometido con la rendición de cuentas. Mientras que el incumplimiento y la falta de implementación de las decisiones adoptadas en los procesos participativos por parte de los gobiernos y la existencia de trabas burocráticas o incluso la obstrucción de los esfuerzos de los actores explicarían los peores resultados de otras experiencias (BID, 2013).

Parece por lo tanto y como cuestión previa que la evaluación de la participación debería complementarse con la evaluación de dos criterios adicionales: transparencia y responsabilidad (o comportamiento de los responsables de la política evaluada en relación con la rendición de cuentas).

CONCLUSIONES

El interés existente por la cuestión de la participación ciudadana tanto en el ámbito académico como político tiene su origen en la preocupación por dar respuesta a los problemas que en la actualidad tiene la democracia representativa, especialmente el de la desafección ciudadana. Sin embargo en los últimos años surge como nuevo punto de interés la participación en los procesos de toma de decisiones. Además de la utilidad de la participación para promover entre los ciudadanos una mayor corresponsabilización en lo público, generar capital social o actuar como contrapeso frente a los problemas de la democracia representativa, este nuevo ámbito de análisis de la participación ciudadana da más énfasis a sus efectos respecto de la legitimación y eficacia de las políticas públicas.

En la actualidad se dispone de una importante producción científica centrada en los ámbitos señalados a los que más recientemente se ha unido el interés por la evaluación de procesos participativos. Sin embargo no es frecuente encontrar evaluaciones de políticas públicas que incorporen la participación como criterio de valor a la hora de juzgar las políticas públicas.

Una posible explicación puede encontrarse en el enfoque hasta ahora más prevalente de la evaluación, interesado en los aspectos operativos de las políticas públicas, centrado exclusivamente en el grado de cumplimiento de los objetivos, un tanto obsesionado por reforzar el carácter científico-técnico de la evaluación y nada preocupado por los aspectos políticos de las políticas.

Sin embargo, paulatinamente va ganando terreno un enfoque integral de la evaluación de políticas públicas, capaz de comprender políticas complejas que dan respuesta a problemas complejos, que necesariamente para alcanzar esta comprensión y poder valorar los resultados obtenidos debe abordar todo el ciclo de la intervención y en consecuencia integrar el nivel político-estratégico de la política y el nivel operativo y que debe dar respuesta a las necesidades derivadas de la doble función de gobierno: legitimidad y funcionalidad.

Esto implica que las evaluaciones integrales necesariamente han de equilibrar referentes como la eficacia o la eficiencia de la acción pública con otros criterios fundamentales de valor público, que conjuntamente posibilitan la emisión de un juicio de valor más integral sobre las políticas públicas. Entre estos criterios de valor público se encuentra el de participación.

El análisis de cómo se ha incorporado la evaluación del criterio de participación en evaluaciones integrales de políticas públicas, utilizando como estudio de caso las evaluaciones realizadas por AEVAL a los largo de siete años, no arroja los resultados positivos que esperaríamos encontrar en este tipo de evaluaciones. Si bien no puede considerarse que la incorporación del criterio de participación en las evaluaciones de la Agencia sea algo anecdótico, no es menos cierto que el desarrollo práctico de su evaluación presenta bastantes déficits: en ocasiones no se identifica como un criterio con identidad propia, a veces no se incluyen preguntas en las matrices de evaluación, la mayoría de estas preguntas se limitan a constatar la existencia o no de procesos participativos, la escasa extensión dada a su evaluación en los informes o el carácter genérico de las recomendaciones relativas a esta cuestión, cuando existen.

Todo ello refuerza la necesidad de definir cómo abordar la evaluación del criterio de participación en evaluaciones integrales si se pretende ir más allá de una evaluación puramente formal. Esta definición ha de partir de una limitación previa: el equilibrio en la evaluación del criterio de participación con los restantes criterios de valor, que en conjunto permiten alcanzar un juicio global sobre la política pública. Por lo tanto la evaluación del criterio de participación nunca podrá alcanzar en este tipo de evaluaciones la profundidad de análisis con que se abordan las evaluaciones monográficas de procesos participativos.

Con todo, es preciso recurrir a las dimensiones y criterios utilizados por estas últimas evaluaciones, adaptándolos a los requerimientos de las evaluaciones integrales. Respecto de las dimensiones a evaluar y los criterios aplicables en evaluaciones monográficas de procesos de participación, existe un elevado grado de consenso, señalándose como dimensiones clave el diseño del proceso participativo, los participantes, el método y los resultados.

Del conjunto de dimensiones y criterios aplicables son relevantes para la evaluación de la participación en evaluaciones integrales, aquellos que se relacionan directamente con la génesis y la implementación de la política. Por esta razón de todos ellos se propone seleccionar los relacionados con la dimensión resultados y dentro de ésta los de carácter procedimental y de eficacia decisoria.

Con la propuesta que se efectúa, la evaluación de la participación en evaluaciones integrales se centraría en el conocimiento de si el proceso participativo responde o no a una voluntad clara de incorporar la voz de los ciudadanos y de los grupos de interés al diseño o implementación de las políticas y con qué grado de compromiso, si se han considerado como valores principales la pluralidad y la diversidad y si la política incorpora en su diseño o implementación los resultados de los procesos participativos.

REFERENCIAS

AEVAL. (2009). La función evaluadora: Principios orientadores y directrices de actuación en la evaluación de políticas y programas. Madrid. Ministerio de la Presidencia.

AEVAL. (2015). Guía práctica para el diseño y la realización de evaluaciones de políticas públicas. Madrid. Ministerio de Hacienda y Administraciones Públicas.

Aguilar Villanueva, L.F. y Bustelo, M. (2010). “Gobernanza y evaluación: una relación potencialmente fructífera”. Gestión y Análisis de Políticas Públicas n.º 4.

Anduiza, Eva y de Maya, Sergi. (2005). “La qualitat en la participació: una proposta d’indicadors”. Finestra Oberta 43:7-72.

Banco Interamericano de Desarrollo. (2013). De la participación a las políticas: evaluación del impacto de la participación ciudadana en el cercado de Lima. Foro Nacional Internacional.

Cardozo Brum, Myriam. (2008). “Gestión y evaluación participativa en políticas sociales”. Política y Cultura 30: 137-163.

Castellá, Carola y Jorba, Laia. (2005). “Evaluación de las experiencias participativas en la gestión local de Cataluña: potencialidades y amenazas”. Gestión y Análisis de Políticas Públicas 32: 79-98.

Cunill Grau, Nuria. 2008. “La construcción de ciudadanía desde una institucionalidad pública ampliada”, en Mariani, R., coord., Contribuciones al debate: Democracia/Estado/Ciudadanía Hacia un Estado de y para la democracia en América Latina. PNUD-UE.

Del Pino, Eloísa y Colino, César. (2007). “Un fantasma recorre Europa: renovación democrática mediante iniciativas de promoción de la participación ciudadana en los gobiernos locales (Alemania, Francia, Reino Unido y España).” Documento de trabajo 07-06. Unidad de Políticas Comparadas. CSIC.

Font Fábregas, Joan. (2004). “Participación ciudadana y decisiones públicas: conceptos, experiencias y metodologías”, en Ziccardi, A., ed., Participación ciudadana y políticas sociales en el ámbito local.

Gaventa, J., y G. Barrett. 2010. “So What Difference Does it Make? Mapping the Outcomes of Citizen Engagement”, IDS Working Paper 347.

Grau-Solés, Marc, Íñiguez-Rueda, Lucipinio, Subirats, Joan. (2011). “¿Cómo gobernar la complejidad? Invitación a una gobernanza urbana híbrida y relacional”, Athenea Digital 11: 63-84.

Irarrazábal, Ignacio. (2005). “Participación ciudadana en programas de reducción de la pobreza en América Latina: experiencias en Argentina, Chile, Perú y Paraguay”. BID.

Jorbá, Laia, Martí, Joel y Parés, Marc. (2007). “La qualitat en la participació: orientacions per a l’avaluació participada. Finestra Oberta 51: 5-45.

Mansuri, G., y V. Rao, 2011. Localizing development. Washington: Banco Mundial.

Parra Ramírez, Esther. (2007). “La participación ciudadana en el ámbito de las políticas públicas”. Reflexión Política 9:76-87.

Rodríguez García, M.ª Jesús, Mateos Mora, Cristina, Navarro, Clemente. (2011). “La evaluación de los mecanismos de participación ciudadana a través de sus rendimientos. El caso de la feminización de los presupuestos participativos de Sevilla”. Revista Internacional de Organizaciones 7: 175–191.

Rodríguez Herrero, Gorka. (2011). “La descentralización y la participación ciudadana a debate: un escenario de futuro complejo”. Gestión y Análisis de Políticas Públicas 5.

Ruiz Martínez, Ana. (2012). “Panorámica actual de la evaluación de políticas públicas”. Presupuesto y Gasto Público 68:13-23.

Sol Arriaza, Ricardo. (2012). El desafío de la participación ciudadana en el Estado democrático de derecho. Avances y retos de la participación ciudadana en la gestión de políticas públicas, en espacios institucionales de los estados centroamericanos. FLACSO.

Ziccardi, Alicia. Los actores de la participación ciudadana. Instituto de Investigaciones Sociales UAM. MIMEO.