Influencia internacional de la experiencia de la AEVAL1

International influence of the National Agency of Public Policies and Quality of Services Evaluation (AEVAL) experience

Feinstein, Osvaldo

Universidad Complutense de Madrid (España – Spain)

ORCID: https://orcid.org/0000-0001-6144-0614

ofeinstein@yahoo.com

NOTA BIOGRÁFICA

Profesor en el Máster en Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid. Autor y editor de libros y artículos sobre evaluación y desarrollo. Ha sido profesor en varias universidades e instituciones europeas y latinoamericanas, incluyendo la Maestría en Estudios de Desarrollo de la Facultad Latinoamericana de Ciencias Sociales (FLACSO/Ecuador), el programa de desarrollo profesional de la Sociedad Europea de Evaluación (EES) y el Instituto Europeo de Administración Pública (EIPA). Fue asesor y gerente en el Departamento de Evaluación del Banco Mundial y evaluador principal del Fondo Internacional de Desarrollo Agrícola (FIDA) de Naciones Unidas.

RESUMEN

El objetivo de este trabajo es analizar y sintetizar la experiencia de AEVAL como referencia e influencia internacional en la institucionalización de la evaluación, aportando evidencias de dicha influencia y sobre la utilización por organismos internacionales de la experiencia de AEVAL como referencia para varios países. Se destaca la influencia internacional de esta experiencia española de institucionalización de la evaluación. Organismos internacionales como la OECD y el Banco Mundial tomaron a AEVAL como uno de los referentes clave. En América Latina, el CLAD y la ReLAC difundieron la experiencia de AEVAL y algunos países como Argentina, Chile y México se basaron en AEVAL para el diseño de entidades de evaluación a nivel nacional y/o subnacional. Después de una breve consideración metodológica, incluyendo una teoría del cambio, se presentan como resultados un conjunto de actividades que han contribuido a la influencia internacional de AEVAL. El artículo concluye que AEVAL se ha constituido en una referencia internacional con respecto a la institucionalización de la evaluación, particularmente en América Latina y el Caribe. Además su influencia también se ha extendido, aunque en menor medida, a África, Europa y a organismos internacionales.

PALABRAS CLAVE

Influencia; institucionalización; evaluación; América Latina.

ABSTRACT

The objective of this article is to analyze and synthesize AEVAL’s experience as a reference and international influence in the institutionalization of evaluation, providing evidence of such influence and on the use by international organizations of AEVAL’s experience as a model for several countries. The international influence of this Spanish experience of institutionalization of evaluation is highlighted. International organizations such as the OECD and the World Bank took AEVAL as one of their key references. In Latin America, CLAD and ReLAC disseminated the AEVAL experience and some countries such as Argentina, Chile and Mexico relied on AEVAL for the design of evaluation entities at the national and / or subnational level. After a methodological discussion, including a theory of change, a set of activities that have contributed to the international influence of AEVAL are presented as results. The article concludes that AEVAL has become an international reference regarding the institutionalization of evaluation, particularly in Latin America and the Caribbean. Furthermore, its influence has also extended, although to a lesser extent, to Africa, Europe and international organizations.

KEYWORDS

Institutionalization; evaluation; influence; Latin America.

SUMARIO

1. INTRODUCCIÓN. 2. MARCO TEÓRICO. 2.1. MARCO TEÓRICO DE LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN. 2.2. MARCO TEÓRICO PARA EVALUAR LA INFLUENCIA INTERNACIONAL DE AEVAL. 3. RESULTADOS. 3.1. DIFUSIÓN Y UTILIZACIÓN DE LA EXPERIENCIA DE AEVAL POR PARTE DE ORGANISMOS INTERNACIONALES. 3.1.1. La Red de Monitoreo y Evaluación. 3.1.2. Publicación del Banco Mundial. 3.1.3. Los congresos internacionales anuales del CLAD. 3.1.4. Publicación de la OCDE. 3.2. INFLUENCIA DE LA EXPERIENCIA DE AEVAL EN AMÉRICA LATINA. 3.2.1. Encuentro iberoamericano sobre institucionalización de la evaluación. 3.2.2. Conferencia de la Red Latinoamericana de Evaluación (ReLAC). 3.2.3. Seminario en Santa Cruz de la Sierra (Bolivia). 3.2.4. Cooperación con la Fundación Iberoamericana para la Gestión de Calidad (FUNDIBEQ). 3.2.5. Influencias en países específicos de América Latina. 3.3. INFLUENCIA EN ÁFRICA. 3.4. INFLUENCIA EN EUROPA. 3.4.1. Reuniones conjuntas. 3.4.2. Otras actividades de AEVAL con influencia en Europa. 4. CONCLUSIONES. REFERENCIAS BIBLIOGRÁFICAS.

1. INTRODUCCIÓN

Este artículo analiza y sintetiza la experiencia de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) durante el período de su actuación (2007-2017) como referencia e influencia internacional en la institucionalización de la evaluación, aportando evidencias de dicha influencia y sobre la utilización por organismos internacionales de la experiencia de AEVAL como referencia para varios países2.

Además del aporte en España a la cultura y la práctica de la evaluación, se destaca la influencia internacional de esta experiencia española de institucionalización de la evaluación. Organismos internacionales como la OECD y el Banco Mundial tomaron a AEVAL como uno de los referentes clave. En América Latina, el CLAD y la ReLAC difundieron la experiencia de AEVAL y algunos países como Argentina, Chile y México se basaron en AEVAL para el diseño de entidades de evaluación a nivel nacional y/o subnacional.

El marco teórico desarrollado y utilizado para abordar el objeto de estudio se presenta en la sección 2, aclarando que se trata de un estudio de caso de la influencia internacional de una experiencia nacional de institucionalización de la evaluación. En esta sección también se describen las herramientas y técnicas de análisis empleadas. Los resultados de la aplicación del marco teórico son expuestos en la sección 3, después de la cual se presentan las conclusiones del artículo.

2. MARCO TEÓRICO

Cabe destacar que el tema de este artículo no es la institucionalización de la evaluación en España, que es el propósito de varios trabajos (algunos de los cuales están incluídos en este número de la Revista). El objetivo es considerar la influencia internacional de la experiencia de AEVAL. No obstante, un marco teórico correspondiente a la institucionalización de la evaluación facilita la identificación de las líneas de la influencia internacional sobre la institucionalización. Por eso esta sección comienza con una referencia a dicho marco teórico y continúa con un marco conceptual para el análisis de la influencia internacional de la experiencia de institucionalización de AEVAL.

2.1. Marco teórico de la institucionalización de la evaluación

Algunas publicaciones recientes han utilizado para el análisis de la institucionalización de la evaluación un marco teórico basado en la consideración de tres subsistemas: el sistema político, el sistema social y el sistema de la profesionalización (Stockmann et al., 2020, p. 15; empleado también en Stockmann et al., 2022).

Un marco teórico alternativo, que no requiere suponer la existencia de un sistema inexistente (el «sistema de la profesionalización») y que corresponde a una «teoría de alcance medio» (en el sentido de ­Merton), más orientada a la práctica y al análisis empírico, es un enfoque centrado en la demanda y oferta de evaluaciones (Feinstein, 2012a) que permite generar un índice de institucionalización de la evaluacion3. En este marco se considera una variedad de demandas (de los distintos niveles de gobierno, de la sociedad civil, de organismos internacionales), diferentes fuentes de oferta de evaluaciones (del sector público, del sector privado, de las universidades) y modalidades de articulación de demandas y ofertas de evaluación. Formalmente,

(D ^ S ^ A) → I

Siendo D: Demandas de evaluación.

S: Ofertas de evaluación.

A: Modalidades de articulación de demandas y ofertas evaluativas.

I: Institucionalización de la evaluación.

En Bustelo (2020) se trata el caso de la institucionalización de la evaluación en España incluyendo varias referencias a AEVAL. Los próximos párrafos de esta sección presentan un marco teórico para considerar la influencia internacional de la institucionalización de la evaluación, que es el objetivo de este artículo.

2.2. Marco teórico para evaluar la influencia internacional de AEVAL

Evaluar la influencia de una experiencia en un contexto determinado sobre otras experiencias en contextos diferentes es un reto porque intervienen varios factores que mediatizan la influencia (cuando existe). Una forma en que se aborda este tipo de situaciones es enfatizando la «contribución» de la experiencia influyente sin intentar «atribuir» efectos específicos sobre la experiencia influida.

Hay que tomar en cuenta que la influencia puede operar con un rezago en el mediano o largo plazo. Además, no es necesario ni suficiente que se encuentren referencias explícitas a una experiencia para afirmar su influencia (o para negarla cuando dichas referencias no son explícitas).

También es útil, cuando sea factible, consultar con informantes clave que puedan aportar evidencias de la influencia investigada.

Dadas las dificultades apuntadas para establecer la influencia de modo concluyente, un enfoque más modesto es focalizar la atención en las actividades mediante las cuales se pudo ejercer influencia, en lugar de centrarse exclusivamente en los resultados. La influencia resultaría de la difusión y consiguiente uso de la experiencia de AEVAL, como se indica en la «teoría del cambio» (cuadro 1).

Este marco teórico orienta el estudio de caso de la influencia internacional de una experiencia nacional de institucionalización de la evaluación. La teoría del cambio presentada en el cuadro 1 guía la reconstrucción del caso mediante una revisión de fuentes secundarias, bases de datos, textos legales y comunicaciones personales (testimonios).

Cuadro 1. Teoría del cambio para la influencia internacional de AEVAL

 

Fuente: Elaboración propia.

Finalmente, se puede distinguir entre una «influencia real», efectiva, verificada, y una «influencia potencial», que podría materializarse en el futuro si se presentan condiciones similares (por ejemplo, proyectos futuros de entidades con fines parecidos a los de AEVAL). La diferencia entre la «influencia potencial» y la «influencia real» sería la «brecha de influencia». Cabe destacar que tomando en cuenta el marco teórico de la institucionalización de la evaluación mencionado en la sección anterior, pueden considerarse influencias sobre la demanda y sobre la oferta de evaluación, así como sobre su vinculación. Para determinar el impacto de la influencia habría que realizar estudios comparativos específicos.

3. RESULTADOS

3.1. Difusión y utilización de la experiencia de AEVAL por parte de organismos internacionales

En esta sección se describen algunos de los «canales» internacionales que han contribuido a la influencia internacional de la experiencia de AEVAL. Como ha señalado Juan Burdiel, «las conexiones exteriores bien desarrolladas conllevan un mejor y más rápido aprendizaje, sobre todo para las entidades evaluadoras de reciente creación. Y la trasmisión de las propias experiencias y su discusión con otras entidades son enriquecedoras para todos» (2022, comunicación personal).

3.1.1. La Red de Monitoreo y Evaluación

La Red de Monitoreo y Evaluación es una iniciativa conjunta entre el Banco Mundial y el Banco Interamericano de Desarrollo. En ella participan más de 350 altos y medianos funcionarios encargados de procesos de monitoreo y evaluación. Este grupo analiza los logros y las dificultades surgidas durante la institucionalización de los sistemas de M&E. y anualmente organiza la Conferencia Anual de la Red de Monitoreo y Evaluación de América Latina y el Caribe. AEVAL ha participado en estas conferencias que han difundido su experiencia en América Latina. Por ejemplo, en García López et al. (2010), un libro basado en las conferencias de la Red en Belo Horizonte, 2008 y en Bogotá, 2009, se incluye un documento que describe la experiencia de AEVAL.

3.1.2. Publicación del Banco Mundial

El Banco Mundial ha publicado una serie de documentos sobre experiencias internacionales en evaluación. Estos materiales son utilizados como referencias en la asistencia técnica a los países. Uno de dichos documentos (Feinstein y Zapico-Goñi, 2010) es sobre el caso español, y una parte significativa de este trabajo está dedicado a AEVAL, describiendo en detalle la experiencia a partir de la cual se derivan las siguientes lecciones:

Lecciones de la experiencia de AEVAL:

1. Inspirarse en otras experiencias pero no intentar copiarlas.
2. Tomar en cuenta que la institucionalización de la evaluación requiere un tiempo considerable.
3. Establecer un órgano asesor como mecanismo de apoyo y legitimación, incorporando representantes de instituciones académicas y del sector público.
4. Involucrar a diferentes niveles de gobierno, incluyendo regiones y sectores.
5. Instaurar un sistema de control de calidad de las evaluaciones.
6. Vincular la evaluación de políticas con la evaluación de la calidad de los servicios.
7. Utilizar diferentes métodos y enfoques dependiendo del contexto, necesidades y capacidades.
8. La ubicación institucional del ente evaluador debe optimizar la coordinación, rendición de cuentas y aprendizaje.
9. Vincular la evaluación de políticas con la programación y el presupuesto.
10. La diseminación de las evaluaciones no debe limitarse a su publicación en internet.

Fuente: Elaboración propia en base a Feinstein y Zapico-Goñi (2010).

Esta publicación del Banco Mundial considera que las lecciones emergentes de la experiencia de ­AEVAL pueden ser relevantes para países de América Latina y también para otras regiones del mundo.

3.1.3. Los congresos internacionales anuales del CLAD

Los congresos internacionales anuales del Centro Latinoamericano de Desarrollo (CLAD) han sido una plataforma internacional en la cual se ha presentado la experiencia de AEVAL ante audiencias de la administración pública de América Latina y el Caribe. Estos congresos son los encuentros de mayor importancia en Iberoamérica para presentar y debatir experiencias e investigaciones realizadas sobre la Reforma del Estado y de la Administración Pública. AEVAL ha tenido una participación destacada en los congresos del CLAD durante la década 2007-2017.

Por ejemplo, en el Congreso del CLAD en el 2016, la entonces presidenta de la Agencia, Ana María Ruiz Martínez, fue la coordinadora del área temática “Evaluación, gestión de calidad e innovación como herramientas para la efectividad de las instituciones públicas” y en el Congreso de 2017 presentó una ponencia sobre enfoques e instrumentos para la medición del impacto de las políticas públicas (Ruiz, 2017).

En el Congreso del CLAD en 2010, María Luisa Carcedo, quien era la presidenta de la Agencia de Evaluación y Calidad, coordinó un panel titulado “¿Qué esperan los ciudadanos del Estado?: construir sistemas de inteligencia para la reforma del Estado y la mejora de la acción pública”. En el último Congreso del CLAD, en el año 2020, el área temática “Evaluación, gestión de calidad e innovación como herramientas para la efectividad de las instituciones públicas” fue coordinada por el primer presidente de AEVAL, Juan Antonio Garde Roca, quien durante su presidencia de la Agencia en el Congreso del CLAD en 2007 coordinó el panel “La evaluación institucional de políticas públicas: un instrumento para la eficiencia y la calidad democrática”, ubicado en el área temática de “Innovaciones en la gestión de políticas públicas” y realizó una exposición sobre AEVAL como un reto institucional en el espacio público (Garde, 2007). Algunas de las presentaciones en congresos del CLAD sobre la experiencia de AEVAL se publicaron como artículos en la Revista del CLAD, Reforma y Democracia, por ejemplo Del Pino y Díaz (2011) y Feinstein (2010).

3.1.4. Publicación de la OCDE

La OCDE en su publicación sobre ideas para América Latina (OCDE, 2011) hace varias referencias a la AEVAL como uno de los modelos a tomar en cuenta. Destaca que.

«se debe prestar especial atención a la AEVAL de España, dado que a diferencia de las experiencias de otros países que dependen de las agencias existentes, ésta es una nueva agencia explícitamente creada para implementar una nueva perspectiva en la evaluación de programas y políticas en España. En un intento por alejarse de enfoques más estructurados, esta nueva agencia se caracteriza por una visión muy flexible de la evaluación de políticas y programas. Esto constituye un enfoque innovador para la evaluación en España» (OCDE, 2011, p. 76).

3.2. Influencia de la experiencia de AEVAL en América Latina

Además de la participación activa en los congresos internacionales del CLAD, AEVAL también organizó y/o intervino en otros eventos relacionados con la evaluación en América Latina y el Caribe, comunicando su experiencia y estableciendo las bases para ejercer influencia. Algunos de esos eventos son mencionados en los párrafos siguientes.

3.2.1. Encuentro iberoamericano sobre institucionalización de la evaluación

Entre el 30 de septiembre y el 2 de octubre de 2015, la Secretaría General de Cooperación Internacional para el Desarrollo del Ministerio de Asuntos Exteriores y de Cooperación de España, la Agencia Española de Cooperación Internacional para el Desarrollo (AECID) y la Fundación Internacional y para Iberoamérica de Administración y Políticas Públicas (FIIAPP) organizaron en Cartagena de Indias (Colombia) un evento sobre la institucionalización de la evaluación.

La entonces presidenta de AEVAL, Ana María Ruiz Martínez participó en dicho encuentro con una presentación sobre la institucionalización de la evaluación en España, difundiendo la experiencia de AEVAL. Esta actividad de intercambio y reflexión conjunta contó con representantes de 14 países de la comunidad Iberoamericana –12 latinoamericanos y 2 europeos–, a los que se ha sumado la presencia del Instituto de Evaluación del Desarrollo de Alemania (DEVAL); de organismos regionales como el SICA y la SEGIB; de instituciones financieras de desarrollo como el BID; y de iniciativas que apoyan el fortalecimiento de la evaluación, como ONU Mujeres, CLEAR, RELAC y los programas FOCEVAL y Eurosocial.

3.2.2. Conferencia de la Red Latinoamericana de Evaluación (ReLAC)

Celebrada en Bogotá del 19 al 21 de julio de 2007. En un panel de presentación de la Agencia de Evaluación y Calidad, se describió el proceso de creación de la Agencia, su plan de acción y las actividades en curso. Se debatieron, además, algunas lecciones extraídas de la experiencia de la Agencia, relevantes para los países iberoamericanos. La conferencia fue organizada por la ReLAC y contó con la participación de representantes de 16 países iberoamericanos (Argentina, Bolivia, Chile, Brasil, Colombia, Costa Rica, Ecuador, El Salvador, Honduras, México, Nicaragua, Paraguay, Perú, República Dominicana, Uruguay y Venezuela). También estuvieron presentes UNICEF, el Banco Interamericano de Desarrollo, el Banco Mundial, el Fondo Ambiental Mundial, AECI y la ONG internacional «Visión Mundial».

3.2.3. Seminario en Santa Cruz de la Sierra (Bolivia)

Del 23 al 26 de julio de 2007. La Agencia organizó un seminario sobre «La Administración Pública del siglo xxi: la evaluación de políticas públicas y la calidad de los servicios. La Agencia de Evaluación y Calidad». Este evento fue realizado en el Centro de Formación de la Agencia Española de Cooperación Internacional (AECI) de Santa Cruz de la Sierra (Bolivia). En el seminario participaron funcionarios públicos de Argentina, Bolivia, Brasil, Colombia, Costa Rica, Ecuador, Paraguay, Perú y República Dominicana, además de una diputada de Costa Rica, un asesor del Senado de Bolivia y un Asesor de la Oficina de Evaluación del Programa de las Naciones Unidas para el Desarrollo.

El director del Departamento de Calidad de los Servicios de AEVAL, Joaquín Ruiz, realizó una presentación sobre la evaluación de la calidad de los servicios públicos. El desarrollo del seminario de la AECI de Santa Cruz de la Sierra permitió conocer la experiencia de la Agencia española de Evaluación y Calidad a un conjunto de representantes de varios países iberoamericanos. Además, se constituyó una red informal de comunicación e intercambio para apoyar el proceso de institucionalización y el desarrollo de capacidades en evaluación y calidad, la RIA (Red para la institucionalización de la evaluación en América Latina).

3.2.4. Cooperación con la Fundación Iberoamericana para la Gestión de Calidad (FUNDIBEQ)

AEVAL ha colaborado de una manera continua en el período 2007-2017 con FUNDIBEQ, participando en su Patronato, Comité Ejecutivo y Convención. También ha participado en reuniones con representantes de países latinoamericanos, como se indicará en la próxima sección.

Pero antes es interesante comparar la influencia internacional de AEVAL con la del Fondo Español para la Evaluación de Impacto (SIEF), dotado por el gobierno español con 10 millones de euros y que fue implementado por el Banco Mundial: el SIEF no ha tenido ninguna influencia en la institucionalización de la evaluación, aun cuando ha generado numerosas evaluaciones (lideradas por expertos del Banco Mundial) y un manual sobre evaluación de impacto (Feinstein, 2012b).

3.2.5. Influencias en países específicos de América Latina

Una delegación de representantes del gobierno de Brasil visitó en 2012 AEVAL para conocer la experiencia de implantación de las Cartas de Servicio. También hubo visitas de delegaciones de Costa Rica y de Panamá con el propósito de informarse sobre cómo la Agencia llevaba a cabo sus funciones, tanto en el campo de la evaluación de las políticas y programas públicos como en el de la evaluación y promoción de la calidad de los servicios públicos. Además, AEVAL organizó y coordinó un seminario y una visita técnica de funcionarios de la Secretaría de la Administración Pública del Ecuador y de uno de los ministerios del gobierno ecuatoriano.

• Otra forma en que AEVAL intervino y que puede haber aumentado su influencia en América Latina es acogiendo alumnos en prácticas del Máster en Administración y Gerencia Pública integrado en el programa de formación para Iberoamérica del INAP y orientado a funcionarios de países iberoamericanos, quienes participaron en sesiones de trabajos prácticos relacionados con la evaluación de políticas públicas y la gestión de calidad de las organizaciones (AEVAL, 2013). Asimismo, AEVAL desarrolló periódicamente talleres en la FIIAPP para alumnos de países latinoamericanos sobre experiencias de evaluación de políticas públicas.
• En Chile, el programa de gobierno de la primera presidencia de Michelle Bachelet incluía un proyecto de creación de una Agencia de Evaluación de características similares a AEVAL. Para avanzar en el desarrollo de ese proyecto, en marzo de 2007 la Subsecretaria de Hacienda de Chile y la Directora de División de la Dirección General de Presupuestos visitaron AEVAL, entrevistándose con el Presidente de la Agencia y con su equipo directivo para conocer el proceso de creación y desarrollo de AEVAL y recabar información sobre su modelo de organización y sobre el funcionamiento de los programas de evaluación y calidad en la administración española. Continuando esta relación el presidente de AEVAL fue invitado en septiembre de 2007 por «Chile Calidad» como ponente de su Seminario Internacional y para realizar entrevistas con los Ministerios de Hacienda y de Presidencia con el propósito de transmitir la experiencia de creación de AEVAL.
• En Guatemala 2011, AEVAL participó en la formación de evaluadores y contribución a la difusión de la cultura de calidad y en Bolivia en un Seminario de Gestión de Servicios Públicos al Ciudadano.
• En Formosa (Argentina) 2011, AEVAL intervino en las jornadas sobre innovación y calidad en las que participaron más de 600 funcionarios públicos de las diferentes administraciones provinciales argentinas y de la Secretaría de Administración Pública del Gobierno de la Nación.

Complementando las informaciones precedentes4, se cita a continuación un testimonio de Natalia Aquilino, Directora de Monitoreo y Evaluación de un prestigioso think tank argentino, el Centro de Implementación de Políticas Públicas para la Equidad y el Crecimiento (CIPPEC): «Para nosotros, en CIPPEC, siempre fue una inspiración mirar a AEVAL. La experiencia de AEVAL tuvo influencia en Argentina en dos dimensiones: como diseño institucional inspirador (caso del Gobierno de la Ciudad de Buenos Aires que buscaba fundir evaluación y calidad) y como diseño herramental para tomar de ejemplo en cuanto a manuales y procedimientos de trabajo evaluativo. Como docente de posgrado, siempre utilicé textos de AEVAL como casos de estudio en el área de institucionalización. Considero que la experiencia de AEVAL fue y es muy útil para informar las decisiones vinculadas al marco legal, la sustentabilidad y la práctica evaluadora en la que se da la evaluación en América Latina. Es fundamental aprender de esa experiencia»5.

3.3. Influencia en África

En enero de 2008, una delegación de Marruecos visitó la Agencia de Evaluación y Calidad para conocer el modelo español de evaluación de políticas públicas como referencia para el proyecto de la OCDE de “Buena Gobernanza para el Desarrollo de los Países Árabes” que tenía prevista la creación en Marruecos de un Centro Regional de Evaluación de Políticas Públicas para el área MENA (Próximo Oriente y Norte de África). Dos años más tarde, en Rabat 2010, tuvo lugar la reunión del Grupo de Trabajo sobre Evaluación de Políticas Públicas en el marco del Programa MENA de Gobernanza de la OCDE con una intervención destacada de AEVAL, presentando la experiencia española de institucionalización de la evaluación de políticas públicas.

Además, cabe destacar la participación de AEVAL en el Seminario Internacional TAIEX (que es el instrumento de la Comisión Europea para la asistencia técnica) en Túnez en marzo 2016. El objetivo del seminario fue facilitar la definición de una estrategia para establecer mecanismos de evaluación de las políticas públicas, con el fin de aumentar la transparencia y la eficacia de la acción pública.

Por otra parte, fue importante la influencia en Argelia, en el proyecto europeo “Jumelage DZ-23”, liderado por los ministerios de Economía de España y Francia, en 2017-2018. Cabe mencionar que la guía metodológica de evaluación de políticas públicas elaborada para la Inspección General de Finanzas del Ministerio de Economía Argelino señala en su Introducción que junto a las euro-guías y manuales sociales FIIAPP y la información disponible de France Stratégique, la guía práctica para el diseño y la implantación de evaluaciones de políticas públicas de AEVAL fue fundamental para los tres últimos capítulos de dicha guía metodológica.

3.4. Influencia en Europa

En Europa la influencia de AEVAL se materializó mediante su participación en un conjunto de actividades como las que se indican a continuación:

3.4.1. Reuniones conjuntas

• Grupos de Trabajo de la Red Europea de Administraciones Públicas (EUPAN): en Riga 2015, con la participación de las representaciones de los estados europeos, la Comisión Europea, y el Instituto Europeo para la Administración Pública (EIPA). En este marco AEVAL contribuyó a planificar la organización de la 8.ª Conferencia Europea de Calidad (8QC), las actividades relacionadas con el Modelo CAF y el intercambio de Buenas Prácticas sobre materias diversas de interés para los grupos.
• AEVAL participó en Dublín 2013 en el Grupo de Servicios Públicos Innovadores (IPSG) que elaboró el “Quality of Public Administration. A Toolbox for Practitioners” que, con una orientación muy práctica, contiene diversas perspectivas de la gestión pública, desde el diseño y evaluación de las políticas públicas a la gestión de los servicios.
• En Madrid 2010 hubo reuniones con los Directores Generales responsables de Administración Pública de los 27 países miembros de la red EUPAN (más delegados de la Comisión Europea y del EIPA) con el propósito de fomentar el aprendizaje y compartir experiencias para mejorar el servicio que las administraciones públicas prestan a los ciudadanos. AEVAL ejerció la Copresidencia de la reunión de la Red Europea de Administración Pública (EUPAN). La red EUPAN, en su propósito de mejorar el funcionamiento, competitividad y calidad de las administraciones públicas europeas, ha impulsado el trabajo de cuatro grupos de expertos: Recursos Humanos (HRWG), Servicios Públicos Innovadores (IPSG), e-Gobierno (eGov) y Diálogo Social (SDWG). AEVAL fue representante del grupo IPSG y ha presidido y organizado, junto a la Secretaría de Estado de Función Pública, la reunión celebrada en Madrid en la sede del INAP con motivo de la Presidencia Española de la UE. Los trabajos desarrollados por este grupo han tratado los tres temas transversales que reflejan los mayores asuntos de la administración pública europea a medio plazo: el funcionamiento, la sostenibilidad y su foco en el servicio a los ciudadanos.
• En Gödöllo (Hungría) 2011 tuvo lugar la 56.ª Reunión de los Directores Generales de la Red Europea de Administración Pública (EUPAN). La Agencia formaba parte del Grupo de Servicios Públicos Innovadores (IPSG), uno de los grupos integrantes de la red EUPAN. Durante la presidencia húngara de la Unión Europea, AEVAL ha estado implicada activamente tanto en los trabajos desarrollados por dicho grupo, en relación con el Marco Común de Evaluación (CAF), el Equipo de Aprendizaje sobre Gestión de la Satisfacción de los Clientes/Ciudadanos y la organización de los eventos europeos de calidad, como en el conjunto de proyectos promovidos por Hungría.
• En Genval (Bélgica), en la 55.ª Reunión de los Directores Generales de la Red Europea de Administración Pública (EUPAN). Durante la presidencia belga de la Unión Europea, AEVAL ha estado implicada activamente tanto en los trabajos desarrollados por el IPSG como en el conjunto de proyectos promovidos por Bélgica. Entre estas iniciativas, un proyecto de indicadores de rendimiento que, sobre la base de las actividades promovidas durante la presidencia española de la Unión Europea, recopiló de un conjunto de indicadores consensuados por los Estados Miembros para la medición del rendimiento de la gobernanza.
• En Floriana (Malta) 2017 AEVAL participó en la 9.ª Conferencia Europea de Calidad en las Administraciones Públicas (9QC) y en la reunión conjunta de los Grupos de Trabajo de la Red Europea de Administraciones Públicas (EUPAN). La delegación española intervino en cuatro de los seis talleres de trabajo, presentando la experiencia española y compartiendo e intercambiando puntos de vista sobre las cuestiones planteadas.

3.4.2. Otras actividades de AEVAL con influencia en Europa

• Encuentro entre la Presidencia de la Agencia y una delegación de funcionarios de la República de Bulgaria.
• Selección por parte de la Comisión Europea de los Sellos AEVAL de certificación del nivel de excelencia de las organizaciones públicas españolas como un caso ejemplar.
• Conferencia sobre la evaluación en España en el Tribunal de Cuentas de Francia, en colaboración con la Sociedad Francesa de Evaluación (2011).
• Participación en el 4.º evento europeo de usuarios del CAF en Bucarest. Con el lema «Impulsando la administración pública en tiempos difíciles», el evento congregó a unos 400 representantes provenientes de los estados miembros de la Unión Europea, cuyas delegaciones, encabezadas por los corresponsales nacionales del CAF en cada estado, expusieron casos prácticos de aplicación del CAF en sus respectivos territorios. AEVAL era corresponsal del CAF en España.
• Participación en Foros Europeos durante la Presidencia Española de la UE.
• Participación en el Encuentro de corresponsales del CAF en Maastricht (AEVAL era el corresponsal nacional del CAF). En este Encuentro Europeo de 2010 participaron representantes nacionales de 18 estados europeos, presentándose el documento de adaptación del CAF a la Educación, así como el nuevo procedimiento de feedback externo.
• Discusión en 2010 sobre los resultados preliminares del proyecto europeo “Diálogo con los Ciudadanos Europeos” en el Grupo de aprendizaje organizado por AEVAL. Con motivo de la Presidencia Española de la UE, AEVAL organizó la reunión del Grupo de Aprendizaje sobre gestión de la satisfacción de los usuarios. En el marco de los trabajos dirigidos por la Presidencia Española de la UE, dentro del grupo de trabajo de Servicios Públicos Innovadores (IPSG) de la Red de Administración Pública de la UE (EUPAN), AEVAL ha organizado la reunión del Grupo de Aprendizaje sobre la Gestión de la Satisfacción de los Usuarios.
• Participación en 2016 en el Seminario de la OCDE sobre toma de decisiones basadas en evidencias, representando a España en el seminario de la OCDE “What Works and Evidence Informed Policy Making: Exploring the opportunities for International Collaboration”, en el cual se expusieron diferentes experiencias de la realización de evaluaciones que sirven como herramienta para la toma de decisiones basadas en evidencias en los países integrantes de la Organización. Se intercambió información acerca de la elaboración común de indicadores y fuentes de información.
• Vinculación con la Sociedad Europea de Evaluación realizando seminarios y reuniones de trabajo en España y Dinamarca.

4. CONCLUSIONES

AEVAL es una referencia internacional con respecto a la institucionalización de la evaluación, constituyendo una fuente de orientaciones para fortalecer las demandas y ofertas de evaluaciones, particularmente en América Latina y el Caribe.

La influencia internacional de AEVAL también se ha extendido, aunque en menor medida, a África, Europa y organismos internacionales.

Cabe destacar que la experiencia de AEVAL corresponde a una institución que formaba parte de un ministerio. De cara al futuro podrían considerarse las ventajas y desventajas de otras modalidades de inserción institucional de una agencia de evaluación, como su integración en el Congreso (el caso de la GAO en los Estados Unidos de América) o como una agencia independiente que apoya al Parlamento (el caso de la NAO en el Reino Unido).

REFERENCIAS BIBLIOGRÁFICAS

Agencia Estatal de Evaluación de Políticas Públicas y Calidad de los Servicios (2013). Informe General de Actividad 2012. Ministerio de Hacienda y Administraciones Públicas.

Bustelo, M. (2020). Spain. En R. W. Stockmann, W. Meyer y L. Taube (eds.), The Institutionalization of Evaluation in Europe (pp. 308-328). Palgrave Macmillan.

Del Pino, E. y Díaz Pulido, J. M. (2011). Lecciones aprendidas desde la experiencia española de análisis de la percepción ciudadana de los servicios públicos. Revistas del CLAD Reforma y Democracia, 49, 157-181. Disponible en https://www.redalyc.org/articulo.oa?id=357533681005

Feinstein, O. (2010). Relaciones entre la evaluación de las políticas y la calidad de los servicios. Disponible en Revistas del CLAD Reforma y Democracia, 46, 103-122. https://www.redalyc.org/pdf/3575/357533678004.pdf

Feinstein, O. (2012a). La institucionalización de las políticas públicas en América Latina. Presupuesto y Gasto Público, 68, 41-52. https://www.ief.es/docs/destacados/publicaciones/documentos_trabajo/2016_17.pdf

Feinstein, O. (2012b). Final Program Assessment Report: Spanish Impact Evaluation Fund (SIEF). https://vdocument.in/spanish-impact-evaluation-fund-siefsiteresourcesworldbankorginthdofficeresourcesdoc.html

Feinstein, O. y García Moreno, M. (2015). Seguimiento y Evaluación. En M. García Moreno, J. Kaufmann y M. Sanginés (eds.), Construyendo gobiernos efectivos: Logros y retos de la gestión pública para resultados en América Latina y el Caribe (pp. 209-248). Inter-American Development Bank. https://publications.iadb.org/es/construyendo-gobiernos-efectivos-logros-y-retos-de-la-gestion-publica-para-resultados-en-america

Feinstein, O. y Zapico-Goñi, E. (2010). Evaluation of Government performance and Public Policies in Spain [ECD Working Paper Series, 22]. IEG World Bank. https://openknowledge.worldbank.org/handle/10986/27913

García López, R., Laguzzi, H. y Rivera, K. (eds.) (2010). Desafíos en monitoreo y evaluación: una oportunidad para institucionalizar los sistemas de M&E. Banco Interamericano de Desarrollo y Banco Mundial. https://www.coplac-gprd.org/images/stories/Publicaciones/Monitoreo_y_Evaluacion/CD_MyE__Espaol.pdf

Garde Roca, J. A. (2007). La Agencia de Evaluación y Calidad de la Administración Española: Un Reto Institucional en el Espacio Público. XII Congreso Internacional del CLAD, Santo Domingo, República Dominicana, 30 de octubre-2 de noviembre.

Garde Roca, J. A. y Ruíz Martínez, A. (2019). La institucionalización de la evaluación en España y la experiencia de AEVAL. En M. J. Garde Garde, J. Gastón Catalán y T. Merola Macanás (coords.), Hacienda Pública y Gobernanza Fiscal en España: desafíos 2020. Instituto de Estudios Fiscales.

OCDE (2011). La formulación de políticas en la OCDE: Ideas para América Latina. Banco Mundial. https://documentos.bancomundial.org/es/publication/documents-reports/documentdetail/929251468017387470/la-formulacion-de-politicas-en-la-ocde-ideas-para-america-latina

Ruiz Martínez, A. M. (2017). Otros enfoques y otros instrumentos para la medición del impacto de las políticas públicas. XXII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 14-17 de noviembre. https://www2.congreso.gob.pe/sicr/cendocbib/con5_uibd.nsf/24C5095A2F11A280052582AB007A0989/$FILE/ruizmart.pdf

Stockmann, R., Meyer, W. y Szentmarjay, L. (eds.) (2022). The Institutionalization of Evaluation in the Americas. Palgrave Macmillan.

Stockmann, R., Meyer, W. y Taube, L. (eds.) (2020). The Institutionalization of Evaluation in Europe. Palgrave Macmillan.