gapp. Revista Gestión y Análisis de Políticas Públicas

Nueva Época, nº 8, julio-diciembre 2012, pp. 115-143

ISSN: 1134-6035

Evaluación Smart. Utilidad de la evaluación de la calidad
de los servicios

Ana M.ª López Ansede

Agencia de Evaluación de Políticas Públicas
y Calidad de los Servicios (AEVAL)
anamaria.lopez2@aeval.es

Joaquín Ruiz López

Agencia de Evaluación de Políticas Públicas
y Calidad de los Servicios (AEVAL)
joaquin.ruiz@aeval.es

Resumen

Este artículo, elaborado sobre la base de la evaluación de una exitosa experiencia de colaboración interadministrativa, la Ventanilla Única para el Comercio Exterior de Canarias (VEXCAN), sostiene la utilidad de las denominadas evaluaciones smart. Se trata de evaluaciones de la calidad de los servicios realizadas en tiempo oportuno (just in time), enfocadas a la mejora continua en todo el proceso (planificación, implementación, evaluación y mejora) y que posibilitan la identificación de buenas prácticas y su emulación, aspectos éstos especialmente relevantes en un gobierno multinivel como el del Estado español. Asimismo, estas evaluaciones facilitan el aprendizaje como introductorias para abordar evaluaciones más complejas.

Palabras clave

Calidad, servicio público, cooperación, simplificación, eficiencia.

Smart Evaluations. The Usefulness of the Public Services’ Quality Assessment

Abstract

The evaluation of the successful experience of inter administrative collaboration called VEXCAN (One stop shop for Canary Islands’ foreign trade), is the foundation of the present work. We intend to show how the “smart” evaluations became of great use. This kind of evaluations assess the quality of services, are developed just in time, are focused in a process of continuous improvement (planning, implementation, evaluation and improvement), and make possible the identification and replication of good practices. All these aspects are very significant for multilevel governments as Spanish one. Moreover, these evaluations enhance the necessary learning for developing more complex evaluations.

Keywords

Quality, public service, cooperation, simplification, efficiency.

1. INTRODUCCIÓN

Antecedentes

La Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) fue creada por Real Decreto 1418/2006, de 1 de diciembre, por el que se aprueba su Estatuto, en virtud de la autorización prevista en la Disposición adicional primera de la Ley 28/2006, de 18 de julio, de Agencias Estatales para la mejora de los servicios públicos. Entre los objetivos y competencias establecidos en el artículo 6 de dicho Estatuto se encuentran los de:

— Promover la cultura de evaluación y de calidad de los servicios e impulsar su práctica en la gestión pública.

— Elaborar y proponer metodologías (…) para la evaluación y la gestión de la calidad.

— Realizar trabajos de evaluación y análisis de políticas y programas públicos.

— Fomentar la mejora de la calidad de los servicios públicos como compromiso con la ciudadanía.

Por su parte, el artículo 23 de su Estatuto dispone que “el Plan de Trabajo de la Agencia forma parte del plan de acción anual, incluyéndose en el mismo los programas y políticas públicas a evaluar (…). En el Plan de Trabajo se determinará el alcance de cada una de las evaluaciones, los plazos para su ejecución y la unidad administrativa, de la propia Agencia de Evaluación o de otros órganos, responsable de su ejecución. Una vez aprobados dichos programas y políticas públicas por el Consejo de Ministros, el Plan de Trabajo se publicará en el Boletín Oficial del Estado.”

De acuerdo con tales previsiones, el Consejo de Ministros, en su reunión de 30 de marzo de 2007, aprobó los programas y políticas públicas que serían objeto de evaluación durante el año 2007 (primer Plan de Trabajo de AEVAL), entre las que se encontraba la Evaluación de la calidad del servicio de los museos de titularidad estatal.

Esta evaluación, como su propio nombre sugiere, adoptaba un enfoque metodológico centrado en el análisis de los procesos de gestión de los museos, considerados como servicios u organizaciones, y en sus resultados desde la perspectiva de la percepción de sus usuarios o visitantes. Este enfoque partía de algunas propuestas relativas a los servicios públicos incorporadas al Informe de la Comisión de Expertos para el estudio y creación de la Agencia de Evaluación y Calidad. Según estas tesis, todas las políticas y servicios públicos son evaluables, entendiéndose estos últimos como procesos de gestión esencial y prioritariamente prestacional, que corresponden a un nivel (meso o intermedio) de otra significación que las políticas, aunque en puridad no dejen de ser políticas o parte de políticas. Los servicios por lo general se estructuran en función de un fuerte componente de formalización administrativa y, paralelamente, sobre convenciones que los hacen más reconocibles, más aparentemente autodefinidos. La propia naturaleza de los servicios públicos no sólo facilita su evaluación, sino que, unida a la importancia que éstos poseen en la percepción ciudadana de la eficacia y eficiencia gubernamentales, han conducido a la consolidación de determinados modelos de evaluación, cuya aplicación ha desempeñado un papel relevante asociado a las estrategias de modernización y de gestión de la calidad en la Administración postgarantista (Vanaclocha et al., 2005).

Entre las conclusiones de índole metodológica del Informe de la Evaluación de la Calidad del servicio de los museos estatales debe destacarse la que señalaba que la misma se había centrado fundamentalmente en los resultados del servicio prestado en relación con sus usuarios, sin que se hubiera abordado una evaluación de proceso en sentido estricto. Tampoco había sido posible avanzar en aspectos como el papel real de los museos como instituciones culturales de referencia, ya que un enfoque de este tipo hubiera requerido un análisis del Plan Estratégico de la Red de Museos Estatales 2004-2008, y de los planes individualizados en los que existen, y de los museos como instrumentos necesarios para su implementación. Ello hubiera abocado a una evaluación de la implementación de los planes o programas vinculados a la política cultural museística, lo que evidentemente desbordaba el encargo realizado en esta materia por el Consejo de Ministros. Congruente con esta conclusión, la recomendación 4 del Informe postulaba la conveniencia de realizar una evaluación de la implementación del mencionado Plan Estratégico, lo que permitiría comprobar el logro de una de sus finalidades, cual era “la máxima calidad en el servicio ofrecido al ciudadano” (AEVAL, 2008).

Metodología de evaluación de la calidad de los servicios públicos

Fruto de este trabajo fue, además del Informe de Evaluación, la publicación de una “Guía de Evaluación de la Calidad de los Servicios Públicos” que respondía al planteamiento de llevar a cabo la elaboración teórica a partir de la praxis. Además, esta Guía participaba así de los objetivos estatutarios de AEVAL más arriba mencionados: realización de evaluaciones, elaboración metodológica y mejora de la calidad de los servicios públicos.

Ello es así porque AEVAL concibe la evaluación como un momento/fase del continuo de la acción pública, y la evaluación de la calidad de los servicios es, a su vez, una modalidad de la evaluación en general (Ruiz, 2005). Las políticas públicas suelen desplegarse en diferentes programas o conjuntos organizados de actividades, proyectos, procesos o servicios que están orientados a la consecución de objetivos específicos. En este entramado, los servicios constituyen los procesos de gestión más básicos, por lo que las evaluaciones de las políticas y de los servicios públicos deben necesariamente retroalimentarse. La evaluación rigurosa de los servicios tiene que valorar su consistencia con las políticas y programas en los que se enmarca. Por su parte, la evaluación de una política o programa debe contar con la información generada en el proceso de evaluación de los servicios. En este sentido, es muy posible que la información obtenida mediante la evaluación de la calidad de los servicios (los puntos fuertes y las áreas de mejora identificados) contribuya a una redefinición más precisa del problema público al que el servicio trata de atender y, en consecuencia, a la reformulación del servicio e incluso de la propia política, así como a su implementación (Vanaclocha et al., 2005). En definitiva, la metodología de evaluación de la calidad de los servicios públicos, empleando la doble perspectiva de la percepción de los usuarios de los mismos y del rendimiento de las organizaciones que los prestan, contribuye a la mejora de la práctica de la evaluación en general (AEVAL, 2012).

2. LA EVALUACIÓN DE LA CALIDAD DEL SERVICIO PRESTADO POR VEXCAn

Antecedentes de la evaluación

El Consejo de Ministros, en su reunión de 4 de marzo de 2011, aprobó los programas y políticas públicas que serían objeto de evaluación por AEVAL en el año 2011 entre los que figuraba la Evaluación externa de la Calidad del Servicio prestado por la Ventanilla Única para el Comercio Exterior de Canarias (VEXCAN).

Para dar cumplimiento al mandato del Consejo de Ministros e instrumentar la evaluación de VEXCAN, AEVAL y la Agencia Tributaria elaboraron y firmaron unos Términos de Referencia en los que se fijó el objeto y alcance de la evaluación y los objetivos y utilidades de la misma. Igualmente, se acordó la composición de un equipo mixto de evaluación que, de acuerdo al calendario establecido, debía llevar a término el informe solicitado.

La Ventanilla Única para el Comercio Exterior de Canarias

VEXCAN nace con el fin de paliar los perjuicios que para los operadores económicos canarios, y para la ciudadanía en general, supone el que dos Administraciones actúen sobre un mismo hecho económico (Díez y Campo, 2007).

Canarias, históricamente, ha venido disfrutando de un régimen fiscal diferente al del resto del territorio nacional. El carácter insular, la lejanía, las especiales condiciones geográficas, geológicas y climáticas, así como la escasez de recursos naturales han aconsejado un régimen fiscal específico dentro del ámbito de la legislación económica y fiscal española.

La situación fiscal actual canaria viene determinada por la incorporación de Canarias al territorio aduanero comunitario, por el cual dejó de ser un puerto franco y comenzó a aplicarse el Arancel Aduanero Común (ACC) y la Política Agraria Común.

Sin embargo, las especiales características de este territorio condicionaron que esta política agrícola se modulara con un Régimen Especial de Abastecimiento (REA) que contempla dos medidas, por un lado la no aplicación de derecho alguno a la importación de determinados productos originarios de terceros países en tanto no rebasen una cantidad determinada y, por otro, concede ayudas para el abastecimiento de productos comunitarios que formen parte de las existencias públicas, y que la aplicación del AAC igualmente se module con una serie de Medidas Específicas Arancelarias (MEAs) que suponen una excepción a la aplicación del AAC para productos industriales y bienes de equipo.

FIGURA 1

Gestión de la importación antes de VEXCAN

1

Fuente: Elaboración propia.

Por otro lado, Canarias se mantuvo fuera del ámbito de aplicación del sistema común del Impuesto del Valor Añadido (IVA) y, el espacio dejado por este impuesto fue cubierto por impuestos autonómicos, el Impuesto General Indirecto Canario (IGIC), el Arbitrio sobre las Importaciones y Entregas de Mercancías (AEIM) y, recientemente, el Impuesto Autonómico sobre las Labores del Tabaco.

Este régimen fiscal especial, modulado con numerosísimas excepciones y especificidades, implica que dos administraciones: la Agencia Estatal de Administración Tributaria (AEAT) y la Administración Tributaria Canarias (ATC) intervengan en la gestión de las figuras impositivas anteriormente mencionadas que recaen sobre las importaciones e introducciones, así como las exportaciones y expediciones, lo que básicamente se traduce en la necesidad de declarar el mismo hecho ante cada una de las administraciones y seguir un procedimiento administrativo diferenciado en cada administración.

Como se puede observar en el diagrama anterior, el usuario tenía que presentar dos declaraciones (DUAs), una ante la AEAT y otra ante la ATC (la declaración se podía presentar de forma electrónica o en papel) con su respectiva documentación anexa.

Cada administración realizaba su propio análisis de riesgo y, en función de este análisis, asignaba un circuito a la mercancía: verde, no requiere de intervención; naranja, requiere de presentación de documentación adicional, y rojo, requiere de inspección física y, realizaba sus propios controles.

Ambas administraciones disponían de sus propias formas de pago de derechos de hacienda y, finalmente, emitían el levante de la mercancía, a partir de la cual, y solo cuando se disponía de los dos levantes, la mercancía podía ser retirada del recinto aduanero.

En este escenario, la gestión de estos tributos ante las dos administraciones alcanzaba tal complejidad, y requería de tal inversión en tiempo y recursos, que habitualmente las empresas recurrían a agentes especializados (agentes de aduana y transitarios) para la realización de los trámites administrativos.

Además, esta gestión paralela, sin comunicación ni intercambio de información entre administraciones, implicaba un elevado riesgo de fraude fiscal, derivado de la diferente información suministrada a ambas administraciones en función del beneficio o carga fiscal esperada frente a cada una de ellas.

Para ponderar la importancia de los problemas derivados de esta dualidad gestora, cabe señalar que durante el año 2005, año inmediatamente anterior a la puesta en funcionamiento de VEXCAN, se gestionaron en la Aduana Española un total de 3.721.357 DUA’s, de los que casi el cincuenta por ciento se tramitaron ante la Aduana canaria.

Conscientes de la duplicidad e ineficiencia de la gestión, la AEAT y la ATC venían intentando paliar los efectos negativos que ésta producía a los operadores económicos con sucesivos intentos de mejora en sus procesos, aunque sin resultados definitivos.

Descripción del servicio evaluado

La continua inquietud de las administraciones en la búsqueda de mejorar el servicio prestado a los usuarios produjo un acercamiento en los procedimientos de trabajo que posibilitaron que el 8 de julio de 2005 el Presidente de la AEAT y el Consejero de Economía y Hacienda del Gobierno Canario firmaran un Convenio de Colaboración para la creación de una Ventanilla Única en el Ámbito Aduanero Canario.

A través del Convenio de Colaboración, ambas administraciones acuerdan establecer un procedimiento único y conjunto para formular declaraciones y despachar mercancías a través de medios electrónicos, que suponga una simplificación de los trámites a cumplir por los obligados tributarios, todo ello sin modificación alguna de sus respectivos ámbitos competenciales.

FIGURA 2

Triángulo de actores y relaciones institucionales

2.eps

Fuente: Elaboración propia.

El Convenio contiene un conjunto de medidas que, al tiempo de hacer posible la viabilidad técnica de un procedimiento conjunto (plataforma informática que gestione el procedimiento común, así como todas las funcionalidades requeridas para la gestión propia de cada administración), explicitan la colaboración entre ambas administraciones, abarcando intereses que van desde el intercambio de información para perseguir el fraude fiscal a la asistencia mutua en la vigilancia de las mercancías en los recintos portuarios y aeroportuarios.

Este procedimiento único y conjunto debe redundar en una mejora en la gestión de ambas administraciones así como en la simplificación de trámites administrativos y consiguiente ahorro de costes tanto para los usuarios como para las administraciones implicadas.

Para reforzar la colaboración, y llevar a buen término los objetivos a conseguir, se establecen tres esferas de actuación: el Comité Territorial de Dirección para la Gestión Tributaria, encargado de impulsar el desarrollo del Convenio, el Comité de Seguimiento, encargado de la superior dirección y control de los trabajos desarrollados y el Grupo de Trabajo, grupo de composición netamente técnica, que realizará las actuaciones necesarias para alcanzar los objetivos convenidos.

La vigencia de este Convenio se estableció en tres años, prorrogándose automáticamente por igual plazo si no existiese denuncia expresa de las partes.

Esquema conceptual de la evaluación

Como se ha mencionado más arriba, la evaluación VEXCAN tiene un enfoque que se centra en la calidad del servicio, lo que le confiere especificidades respecto a la evaluación de programas y políticas públicas (AEVAL, 2009 y 2010). Ahora bien, la evaluación de los servicios públicos (como es el caso de VEXCAN) debe partir de un concepto amplio e integral de la calidad.

De conformidad con el Acuerdo del Consejo de Ministros, el objeto de la evaluación es la calidad del servicio prestado por VEXCAN, lo que inicialmente remitiría a una evaluación de la percepción de los usuarios de dicho servicio o, en otras palabras, a una valoración de los resultados desde una perspectiva subjetiva. Sin embargo, como es sabido, los servicios poseen un cierto grado de formalización organizativa, lo que significa que se diseñan, se gestionan, se ofrecen y se prestan a los usuarios por medio de una organización o un dispositivo organizativo. Por consiguiente, la evaluación de la calidad del servicio prestado por VEXCAN, para responder cabalmente al mandato del Gobierno, no puede limitarse a la mera percepción de sus usuarios y beneficiarios, sino que necesariamente debe incorporar los aspectos objetivos o de rendimiento, como es la propia gestión del servicio. Se trata, en definitiva, de una evaluación fundamentalmente de resultados, aunque también contempla aspectos de proceso.

El enfoque metodológico adoptado en la evaluación se ajusta a esta realidad. Por un lado, la evaluación debe considerar la perspectiva de quienes utilizan y se benefician del servicio, analizando sus expectativas y su percepción. Esta perspectiva incluye no sólo a los usuarios directos del servicio sino que incorpora la visión de todos los grupos de interés, que pueden valorar no sólo la satisfacción con el servicio recibido, sino otros factores tales como la eficacia y la eficiencia, las mejores prácticas, etc.

Por otro lado, la evaluación debe analizar el sistema administrativo que moviliza distintos recursos (tecnológicos, económicos, materiales, etc.) a través de unos procesos y procedimientos en los que participan las personas de la organización.

En este sentido, es relevante tener en cuenta la referencia de la Carta de Compromisos con la Calidad de las Administraciones Públicas españolas (AEVAL, 2011), aprobada en la Conferencia Sectorial de Administración Pública de 16 de noviembre de 2009, documento que concibe la calidad en un sentido comprehensivo, como una estrategia común de modernización de todas las administraciones públicas orientada al ciudadano.

Con un enfoque integral, la Carta, incorpora todos aquellos aspectos que son relevantes para la mejora de los servicios públicos: el compromiso político, la cooperación interadministrativa, la simplificación administrativa, la administración electrónica, la eficiencia y la sostenibilidad, la innovación, la percepción y participación ciudadana, la evaluación, el desarrollo e implicación de los empleados, los sistemas de gestión, la transparencia y la rendición de cuentas.

En esta visión de la calidad de los servicios públicos, destacan cuatro aspectos especialmente significativos para esta evaluación:

1. La coordinación y cooperación, en el sentido de que entre las distintas administraciones públicas debe respetarse el principio de lealtad institucional y promoverse la participación en órganos de cooperación, estableciendo convenios y desarrollando planes y programas conjuntos que ponderen, en el ejercicio de las respectivas competencias, la totalidad de los intereses públicos implicados y que hagan posible el desarrollo del gobierno multinivel, en consonancia con la realidad de nuestro Estado y con los principios de la Gobernanza de la Unión Europea.

2 . La simplificación administrativa, de procesos, procedimientos y normas, que permite la mejora de las relaciones con los ciudadanos, de la eficacia y la eficiencia de la gestión pública, así como de la productividad nacional.

3 . El efectivo acceso electrónico a los servicios públicos reconocido en la Ley 11/2007, suministrando a los ciudadanos información sobre servicios y procedimientos, permitiendo la tramitación multicanal y el acceso electrónico a los expedientes.

4 . La percepción ciudadana, como mecanismo de retroalimentación para conocer la satisfacción de los usuarios y otros grupos de interés e identificar las eventuales áreas de mejora en el servicio.

Dado que el objeto de la evaluación es la Ventanilla Única para el Comercio Exterior de Canarias, iniciativa de cooperación interadministrativa que viene desarrollándose desde 2006, la evaluación realizada es, como se ha señalado, de resultados y también de proceso. El periodo analizado (2006-2010) recoge el diseño institucional y la configuración técnica e implantación de VEXCAN (2006-2007), quedando los tres años siguientes (2008-2010) como período de funcionamiento. Dicho lapso se ha considerado suficiente para la plena implantación del sistema electrónico soporte de VEXCAN y, desde el punto de vista de la evaluación, para que los distintos usuarios de la Ventanilla Única Aduanera de Canarias hayan podido formarse una opinión fundada sobre su operación, en relación con la situación previa a su existencia.

Criterios de evaluación

Dentro del concepto integral de calidad de servicio que se ha enunciado más arriba, los Términos de Referencia delimitan el alcance de la evaluación así como su finalidad y utilidad. Por su parte, la primera finalidad consiste en la valoración del cumplimiento de los objetivos establecidos en el Convenio de Colaboración suscrito entre la Agencia Tributaria y la Comunidad Autónoma de Canarias. Los elementos mencionados: alcance, finalidad y utilidad de la evaluación, así como objetivos del Convenio, determinan los criterios de la Evaluación de la VEXCAN.

En cualquier caso, VEXCAN es producto directo de un Convenio de Colaboración entre la AEAT y la Comunidad Autónoma de Canarias, por lo que el primer criterio de evaluación no puede ser otro que el de Gobernanza. Tras este criterio se encuentran aquellos otros que están directamente vinculados a los objetivos del Convenio: Facilitar el cumplimiento de las obligaciones tributarias de los administrados a través de la simplificación de trámites y la disminución de costes globales, estableciendo para ello un procedimiento único y conjunto de declaraciones por medios telemáticos ante la AEAT y la ATC. Por lo tanto, los criterios de valor son, además del de Gobernanza, los de Eficacia, Simplificación y Eficiencia. El quinto criterio de evaluación es de carácter transversal, pues recoge en su seno elementos de los anteriores, si bien desde el punto de vista de la Percepción de los grupos de interés.

Gobernanza/Cooperación Interadministrativa: a través de este criterio, la evaluación trata de analizar cómo se ha abordado y desarrollado la intervención pública de forma consensuada y participativa entre los distintos grupos de interés (institucionales y ciudadanos) a fin de lograr resultados que eviten duplicidades e ineficiencias susceptibles de producirse en el Estado Autonómico.

Eficacia: mediante este criterio se pretende valorar en qué medida se han cumplido los objetivos fijados en el Convenio de Colaboración, en términos de ejecución de las actividades programadas y de logro de los objetivos operativos del mismo. Igualmente se valora en qué medida VEXCAN ha contribuido a la mejora de la gestión recaudatoria y lucha contra el fraude.

Simplificación administrativa: con este criterio se persigue valorar en qué medida el procedimiento se ha hecho más sencillo y accesible para los usuarios, reduciendo trámites y acortando plazos. Asimismo, se valora su coherencia con la política general de simplificación de la AEAT.

Eficiencia: con este criterio se busca comprobar si la implantación de VEXCAN, por una parte, ha supuesto disminución de costes globales para los operadores y, por otra, ha comportado ahorros de costes de gestión para ambas administraciones. Complementariamente se analiza la contribución de VEXCAN a la política de e-administración.

Percepción: a través de este criterio subjetivo se trata de saber el conocimiento, opinión y satisfacción que tienen de VEXCAN todos los grupos de interés afectados por la misma, tanto los usuarios directos (Agentes de Aduana, Transitarios y Autodespachantes) como los beneficiarios últimos (empresarios y obligados tributarios).

Herramientas de evaluación

La metodología aplicada, que deriva de lo anterior, combina enfoques cuantitativos y cualitativos. La información utilizada en el proceso de evaluación procede tanto de fuentes internas y documentales como externas, de los propios grupos de interés.

Las herramientas utilizadas en distintas fases de la evaluación han sido las siguientes:

• Análisis documental.

• Análisis de los procesos de despacho aduanero y de importación/exportación antes y después de VEXCAN.

• Análisis de las aplicaciones informáticas gestoras de VEXCAN.

• Entrevistas en profundidad con los gestores.

• Entrevistas semi-estructuradas a grupos de interés.

• Encuesta a usuarios directos de VEXCAN.

• Análisis secundario de la encuesta de satisfacción de la AEAT 2008.

• Grupo Focal con usuarios indirectos o beneficiarios de VEXCAN.

• Comparación referencial (benchmarking) con otros países.

A continuación se muestra gráficamente el íter metodológico de la evaluación:

FIGURA 3

Íter metodológico de la evaluación

3.eps

Fuente: Elaboración propia.

De acuerdo con lo anterior, dada la naturaleza de la Ventanilla Única para el Comercio Exterior de Canarias, el análisis de resultados privilegia y parte desde una perspectiva de Gobernanza, entendiendo ésta como un sistema de conducción de los asuntos públicos que integra una serie de instituciones públicas y privadas y a los ciudadanos para acordar objetivos comunes, así como los recursos y actividades necesarios para el logro satisfactorio de tales objetivos (ONU, 2011).

Esta definición puramente convencional y operativa, a los efectos de esta evaluación, puede descomponerse en tres elementos básicos, que, a su vez constituyen los parámetros básicos para el análisis de VEXCAN:

• La definición consensuada de objetivos públicos

• La dirección orientada al logro de los objetivos

• El rendimiento (eficacia/eficiencia) en la gestión

El análisis e interpretación de resultados que se realiza a continuación se articula conforme al siguiente esquema conceptual

FIGURA 4

Esquema conceptual de evaluación

CRITERIOS DE GOBERNANZA

PUNTO DE PARTIDA

CONSECUENCIAS

PROBLEMAS DERIVADOS

SOLUCIONES PROPUESTAS

(en forma de objetivos del Convenio)

ACTUACIONES OPERATIVAS

GRUPOS DE INTERÉS AFECTADOS DE FORMA DIRECTA

DEFINICIÓN

consensuada de Objetivos Públicos

MARCO COMPETECIAL

Administraciones titulares de competencias diferentes

RIGIDEZ

Salvaguarda de la autonomía para la gestión de competencias

ORGANIZATIVOS

Reparto competencial entre ambas administraciones cuyo contenido no puede ser objeto de variación

COORDINACIÓN

Coordinación en la unidad de acción al objeto de facilitar el cumplimiento de las obligaciones por parte de los operadores

ESTRUCTURAS

Desarrollo de Estructuras de Coordinación:

Consejo Territorial de Dirección para la Gestión Tributaria

Comité de Seguimiento y Grupo de Trabajo

Instituciones

DIRECCIÓN

hacia el logro de Objetivos Públicos

CONFLUENCIA ADMINISTRATIVA

Confluencia de dos administraciones que inciden sobre un mismo hecho económico y territorial

DUPLICIDADES

Gestión en paralelo sin comunicación ni intercambio información entre administraciones

GESTIÓN

Gran carga administrativa para ambas administraciones

SIMPLIFICACIÓN

Simplificación de trámites administrativos

PROCEDIMIENTOS

Establecimiento de un procedimiento común a ambas administraciones

Agentes de Aduanas

Transitarios

Autodespachantes

RENDIMIENTO

en la gestión

FALTA DE SINERGIAS

Falta de economías de escala

AUMENTO DE LOS COSTES

Coste fiscal indirecto muy alto a los operadores

ECONÓMICOS/TIEMPOS

Económicos

En forma de paralización de las mercancías antes del levante

REDUCCIÓN DE COSTES

Disminución de los costes globales asociados

SOL. BASADA EN LA ADMON. ELECTRÓNICA

Establecimiento de un punto único de presentación electrónica de declaraciones que surta efectos ante ambas administraciones

Sociedad Civil

Empresarios

Obligados Tributarios

Fuente: Elaboración propia.

Resultados de la evaluación

Definición consensuada de Objetivos Públicos

El Convenio de colaboración es el elemento integrador de la actuación de las dos administraciones que, por un lado, materializa la expresión del liderazgo político necesario para que dos estructuras administrativas diferentes trabajen de forma conjunta y, por otro, señala la hoja de ruta de asignación de responsabilidades para alcanzar el objetivo común.

Con este fin, subyace en el texto del convenio un esquema de objetivos, comunes y propios, perfectamente estructurados que transita desde un objetivo general a la indicación exhaustiva de objetivos operativos, buscando en todo momento la satisfacción de las necesidades de todas las partes interesadas: las administraciones, los operadores económicos y ciudadanía en general.

FIGURA 5

Cuadro de objetivos del Convenio de Colaboración AEAT-ATC

Objetivos del convenio

Objetivo general

Objetivos específicos

Objetivo operativo

Facilitar el cumplimiento de las obligaciones tributarias de los ciudadanos

Simplificar trámites

Establecer un procedimiento único y conjunto de presentación de declaraciones por medios telemáticos

Establecer un punto único válido de presentación de declaraciones telemáticas por los obligados tributarios que surta efecto ante ambas administraciones

Desarrollar por parte de la AEAT un sistema informático único

Funcionalidades del sistema informático

Recepción de declaraciones de los tributos derivados del REF

Acceso de la ATC al sistema BUDANET

Disminuir costes globales

Diseño de una página web de presentación única

Análisis de riesgos

Toma de decisiones por cada Administración en su ámbito de actuación

Comunicación al obligado tributario

Gestión de garantías

Sistema centralizado de pago

Contabilización de pagos

Fuente: Elaboración propia.

El objetivo general de la intervención se desprende de la función propia de las administraciones tributarias: facilitar el cumplimiento de las obligaciones tributarias a los ciudadanos, este, a su vez se asienta en dos objetivos específicos, por un lado, simplificación de los trámites administrativos, estableciendo un único punto de presentación de declaraciones que surta efectos ante ambas administraciones y facilitando que la mayor parte de las actuaciones se realicen a través de medios electrónicos y, por otro, la reducción de los costes globales, al invertir menos recursos, y menos tiempo en la realización de dichos trámites. Finalmente, el Convenio explicita un objetivo operativo: establecer un punto único y conjunto de presentación de declaraciones (ventanilla única) que se desagrega en nueve funcionalidades concretas (AEVAL 2012).

Paralelamente a estos objetivos comunes, las administraciones tratan de satisfacer objetivos propios, la búsqueda de la integridad de información para apoyar la lucha contra el fraude en el caso de la AEAT, y el acceso a un sistema tecnológico de gestión tributaria puntero sin generar coste a la administración en el caso de la ATC.

FIGURA 6

Objetivos singulares AEAT y ATC

Objetivo AEAT

Objetivo ATC

Objetivo general

Objetivo específico

Objetivo general

Objetivo específico

Mejora de la lucha contra el fraude

Integridad de información

Mejora de la gestión recaudatoria

Modernización tecnológica

Fuente: Elaboración propia.

Desde el inicio de las actuaciones las administraciones trataron de integrar la voz de todos los grupos de interés recogiendo sus opiniones y sugerencias, basando en la participación el enriquecimiento del proyecto final.

Dirección orientada al logro de objetivos

Si bien el objetivo perseguido con la firma del Convenio estaba claramente identificado, el texto no establecía de forma pautada cómo desarrollar el proyecto de ventanilla única ni establecía de manera preconcebida su funcionamiento interno, sino que únicamente contenía los principios básicos por los que había de regirse y las figuras que debería, de forma complementaria, llevar a cabo el proyecto.

La necesaria concreción operativa del objetivo del Convenio se ha llevado a cabo a través de las actuaciones del Grupo de Trabajo que coordinaba sus tareas por adaptación mutua, consiguiendo de esta forma la coherencia interna necesaria para operar modificaciones y adaptaciones en ambas administraciones.

En el seno del Grupo se estimaron los tiempos y los esfuerzos requeridos para cada actividad, y las dependencias entre actividades, consensuando un programa para completarlas estableciendo hitos que permitan el desarrollo ordenado del proyecto.

El Grupo arrancó sus actividades en octubre de 2005 estableciendo una meta a corto plazo: la implantación del módulo de exportación. De este modo, acotando y ordenando temporalmente el número de operaciones a incluir en VEXCAN (en 2005 se tramitaron en cada administración 117.029 DUAs de exportación), se permitía la generación progresiva de conocimiento, identificando las disfunciones que podían producirse y solventándolas paulatinamente sin que esto supusiera un inconveniente serio para los usuarios.

Los trabajos se centraron en desarrollar conjuntamente las tres áreas críticas del proyecto de Ventanilla Única:

• Modificaciones normativas.

• Desarrollos informáticos.

• Procedimientos (protocolos) de trabajo únicos.

El desarrollo de estas tres áreas no solo era crítico en tanto que incidían directamente en el tiempo de ejecución del proyecto, determinando claramente los plazos, sino que de ellas dependían el éxito y la sostenibilidad de la colaboración.

Realizadas las actividades necesarias para hacer efectivo el módulo de exportación y, con anterioridad a su puesta en producción, se realiza un plan de formación para el personal afectado por los cambios que se iban a operar con el fin de reforzar conocimientos, y un plan de comunicación para dar a conocer la inminente puesta en marcha del módulo a sus potenciales usuarios.

En junio de 2006 entra en funcionamiento el módulo de exportación de VEXCAN sin disfunciones apreciables.

No obstante, y simultáneamente, los trabajos del Grupo continuaron con la vista puesta en el módulo de importación, el más numeroso en volumen de declaraciones (en 2005 se tramitaron en cada una de las administraciones 1.840.218 DUAs), así como el que requería de mayor número de funcionalidades (pago de aranceles y tributos).

En julio de 2007 entraba en funcionamiento el módulo de importación de la Ventanilla Única.

Una vez implantado el módulo de importación, y dentro de esa visión de “proyecto vivo” que ambas administraciones dieron a VEXCAN, el Grupo de Trabajo dirigió su actividad a la preparación del módulo correspondiente a regímenes especiales, actividades que se materializaron en abril de 2008 con la entrada en funcionamiento del módulo de importación temporal y en marzo de 2009 con la implantación del módulo Depósito REF.

FIGURA 7

Fases de la implantación de VEXCAN

7.eps

Fuente: Elaboración propia.

El rendimiento de la gestión

El análisis del rendimiento de VEXCAN se realizó desde dos perspectivas diferenciadas; por un lado, desde una óptica objetiva a través de los datos obtenidos por el equipo evaluador en relación a la consecución de los objetivos del Convenio y, por otra, desde la percepción que los usuarios y beneficiarios de VEXCAN tienen de la calidad de servicios que reciben.

Desde la perspectiva objetiva se analizó el cumplimiento de objetivos partiendo de lo más concreto, los objetivos operativos, a lo más general, los objetivos específicos y, finalmente, los objetivos propios de cada una de las administraciones.

Finalizada la implantación de VEXCAN se puede afirmar que los objetivos se han cumplido en un 100%, incluso se podría aventurar que éstos se consiguieron en un espacio de tiempo muy breve para las actuaciones que demandaban.

La consecución de estos objetivos, como preveía el Convenio, ha incidido directamente en la gestión que los operadores económicos realizan ante las dos administraciones, simplificando los trámites aduaneros y de importación y exportación, y ahorrando tiempo en el levante de las mercancías.

VEXCAN ha dado lugar a una importante simplificación administrativa evitando la presentación duplicada de la misma documentación a dos administraciones, la AEAT y la ATC, permitiendo el pago de los tributos de ambas por un mismo sistema (a través de entidad colaboradora o mediante la plataforma VEXCAN), etc.

FIGURA 8

Gestión de la importación después de VEXCAN

8.tif

Fuente: Elaboración propia.

Con VEXCAN, la declaración (DUA) se envía a la AEAT por procedimientos electrónicos a través de internet, ésta es sometida a un proceso único de validación y admisión con efecto en las dos administraciones.

Una vez admitida, la declaración es sometida a un análisis de riesgo por cada administración en función de sus propias competencias, asignando un circuito para ambas administraciones (verde-verde, no requiere de intervención; verde-naranja o naranja-naranja, requiere de presentación de documentación adicional que se puede remitir electrónicamente escaneando la documentación, y rojo-verde, rojo-naranja o rojo-rojo, requiere de inspección física que, preferentemente, se realiza de forma coordinada entre las dos administraciones.

Por último, el operador puede optar por efectuar el pago de ambos a través de unas pasarelas de pago de las que VEXCAN ha dotado al sistema, o bien efectuar el pago de ambos en una entidad bancaria colaboradora.

Finalizado el procedimiento el operador recibe un levante único para poder retirar su mercancía.

A partir de la implantación de VEXCAN y de la simplificación de trámites que ello ha supuesto, el número de declarantes se incrementó notablemente (fundamentalmente en 2007 y 2008, con la entrada del módulo de importación) ya que la simplificación animó a numerosos transitarios y autodespachantes a actuar como declarantes junto a los tradicionales agentes de aduanas, al simplificarse notablemente el procedimiento. Concretamente se pasó de 428 declarantes en 2006, a 921 en 2007 y 1.806 en 2008).

Esta simplificación administrativa ha tenido un impacto directo en los tiempos de tramitación que se han venido reduciendo año tras año desde la implantación de VEXCAN. No se puede olvidar que los tiempos de tramitación inciden de forma directa en la disponibilidad de las mercancías, algo que en las islas cobra especial relevancia al depender casi totalmente de suministro externo para la producción o la venta.

Antes de la implantación de VEXCAN, como se ha comentado anteriormente, el levante real de la mercancía se producía cuando el usuario tenía el levante de las dos administraciones, lo que implicaba que los tiempos totales de despacho los condicionaba la administración que, en cada caso concreto, tardaba más en otorgar ese levante.

En el caso de los DUAs verdes, el despacho de la AEAT era inmediato. Igualmente sucedía con el despacho de la ATC, pero los problemas de capacidad de su sistema informático producían colapsos que provocaban que, con frecuencia, se perdiese esa inmediatez. Por otro lado, la presentación de DUAs podía ser en formato papel, lo que exigía la presentación física del DUA en cada una de las administraciones. En este caso, el levante solo era posible después de que cada una de las administraciones grabara, aceptara y despachara el DUA.

En el caso de los DUAs naranjas y rojos, el tiempo medio para la AEAT era de 392 minutos y, para la ATC, el tiempo medio oscilaba entre 180 y 2.880 minutos, lo que, teniendo en cuenta que se necesitaban ambos levantes para poder retirar la mercancía, implicaba que el tiempo medio estaría entre un mínimo de 392 y un máximo de 2.880 minutos.

Después de la implantación de VEXCAN los tiempos medios han variado significativamente.

Para los DUAs verdes, el tiempo de despacho es “0”. Es decir, el levante se obtiene inmediatamente, con la aceptación del DUA enviado electrónicamente. Lo que básicamente supone que el 97% de los DUAs (porcentaje medio de DUAs de importación verdes presentados en los años 2007, 2008, 2009 y 2010) se despachan en el momento de aceptación del DUA.

En el caso de los DUAs naranjas y rojos, el tiempo de despacho también se ha reducido significativamente desde la puesta en funcionamiento de VEXCAN. Después del primer año, la adaptación y mejora continua de los protocolos de actuación conjuntos han posibilitado una constante reducción de tiempos, siendo especialmente significativa la reducción operada entre los años 2007 y 2008. Así, el tiempo medio de despacho en el año 2010 ha sido de 275 minutos, tiempo significativamente inferior a los ofrecidos antes de la implantación de VEXCAN.

GRÁFICO 1

Evolución del tiempo medio DUAS Naranjas y Rojos

1a

Fuente: Elaboración propia.

Pero la disminución de tiempos no ha sido el único efecto positivo propiciado por VEXCAN sino que, como se puede observar en el gráfico siguiente, los tiempos se han estabilizado, eliminando de forma significativa las fluctuaciones que se producían antes (y durante los primer año) de VEXCAN, lo que favorece a los operadores económicos ya que se hace más previsible el tiempo de despacho y, por tanto, mayor grado de previsión de la disponibilidad de las mercancías.

La integración de procedimientos y sistemas, así como la inversión en desarrollos tecnológicos disminuyen radicalmente los costes operativos, mejoran la calidad del servicio y aporta la imagen de eficacia y eficiencia que la ciudadanía demanda.

Con la puesta en funcionamiento de VEXCAN se han producido grandes ahorros para ambas administraciones y, también, para los usuarios. En este sentido se ha dejado de utilizar el documento papel del DUA (un documento de este tipo tiene un coste de, aproximadamente, un euro, y había que presentarlo ante dos administraciones) con el consiguiente ahorro en coste y beneficio medioambiental, el espacio necesario para archivo ha disminuido considerablemente, se ha dejado de utilizar, y por tanto de contratar y mantener costosas redes de valor añadido, se ha reducido el número de personas asignadas a este servicio, etc.

GRÁFICO 2

Tiempo medio mensual DUAs Naranjas y Rojos-2007 vs. 2010

2

Fuente: Elaboración propia.

El ahorro de costes para los usuarios ha sido parejo al de las administraciones en tanto y en cuanto que se han producido ahorros tanto en recursos físicos, papel y espacio de archivos, como humanos, pudiendo liberar recursos para otras áreas del negocio pero, sobre todo, han podido mejorar su gestión logística al tener a disposición sus mercancías en un tiempo mucho menor al que venían teniendo y más predecible.

Por último cabe mencionar igualmente los resultados obtenidos en relación a los objetivos propios de cada una de las administraciones. Una de las líneas estratégicas de actuación de la AEAT para los próximos años es intensificar la lucha contra el fraude. Con VEXCAN la información relativa a la importación e introducción y exportación y expedición en o para las Islas Canarias es íntegra y transparente para las dos administraciones lo que posibilita una eficaz lucha contra el fraude en línea con la estrategia de esta organización. Por otro lado, la ATC está gestionando sus tributos a través de un sistema informático puntero sin que le haya supuesto ningún gasto a la ciudadanía.

Desde la perspectiva subjetiva se analizó la percepción que los usuarios, y beneficiarios, tiene del servicio prestado por VEXCAN, tanto en relación al funcionamiento de la propia plataforma a través de la que se presta el servicio, como en relación al beneficio de operar a través de VEXCAN y, por último, en relación al papel de ésta en el ámbito del comercio exterior canario.

En general la satisfacción con el funcionamiento de la plataforma VEXCAN es elevada, con una media de 7,6 en una escala de 0 (muy insatisfecho) a 10 (muy satisfecho). Este nivel de satisfacción es muy similar para los tres tipos de usuarios directos, agentes de aduana, transitarios y empresarios auto-despachantes.

GRÁFICO 3

Satisfacción con el funcionamiento general de VEXCAN

3

Fuente: Elaboración propia.

En todo caso, la ausencia de errores de conexión y la información suficiente, con una media en torno a los 7 sobre 10, presentan un grado de satisfacción ligeramente inferior a la claridad del lenguaje, la sencillez de cumplimentación y la facilidad de pago, atributos con más de 7,5 puntos sobre 10. La rapidez de acceso es el atributo mejor valorado, con una media de 8,1 puntos.

Para el conjunto de los usuarios, la implantación de VEXCAN ha sido altamente beneficiosa, alcanzando una media de puntuación de 8,2 en una escala de 0 (muy insatisfecho) a 10 (muy satisfecho). Esta valoración es muy similar tanto para los transitarios como para los agentes de aduanas.

GRÁFICO 4

Satisfacción con atributos de VEXCAN

4

Fuente: Elaboración propia.

GRÁFICO 5

Valoración de los beneficios de VEXCAN según grupo de usuarios

5

Fuente: Elaboración propia.

Cuatro aspectos obtienen una puntuación mayor que 8 sobre 10: mejora en el funcionamiento de la admisión de los DUA, reducción en el tiempo de despacho de los DUA, la simplificación de los trámites de levante de las mercancías y simplificación en el cumplimiento de las obligaciones de pago.

GRÁFICO 6

Beneficios de operar con VEXCAN

6

Fuente: Elaboración propia.

En general, los usuarios coinciden en que VEXCAN ha agilizado los tiempos de tramitación, estimando un ahorro medio de un 30%, aunque aprecian una importante diferencia dependiendo del circuito asignado. En los circuitos verdes las voces son unánimes, “es inmediato”. No obstante, mayoritariamente consideran que fuera de este circuito las ventajas de rapidez pierden relevancia y demandan una mayor coordinación entre las administraciones.

Por último, se aborda la percepción de los usuarios directos e indirectos en relación al papel que VEXCAN juega dentro del conjunto de formalidades que requiere el comercio exterior canario. En este sentido, si bien los interlocutores destacan a VEXCAN como un proyecto ambicioso y completo en su ámbito, consideran que su alcance es limitado en tanto que instrumento de apoyo al comercio exterior.

A los usuarios se les preguntó si, además de las gestiones en VEXCAN, realizaban algún trámite que requiriera su presencia física en las dependencias de las administraciones. El 87% de ellos contestó afirmativamente. Los trámites más comúnmente realizados fueron: el reconocimiento físico de la mercancía, en el 94% de las ocasiones, seguido de inspección sanitaria con un 75% de las respuestas.

GRÁFICO 7

Trámites adicionales

7

Fuente: Elaboración propia.

Los usuarios directos, y los beneficiarios, de VEXCAN demandan la extensión del modelo de Ventanilla Única a la totalidad de los trámites aduaneros y de importación y exportación y, por ende, a la coordinación de todas las administraciones públicas implicadas, no solo a las administraciones tributarias.

Recomendaciones a los gestores

Fruto de la evaluación de VEXCAN se han identificado una serie de actuaciones que, sin apenas costes para las organizaciones, redundarán en la mejora de la calidad tanto de la gestión de la propia colaboración entre las administraciones como directamente en el servicio prestado a los ciudadanos. Son recomendaciones concretas, de aplicación directa y cuyos resultados se observarán rápidamente, lo que hace del informe de evaluación una herramienta de gestión que facilita y mejora la toma de decisiones.

Las recomendaciones realizadas abarcan todas las fases de VEXCAN, desde la voluntad de cooperar, materializada en la firma de un convenio de colaboración, hasta las funcionalidades últimas de la plataforma:

1. Realizar una evaluación de impacto de VEXCAN que, con implicación de los distintos grupos de interés (incluida ATC), permita cuantificar sus logros y efectos y su contribución a los planes estratégicos de la AEAT: simplificación administrativa, e-administración, lucha contra el fraude y alianzas).

2 . Realizar estudios de análisis de la demanda y de evaluación de la satisfacción de los grupos de interés que permitan conocer de forma periódica sus necesidades y expectativas.

3 . Negociar que desde las Ventanillas Únicas Empresariales (VUE) se diera difusión sobre VEXCAN. La VUE podría ser incluso un punto de información (previo proceso de formación), demostración o asesoramiento sobre VEXCAN.

4 . Habilitar un “Buzón de Quejas y Sugerencias” específico en la propia aplicación de VEXCAN. Las quejas y sugerencias constituyen una fuente de información imprescindible para la mejora de los servicios.

5 . Elaborar una Carta de Servicios interadministrativa de VEXCAN que, por una parte, facilitara generar equipo de trabajo conjunto (AEAT y ATC) y, por otra, declarar los compromisos más relevantes para los usuarios.

6 . Abordar nuevos desarrollos más allá del marco actual, en la línea apuntada por el análisis de la percepción de los grupos de interés de cara a una VEXCAN: posibilitar el uso intensivo de medios tecnológicos como, por ejemplo, la grabación de datos con dispositivos tipo PDA para evitar esperas innecesarias tras los controles, implantar el archivo electrónico de la totalidad de documentos y, de forma particular, en el caso del grupaje en contenedores y generalizar el uso del levante sin papeles. Igualmente, extender el modelo VEXCAN de ventanilla única a todos los organismos implicados en el despacho aduanero y/o de importación, autoridades portuarias y organismos paraduaneros, fundamentalmente, y extender la experiencia del Centro de Inspección Portuaria (CIP) de Santa Cruz de Tenerife a otros puertos del archipiélago.

7 . Apertura de VEXCAN a la ciudadanía, incorporando a su ámbito de actuación el despacho postal por su impacto en los ciudadanos que no ostentan la condición de operadores económicos.

8 . Posibilitar el acceso al autodespacho de particulares y pequeños comercios, de forma fácil, simple y barata, sin necesidad de acudir a representantes aduaneros ni de disponer de especiales desarrollos de software.

9 . Suscribir un nuevo Convenio entre el Presidente de la Agencia Estatal de Administración Tributaria y el Consejero de Economía y Hacienda de Canarias que establezca para la colaboración entre ambas partes unos objetivos innovadores y abiertos, apoyándose para su desarrollo en estructuras flexibles, operativas y descentralizadas.

3. CONCLUSIONES

Hallazgos metodológicos

La evaluación de la calidad del servicio prestado por VEXCAN ha puesto de manifiesto la oportunidad de emplear un enfoque de gobernanza basada en el desempeño (Bouckaert y Halligan, 2008) para la evaluación de políticas, programas y servicios públicos de carácter interadministrativo.

En un escenario como el actual, las enseñanzas extraídas de la evaluación VEXCAN muestran cómo una experiencia de ámbito reducido puede extrapolarse, a modo de fractal, al conjunto de la cooperación en un gobierno multinivel. En el contexto de los retos que deben afrontar actualmente las administraciones públicas españolas, la evaluación de la calidad del servicio hace aflorar buenas prácticas transferibles de gestión integrada, más pegada al territorio, en la que las visiones sectoriales se incardinan en una perspectiva integral de la gestión, apuntando así a un gobierno cooperativo con todas las administraciones competentes que evite duplicidades e ineficiencias en la gestión pública.

Utilidad de las evaluaciones smart

Las políticas públicas, como objeto susceptible de evaluación, presentan una serie de características diversas, entre las que pueden encontrarse las de su grado de formalización y la mayor o menor envergadura de su gestión (Vanaclocha et al., 2005). Si aceptamos que una de las virtualidades del enfoque fractal consiste en que facilita la creación de estructuras complejas a partir de otras más simples, podríamos inferir que las evaluaciones de calidad de los servicios, evaluaciones smart, como la de VEXCAN, en tanto que evaluaciones primordialmente de implementación de políticas más amplias, son de gran utilidad para la promoción de la cultura evaluadora y el aprendizaje metodológico de cara a abordar evaluaciones de mayor magnitud.

Al ser evaluaciones just in time, de ámbito material y temporal comparativamente más reducidos (la evaluación VEXCAN se llevó a cabo en un periodo de 10 meses), concluidas a tiempo y presentados sus resultados lo antes posible, proporcionan conclusiones y recomendaciones próximas, viables de implantar a corto plazo para la mejora de la intervención pública evaluada y son, por otra parte, adecuadas al contexto de cambio acelerado, ayudando a otros a entender las innovaciones y reproducirlas (Paddock, 1998).

Además, las evaluaciones smart son evaluaciones realizadas in company, que construyen equipos conjuntos entre los evaluadores y los gestores de la organización responsable del servicio evaluado (en este caso AEVAL y el SAI de AEAT, respectivamente). Al implicar a los gestores y profesionales del servicio o programa en todas las fases de la evaluación, desde la planificación hasta la redacción del informe, la práctica evaluativa es más interiorizada y sus resultados impactan más directamente en la prestación del servicio. En este sentido puede añadirse que éstas son evaluaciones de carácter formativo y que, por tanto, permiten dar respuesta a las necesidades reales de los actores principales (decisores y gestores).

Sin embargo, los beneficios de estas evaluaciones transcienden el ámbito exclusivo del propio servicio evaluado porque, desde su sencillez y claridad y al mostrar mejores prácticas, constituyen un ejercicio de benchmarking que permite no solo juzgar programas o servicios actuales sino también la fijación de metas de mejora.

Por último, la utilización del ciclo PDCA tanto en el marco conceptual-metodológico de la evaluación, como en el despliegue de los trabajos de la misma, permite aproximar los enfoques y lógicas de evaluación (aparentemente distantes) de políticas/programas, por una parte, y servicios/organizaciones, por otra. Las evaluaciones smart se convierten así en evaluaciones lanzadera, con gran componente pedagógico para abordar evaluaciones más complejas y sofisticadas.

Las evaluaciones smart pueden, en suma, ser de más utilidad en un contexto como el actual dominado por ajustes presupuestarios y por la necesidad de extremar la eficiencia de los servicios públicos en un Estado fuertemente descentralizado como el español.

REFERENCIAS BIBLIOGRÁFICAS Y DOCUMENTALES

AEVAL (2008), Evaluación de la Calidad del Servicio de los Museos de Titularidad Estatal. Madrid: AEVAL. En línea: <http://www.aeval.es/comun/pdf/evaluaciones/E08-2007.pdf> (consulta: 29 mayo 2012).

AEVAL (2009), Guía para la Evaluación de la Calidad de los Servicios. Madrid: AEVAL. En línea: <http://www.aeval.es/comun/pdf/calidad/Guia_evaluacion_calidad.pdf> (consulta: 29 mayo 2012).

AEVAL (2009), La función evaluadora: principios orientadores y directrices de actuación en la evaluación de políticas y programas. Madrid: AEVAL. En línea: <http://www.aeval.es/evaluacion_de_politicas_publicas/funcion_evaluadora/> (consulta: 29 mayo 2012).

AEVAL (2010), Fundamentos de evaluación de políticas públicas. Madrid: AEVAL. En línea: <http://www.aeval.es/comun/pdf/evaluacion/Fundamentos_de_evaluacion.pdf> (consulta: 29 mayo 2012).

AEVAL (2011), Carta de Compromisos con la Calidad de las Administraciones Públicas españolas. Guía de Evaluación. Madrid: AEVAL. En línea: <http://www.aeval.es/comun/calidad/Guia_Evaluacion_CC.pdf> (consulta: 29 mayo 2012).

AEVAL (2012): Evaluación de la calidad del servicio prestado por la Ventanilla Única para el Comercio Exterior de Canarias (VEXCAN). Madrid: AEVAL. En línea: <http://www.aeval.es/comun/pdf/evaluaciones/E32-VEXCAN.pdf> (consulta: 29 mayo 2012).

AEVAL (2012), Guía de Interpretación para las Administraciones Públicas. Modelo EFQM de Excelencia 2010. Madrid: Boletín Oficial del Estado.

Bouckaert. G. y Halligan, J. (2008), Managing Performance: International Comparison. Abingdon/Oxfordshire/Nueva York: Routledge.

Díez, L. y Campo. A. (2007), “El proyecto VEXCAN para la creación de una ventanilla única de presentación telemática de declaraciones de importación y exportación y aduaneras en Canarias”, en Hacienda Canaria, 27: 61-86.

ONU/Consejo Económico y Social (2011), Gobernanza pública para obtener resultados: marco conceptual y operacional. E/C. 16/2011/1.

Paddock, S.C. (1998), “Evaluation”, International Encyclopedia of Public Policy and Administration. Boulder: Westwiew Press.

Ruiz, J. (2005), “La calidad de los servicios en el contexto general de la evaluación en la Administración Pública española”, en J.A. Garde, coord., La Agencia Estatal de Evaluación de Políticas Públicas y Calidad de los Servicios. Reflexiones y propuesta de creación. Informe Comisión de Expertos. Madrid: INAP.

Vanaclocha, F.J. et al. (2005), “Algunas referencias sobre metodología de la evaluación de las políticas y los servicios públicos”, en J.A. Garde, coord., La Agencia Estatal de Evaluación de Políticas Públicas y Calidad de los Servicios. Reflexiones y propuesta de creación. Informe comisión Expertos. Madrid: INAP.

Recibido: 7 de mayo de 2012

Aceptado: 12 de junio de 2012