1. INTRODUCCIÓN

El trabajo que aquí se expone recoge las lecciones extraídas de un encargo del Consejo de Ministros relativo al Plan de Trabajo de la Agencia de Evaluación de Políticas Públicas y Calidad de los Servicios (AEVAL) en 2008. Presenta interés por su esencia de política pública, en el nivel macro y estratégico, y por la interrelación de objetos a evaluar que se encadenan, así como por la particularidad de ligar diferentes tipos de evaluación en un mismo encargo: “una doble evaluación del Sistema General de Becas educativas que deben contribuir a la disminución del abandono escolar prematuro, dentro de las medidas del eje 3 del Programa Nacional de Reformas (PNR) de España para el aumento y mejora del capital humano” ¹ .

El objetivo del encargo se sitúa en el centro del debate generalizado sobre resultados de la educación que tiene lugar desde hace años, tanto en nuestro país como en el espacio global y europeo, considerando la educación y el aprendizaje como pieza fundamental en el desarrollo económico y social.

Como antecedentes de este largo debate podemos señalar una fecha y un informe clave. En 1964, el Congreso de los Estados Unidos encargó una macroencuesta nacional a J.S. Coleman para conocer las oportunidades educativas de los alumnos, independientemente de su grupo étnico-racial, color, religión u origen socio-cultural. La investigación implicó a seiscientos mil alumnos, sesenta mil docentes y cuatro mil centros educativos de Primaria y Secundaria de todo el país. El estudio ha pasado a la historia con el nombre de “Informe Coleman” (Coleman et al, 1966) y ha sido considerado como uno de los más importantes del pasado siglo en las ciencias sociales. Generó desde su publicación un fuerte debate social y científico que en cierta medida sigue abierto. Cambió la investigación y la forma de ver la educación, incluso desde posiciones opuestas y, supuso, a la vez, el espaldarazo para un nuevo campo profesional: la evaluación de políticas públicas.

La mayoría de las cuestiones de las que se ocupaba ese Informe siguen siendo objeto de análisis y evaluación en la actualidad: naturaleza y extensión de las desigualdades en la escuela, papel de los centros educativos y diferencias en el rendimiento académico según los recursos educativos. Además, nuevas consideraciones y componentes se han incorporado a los estudios de educación y a su evaluación. Disciplinas como la economía, la sociología, la ciencia política, la psicología o el derecho han influido con sus análisis en la educación. Aspectos como la motivación de los alumnos, el profesorado y la función directiva, los procesos educativos y su incidencia en los resultados, la gestión de los centros, el papel de la administración al elaborar las normas o al brindar los servicios son elementos que interesan cada vez más en la evaluación educativa.

El valor de la educación en las sociedades actuales se enmarca en el contexto del creciente valor del capital humano como factor de competitividad en la economía global, donde la educación desempeña un papel predominante como transmisora de valores y conocimientos frente a los nuevos cambios sociales, culturales y tecnológicos.

En los países de la Organización para la Cooperación y el Desarrollo Económico (OCDE), los notables avances en materia educativa han supuesto una acumulación destacada de capital humano; si bien, este desarrollo ha venido acompañado, a la vez, de altas tasas de fracaso y abandono escolar prematuro, y de una falta de cualificación para hacer frente a los nuevos retos formativos y profesionales de este siglo.

La Agenda de Lisboa (2000) estableció importantes objetivos de formación del capital humano para el año 2010, poniendo especial énfasis en el problema del abandono escolar prematuro y su reducción al 10% al cumplirse la década. Para desarrollar e impulsar esa estrategia educativa, el Consejo Europeo adoptó el programa de trabajo Sobre los futuros objetivos precisos de los sistemas de educación y formación (Consejo de la Unión Europea, 2001).

El aumento de los recursos destinados a la educación plantea una mayor exigencia de la ciudadanía y la necesidad de rendir cuentas por parte de los poderes públicos. Como intervención pública, la educación ha de atender, de una parte, al enfoque educativo y, de otra, a elementos relacionados con el gasto público. Esto ha impulsado estudios sobre el rendimiento privado y social de la educación, la relación entre educación y movilidad social, los efectos redistributivos del gasto público o las relaciones de poder que se ocultan tras el currículo escolar. Las políticas educativas tienen una gran repercusión social y son de las más cuestionadas en el debate público. ²  Su evaluación es, hoy, ineludible para responder al cumplimiento de los fines que constituyen su razón de ser en función de las necesidades sociales.

La complejidad de los elementos que conforman el sistema educativo y los problemas sociales que van surgiendo en cada momento reclaman sistemas de evaluación cada vez más sólidos e integrales.

La evaluación del sistema de educación y formación en España fue establecida por la LOGSE en 1990 ³ , con la creación del Instituto Nacional de Calidad y Evaluación (INCE); aunque no fue hasta 1993 cuando se regularon sus funciones ⁴ . La institución (en la actualidad Instituto de Evaluación) elabora planes plurianuales de evaluación general del sistema educativo, coordina la participación del Estado español en las evaluaciones internacionales y elabora el Sistema Estatal de Indicadores de la Educación. Las Comunidades Autónomas (CC.AA.) han creado también sus propias instituciones evaluadoras que realizan estudios sobre educación de diversa naturaleza. ⁵  Por lo que respecta a la educación superior ⁶ , es la Agencia Nacional de Evaluación de Calidad y Acreditación (ANECA), la que tiene como objetivo contribuir a la mejora de la calidad del sistema mediante la evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones de estudios superiores.

Las políticas educativas cuentan, por tanto, en España, desde hace tiempo, con instituciones encargadas de su evaluación. Sin embargo, los elementos que componen esas políticas son excesivamente complejos y requieren cada vez más evaluaciones integrales y de impactos. Las exigencias ciudadanas hacen necesario el desarrollo de estos nuevos enfoques. Además, cimentar una cultura de evaluación requiere de evaluaciones externas a los responsables del sistema. Por ello, nuevas instituciones vienen a sumarse a la evaluación de los resultados educativos desde una perspectiva macro, externa y más estratégica. Algunos expertos hacen la distinción entre el nivel sistémico o macroeducativo (el conjunto del sistema y en particular las políticas públicas educativas), el nivel institucional o mesoeducativo (instituciones universitarias, centros y programas educativos) o el microeducativo (el profesorado, la función directiva y los alumnos) (Puente Azcutia, 1999).

La Agencia de Evaluación de Políticas Públicas y Calidad de los Servicios (AEVAL) ⁷  adscrita recientemente al Ministerio de la Presidencia ⁸ , recibe encargos de evaluación de cualquiera de las políticas públicas sobre las que el Ejecutivo quiera conocer. Se trata de una institución de reciente creación cuyos encargos se aprueban anualmente por el Consejo de Ministros, centrándose, por el momento, en la evaluación de las principales medidas puestas en marcha para la consecución de los objetivos de Lisboa. Sus encargos en el campo de la evaluación educativa se han centrado en cuestiones críticas que preocupan a la sociedad: reducción del fracaso, abandono escolar prematuro y en el nivel estratégico de la formulación de nuevas intervenciones públicas. Su cometido abarca cuestiones transversales que afectan a varios Ministerios y a la política de convergencia con la UE ⁹ . Pretende sumar su acción al mayor conocimiento que buscan los gobiernos sobre las políticas –en este caso de la educación- en la nueva sociedad y en los nuevos tiempos. La Agencia responde ante el ejecutivo y actúa como órgano externo e independiente del Ministerio de Educación.

En nuestro país, las transformaciones educativas de los últimos 25 años han supuesto –hay que considerarlo- un gran avance en relación con nuestro desfase histórico. El Panorama de la educación (2009) ¹⁰  que ofrece la OCDE, aunque es similar al de años anteriores, deja vislumbrar cambios esperanzadores. Sin embargo, siguen persistiendo importantes retos para el sistema. España presenta uno de los peores resultados de la UE en abandono escolar prematuro, con una tasa que ha oscilado en la última década entre el 29,1% y el 31,7%, lo que supone un claro obstáculo para incorporarse a la sociedad del conocimiento y para el logro de una mayor cohesión social. Por ello, España se ha fijado reducir el abandono escolar prematuro hasta el 15% en 2012. Entre las medidas barajadas por los responsables de la educación para alcanzar ese objetivo se plantea la posibilidad de que nuevas modalidades de becas puedan contribuir a la reducción del abandono escolar prematuro.

Los estudios sobre la política de becas en los últimos años sostenían que: “España tiene pocas becas y de una cuantía relativamente reducida, lo que dificulta que cumplan su papel” (San Segundo, 2006). De ahí que la política educativa del período 2004-2008 ¹¹  se propusiese impulsar un buen número de medidas encaminadas a mejorar la política de becas: a) cualitativas: la beca como derecho y b) cuantitativas: aumento de cuantías, umbrales, partidas presupuestarias y número de becarios.

El impulso de la política de becas juega un papel crucial en la búsqueda constante de la igualdad de oportunidades educativas, económicas y sociales, y su utilización al servicio de la reducción del abandono quedó plasmada en el Programa Nacional de Reformas en España (PNR) de 2005 ¹² .

En la base de las intervenciones con becas para la resolución del abandono escolar prematuro se encuentra el compromiso político expresado por altos responsables del Ministerio de Educación de que ningún alumno abandone por falta de recursos, así como reforzar la equidad en el mantenimiento y resultados del sistema, no sólo en el acceso a él.

Una buena política de becas y ayudas al estudio potencia la eficiencia al promover el desarrollo de todo el capital humano del país y al fomentar la dedicación intensiva a los estudios (Díaz Malledo y San Segundo, 2000).

No obstante, y a pesar de la voluntad declarada del actual gobierno cuyos compromisos se han visto concretados en los aumentos presupuestarios destinados a becas, el Informe del Observatorio Social de España (2007) concluía: “España tiene un gasto en becas, como porcentaje del gasto público en educación por nivel, equivalente a la mitad de la media de la UE-27”; si bien, este dato debe ponerse en relación con el global de la financiación de la educación en España, ya que en nuestro país prima frente a otros la subvención directa a través de unos gastos de matricula muy inferiores al coste real.

Esta exposición se plantea bajo una doble perspectiva:

1. Extraer lecciones en relación con lo que la evaluación enseña sobre las políticas evaluadas; en este caso las de educación.

1. Extraer lecciones del proceso evaluador: lo que la evaluación de políticas educativas enseña sobre la propia evaluación.

Se tratará de equilibrar ambos enfoques, resaltando las cuestiones de relevancia del segundo dada la dedicación monográfica de esta publicación al campo de la evaluación. En cualquier caso, el lector tendrá la posibilidad de profundizar más a través de la lectura completa del Informe Evaluación del sistema general de becas educativas. Primera Evaluación: Diagnóstico de la situación actual y principales alternativas para mejorar su eficacia (AEVAL, 2009) ¹³ .

La exposición pondrá especial énfasis en clarificar las diferencias que existen entre evaluar políticas públicas y evaluar programas o dicho de otra manera, evaluar objetos macro y objetos mezzo o bien, evaluar objetivos estratégicos u operativos, cuestiones que siguen generando cierta confusión.

Por último, habría que destacar la concepción evaluadora de la Agencia que considera la evaluación como una intervención política, como tal, responde a las tradicionales fases de análisis, planificación, implementación y resultados ¹⁴ . Es, precisamente, este planteamiento el que servirá de estructura a las lecciones extraídas.

2. PRESENTACIÓN Y PLANTEAMIENTO DEL TRABAJO EVALUATIVO

2.1- El encargo

Se trata de una evaluación doble en el tiempo que entrelaza objetivos estratégicos y operativos, y plantea una modalidad de objeto de investigación ¹⁵  bastante peculiar. Se encadenan tres de naturaleza diferente: el sistema general de becas –instrumento financiero de las políticas de compensación de las desigualdades en educación- el problema del abandono escolar prematuro (AEP) –considerado como objetivo educativo prioritario de la Estrategia de Lisboa, reconocido por el Ministerio de Educación y las autoridades educativas de las Comunidades Autónomas como problema de Estado- y por último, la mejora del capital humano –pilar básico para conseguir la igualdad de oportunidades en nuestra sociedad y objetivo estratégico de crecimiento económico según establece el PNR.

- Plazo de entrega del encargo

El encargo de evaluación explicita, no sólo las fecha de entrega sino el doble cometido: a) la evaluación 2008, requería un diagnóstico del sistema general de becas, así como la propuesta de nuevas modalidades de ayudas que pudieran contribuir a la disminución del abandono escolar prematuro; b) en un período posterior, se planteaba una evaluación ex ante de las alternativas seleccionadas.

- El Sistema general de becas.

Las políticas de becas se incardinan dentro de las políticas de educación compensatoria.

El Capítulo II del Título II de la Ley Orgánica 2/2006, de 3 de mayo, de Educación recoge las acciones compensatorias que corresponderán a las Administraciones públicas con el fin de hacer efectivo el principio de igualdad en el ejercicio del derecho a la educación.

Entre las políticas de educación compensatoria que reforzarán la acción del sistema educativo para evitar las desigualdades derivadas de factores sociales, económicos, culturales, geográficos, étnicos o de otra índole se encuentran las becas y ayudas al estudio (art. 83 de la citada Ley).

Es el Estado, según las leyes, el encargado de establecer, con cargo a sus Presupuestos Generales, un sistema general de becas y ayudas al estudio con el fin de que todas las personas, con independencia de su lugar de residencia, disfruten de las mismas condiciones en el ejercicio del derecho a la educación.

El Sistema General de Becas y Ayudas al Estudio se plantea un doble objetivo explicitado en el Real Decreto 1721/2007 de 21 de diciembre: a) lograr un sistema de becas y ayudas al estudio que garantice la igualdad en el acceso a las becas en todo el territorio y b) dar cumplimiento a la jurisprudencia del Tribunal Constitucional en esta materia (Sentencias 188/201, de 20 de septiembre y Sentencia 212/2005 de 21 de julio), todo ello manteniendo la eficacia y eficiencia del sistema.

- Nuevas competencias de las CC.AA. en materia de becas

La normativa básica del sistema de becas venía siendo competencia de la Administración General del Estado ¹⁶ , pero a partir de las sentencias citadas en el párrafo anterior se otorga a las Comunidades Autónomas la capacidad para desarrollar la normativa básica en materia de becas y ayudas, así como para realizar su convocatoria, gestión, resolución, adjudicación, pago y resolución de recursos.

En cualquier caso, dicha descentralización garantizará lo dispuesto en la Ley Orgánica 2/2006 de Educación, de 3 de agosto respecto al sistema general de becas: que todas las personas, con independencia de su lugar de residencia, disfruten de las mismas condiciones en el ejercicio del derecho a la educación.

El proceso de descentralización de la gestión del sistema de becas para el resto de las Comunidades se inició recientemente y plantea la necesidad de equilibrar esa mayor asunción de competencias por las CC.AA. con la vigilancia y control del principio de equidad por parte de la Administración central.

Asimismo, con el fin de articular un sistema eficaz de verificación y control de las becas y ayudas concedidas se deberán establecer los procedimientos necesarios de información, coordinación y cooperación entre las diferentes Administraciones educativas.

- El abandono escolar prematuro

El abandono escolar prematuro es un fenómeno complejo que se focalizó, en su origen, dentro del ámbito psicológico interpretado como desventaja individual del alumno, inadaptación o fobia escolar y que pasó, seguidamente, a considerarse un problema del ámbito educativo que debía atender a cuestiones como el refuerzo de las capacidades cognitivas de los alumnos y a factores que influyen en su rendimiento: calidad y diseños curriculares de la enseñanza. A esto se fueron añadiendo otras consideraciones como la organización y clima de los centros, control y disciplina de los alumnos, valor social de la educación, valor concedido por los alumnos, etc. En las últimas décadas, el problema empezó a tener en consideración múltiples factores en relación con las condiciones sociales y económicas y la relación entre los criterios de equidad y eficiencia aplicados a la educación, cobrando mayor interés la incidencia del AEP en la capacitación del capital humano y su repercusión en el proceso productivo que es el último objetivo al que alude la evaluación.

Aunque está constatado ampliamente que las diferencias sociales y culturales de los alumnos condicionan su progreso educativo y los resultados que obtienen (Informe de la OCDE-CERI, 1995), no está tan clara la correspondencia estricta entre las desigualdades sociales y las desigualdades educativas. Hay otros factores, como la familia, el funcionamiento del sistema y la propia escuela que pueden incrementar o disminuir estas desigualdades. En los últimos tiempos el acceso a Internet se ha convertido ya en una poderosa causa de desigualdad.

El Abandono Escolar Prematuro (AEP) es un fenómeno sobre el que existen múltiples aproximaciones parciales, pocas investigaciones generales y en él se detecta, sobre todo, un déficit de análisis sistemáticos y rigurosos desde una perspectiva integral.

Entre las aportaciones recientes y destacadas cabe mencionar el Estudio sobre Abandono Escolar Prematuro encargado en 2005 por la Dirección General de Educación y Cultura de la Comisión Europea a la consultora GHK, cuyas conclusiones han orientado muchas de las intervenciones europeas en este campo ¹⁷ .

La lucha contra el abandono requiere de un esfuerzo conjunto de la Administración General de Estado y de las CC.AA., siendo de celebrar la Conferencia Sectorial de Educación que se celebró con carácter monográfico sobre el tema, convocada el 20 de noviembre de 2008. Como resultado de la misma se aprobó un Plan para reducir el Abandono Escolar a la mitad en 2012. Dicho Plan comprende un conjunto de 12 medidas y estará dotado con 121 millones de euros en 2009. Sobre el detalle de las medidas se remite al Informe de evaluación. La única salvedad que aquí se expone es que ninguna de esas medidas hace referencia a las becas.

- Capital Humano

Los buenos resultados educativos constituyen una riqueza social en sí misma y, a la vez, son una fuente esencial del capital humano de un país. En este sentido, algunos estudios ¹⁸  atribuyen a la educación el crecimiento del capital humano en España en las últimas décadas.

Las inversiones realizadas en el sistema educativo español como la propia conciencia ciudadana frente a los estudios para adquirir mayor cualificación, ha provocado un incremento significativo en las dotaciones del capital del humano de las distintas regiones del país. De ahí la importancia de cuantificar el valor del capital humano generado por el sistema educativo y de las cuestiones que trata de relacionar el último objetivo de esta evaluación.

2.2- Enfoque evaluador, diseño y metodología

• Enfoque

El planteamiento evaluador responde a un enfoque de políticas públicas en su nivel macro y estratégico, combinando estudios de distintos campos disciplinares con la planificación estratégica, sin perder de vista nunca el campo administrativo en el que se originan los principales discursos y medidas educativas, y teniendo en cuenta la formulación nacional y europea.

• Diseño

El estudio parte de un diseño en el que se traza un eje de abscisas en el que figura el Estudio sobre Abandono Escolar Prematuro realizado por la Comisión en el año 2005 y otro de ordenadas en torno a datos nacionales proporcionados por el Instituto Nacional de Estadística (INE) en la Encuesta de Condiciones de Vida (ECV) de 2006 y la Encuesta de Transición Educativo-Formativa e Inserción Laboral (ETEFIL) de 2005, con el fin de ver los puntos de intersección de las variables y de las conclusiones europeas y los resultados que ponía en evidencia la evaluación.

En cuanto a la población sobre la que actuar con posibles intervenciones se ha tenido en cuenta un doble abordaje: “intervenciones para prevenir el AEP” –dentro de las etapas del sistema educativo- e “intervenciones para disminuir el AEP”-fuera de las etapas del sistema educativo.

Por último, se han estimado ineludibles los análisis comparativos, tanto para las becas como para el examen del problema de AEP. En el caso de las becas se han examinado los países que figuraban en las primeras posiciones del ranking educativo: Reino Unido, Holanda y Suecia. En cuanto al AEP, se ha seleccionado Finlandia (Julkunen, 2007) porque es el de menor tasa de AEP en la UE y todos ellos por su posición en el Programa International para la Evaluación de Estudiantes (PISA).

En todo momento, los análisis comparativos con otros países han tenido en cuenta el contexto nacional y, para el examen final de posibles intervenciones con becas se plantearon criterios de oportunidad política, social y económica que se examinarán en la segunda fase de la evaluación.

La concepción del trabajo plasmada en el Informe de evaluación se inicia con una parte introductoria que contextualiza, en el marco nacional y europeo, las intervenciones y cuestiones objeto de estudio: becas, AEP y Capital Humano, para pasar a continuación a describir con detalle los objetos a evaluar. Una vez establecidos los criterios que servirán de referentes, se plantea la estrategia evaluativa partiendo de las principales preguntas e hipótesis de trabajo, completando el diseño con las fuentes de información requeridas y la selección de técnicas a aplicar. Determinadas todas estas cuestiones se abre la fase de implementación en la que, tras la recogida de los datos, su tratamiento y análisis, desemboca en los resultados, con las conclusiones y recomendaciones del Informe (AEVAL, 2009)

• Base metodológica del estudio

La metodología ha sido abierta y pluralista ¹⁹ . Flexible en cuanto a las herramientas, combinando diferentes técnicas: el análisis documental (normativa básica y específica y literatura sobre la materia), la explotación de encuestas: principalmente, la Encuesta sobre Abandono Escolar Prematuro, encomendada por la Dirección General de Educación y Cultura de la Comisión Europea (DG EYC, diciembre, 2004 - septiembre, 2005) realizada a numerosos países tanto de la UE como otros de la OCDE, la Encuesta de Condiciones de Vida (ECV) de 2006 y la Encuesta de Transición Educativo-Formativa e Inserción Laboral (ETEFIL) de 2005; y fuentes secundarias (estadísticas del Ministerio de Educación, Eurostat, OCDE, etc.)

La evaluación encargó también estudios propios ²⁰  como uno de investigación, basado en modelos probabilísticos, sobre la eficacia del sistema de becas y grado de cobertura de las poblaciones objetivo según los umbrales de renta, en el que a través de la técnica de análisis bivariante o multivariantes sobre los datos de la ECV (con atención especial a la educación postobligaotoria) se analizó la equidad del sistema, la probabilidad de ser becario, el cumplimiento de los requisitos legales, la distribución de becarios por grupos de renta, el perfil de becarios en deciles de renta baja, el análisis de fraude, el de potenciales becarios que no hacen uso de las becas y el perfil de los individuos que abandonan o permanecen en el sistema. El estudio se aplica a una muestra de 3651 individuos con edades de 17 a 25 y utiliza los datos de la ECV de 2006 y la referencia de variables de renta de 2005.

Además, se encargó otro estudio de benchmarking entre diferentes países europeos, analizando las características de algunos que, como Finlandia, presenta el mayor éxito en el Informe PISA y las tasas más bajas de abandono. Y se profundizó aún más en las experiencias de Holanda, Reino Unido y Suecia, con el fin de extraer información sobre las becas y ayudas que logran más éxito en estos países.

Se solicitó también un trabajo sobre el estado de la cuestión del Capital Humano en relación con los objetivos de la evaluación y se realizaron entrevistas a los agentes sociales, responsables de educación y expertos en materia educativa y otros vinculados con el sistema nacional de becas, tanto del Ministerio de Educación, Política Social y Deporte (MEPSYD) como del Ministerio de Ciencia e Innovación (MICINN) y de las CC.AA. Finalmente, se organizó un panel de expertos en materia educativa con los representantes de las instituciones más relevantes para “contrastar” ²¹  las conclusiones del diagnóstico de la primera evaluación.

3- LECCIONES APRENDIDAS

3.1- En relación con el encargo

La primera lección a destacar en este encargo está en la distinción que supone evaluar “políticas públicas” o evaluar “programas”. Sobre este asunto convendría hacer una aclaración antes de continuar. ¿A qué llamamos evaluación de políticas públicas? En realidad, “todo lo que los gobiernos deciden hacer o no hacer constituye una política” (Dye, 1975; también Bachrach y Baratz, 1963). Según esta concepción se podría argumentar que todos los objetos a evaluar son políticas públicas. Sin embargo, no es lo mismo enfrentarse al “mandato” del Consejo de Ministro que al encargo de un administrador de programas. No es lo mismo que la evaluación haya de servir a los niveles estratégicos que a los operativos. Para examinar con mayor detalle estas diferencias, nos serviremos de la doble distinción que hace Dror (2003) de los niveles de acción pública, distinguiendo el correspondiente a:

1. Funciones de orden superior (o macro): que se corresponde con la modificación de las trayectorias colectivas mediante decisiones que, en esencia, constituyen intervenciones en el proceso histórico y que son, cualitativamente, las más importantes de la acción de gobierno. Tienen su base en el binomio Estado-sociedad y requieren de los evaluadores buenos conocimientos de la ciencia política y administrativa.
   Por el momento, este tipo de acciones han sido las menos evaluadas.
2. Funciones de ejecución, gestión y servicios de los gobiernos (mezzo y micro): que se refiere al despliegue y a la operatividad de las políticas en objetos más concretos: desde los programas y proyectos a las actividades prestacionales y el funcionamiento de la gestión. Se trata de funciones cuantitativamente más numerosas basadas en el binomio: servicios-usuarios, que requiere de los evaluadores enfoques, organizativos y económicos.

Aunque esta diferenciación pueda resultar demasiado simple: “una política pública no es un fenómeno objetivo dotado de un perfil evidente y bien definido” (Heclo, 1972, 82), creemos que permite avanzar por una senda conceptual que está planteando confusiones. En todo caso, hablaremos de evaluación de políticas cuando el objeto sea de nivel estratégico y de evaluación de programas cuando el objeto sea de nivel operativo.

El nivel de gobierno que corresponde a las funciones de orden superior se preocupa más de responder a criterios de legitimidad con la ciudadanía y se plasma en la formulación de las políticas, sean globales sobre una materia, transversales o estratégicas. El segundo nivel, se centra más en criterios de funcionalidad y atañe a la parte operativa y de gestión de las políticas. El primero permite medir la calidad democrática y el segundo la calidad de las organizaciones y de los servicios públicos –asistidos, generalmente, por programas. La suma de la calidad en un nivel y otro dan como resultado la calidad de las políticas públicas.

Si bien el proceso evaluador y sus fases no varían, se trate de evaluar políticas o de evaluar programas, lo que varían son los pesos entre ellas. El análisis del contexto y la elección del enfoque tienen un mayor peso al evaluar el nivel macro de las políticas públicas y requieren conocimientos de la ciencia política y administrativa, mientras que en la evaluación de programas ha sido más frecuente el enfoque de calidad y el económico como respuesta a la cultura de gestión de calidad y de resultados. Los resultados en el nivel estratégico son resultados sociales, que engloban cuestiones más allá de la gestión. Como apuntábamos antes, varían también las preguntas que interesan a un nivel u otro y el tipo de información que se requiere. Otras diferencias son las que afectan al entramado de criterios y su articulación entre niveles y, particularmente, las recomendaciones que habrán de estar en la línea del interés que requiere un Consejo de Ministros.

• Las particularidades de los encargos del Consejo de Ministros

Los encargos del Consejo de Ministros tienen para la Agencia la particularidad de actuar como “mandatos” ²²  y eso supone que la negociación evaluativa -esencial para precisar y delimitar el objeto, objetivos, necesidades informativas, usos de la evaluación, etc.- no puede hacerse directamente con los que realizan el encargo, sino con instancias administrativas que actúan por delegación, a veces en total sintonía con el mandato y otras, no tanto. Esto supone mayor independencia para el desarrollo de la evaluación pero también algunas dificultades a la hora de definir las preguntas o las necesidades informativas requeridas a un nivel político más sofisticado.

Eso obliga a explotar al máximo las intervenciones parlamentarias de los ministros, las comparecencias en los medios y cualquier documento que pueda dar pistas sobre las intenciones gubernamentales en la materia objeto de evaluación. Todo ello con el fin de plantear las preguntas de mayor interés para ese nivel de gobierno y analizar si las intervenciones puestas en marcha, o algunas de las previstas, son las adecuadas para los objetivos que se persiguen.

Se completa esta vía exploratoria con entrevistas a los responsables educativos que tienen encomendado el desarrollo e implementación de los objetivos políticos objeto de evaluación.

Este tipo de encargo sitúa la acción evaluadora -aunque sea considerándola una ayuda más entre otras para la decisión- en el centro de los problemas de estado, justificándola como palanca de gobierno (Subirats, 2005).

Un encargo como el de becas-abandono-capital humano supone el reconocimiento para la Agencia de su esencia transversal y de su campo de evaluación más específico: el nivel macro de la acción pública.

• La importancia de los factores políticos en el desarrollo de la evaluación de políticas públicas

Los factores políticos tienen mayor peso en la marcha de la evaluación de las políticas públicas que en la evaluación de programas. La legislatura anterior ha ofrecido algunos ejemplos de ello. La remodelación de gobierno del verano de 2008 adjudicó las competencias universitarias al MICINN. Esto afectó al alcance de la evaluación que en su origen, primer trimestre del 2008, había incluido en su estudio las becas universitarias, competencia entonces del MEPSYD, que era quien solicitó la evaluación.

Un cambio posterior, con la remodelación gubernamental del mes de abril de 2009, supuso un movimiento de retorno. Los estudios universitarios volvieron al seno del Ministerio de Educación y esto afectó de nuevo al alcance del estudio que debía volver a incluir las becas universitarias.

Toda esta movilidad que afecta a la evaluación de políticas públicas, no afecta de igual manera a la evaluación de programas. El factor político es tan importante en el caso de la evaluación de políticas públicas que, con el nombramiento de nuevos responsables ministeriales tanto se puede impulsar más la evaluación como puede quedar en vía muerta. Sin embargo, en el nivel operativo, los programas de gestión de las becas universitarias, continuaron funcionando al margen de los cambios e independientemente del Ministerio al que estuvieran adscritos los servicios que los gestionaban.

• Evaluación de carácter estratégico/ evaluación de carácter operativo

La evaluación de la que aquí se trata es de carácter estratégico en razón de la utilidad que persigue: verificar los logros en los objetivos de educación 2010 del MEPSYD, en particular, en su lucha contra la reducción del AEP a través de las becas, así como evidenciar el logro de los objetivos de convergencia de la Estrategia de Lisboa. Además, los resultados perseguían orientar la formulación de futuras intervenciones.

“En el mundo de las Administraciones Públicas, el concepto de estrategia no ha de entenderse como respuesta a la competitividad entre instituciones y empresas, sino como una serie de acuerdos explícitos que reflejan las preferencias surgidas del debate ente los actores colectivos e individuales presentes en el marco de juego de esas Administraciones” (Stewart y Ranson, 1988). La estrategia apunta a los objetivos que pretenden alcanzar los gobiernos para mejorar las sociedades y suele plasmarse en Planes Estratégicos que difieren claramente de los Planes operativos en los que se insertan los programas que orientan su acción a la gestión.

Esta naturaleza estratégica, como se señalaba anteriormente, va a determinar muchas de las cuestiones que afectan a la evaluación: preguntas, criterios, indicadores, tipo de información que se requiere y, por supuesto, las recomendaciones. Las cuestiones estratégicas apuntan a una comprensión y planteamientos de índole diferente. Los resultados de la evaluación no sólo servirán para informar o mejorar los diversos niveles de gobierno, sino para apoyar las posibles intervenciones que requieren los nuevos problemas. Esta visión estratégica afectará, como es lógico, a la composición de los equipos evaluadores para los que se requerirá diferentes expertizajes y visiones más holísticas.

Hay que señalar que tanto la UE como las instituciones internacionales de evaluación reivindican desde hace tiempo la necesidad de realizar evaluaciones estratégicas y más integrales. Este tipo de evaluación es el menos explorado hasta el momento y supone todo un desafío para la AEVAL.

El caso que aquí se expone resultó interesante al incluir el mandato de evaluación resultados de utilidad para los dos niveles de gobierno: la exploración de un instrumento financiero como es la política de becas en la resolución de un problema social tan crítico como el abandono escolar prematuro.

El diagnóstico sobre el Sistema General de Becas planteaba al evaluador cuestiones operativas, de tipo prestacional y de gestión, pero sin perder de vista, que el estudio del diagnóstico solicitado funciona, a la vez, como el análisis DAFO de la formulación estratégica. Por ello, los resultados de la gestión del Sistema de Becas, fueron una de las conclusiones de la evaluación pero nunca el objetivo último. Se trataba más bien de conocer las fortalezas y debilidades del Sistema para poder actuar estratégicamente sobre la disminución del AEP. Queda claro, en este ejemplo, el intento de dar respuesta al binomio Estado-sociedad, a través de nuevas intervenciones con becas que lo que pretenden es introducir transformaciones y mejoras en el proceso histórico-educativo y, contribuir, a la vez, con ese instrumento a alcanzar los objetivos estratégicos de la política educativa europea. Por lo mismo se espera que quede claro, también, el mejor uso que pueden hacer los evaluadores al utilizar los conceptos “evaluación de políticas” y “evaluación de programas” o “evaluación de proyectos” –nivel aún más desagregado.

En cuanto a las herramientas de la evaluación de políticas públicas en el nivel estratégico, resulta obvio el fuerte peso, junto a otras técnicas de investigación social, del análisis de políticas públicas, así como de herramientas propias de la planificación estratégica.

No es que en la evaluación de programas no tenga importancia la planificación de futuro, sin embargo, no llega a alcanzar la dimensión estratégica a la que apunta la evaluación de políticas públicas en cuanto a propiciar transformaciones sociales ²³ .

• “Evaluación de grandes conglomerados”

Se trata de un mandato rico para el aprendizaje del análisis político, al plantear un conglomerado de acciones públicas que conforman sistemas que se interrelacionan unos con otros. La riqueza no está sólo en la evaluación de un campo complejo por sí mismo, como el de la política educativa, ni en el cruce con otras políticas conexas, las políticas de trabajo -este tipo de complejidad resulta ineludible ya en cualquier evaluación de políticas públicas. El mayor valor del encargo está en el nivel en el que se sitúa el problema del estudio (estratégico y de convergencia) y la vinculación de tres objetos de distinta naturaleza. El mandato desborda los habituales encargos de evaluación de programas educativos concretos por complejos que estos sean.

En este caso se trata de un macro objeto conformado por tres anillos: el sistema de becas como instrumento financiero, el abandono escolar como problema social y el capital humano y su mejora como resultado de la interrelación. Círculos que no están perfectamente delimitados sino que encajan como las piezas de un puzzle. En razón a esta peculiaridad denominamos a este tipo de evaluación “evaluación de grandes conglomerados”.

• Evaluación de políticas sociales: la política educativa

El encargo se enmarca en el campo de “las políticas sociales” ²⁴ , temática educativa.

La evaluación de políticas educativas supone para el evaluador situarse en el campo disciplinar en el que surgió la evaluación, y enfrentarse a una de las políticas sociales con mayor legado en la que el proceso de aproximaciones sucesivas al objetivo deseado ha sufrido numerosas reconsideraciones y hasta enfoques opuestos para los que se viene reclamando un pacto de Estado ²⁵ . Se trata, también, en educación, de una política cuyas transformaciones necesita para dar resultados el largo plazo y que ha estado en las últimas décadas en continuo movimiento, definiendo y redefiniendo objetivos y criterios.

Tienen, además, estas políticas, una fuerte carga ideológica que se polariza en la defensa de dos principios: la equidad –para los gobiernos socialdemócratas- y la calidad-eficiencia –para los gobiernos liberales. Equidad entendida como igualdad de oportunidades para todos, independientemente de las diferencias socioeconómicas y eficiencia como aprovechamiento máximo de los recursos invertidos para obtener los objetivos deseados.

Aunque recientes informes de la UE concluyen que ambos conceptos deben aunarse, el foco que cada orientación política pone en uno u otro principio está en la base del tipo de sociedad que se quiere construir y resulta un arma partidista a la hora de enjuiciar los resultados de la educación. Sin embargo, las conclusiones del informe de la Comisión Europea concluyen que ambos objetivos se refuerzan mutuamente. Quizá no en el corto plazo, pero si al considerar el impacto de la enseñanza dentro de un marco social lo más amplio y duradero posible.

Sin embargo, el abandono escolar prematuro se explica pero no se resuelve simplemente a través del binomio anterior, puesto que hay causas que están en la base de la propia estructura del sistema o en el desarrollo de sus políticas que plantean que las intervenciones no son suficientes: políticas de integración, política de becas, de gestión de centros, programas de apoyo, etc. Sin embargo, hay causas personales que vienen a sumarse y que afectan más a unos individuos que a otros aunque se hallen en situaciones similares. Y esto enlaza con una de las particularidades de las políticas sociales cada vez más evidente: la diversidad.

A la vez existen contradicciones difíciles de encajar cuando se establecen comparaciones con otros países. España obtiene en el Informe PISA una de las puntuaciones más favorables en cuanto a la equidad de su sistema educativo, sobre la que insiste el último informe de la OCDE, 2009: “los alumnos españoles con entornos menos favorecidos tienen mejores resultados que sus homólogos de la OCDE […] hay menos diferencia entre los mejores y los peores resultados, o lo que es lo mismo, en España hay mayor equidad”, destacando que “la esperanza de vida escolar española ha aumentado en los últimos años hasta alcanzar un valor similar al de los promedios OCDE y UE, que sólo son superados por los países nórdicos, además, el porcentaje de españoles de 25 a 34 años titulados en Bachillerato y ciclos formativos de grado medio sigue creciendo ²⁶ . Sin embargo, España sigue ofreciendo uno de los peores datos en cuanto a AEP ²⁷ .

- Fuerte influencia del contexto europeo y de los organismos internacionales en la formulación de las políticas educativas nacionales

Si hay un campo político donde los factores de contexto jueguen un papel lleno de negociaciones (polémicas y complejas), compromisos, estrategias, acuerdos (implícitos y explícitos) es el educativo. Si a ello añadimos que el enfoque educativo, en la mayor parte de los países, se entreteje con el sistema productivo, la saturación de esta arena política en cuanto a información y actores resulta más que evidente. Esto obliga al evaluador de políticas públicas a una consideración decisiva del contexto global por el desplazamiento decisional que se ha ido produciendo hacia Bruselas. Hoy resultaría imposible comprender hacia donde va la educación sin tomar como referentes los informes internacionales: Objetivos de Desarrollo del Milenio de Naciones Unidas, la Agenda Educativa de la UNESCO, los estudios PISA y otros de la OCDE. Todos ellos ejercen una considerable influencia en las políticas educativas y en la opinión pública, como consecuencia del sistema de indicadores que publican cada año. Las comparaciones internacionales sobre niveles de gasto, modelos de financiación, remuneración de los docentes, estudiantes y titulados, se han convertido en habituales en todos los países desarrollados. Ha sido también la OCDE la que ha prestado una atención destacada a los análisis sobre el impacto del capital humano en el crecimiento económico y en las características del mercado de trabajo.

Contexto especial e ineludible para los países miembros de la UE-27son los acuerdos y objetivos de la Comisión y el Consejo. El programa educativo europeo se plasma en la Estrategia de Lisboa 2000 y en los Objetivos para 2010, encomendando a la Comisión el liderazgo de los principales cambios en esta materia, por lo que no podría entenderse ningún trabajo sobre educación que no tuviera en cuenta la explotación documental de las Directrices y Comunicaciones UE.

Tampoco puede olvidarse la lucha de intereses en pugna por un mercado, el de la educación, que es una fuente apetecible de poder y de beneficios, donde confluyen muchos intereses, se ponen en juego recursos muy preciados y se generan estrategias para su control por parte de algunos actores. En este sentido el papel de estos grupos en la formulación de las políticas europeas es una cuestión a tener muy en cuenta cuando se examinan medidas para la resolución de los problemas.

La lección más importante que ha dejado el encargo respecto al enfoque y contexto es la necesidad formativa de los evaluadores en el análisis político y en la explotación de los documentos institucionales, requisito indispensable para entender los encargos de las políticas educativas y el grado de responsabilidad de los diferentes niveles de gobierno implicados. No se puede olvidar el papel de las CC.AA. en la implementación de estas políticas.

• Complejidad de la evaluación

Hablar de complejidad al evaluar la acción pública resulta una obviedad. En el caso que se expone, cada una de las lecciones extraídas evidencian por sí mismas la complejidad de la evaluación: objeto compuesto, carácter estratégico, política social y conexiones de los sistemas productivos y educativos, multiplicidad de actores implicados en la formulación, intervención de diversas esferas de gobierno, reparto competencial, criterios de valor, entre otros. El tema excede el límite de estas páginas, destacando dentro de la complejidad general del estudio, la multiplicidad de objetos puestos en juego y la interrelación en cadena de sus resultados e impactos. Asimismo, el entramado de criterios que requiere esta política pública para emitir el juicio de valor.

3.2- Lecciones aprendidas en relación con la fase de Planificación

- Necesidad de definir con mayor rigor los conceptos

Por lo que respecta a los aspectos técnicos de la evaluación, la primera consideración ha sido la necesidad de definir bien los conceptos.

En el caso de las becas aplicadas al AEP lo correcto sería hablar de “ayudas al estudio personalizadas”, por las siguientes razones: las becas responden a dos requisitos básicos: las circunstancias socioeconómicas y el aprovechamiento académico del solicitante. Si hablamos de utilizar estos beneficios económicos para alumnos que, generalmente, no podrían demostrar ese aprovechamiento, sino todo lo contrario, resulta inconveniente utilizar el término becas. Más correcto sería el de “Ayudas al estudio”, que recoge nuestra normativa para “ayudas que atiende únicamente a las circunstancias económicas del beneficiario”.

En cuanto al discurso del abandono escolar prematuro se está moviendo en dos direcciones superpuestas que tienen que ver con dos tipos de población distinta: Una de estas direcciones es la que marca la definición de Eurostat: “Se considera abandono escolar prematuro el porcentaje de personas de 18 a 24 años que han completado como máximo la primera etapa de la educación secundaria y no siguen ningún estudio o formación adicional” (PNR, 2005:23).

Esta definición alude, en el fondo, a un problema de tipo productivo pues se refiere a una población que está ya fuera del sistema educativo, de baja cualificación profesional al no haber alcanzado las titulaciones mínimas establecidas.

En paralelo, los Objetivos educativos y puntos de referencia para el año 2010 del Ministerio de Educación avanzan un enfoque que apunta a una política de mayor titulación y permanencia del alumnado dentro del sistema educativo pero con el foco, no sólo en la adquisición de estudios obligatorios sino también en los postobligatorios. “Reducir el abandono escolar prematuro consiste en aumentar el número de jóvenes que, una vez finalizada con éxito la educación secundaria obligatoria, continúan y finalizan sus estudios de bachillerato o en ciclos formativos de grado medio”. (MEPSYD, 2008a: 61).

Las estrategias aquí se dirigen a mantener al mayor número de alumnos dentro del sistema y a la obtención de titulados, no sólo en los niveles de obligatoria, sino de postobligatoria. “España necesita, de aquí a 2012, que 570.000 jóvenes más estudien más allá de la educación obligatoria para que tengan un futuro más próspero y para acercarnos a los países europeos” (MEPSYD, 2008b). A fin de propiciar la continuidad de los jóvenes en los estudios post-obligatorios de bachillerato, formación profesional y educación superior, se plantean las becas como un instrumento estimulante. El énfasis, en todo caso, debiera ponerse en que estas ayudas deben contribuir –y evidenciar- la disminución del abandono escolar prematuro.

- Enfoque evaluativo

Toda intervención pública responde a un enfoque, como tal la evaluación no está exenta de aplicar una perspectiva u otra a la hora de elaborar sus diseños. Es esta una cuestión que no siempre se evidencia y que, en muchos casos, se pretende hasta ocultar, pero lo cierto es que la calidad de la investigación no está sólo en las técnicas y en la recogida sistemática de información, sino en la claridad con la que se exponga el enfoque elegido. Porque sólo así podrá ser contrastado.

En la evaluación que se comenta, el discurso sobre el AEP parece ser el mismo pero encubre matices y diferencias según las instituciones, los informes y las políticas implicadas y las disciplinas que lo abordan.

Concluir sobre las intervenciones públicas referidas al AEP requiere análisis tanto políticos como sociológicos y económicos. Una evaluación comprensiva del asunto habrá de tener en consideración una visión multidisciplinar sin perder de vista que, desde la Administración Pública, el foco ha de ser “la atención que le han prestado las políticas públicas”. Por ello, ha sido indispensable construir la historia de estas intervenciones a través de los textos institucionales. Lo primero que se ha tratado de clarificar es quién dice qué sobre la cuestión y qué se ha hecho. Se ha tratado de reconstruir un discurso en el que se interrelacionan las diferentes voces del espacio público (europeo y nacional), tratando de clarificar cómo se superponen y, a veces, incluso, cómo se contradicen.

Respecto a los estudios comparativos, requieren también un planteamiento investigador que aprecie esa información, pero que considere las peculiaridades de cada situación. En este sentido se recogen las palabras de Mercedes Cabrera, anterior Ministra de Educación: “las experiencias extranjeras no bastan” ²⁸ . Y las recomendaciones de Education at a glance/Panorama de la Educación (OCDE, 2008): “los países deberán considerar las opciones –de otros- cuidadosamente y necesitarán mejorar los conocimientos de base en cuanto a cómo se vinculan esas opciones con la relación coste-beneficio si la eficiencia de los servicios educativos ha de aumentar”. Y aún insiste más respecto a los países que están experimentando aumentos en el gasto por alumno –caso de España-: “necesitan examinar cuidadosamente cómo se hace uso de los recursos”.

En definitiva, el enfoque comparativo pondrá especial cuidado en no copiar por copiar, sino intentar dejar demostrada la eficacia al transferir experiencias de otros países y sobre todo, los niveles de equidad que subyacen en cada sistema político y educativo.

Otra cuestión a considerar a la hora de enfocar la evaluación es la siguiente: los enfoques macro-económicos y macro-sociológicos respecto al AEP son incontestables. Pero estas perspectivas, hasta el momento, sólo informan sobre lo que está pasando y el número de alumnos a los que afecta. Los datos cuantitativos resultan interesantes al cuantificar y sacar a la luz la gravedad del problema, pero éste persiste y se agrava desde hace años. La visión cuantitativa resulta insuficiente para explicar los porqués. Si se quiere que las becas vayan destinadas a resolver el núcleo del problema se debe abrir la “caja negra” del abandono y poder llegar a determinar lo que esconde. Abrir la caja del abandono es, simplemente, tener en cuenta a los afectados.

Se destaca la falta de estudios cualitativos sobre AEP y, en particular, etnográficos. Estudios de vida que vayan clarificando la acumulación de circunstancias que se pueden llegar a dar en el abandono para comprender la diferencia entre países y entre comunidades dentro de España. En este sentido, no se perderá de vista la orientación que propone la Comisión Europea (2006) a los países miembros para la resolución del AEP: “Hacer hincapié en la prevención, detección precoz y seguimiento individual de las personas en situación de riesgo”. Esto supone introducir un nuevo criterio requerido cada vez más en el análisis y evaluación de las políticas sociales: el criterio diferenciador. Y es en esa misma línea que deberían ir las ayudas financieras que se propongan para su resolución. Se requieren seguimientos individualizados.

• Criterios de evaluación

El asunto de los criterios de evaluación está estrechamente ligado con el enfoque de evaluación y ha sido uno de los más ricos en el caso que aquí se presenta. Puso en evidencia, de nuevo, las diferencias que existen entre establecer referentes para evaluar programas y los que requiere la evaluación de las políticas públicas. Los tradicionales criterios que se manejan en el campo de la evaluación de programas resultan insuficientes a la hora de valorar las políticas públicas. En realidad, cada uno de ellas genera sus propios criterios de valor, su jerarquía y sus tensiones. En el caso de la evaluación que nos ocupa se trató de poner en sintonía los dos niveles de acción de gobierno que se entrecruzan y se examinó un entramado de criterios rico y complejo: equidad, pertinencia, coherencia, cobertura, eficacia (gestora y social), cooperación administrativa, eficiencia y productividad, oportunidad.

Sólo a modo de ejemplo se avanzan algunos de los pilares básicos del “constructo” de criterios.

- Equidad

El pilar fundamental de todos estos criterios en la evaluación que nos ocupa lo constituye el criterio de equidad cuyo cumplimiento debe examinarse tanto al hacer el análisis sobre el diagnóstico del sistema actual de becas como al plantearse las nuevas modalidades que pudieran proponerse para reducir el AEP. Ninguna modalidad, por eficaz que resulte en otros sistemas, sería recomendable si no garantiza el principio de equidad.

En las últimas décadas, las interpretaciones sobre la desigualdad en la educación han pasado de un enfoque unidimensional más determinista a una visión multidimensional e interactiva (Marchesi, 2003).

- Pertinencia

Supeditado a este criterio estaría el de pertinencia. Por lo que se refiere al Sistema General de Becas, son numerosos los estudios que evidencian que esa política contribuye a compensar las desigualdades derivadas de factores sociales, económicos, culturales, geográficos étnicos o de otra índole. Más dificultad encierra probar este criterio respecto a las nuevas modalidades que prevé la planificación estratégica para reducir el AEP: ¿Son las becas un buen instrumento para reducir el AEP? El cuestionamiento tiene su base en una de las conclusiones del Estudio de la Comisión Europea que mantiene que en la mayor parte de los países las becas no han demostrado ser un instrumento significativo para frenar el problema, excepción hecha de algunas modalidades de becas que en el Reino Unido han tenido éxito. Naturalmente, la eficacia en ese país, debería contrastarse con otros factores esenciales del sistema educativo británico, tanto económicos como de primacía de la igualdad. Sólo así se podría valorar la eficacia de esas becas en un modelo educativo tan distinto como el español.

Lo anterior enlaza con las metodologías. Los estudios comparativos sobre sistemas políticos, que se apoyan en estadísticas y datos coyunturales sin atender a los estructurales, resultan deficientes y hasta engañosos cuando se trata de analizar políticas sustanciales. Y mucho más cuando se quieren aplicar experiencias de otros países a la solución de sistemas cuya estructura y coyuntura pueden ser bien diferentes.

Con la mejor voluntad, se apuntan a veces soluciones educativas que presentan éxitos en algunos países, pero sin explicar hasta qué punto esos países han ido desmantelando su sistema público de educación.

- Eficacia

La lección más contundente en este sentido es que en las políticas públicas hay que distinguir con mayor claridad la eficacia técnica y la eficacia social. Hay que desglosar y transparentar la eficacia en sus distintos componentes. Una intervención puede ser eficaz desde el punto de vista técnico y absolutamente ineficaz desde el punto de vista de la igualdad o la cohesión social.

- Calidad

El asunto de la calidad educativa en las intervenciones para reducir el AEP y en particular para las becas, examinó el problema desde la perspectiva de valorar aquellas intervenciones que no persigan sólo la titulación de los que abandonan. Este enfoque, interesante, tal vez, desde el punto de vista productivo al brindar la titulación mayores oportunidades, sin embargo, no puede ser el eje del sistema educativo. Las becas deben ayudar a proveer a los alumnos de abandono la capacidad de formarse adecuadamente como personas y como ciudadanos de este siglo, reforzando la calidad de todos, lo que sin duda revertirá a su vez en una mayor cualificación profesional y en una mejora del capital humano del país.

En este sentido sería de interés evaluar otras intervenciones complementarias dirigidas a disminuir el abandono como los Programas de cualificación profesional.

- Productividad

Este criterio resultará capital para establecer el juicio de valor sobre la incidencia del sistema educativo en el Capital Humano y, en concreto, para establecer los objetivos de productividad de la Estrategia de Lisboa. Es un criterio que tendrá más peso en la segunda fase de la evaluación.

- Oportunidad

De aplicación también en la segunda fase, este es un criterio poco utilizado en la evaluación de programas pero que resulta indispensable tener en consideración en la evaluación de las políticas públicas, en particular, cuando se requiere una evaluación ex ante que examine futuras medidas a poner en marcha. En ese caso, el evaluador no podrá dejar de examinar la oportunidad “política”, “económica” “social” de las propuestas a la hora de diseñar las medidas, si bien la decisión final responderá al planificador.

- Cooperación y colaboración entre administraciones.

Los sistemas políticos descentralizados llevan consigo mayor responsabilidad en el control por parte del Estado de las condiciones necesarias que mantengan la unidad y la equidad en todo el territorio. Requiere asimismo por parte de las administraciones autonómicas responsabilidad en la colaboración y cooperación.

3.3- Lecciones aprendidas fase de implementación

- El papel de la información en la evaluación de políticas públicas

Una diferencia fundamental entre la evaluación de políticas públicas y la evaluación de programas es la que se refiere a la información. Para los gestores públicos la información y los sistemas de seguimiento resultan fundamentales para saber sobre los resultados. Sin embargo, en el nivel político, la información no es un déficit. En realidad es el nivel más informado. En el caso sobre el AEP, el gobierno conoce desde hace años las tendencias de nuestro país. Dispone antes que nadie de los informes internacionales sobre educación y cuenta con el apoyo de sus unidades internas. Se apoya en el Instituto de Evaluación y cuenta con las oficinas estadísticas. Dispone, además, de un gran aporte de informes de expertos. Es de suponer que información no le falta. Sin embargo, surgen nuevos problemas y se necesita diseñar con el mayor acierto las intervenciones públicas. Es una cuestión de comprensión más profunda y holística en un mundo con cambios vertiginosos. Lo que ha de tener en cuenta el evaluador de políticas públicas es que la necesidad de información es mucho más sofisticada en el nivel estratégico que en el operativo y sus preguntas y sus conclusiones deberán estar en sintonía con esa necesidad.

- Armonización de datos estadísticos y necesidad de estudios comparativos más allá de lo cuantitativo

Una de las lecciones aprendidas en esta fase es la falta de armonización de datos estadísticos globales -estudios International Indicators of Education System (INES), PISA, Indicadores Eurostat- así como un marco coherente de indicadores que ha establecido la UE para medir el logro de los objetivos de la Estrategia de Lisboa que se encuentra en mejora continua (Comisión Europea, 2006). A ello se añade las disponibilidades informativas del sistema estadístico nacional que siguen ofreciendo algunos problemas para comparar los datos, tanto entre países como entre Comunidades Autónomas.

En cuanto a la medición, no todos los organismos ponen igual énfasis en medir las desigualdades, ni consideran en sus baterías de indicadores exactamente las mismas dimensiones. No podemos olvidar que los indicadores internacionales pueden ser un estímulo para la inversión en gasto educativo o para competir con niveles de calidad, pero también pueden obedecer a la selección de ciertos grupos de presión que resaltan unas dimensiones de la educación desde una posición más mercantilista. Cualquier estudio de evaluación debe considerar estas cuestiones a la hora de redactar las conclusiones.

Por eso las comparaciones entre países y las medidas de intervención propuestas debieran acompañarse de las explicaciones sobre la idiosincrasia de los distintos sistemas educativos (Prats y Raventós, 2005). Hay algunos que presentan eficacia en cuanto a resultados, pero que generan desigualdad social o que avanzan hacia el desmantelamiento de sus sistemas públicos. Cualquier medida eficaz que se proponga en educación tiene que contrastarse con los valores que sustentan el sistema.

Resultados

- Utilidad y uso

La evaluación que examinamos, como se viene señalando, responde a una utilidad final estratégica. El juicio de valor sólo podrá expresarse tras realizar la evaluación ex ante de la segunda fase. Las conclusiones sobre el diagnóstico y las alternativas que se proponen en la primera entran más bien en la categoría de análisis prospectivo que servirá de base para la formulación estratégica.

El trabajo del primer año diagnostica y plantea algunas de las posibles soluciones que se dan en otros países –eso sí, con diferentes sistemas- y que sólo tras el siguiente estudio podrían proponerse para aplicarse con mayor seguridad en el nuestro.

Entre todas las tipologías de evaluación, la evaluación ex ante es una de las que tiene más posibilidades de evidenciar el uso e incorporación de sus conclusiones a la formulación política. Aunque nunca quedará claro si la formulación incorpora los resultados de la evaluación o del conjunto de informes que avalan la decisión pública ²⁹  que compiten entre sí.

- Competitividad de la evaluación con otros informes

En relación con lo anterior hay que destacar que el uso de la evaluación dependerá de muchas cuestiones, pero una de ellas, es que los informes compiten con los de otras instancias. En este caso, el informe de la AEVAL (2009) corría en paralelo con otro sobre AEP que tenía que presentar el Instituto de Evaluación y es seguro que en el despacho ministerial habría otros más para contrastar orientaciones diversas. De especial relevancia son los informes de experto y los que emiten las comunidades epistémicas de prestigio: universidades, fundaciones, consejos, etc. ³⁰  La evaluación puede encontrar en esos informes refuerzo o rechazo a sus conclusiones. En la fase final, los informes de evaluación vuelven a la arena política y a la influencia de dimensiones que a ésta le son propias: valores e ideología, aspiraciones, compromisos, experiencia y, en particular, la concepción del tiempo y la oportunidad para las transformaciones que se persiguen. Vuelve entonces la evaluación a la pugna entre diferentes intereses. Sus conclusiones entran en competición con orientaciones diversas: intelectuales, políticas y sociales que los evaluadores deberán tener en cuenta a la hora de considerar las decisiones públicas.

4-CONCLUSIÓN

A fin de no reiterar las conclusiones precisas que se extraen del epígrafe anterior, se exponen a continuación las generales que se derivan de la evaluación en su nivel estratégico. Este tipo de evaluación tiene un campo propio, de naciente estudio y aún de escaso desarrollo que es todo un desafío y una oportunidad para instituciones como la AEVAL. El reto está en encadenar mejor los niveles operativos y los estratégicos de la acción pública y para ello habrá que explorar nuevas herramientas de evaluación.

En este campo se le reclama cada vez más ocuparse de las políticas públicas en el nivel macro, por lo que se hace preciso distinguir las particularidades que hay entre la evaluación tradicional de programas y proyectos que han sido hasta el momento las más numerosas y las nuevas exigencias de los decisores públicos. Para el objeto macro resulta determinante la aplicación de métodos y técnicas de múltiples disciplinas, pero en particular, los de la ciencia política que, en cierta medida, hasta el momento, ha tenido menor protagonismo en la evaluación de programas. Los gobiernos no sólo demandan datos, sistemas de seguimiento, y resultados para la mejora, sino análisis de proyección y de escenarios en los que esos datos puedan traducirse en intervenciones públicas más eficaces para resolver los problemas de la sociedad. Reclaman cada vez más la evaluación como apoyo a la definición de nuevas estrategias.

En la evaluación de políticas públicas, la eficacia debe tener en cuenta, no sólo la eficacia técnica sino la eficacia social y los evaluadores deberán esforzarse por desglosar y analizar ambos aspectos antes de elaborar sus juicios.

En el mundo globalizado, los análisis comparativos son absolutamente necesarios, pero sólo resultarán útiles en la medida en que vengan contextualizados.

Cualquiera de las medidas propuestas para resolver el AEP a través de becas debería probar que los recursos destinados a esa población están encaminados a:

1. Proporcionar igualdad de oportunidades respecto a su promoción social y a una atención personalizada que tenga en cuenta la casuística de esa población.

1. Formar ciudadanos que puedan participar en la toma de decisiones en una sociedad democrática y multicultural.

1. Contribuir a emancipar a los jóvenes a fin de hacer de ellos personas adultas y responsables.

1. Asegurar que el refuerzo generará valor añadido en la búsqueda de empleo en la sociedad del conocimiento.

Para unas conclusiones más pormenorizadas de los resultados de la evaluación remitimos al lector al Informe completo de la evaluación que figura en la web de la AEVAL (2009). La finalidad de este trabajo era sumar valor al primero examinando las lecciones aprendidas que desde el expertizaje de evaluación ha dejado el proceso.

 1  Consejo de Ministros 1/08/2008, por el que se aprueba el Plan de Trabajo AEVAL, 2008.

 2  El Informe del Observatorio de la Calidad de los Servicios Públicos (AEVAL, 2009) recoge que la educación es una de las políticas públicas con la que los ciudadanos están más insatisfechos.

 3  “La administración educativa debe esforzarse continuamente por satisfacer las necesidades y las expectativas sociales; por ello la evaluación del sistema educativo se orientará a la permanente adecuación del mismo a las demandas sociales” (artículo 62.1 de la Ley Orgánica de Ordenación General del Sistema Educativo, LOGSE). Sobre el proceso de institucionalización anterior ver García Sánchez (2004).

 4  Mediante Real Decreto 928/1993, de 18 de junio.

 5  Sobre el desarrollo de las instituciones evaluadoras en las CC.AA., véase INCE (1999). Para los distintos tipos de evaluación llevados a cabo puede consultarse Apuntes del Instituto de Evaluación (MEPSYD, 2007).

 6  Iglesias Ussel et al. (2009). Sobre la calidad de las universidades, la revista Gestión y Análisis de Políticas Públicas dedicó a este tema, en 1998, una edición monográfica correspondiente a los números 11/12.

 7  La AEVAL fue creada por la Disposición Primera de la Ley 28/2006 de 18 de julio, de Agencias Estatales para la mejora de los servicios públicos. El Real Decreto 1418/2006 de 1 de diciembre aprobó el Estatuto de la Agencia de Evaluación de Políticas Públicas y Calidad de los Servicios.

 8  El Real Decreto 1039/2009 adscribe la Agencia al Ministerio de la Presidencia que en origen estaba adscrita al extinto Ministerio de Administraciones Públicas.

 9  Su papel está claramente diferenciado de la función de seguimiento, como se recoge en el documento Convergencia y Empleo. Programa Nacional de Reformas (PNR, 2005) que encomienda el seguimiento de la Estrategia de Lisboa a la Oficina Económica del Gobierno y la evaluación de la implementación y logro de las medidas a la AEVAL.

 10  Se puede ver Education at a Glance/Regards sur l’Education (2009). La versión en español, Panorama de la educación. Indicadores de la OCDE 2009 está a disposición del público en el Ministerio de Educación.

 11  Véase Tiana (2007, 2008).

 12  Eje 3. Capital Humano. Apartado 6. Medidas: “Se continuará ampliando la política de becas y ayudas al estudio a fin de estimular la continuidad de los jóvenes en los estudios postobligatorios de bachillerato, formación profesional y educación superior. Estas ayudas deben contribuir a disminuir el abandono escolar prematuro y permitirán mejorar las tasas de alumnos graduados en educación secundaria superior. La ampliación afectará en 2006 a cuarenta mil nuevos becarios y el incremento total previsto del gasto destinado a becas superará los 85 millones de euros”.

 13  Disponible en internet en el sitio web de AEVAL:

http://www.aeval.es/comun/pdf/evaluaciones/E11.pdf

 14  Por artificial que esa concepción pueda parecer a algunos analistas no deja de tener una utilidad práctica nada desdeñable.

 15  Tómese en el sentido común del término, como sinónimo de estudio y no en el específico de objeto de investigación. En puridad lo estricto sería hablar de objeto de evaluación, pero para refrescar el texto con otros sinónimos se utilizará indistintamente objeto de estudio, de investigación o de evaluación, con la salvedad de tener bien presente las diferencias que hay entre las distintas prácticas.

 16  La única Comunidad Autónoma con competencias plenas en materia de becas es el País Vasco, sin perjuicio de que tenga en cuenta en sus convocatorias los requisitos y umbrales mínimos establecidos con carácter general por el Estado.

 17  El resumen ejecutivo de dicha Comunicación está disponible en español en Revista de Educación (2006).

 18  Véase los diferentes estudios sobre Capital Humano elaborados por el Instituto Valenciano de Investigaciones Económicas (IVIE), algunos disponibles en su sitio web: http://www.ivie.es/banco/caphum/caphum.php

 19  Se ha contado con un buen número de actores implicados en la política a evaluar, aunque el grado de participación en la evaluación haya sido muy desigual por razones que exceden este artículo.

 20  La coordinación de estos estudios estuvo a cargo del profesor Jorge Calero, experto en política educativa y gasto público.

 21  Las comillas tratan de llamar la atención sobre el objetivo que perseguía la técnica del panel que fue contrastar los resultados obtenidos en la evaluación, nunca consensuar conclusiones con los participantes.

 22  Ese mandato supone “obligación de hacer” en relación con la propia misión de la Agencia.

 23  Estamos considerando la evaluación de programas en su faceta operativa, sin obviar programas que puedan tener una importancia estratégica en el nivel que venimos señalando.

 24  Sobre la evaluación de las políticas sociales y su complejidad ha servido de referente el artículo ya clásico del profesor Subirats (2005) “Catorce puntos esenciales sobre evaluación de políticas públicas con especial referencia al caso de las políticas sociales”; si bien su ejemplo se centra en el campo de la inclusión social.

 25  En esta línea se viene trabajando y el Gobierno y la oposición aparecían a principio del otoño en los medios iniciando un nuevo diálogo para ese pacto educativo que tanto reclama la sociedad.

 26  Las tasas de titulación en Bachillerato se encuentran en España (45%) entre las de la OCDE (48%) y las de la UE (43%). En 2007 ha mejorado en 4 puntos el porcentaje de graduados en ciclos formativos de grado medio.

 27  Los datos que considera el Informe se refieren a 2006-2007.

 28  La evaluación se llevó a cabo bajo el mandato de la Ministra de Educación, Mercedes Cabrera.

 29  Durante las entrevistas realizadas a los responsables del Instituto de Evaluación se tuvo conocimiento de un encargo monográfico al Instituto sobre Abandono Escolar Prematuro.

 30  En la Sesión ordinaria del Pleno de 3 de marzo de 2009, el Consejo Económico y Social presentó su INFORME 01/2009 sobre Sistema Educativo y Capital Humano que analiza infinidad de cuestiones similares a las planteadas por la evaluación AEVAL. La diferencia mayor entre ambos tipos de trabajo es que las conclusiones del Consejo son consensuadas por el conjunto de actores mientras que en el caso de la evaluación, podrían consensuarse las preguntas de evaluación, pero en ningún caso las conclusiones a las que llegue el equipo evaluador. Teniendo en cuenta esta consideración, es innegable que los dos tipos de trabajo tienen su provecho. Y que pueden servir mutuamente para contrastar los hallazgos.