1. EL PROCESO DE BOLONIA Y SUS OBJETIVOS. EL PAPEL DE LA EVALUACIÓN EN EL PROCESO DE CONVERGENCIA.

La Declaración de Bolonia es un hito en las reformas universitarias de las últimas décadas. Un total de cuarenta y seis países están introduciendo cambios visibles de manera conjunta. La literatura es muy extensa, y el proceso continúa abierto, desde aquella segunda reunión ministerial en Bolonia, en 1999, hasta la última de Londres, en mayo de 2007, y la próxima convocatoria que será organizada por los países del Benelux en 2009 ¹ . La documentación necesaria para comprender la filosofía, los objetivos, las iniciativas y el estado del proceso reformista es más asequible y reducida (abundan las repeticiones y los textos prescindibles que poco añaden).

Bolonia respondía a una situación y un diagnóstico concretos de los problemas de la universidad europea. La desaparición de la universidad de masas y la defensa del libre mercado en la educación superior, parecían situar a la universidad pública en una posición anquilosada, incapaz de competir frente a la oferta de las universidades a distancia, los títulos mixtos, los estudios profesionales privados y las delegaciones de prestigiosos centros de estudio extracomunitarios. La desbandada de alumnos que entonces se podía esperar ponía a nuestro sistema público en riesgo de desaparición o de merma seria. Las declaraciones ministeriales que siguen la ruta de Bolonia establecen casi desde el inicio una filosofía de trabajo que define la situación de partida, identifica los problemas de la universidad del momento y propone una lista relativamente breve de objetivos y estrategias para el cambio del modelo universitario europeo. La implantación extensa de los sistemas de evaluación forma parte del núcleo central de estrategias, con un papel clave en el aseguramiento de la calidad y en el aumento de la confianza mutua entre los estados firmantes.

Hoy la situación ha cambiado en algunos puntos. La crisis mundial del sistema financiero, la pérdida masiva de empleos y la recesión económica, han creado un nuevo escenario frente al cual los análisis son todavía confusos y caducan con rapidez, sobrepasados por los acontecimientos y la alarma continua de los indicadores macroeconómicos. Sin duda, la nueva situación tendrá repercusiones en el sistema universitario público, ya visibles en el fracaso inicial y la desaparición de un buen número de iniciativas de posgrado surgidas al amparo del discurso de la convergencia europea, y que no han conseguido atraer a suficiente número de alumnos para financiarse y justificar su continuidad. En consecuencia, al hablar del proceso de Bolonia, debemos tener un ojo puesto en las declaraciones y propuestas elaboradas durante esta última década, y el otro en el incierto futuro que nos depara la compleja situación actual de crisis económica y financiera.

Presentaremos en este artículo una metaevaluación del sistema de evaluación de las titulaciones universitarias andaluzas. Mediante cuestionario, fueron requeridas las opiniones de un grupo de profesores andaluces con experiencia como miembros de comités de autoevaluación. El cuestionario se utilizó para juzgar, desde el punto de vista del profesorado, la calidad del proceso de evaluación a lo largo de todas sus fases y elementos clave. Los resultados se interpretan como las características y valores deseables que debería cumplir el sistema de evaluación. Antes de exponerlos, repasaremos brevemente los objetivos del proceso de Bolonia, el papel que dicho proceso reserva a las actividades de evaluación, y la situación y características de la evaluación de las titulaciones en las universidades andaluzas.

Según la propuesta oficial de Bolonia, el primer problema es la variedad de ofertas, estructuras y modelos de formación, así que el primer objetivo es crear una estructura común que aumente la legibilidad de la oferta educativa europea, dotándola de identidad y visibilidad ante alumnos y socios potenciales (bachelor/master degrees, ECTS, competencias). El siguiente paso es eliminar fronteras y flexibilizar el mercado de la educación superior para facilitar la movilidad estudiantil y profesional, promover el flujo e intercambio de experiencias y conocimientos y la libre elección de programas. La desconfianza inicial entre nuestros países ³  limita la eliminación de fronteras, así que el segundo objetivo es aumentar la confianza introduciendo o reforzando los sistemas de evaluación y acreditación existentes en cada país, entendidos como sistemas de aseguramiento y garantía de la calidad (ENQA, 2005), y mejorando los mecanismos de convalidación (recognition) ⁴ .

La preocupación por la empleabilidad de los egresados, la dimensión social (defensa del sistema universitario público), introducida en respuesta a las presiones iniciales de la organización europea de asociaciones de estudiantes (ESU), y otras cuestiones complementarias (lifelong learning…) completan el esquema central de los objetivos del proceso de convergencia. Las declaraciones ministeriales incluyen la lista oficial de objetivos, y desde aquí recomendamos la lectura de Haug y Tauch (2001) para un resumen argumentando de la cuestión de los objetivos e instrumentos principales del proceso.

Sólo dos cuestiones más de matiz. Muchos cambios que se están produciendo a nuestro alrededor no responden ni al espíritu ni a las recomendaciones iniciales, aunque se utilice el marco de Bolonia como argumento para justificarlos, mientras que algunos aspectos centrales no están teniendo eco en la reforma, toda vez que la competencia sobre legislación educativa pertenece a cada país (y a cada región, en el nuestro), y cada uno está interpretando y redefiniendo a su modo los requisitos de la convergencia europea ⁵ . Y en segundo lugar, en gran medida, el proceso de reforma se fundamenta en una estrategia mercantilista de la política universitaria, un intento de frenar las tendencias expansionistas de otros modelos de universidades alternativas al modelo público, que intentan ser contrarrestadas haciendo más atractiva y competitiva nuestra oferta de estudios, para captar recursos económicos de un alumnado potencial que demanda determinado tipo de formación profesionalmente orientada ⁶ . Es un planteamiento que no convence a muchos (aunque la actual crítica de nuestros estudiantes es más bien ignorante de esta problemática), pero debemos ser conscientes de que este es el tema central que da significado a la reforma, al menos en sus años iniciales.

Ya hemos mencionado el importante papel que se asigna a la evaluación dentro del proceso de convergencia europea: asegurar la calidad de la oferta de formación de cada universidad y de cada país, para mejorar la confianza en términos de reconocimiento mutuo de los títulos expedidos en cada centro de estudio y de creación de redes universitarias de colaboración. Supuestamente, la movilidad profesional y la colaboración serán una realidad cuando cada país deje de dudar de las competencias profesionales de los egresados en otros países, permitiendo que un egresado pueda completar sus estudios o desarrollar una carrera profesional en un país diferente al de origen. Las fórmulas posibles son variadas: una universidad puede obtener un sello de calidad privado que la acredite ante las demás como una institución digna de crédito; el Estado puede crear o fortalecer mecanismos propios para elevar los requisitos que se imponen a una universidad antes de darle licencia para expedir títulos; un conjunto de universidades puede asociarse y definir un conjunto de requisitos comunes que les obliguen a mejorar en algún área relevante (investigación, empleabilidad, financiación, etc.), que aumenten su atractivo como centro de estudios o que sirvan para imponer normas de control a nuevas instituciones que quieran formar parte de la red. Todas estas opciones han sido ensayadas, y subyace en la diversidad la idea de acreditación múltiple (Van Vught, 1994), es decir, que cada universidad decida con cuál o cuáles sistemas desea ser acreditada, en la confianza de que eso mejorará su atractivo como socio para la creación de redes universitarias o para captar alumnos. La opción española parece vencerse hacia un refuerzo del papel ministerial (y autonómico, en virtud de las competencias transferidas) que define los requisitos y criterios para diseñar un título oficial de grado o de postgrado ⁷ .

2. LA EVALUACIÓN INSTITUCIONAL EN ESPAÑA

La evaluación institucional se realiza en España desde los años noventa, siguiendo el modelo de cuatro fases extendido en Europa (Mora, 2004; Van Vught y Westerheijden, 1994). La agencia nacional responsable (Agencia Nacional de Evaluación de la Calidad y la Acreditación-ANECA) se coordina con las distintas agencias regionales para promover planes de evaluación de la calidad, con el objetivo de que todos los servicios de administración y todos los programas de formación sean evaluados en plazos aproximados de cinco años. En el caso andaluz, la Agencia Andaluza de Evaluación (AGAE ⁸ ) es responsable de definir y apoyar los planes de evaluación que se implantan en las universidades de la comunidad. La realización de evaluaciones es uno de los objetivos incluidos en el contrato programa firmado entre cada universidad pública y la Junta de Andalucía. Parte del presupuesto del centro está condicionado a la realización anual de cierto número de evaluaciones del profesorado, los servicios de administración y los programas de grado y postgrado.

Todos conocemos o hemos participado ya en algún proceso de evaluación universitaria, lo cual no quiere decir que todos tengan una idea clara y competencia crítica sobre la cuestión. La universidad española utiliza múltiples procedimientos de evaluación, bien se trate del proceso de selección del profesorado, la acreditación para la promoción profesional, la evaluación de los tramos de investigación, la acreditación de los nuevos títulos o la evaluación de las titulaciones y servicios universitarios. En este artículo sólo se discutirá sobre la evaluación de las titulaciones, que es el contexto en el que se aplica la metaevaluación que posteriormente describiremos.

Básicamente, se trata de un sistema de acreditación, revestido de un discurso político sobre la mejora y la calidad, y con ciertas peculiaridades en sus procedimientos y consecuencias. En primer lugar, la iniciativa de evaluarse no parte de los equipos rectores, sino de instancias políticas superiores, en contra de las recomendaciones usuales para la implantación de modelos de calidad. Tampoco los equipos decanales o los futuros participantes en los comités internos de autoevaluación tienen capacidad de decisión, y no está claro que tengan una idea ajustada sobre los objetivos del proceso, más allá de la mencionada retórica sobre la calidad y la responsabilidad social de la universidad. ⁹ 

Después de recibir una jornada mínima de formación de dudosa efectividad, se constituye el comité interno de autoevaluación (formado usualmente por representantes del profesorado, estudiantado y personal de servicios), el cual se encargará de analizar la titulación y preparar el plan de mejoras. El trabajo del comité se centra en la reflexión acerca de un listado de áreas sobre los procesos de gestión de la titulación, tal como vienen propuestas en las conocidas guías de evaluación. La información “objetiva” disponible para apoyar la reflexión es poca y no siempre acertada, de tal modo que las reflexiones deben apoyarse en observaciones intuitivas e informales de los propios miembros del comité. Cuando la dinámica de trabajo resulta operativa, se plantea una reflexión de este tipo: “la guía sugiere aquí que deberíamos estar gestionando de este modo, o disponiendo de ciertas fuentes de información; no lo hacemos; por tanto, anotemos un punto débil”, el conjunto de los cuales conformará el plan de mejora que se incluya en el informe final. El planteamiento es abiertamente isomórfico (DiMaggio y Powell, 1983), es decir, se trata que la evaluación oriente al comité de autoevaluación en el esfuerzo de modificar las actuales prácticas de gestión de la titulación para aproximarlas a la norma que se hace explícita en la guía, con independencia de las características, necesidades y peculiaridades de la titulación o de la universidad en cuestión (Rebolloso, Fernández-Ramírez y Cantón, 2005).

La elaboración del informe de autoevaluación es seguida de la visita de un segundo comité de evaluación externa, cuyo valor está por demostrar ¹⁰ . Tras una estancia corta y una serie de reuniones o audiencias públicas de muy escasa participación, el comité elabora un informe en el que comenta, critica y sugiere la introducción de cambios para mejorar el informe interno, en un tono de “crítico amistoso”, por utilizar la expresión de Lee J. Cronbach. Esta es una diferencia crucial con los sistemas de acreditación verdaderos, puesto que el informe externo no es vinculante, y la finalización del proceso sólo depende de la entrega de un posterior informe interno remodelado, que debe recoger las sugerencias del informe externo, según entendimiento y opinión del propio comité de autoevaluación.

Esta visión crítica sitúa la evaluación en un planteamiento superficial, en el que importa menos los resultados que el proceso en sí mismo. Lo importante es demostrar ante los responsables rectorales y políticos, que la evaluación ha sido realizada, es decir, entregar un informe formalmente correcto. La implantación de las mejoras es algo que trasciende a la evaluación en sí misma, más allá de la retórica sobre la calidad y la mejora continua que rodea al proceso. Si bien los evaluadores profesionales y académicos discuten a menudo sobre el problema del impacto de su trabajo, sabemos que las influencias que ejerce la evaluación en el cambio organizacional son muchas veces difusas, no intencionadas, indirectas y no esperadas (Rebolloso, Fernández-Ramírez y Cantón, 2005). La cuestión de la utilidad del sistema de evaluación de las titulaciones queda abierta a investigaciones específicas que analicen de qué manera se está produciendo el impacto de la evaluación, cómo puede incrementarse, y si la mera ganancia en legitimidad ante la sociedad, nuestros clientes y nuestros potenciales socios, es suficiente justificación para el esfuerzo de realizar las evaluaciones.

3. EL ESTUDIO EMPÍRICO REALIZADO

El estudio se enmarca en un proyecto de metaevaluación más amplio, aprobado como proyecto de investigación por el Ministerio español de Ciencia y Tecnología. Los destinatarios finales de la información eran los equipos de gobierno y responsables de procesos de evaluación de las universidades andaluzas, entre quienes se difundió un resumen ejecutivo de los principales resultados. Aunque hubo contacto y apoyo de estos para la recogida de información, en ningún momento se discutieron con ellos las cuestiones, objetivos y métodos de la evaluación. El proyecto pretendía juzgar la calidad de los procesos de evaluación de las titulaciones que se han venido llevando a cabo en las universidades andaluzas durante la última década.

El objetivo del presente artículo es analizar críticamente la perspectiva de los miembros del profesorado como participantes clave en los sistemas de evaluación y en el cambio estructural inscrito en el proceso de convergencia. Una perspectiva de metaevaluación es útil porque se intenta juzgar la calidad de la evaluación mediante la aplicación de un conjunto de criterios de valor que ayudarán a destacar cuáles son las principales virtudes y defectos del modelo actual. El estudio sigue el planteamiento conceptual y metodológico propuesto por Scriven (2000) y Stufflebeam (2001a) para la realización de metaevaluaciones. El resto del estudio puede consultarse en otras publicaciones de los autores (Rebolloso, Fernández-Ramírez y Cantón, 2008, 2009b).

En este artículo se describe la parte cuantitativa del proyecto de metaevaluación desarrollado por el equipo de investigación desde el año 2004 en las universidades andaluzas. Se utiliza una técnica de encuesta on-line para facilitar el acceso a un número suficiente de docentes con experiencia en los comités de autoevaluación de sus titulaciones. Se describen a continuación los usuales apartados de muestra, instrumento, procedimiento y análisis.

- Muestra

Fueron entrevistados ochentaiún académicos de seis universidades andaluzas mediante un cuestionario voluntario on-line. 48.1% son mujeres, 83.9% tienen contrato a tiempo completo, 67.9% son profesores titulares o catedráticos de universidad, distribuidos homogéneamente entre las distintas Facultades y campos científicos, en representación de un variado número de titulaciones. La antigüedad media en la universidad es de 14.82 años, (9.9% menos de cinco años, 23.4% entre seis y diez años de antigüedad). Todos han formado parte de comités de autoevaluación entre los años 1997 y 2005. 60.4% de estas evaluaciones se realizaron después del año 2000, finalizando la mayoría en el curso siguiente. Sólo en tres casos (3.7%), la evaluación se concluyó dentro del mismo año. 18.5% asumieron el papel de presidente o secretario de su comité de autoevaluación, mientras que 58.0% actuaron como vocales (los restantes no informan de este dato).

- Instrumento

El cuestionario incluye 82 ítems que representan a otros tantos criterios de metaevaluación. Está dividido en nueve bloques de información, definidos a partir de la guía para la evaluación de servicios utilizada en aquel momento por la UCUA (Unidad para la Calidad de las Universidades Andaluzas), responsable última de los procesos de evaluación (Rebolloso, Fernández-Ramírez y Cantón, 2003). Los primeros cinco bloques contemplan criterios generales referidos a las funciones de la evaluación, contexto, mecanismos de información y control, resultados y guía de evaluación. Los restantes bloques repasan exhaustivamente las fases del proceso de evaluación, incluyendo la autoevaluación (interroga sobre la composición del comité, el proceso de autoanálisis y el informe inicial de autoevaluación), evaluación externa (composición del comité, proceso e informe externo), la elaboración de los informes finales (distinguiendo entre el proceso de elaboración y el resultado final) y las acciones emprendidas como consecuencia de la evaluación.

La selección de los criterios estuvo determinada por la utilización de cuatro metacriterios de orden superior (responsabilidad, mejora, actitudes democráticas y viabilidad del proceso). Se pretendía con ello que la metaevaluación fuera útil para orientar la revisión del sistema de evaluación, incrementando su utilidad para la mejora de las titulaciones, aportando valor ante clientes y potenciales entidades colaboradoras, reforzando el funcionamiento democrático de las evaluaciones y asegurando su viabilidad práctica. (Ver Rebolloso, Fernández-Ramírez y Cantón, 2009a, para una discusión sobre el concepto de metacriterio y su utilidad para orientar el cambio organizacional en una línea deseada.)

En todos los casos, la cuestión es indicar hasta qué punto se piensa que la evaluación de las titulaciones debería ser realizada en línea con la cuestión mencionada en el ítem (escala de siete puntos, donde el valor siete indica el mayor acuerdo posible). Se intenta así conocer la posición valorativa de los académicos que han participado en procesos de evaluación, es decir, cómo creen que debería ser un proceso de evaluación ideal. (En todos los casos, también se les pedía que indicaran hasta qué punto la evaluación en la que participaron fue realizada del modo indicado en el ítem, aunque estos resultados no se expondrán aquí).

Este trabajo forma parte de un proyecto en el que también se utilizaron técnicas de investigación de índole cualitativa a través de la participación de los investigadores en grupos de autoevaluación (Rebolloso, Fernández-Ramírez y Cantón, 2009b). Evidentemente, el formato de cuestionario es rígido y restrictivo en sus formas, pero fue utilizado por sus ventajas para acceder on-line a una muestra amplia de personas pertenecientes a otras universidades del sistema andaluz. El cuestionario no incluyó items con formato abiertos de respuesta.

- Procedimiento

Se realizó un primer contacto con los responsables rectorales de los procesos de evaluación en cada una de las universidades andaluzas. En todos los casos, se remitió la dirección on-line de la encuesta junto a una carta de presentación del trabajo. Los propios responsables de cada universidad tuvieron la cortesía de difundirla entre los miembros del profesorado que hubieron participado en procesos de evaluación de las titulaciones en convocatorias anteriores. Las contestaciones a las encuestas se registraban directamente en una base de datos construida al efecto con el programa de encuestas de SPSS (Statistical Package for the Social Sciences). Antes de finalizar el proceso, se enviaron varias notas de recordatorio con el ánimo de recopilar un mayor número de casos. Los datos se recogieron entre los meses de enero y febrero de 2006.

- Análisis

Los resultados se presentan en sendas tablas para cada uno de los bloques del cuestionario. Cada tabla incluye el nombre del criterio de metaevaluación, el ítem que lo operacionaliza, así como las puntuaciones media y desviación típica resultantes. Para estimar la existencia de diferencias estadísticamente significativas entre las puntuaciones medias de cada bloque, la tabla incluye también la puntuación alfa y la T2 de Hotelling. La primera mide la consistencia interna de la escala (oscila entre 0 y 1; el valor 1 indica un grado de coincidencia completo); la segunda contrasta la hipótesis nula de que todos los elementos de la escala tienen la misma media (una probabilidad p<.05 indica que las diferencias entre ítems no se deben al azar).

Como se verá, las evaluaciones ideales no alcanzan la puntuación máxima en ninguno de los criterios del cuestionario, permaneciendo siempre en valores positivos, pero no extremos. Igualmente, la consistencia interna es muy elevada en todos los casos, con puntuaciones superiores a 0.85 e incluso 0.90 en algunos casos.

4. RESULTADOS

4.1.- Criterios generales

- Funciones de la evaluación

Además de las tradicionales funciones de mejora y responsabilidad (rendición de cuentas), se incluyen otras posibilidades relevantes en el marco actual de la evaluación universitaria, caracterizado por el discurso de la convergencia europea y los procesos de acreditación (Sursock, 2003).

TABLA 1

Funciones de la evaluación

α = .732

T2 - Hotelling = 61.016, F = 11.577, p < .001

Fuente: Elaboración propia

A primera vista, parece que el discurso oficial de la evaluación ha calado entre los participantes del estudio. Las evaluaciones deberían realizarse, en este orden, para mejorar las actividades (docentes, de investigación y de administración), para ofrecer información a la sociedad sobre el funcionamiento de la universidad y parar apoyar a las titulaciones en sus procesos de acreditación. Incluso el criterio de autonomía es coherente con esta línea “tradicionalista”, respondiendo a la extendida idea de que la universidad debe rendir cuentas a la sociedad a través de la evaluación para justificar la autonomía en la toma de decisiones.

No está claro que estos resultados reflejen un conocimiento completo de lo que puede aportar la evaluación. Rebolloso, Fernández-Ramírez y Cantón (2008 y 2009a) han mostrado que las evaluaciones están sirviendo aceptablemente para la función de responsabilidad, pero sólo de manera limitada la función de mejora. No obstante, los implicados parecen ignorar el potencial que tiene para las funciones de innovación y la crítica, especialmente relevantes en la situación actual de cambio. El proceso de convergencia se puede interpretar como un cambio superficial, ajustándose a las demandas mínimas de adaptación de la estructura de las titulaciones y de utilización de sistemas de garantía de la calidad. O puede entenderse (en mi opinión, de manera más ajustada al espíritu inicial de Bolonia) como un reto para el sistema universitario, que tiene que adaptarse y sacar ventaja en un contexto social globalizado y altamente competitivo (ahora incluso en recesión económica), utilizando estrategias de internacionalización que potencien la movilidad, el intercambio y la creación de redes interuniversitarias. Cuando muchos de nuestros colegas demuestran un comportamiento reactivo, en espera de que las instancias políticas les dicten lo que deben hacer, se echa en falta mayor anticipación, y sobre todo, apoyo a iniciativas innovadoras que pueden dar protagonismo a nuestras universidades en el contexto internacional. La innovación y la crítica son funciones clave en el cambio organizacional, en las que la evaluación podría tener un papel que, a la vista de los datos, está siendo ignorado o relegado.

- Contexto de la evaluación

Son muchas las decisiones y preparativos anteriores al inicio de la evaluación, muchas de los cuales no serán trasladadas a los participantes en el proceso, a pesar de ser determinantes para el éxito del trabajo. Entendemos por contexto esta situación de partida, incluyendo cuestiones como la adecuación a las características e intereses de la titulación (Chen, 1990), la oportunidad para realizar la evaluación en el momento apropiado (Chen, 1990), la suficiencia de los recursos destinados (JCS, 1988; Stufflebeam, 2001b), la competencia de los implicados o el respeto a los participantes y sus intereses (AEA, 1995).

Los resultados sugieren que, idealmente, una evaluación no debería tener consecuencias negativas para los participantes, en términos de respeto a la seguridad, dignidad y autoestima de los mismos. Es decir, con una puntuación relativa muy elevada, la primera preocupación es personal, y no relacionada con los problemas de la gestión a los que la evaluación presta su interés. En segundo lugar, la evaluación debe estar en condiciones de desarrollarse de manera correcta, lo cual implica disponer de los recursos apropiados, y que los participantes tengan la formación y competencias adecuadas.

TABLA 2

Contexto de la evaluación

α = .861

T2 - Hotelling = 206.445, F = 17.081, p < .001

Fuente: Elaboración propia

A pesar de sus elevadas puntuaciones, las cuestiones sobre el papel de la evaluación en los procesos generales de gestión (adecuación, ajuste, coordinación), quedan en un segundo término. El extremo se encuentra en el criterio de centralidad, según el cual parece que la evaluación no se percibe como un elemento clave de la gestión de la titulación, hasta el punto de que no parece relevante el momento en que se realice. Es un resultado llamativo, dado que el enfoque racionalista de planificación que da sentido a este modo de entender la evaluación exige precisamente que gestión y evaluación estén coordinadas, que la evaluación tenga un papel relevante en la toma de decisiones y que se realice en el momento en que se necesita, y no en otro (Patton, 1997). Paradójicamente, nuestros colegas parecen asumir que la evaluación sólo es un acontecimiento puntual periódico que responde a la iniciativa de instancias políticas suprauniversitarias, ajena a la realidad, los problemas y las características de la titulación, a la cual no sirve de gran cosa. No extraña así que lo importante para nuestros colegas sea que la evaluación no les afecte de manera personal; como hemos visto, basta que los implicados sean competentes, y adecuados los recursos destinados al proceso.

- Mecanismos de información y control de la evaluación

Para cumplir su función de mejora y responsabilidad, es necesario que la evaluación y sus resultados sean dignos de confianza para los participantes y para los distintos destinatarios de la información de evaluación. En buena parte, la confianza se incrementa estableciendo controles sobre los datos y ofreciendo información sobre las decisiones centrales del proceso. La credibilidad y la transparencia son clave desde una perspectiva que subraya la dimensión política y pragmática de la evaluación (Guba y Lincoln, 1989; Patton, 1997). Para este tercer bloque, hemos reunido un conjunto heterogéneo de criterios derivados de los principios éticos de honestidad y responsabilidad hacia el bien general (AEA, 1995), la participación libremente aceptada (Rebolloso, Fernández-Ramírez y Cantón, 2003) y el control de los datos (Bustelo, 2002; ENQA, 2005; JCS, 1988).

Los resultados de la tabla 3 muestran una valoración elevada y similar en casi todos los criterios de este bloque, si bien el estadístico de contraste es significativo (p = .004), lo cual sugiere que existen diferencias, al menos entre los valores extremos. Así, la autonomía y el control sobre los datos serían las cuestiones principales en una evaluación ideal. La disponibilidad de recursos y la independencia de los responsables del proceso es el criterio más valorado, junto a cuestiones que aseguran la calidad de la información y los datos utilizados (correcto procesamiento y análisis, coordinación en la recogida de datos, veracidad e imparcialidad). Ahora bien, los criterios con menor puntuación se nos antojan cruciales en una evaluación respetuosa con las formas políticas. Claro, no es que quiénes responden rechacen la importancia de conocer las características del proceso antes de su inicio, ni de resolver posibles conflictos previos de interés, pero su menor importancia relativa frente al problema de la autonomía y la credibilidad de la información (control de datos), nos remite nuevamente a una visión convencional de la evaluación como investigación, donde los criterios de validez tienen que ver con el discurso de la objetividad y la validez de los datos, y menos con las implicaciones políticas.

TABLA 3

Mecanismos de información y control de la evaluación

α = .950

T2 - Hotelling = 39.550, F = 2.996, p = .004

Fuente: Elaboración propia

- Resultados de la evaluación

Con estos cuatro criterios, analizamos el valor que otorgan los participantes a los resultados generales de la evaluación. Como se aprecia, son valores muy genéricos, que hacen referencia a la calidad de la estructura y el proceso de evaluación (Stufflebeam, 2001b), así como a la satisfacción general (con dos ítems usuales en los estudios de satisfacción). Algo más concreto, hemos incluido un segundo ítem de la lista de control de Stufflebeam (2001b), el cual identifica la calidad con la obtención de resultados correctos, relevantes, seguros y de bajo coste.

Los cuatro criterios obtienen puntuaciones elevadas, algo menores que en anteriores tablas. El contraste estadístico indica que no hay diferencias significativas, así que concluiremos que todos son considerados deseables por igual. Cabe mencionar únicamente el segundo criterio de satisfacción, por cuanto su menor media y su mayor desviación típica indican que un porcentaje de respuestas anotan una puntuación inferior, es decir, que parte de ellos no desearían participar nuevamente en procesos de evaluación si se les pidiera. Lo cual no quita, como decimos, que el deseo general de todos ellos es que las evaluaciones tengan resultados de alta calidad en diversos términos.

TABLA 4

Resultados

α = .811

T2 - Hotelling = 8.024, F = 2.587, p = .061

Fuente: Elaboración propia

- La Guía de evaluación

La guía detalla el proceso de evaluación, centrándose fundamentalmente en el procedimiento de autoevaluación. Su papel es indicar las áreas de información que deben ser objeto de análisis por parte del comité, facilitando y limitando al mismo tiempo las discusiones de trabajo. En este sentido, se constituye en el marco de referencia para la gestión de la titulación, imponiendo implícitamente que una gestión de calidad es aquella que coincide con los planteamientos de la propia Guía. Asumiendo esta perspectiva “certificacionista”, entendemos que una buena Guía es aquella que ofrece información suficiente y detallada para resultar útil a los diversos implicados (los diversos comités, los destinatarios de los informes) (AEA, 1995), y cuyos contenidos son comprensibles y relevantes, sin que la tarea requiera un esfuerzo más allá de lo necesario (Rebolloso, Fernández-Ramírez, Cantón y Pozo, 2002).

Nuestros encuestados parecen coincidir sobre la importancia relativa de todos los criterios incluidos en este apartado. La diferencia indicada en el estadístico de contraste es debida al valor inferior asociado al criterio de esfuerzo. Dado que es un ítem formulado en sentido inverso (mayor puntuación debería significar un nivel de esfuerzo no deseado), no nos queda claro si el dato indica que los ítems de la Guía requieren cierto nivel elevado de esfuerzo o si la formulación ha introducido alguna confusión en la respuesta. A pesar de lo cual, nos mantenemos en la idea de que la Guía ideal, efectivamente, debe informar sobre los procedimientos de evaluación, y resultar comprensible y útil en cada uno de sus contenidos.

TABLA 5

Guía de evaluación

α = .761

T2 - Hotelling = 67.187, F = 12.610, p < .001

Fuente: Elaboración propia

4.2. Fases del proceso de evaluación

- Fase 1. Autoevaluación

La autoevaluación es el elemento central de la evaluación de las titulaciones. En cierto modo, todos los demás elementos se ordenan para facilitar la autoevaluación y asegurar su éxito. Para analizar esta fase con detalle, distinguimos tres elementos: las características del comité de autoevaluación, las dinámicas de trabajo del comité y el informe de autoevaluación. Trataremos cada uno de estos apartados por separado. No obstante, para no recargar excesivamente el texto, hemos agrupado todos estos datos en la tabla 6. (Los valores alfa y T2 de Hotelling de cada uno de los bloques de criterios se han incluido en la parte inferior.)

TABLA 6

Fase de autoevaluación

a α = .668; T2 - Hotelling = 23.687, F = 11.655, p < .001

b α = .898; T2 - Hotelling = 10.259, F = 3.302, p = .027

c α = .927; T2 - Hotelling = 11.245, F = 2.096, p = .080

Fuente: Elaboración propia

Representatividad y operatividad son los valores fundamentales en la composición ideal del comité de autoevaluación, de tal modo que estén representados todos los estamentos y grupos de interés implicados en la titulación, sin que el tamaño resultante sea excesivo (diversos autores recomiendan que el tamaño de los grupos oscile entre los siete y los once miembros, aunque a nosotros se nos antoja algo excesivo). La representatividad es un criterio subrayado por distintas agencias, entre las que se cuentan la Asociación Americana de Evaluación (AEA, 2005) o la Red Europea para el Aseguramiento de la Calidad (ENQA, 2005), con objeto de que todos los grupos afectados por los resultados de la evaluación estén informados y puedan hacerse escuchar.

Es llamativo el resultado del criterio de equidad, que interpretamos como la compensación por el tiempo y esfuerzo que los miembros del comité dedican a la evaluación (AEA, 2005). Nuestra experiencia es que los participantes realizan un esfuerzo complementario sin ver reducidas sus responsabilidades cotidianas, por lo que parece lógico esperar cierto tipo de compensación, y de hecho hemos encontrado quejas al respecto en numerosas ocasiones. Sin embargo, el promedio y la desviación típica resultantes en este caso, indican que, al menos cierto número de respuestas no consideran este criterio al mismo nivel de importancia que los relativos a la composición del comité.

Respecto al proceso de autoanálisis, destacan los criterios relacionados con la dinámica de trabajo del comité. Es deseable lograr un clima democrático, donde las discusiones se desenvuelvan en un ambiente de consenso y negociación, y que todos los miembros del comité participen activamente, cumpliendo con las responsabilidades asumidas ante los demás. En un estudio de seguimiento de las sesiones de autoevaluación, Rebolloso, Fernández-Ramírez y Cantón (2009b) han observado la importancia que los miembros de un comité dan a la presencia de personas que eluden y descargan sobre los demás tareas que deberían ser comunes, así como las actitudes y sentimientos negativos que se desarrollan en un ambiente de discusiones aciagas donde las opiniones no pueden expresarse con libertad de manera relajada. También Stufflebeam (2001b) recomienda la asunción compartida de responsabilidades como una buena práctica en los equipos de evaluación.

En un segundo plano, se considera deseable implicar a la comunidad universitaria y que aporte información y críticas. Las guías recomiendan este apartado de manera especial, para evitar que los trabajos del comité queden como un ejercicio ignorado y ajeno para la mayoría de los implicados en la titulación, reduciendo su potencial para tener efectos en la mejora y para que la evaluación sea vivida como una actividad central en los procedimientos de gestión (Rebolloso, Fernández-Ramírez y Cantón, 2003). Por otra parte, la cuestión de la gestión del tiempo (Bustelo, 2002) es un problema de operatividad, con la idea de que el proceso no se extienda en exceso y pierda el ímpetu inicial, aunque nuestros resultados indican que es un criterio menor en comparación con los anteriores.

Finalmente, todos los criterios planteados para valorar el informe de autoevaluación reciben puntuaciones similares, sin diferencias estadísticamente significativas. El criterio más importante es la fiabilidad, es decir, la idea de que el resultado de la evaluación podría ser confirmado por un evaluador externo. Es uno de los clásicos criterios de validez al uso en las ciencias sociales, en relación con valores tradicionales de objetividad, posibilidad de réplica e independencia del observador, y puede ser importante para aumentar la credibilidad que los destinatarios del informe otorguen a los resultados de la evaluación (Guba y Lincoln, 1989). El resto de los criterios incluidos en este punto reciben una consideración similar, como decimos. El informe debe leerse sin dificultad (legibilidad), incluir todas las áreas de gestión relevantes (exhaustividad), utilizar datos contrastados (información basada en evidencias) e incluir las opiniones de la comunidad (publicidad y participación). Nosotros entendemos el informe de evaluación como un documento informativo que tiene destinatarios y objetivos muy concretos, entre los cuales no sólo está informar, sino también convencer, con un sentido estratégico, para lograr el efecto deseado (intended uses for intended users, Patton, 1997). Desde este punto de vista, coincidimos en la importancia de los valores que aseguren la credibilidad del informe y la viabilidad de las acciones propuestas (Rebolloso, Fernández-Ramírez y Cantón, 2005).

- Fase 2. Evaluación externa

Los evaluadores externos desarrollan la visita con el objetivo de valorar si la autoevaluación se ha desarrollado según lo previsto. El procedimiento es similar a los sistemas de acreditación (recogen datos, observan las instalaciones, realizan entrevistas y cumplimentan sus hojas de control), pero el informe no es determinante. Asesoran y hacen recomendaciones para mejorar la autoevaluación, pero su opinión puede ser más o menos ignorada en el informe final y, más importante aún, la finalización del proceso de evaluación depende de la entrega del informe final de autoevaluación y el correspondiente plan de mejora, que no vuelve a ser revisado por el comité externo ni está obligado a incluir sus recomendaciones.

Los encuestados esperan del comité de evaluación externa que sea imparcial, objetivo y que se muestre sensible a las características y peculiaridades de la titulación evaluada (Jeliazskova, 2002). Se atiende así a la función prevista para la visita externa, es decir, supervisar que el procedimiento y la información que ha dado lugar al informe de autoevaluación, lo hacen digno de confianza. Con una puntuación algo inferior, se considera deseable también que el comité de autoevaluación esté informado sobre los objetivos de la evaluación externa, el procedimiento a seguir durante la visita y los criterios que se utilizarán para redactar el informe externo (como recomienda, por ejemplo, ENQA, 2005). Estos elementos serán útiles para reducir posibles temores, una vez que el comité de autoevaluación acepte y conozca las características, funciones y actitudes del equipo de evaluación externa, legitimado a su vez ante los destinatarios finales del proceso de evaluación (Lawrenz, Keiser y Lavoie, 2003; van Vught y Westerheijden, 1994).

TABLA 7

Fase 2. Evaluación externa

a α = .852; T2 - Hotelling = 13.142, F = 6.445, p = .004

b α = .891; T2 - Hotelling = 3.598, F = 1.152, p = .338

c α = .878; T2 - Hotelling = 7.360, F = 1.090, p = .385

Fuente: Elaboración propia

No se encuentran diferencias estadísticas entre los criterios utilizados para valorar el proceso de evaluación externa. Se considera muy deseable que toda la comunidad tenga ocasión de opinar y estar presente de algún modo durante la visita, contribuyendo a mejorar las cualidades democráticas del proceso (Lawrenz, Keiser y Lavoie, 2003). Lo cual no deja de ser un deseo algo irreal, ya que las reuniones previstas entre el comité externo y los distintos grupos implicados suelen ser ignoradas por la mayoría, y apenas acuden grupos muy reducidos de personas interesadas. No tenemos claro si es un problema de falta de acciones que motiven a la participación, de dificultades de agenda, o sencillamente si la evaluación externa pasa desapercibida y no es valorada como una oportunidad para hacerse oír e influir en los cambios que se derivarán de la evaluación.

Además, por razones operativas, es deseable que la duración de la visita sea la correcta y que esté coordinada con el ritmo de la evaluación interna, para no generar disfunciones o pérdidas de tiempo (Bustelo, 2002). Igualmente, es importante hacer notar que la visita externa tiene por objetivo supervisar el proceso y el resultado de la evaluación interna, y no tanto poner en cuestión la calidad de las prácticas de gestión de la titulación evaluada.

En cuanto al informe externo, todos los criterios propuestos reciben valoraciones elevadas. El informe debe ser útil, lo que supone que esté escrito de manera comprensible (ENQA, 2005), que sea entregado dentro de un plazo razonable (Rebolloso, Fernández-Ramírez y Cantón, 2003) y que ayude a la mejora de la titulación. Además, debe ser digno de confianza, es decir, que las opiniones del comité externo estén basadas en datos contrastados y documentados, que sean fruto del consenso entre sus miembros y que pudieran ser confirmadas por un evaluador independiente (Guba y Lincoln, 1989; Lawrenz, Keiser y Lavoie, 2003). La confianza mejora también si los miembros del comité interno han tenido oportunidad de revisarlo críticamente y de hacer llegar sus comentarios al comité externo antes de la entrega del informe definitivo (Van Vught y Westerheijden, 1994).

- Fase 3. Elaboración del informe final

Una vez recibido el informe externo, el comité de autoevaluación revisa y corrige su informe propio en aquellos puntos que les parezcan convenientes. El texto final incluye un resumen de los principales resultados, señalando debilidades y fortalezas, y propone un plan de mejoras. Finalmente, el borrador se difunde para promover la participación de la comunidad y recoger sus opiniones antes de cerrar el informe final. Los criterios incluidos en este apartado inciden, pues, en la participación, en cómo se integran ambos documentos, y en cómo se definen, se priorizan y se asegura la implantación de las mejoras propuestas (Van Vught y Westerheijden, 1994).

TABLA 8

Fase 3. Elaboración del informe final

a No hay valores de comparación, puesto que sólo un ítem forma este bloque de criterios

b α = .922; T2 - Hotelling = 19.033, F = 2.001, p = .074

Fuente: Elaboración propia

Nuestros encuestados consideran muy deseable el cumplimiento de todos los criterios propuestos (las puntuaciones alfa y T2 indican un elevado nivel de similitud entre todos los ítems). Así, las opiniones recogidas en el documento deberían ser ampliamente difundidas, y escuchadas y asumidas las voces críticas del resto de la comunidad y de los expertos externos. El riesgo de sesgar el informe se reduciría ante los ojos de sus destinatarios, reforzando la credibilidad del informe final y la viabilidad del plan de mejora.

En segundo lugar, una concepción amplia del cambio (no reducido a la usual demanda de medios económicos, sino plasmado en propuestas concretas de actuación), la priorización de las reformas urgentes, la previsión de dificultades para implantar las actuaciones, además de la propia idea de viabilidad política, práctica y económica, aseguran un plan de mejora con posibilidades de implantación y éxito. No obstante, debe aclararse que las actuaciones que finalmente se llevarán a cabo, no son una decisión unilateral del comité de autoevaluación, sino el resultado de un posterior proceso de negociación con los responsables rectorales, como veremos en el apartado siguiente.

- Fase 4. Acciones post-evaluación

Es la etapa más descuidada del proceso, hasta el punto de que las guías de evaluación apenas le dedican unas breves sugerencias. De hecho, la evaluación se considera terminada con la entrega del informe final, y se echa en falta una guía que ayude a los comités responsables en la negociación, planificación, implantación, seguimiento y evaluación de los resultados de las acciones de mejora. Los criterios incluidos en este último bloque promueven la autonomía de los comités de mejora y el apoyo técnico y político necesario para su buen funcionamiento.

TABLA 9

Fase 4. Acciones post-evaluación

α = .861

T2 - Hotelling = 2.303, F = .417, p = .834

Fuente: Elaboración propia

Los datos estadísticos muestran que las opiniones son homogéneas. Se considera que el comité responsable de las acciones de mejora debe disponer de autonomía, de apoyo por parte de los equipos de gobierno y otros grupos de la comunidad, así como de los recursos necesarios para llevar a cabo el plan. En su vertiente técnica, es necesario definir procedimientos de seguimiento consistentes (ENQA, 2005) y el comité necesita asesoramiento en forma de evaluación continua a lo largo del proceso (JCS, 1988). Además, el plan de mejora debe entenderse como la consecuencia de los resultados de la evaluación, y no como una estrategia para la captación de los fondos previstos para las actuaciones.

Finalmente, estos resultados merecen dos comentarios generales. Primero, el notable descenso en el número de encuestados que contestan estos ítems, hasta alcanzar en torno al 50% (estos datos no se muestran, si bien hemos encontrado un incremento progresivo de las respuestas en blanco a partir de la fase de evaluación externa). Y segundo, el descenso en las puntuaciones de los criterios en comparación con los anteriores bloques. Pensamos que ambas cuestiones son consecuencia del peso reducido de la fase de mejoras dentro del proceso global de evaluación. Ya hemos dicho que se le presta poca atención en las guías, el retraso en la negociación sobre las mejoras financiables es considerable en muchos casos, y no forma parte de los compromisos que cada universidad está firmando con la Junta de Andalucía (los contratos-programa) ¹¹ .

5.- CONCLUSIONES

La amplia lista de criterios se concibió como un instrumento exhaustivo para mejorar el sistema de evaluación de las titulaciones en cuatro aspectos o metacriterios: el valor de las evaluaciones como herramienta para la rendición de cuentas (legitimidad), su capacidad para contribuir a la mejora de las titulaciones, la promoción de actitudes democráticas en los procesos de gestión y la viabilidad global de las propia evaluaciones (Rebolloso, Fernández-Ramírez y Cantón, 2008 y 2009a).

El estudio permite hacerse una imagen detallada de las opiniones del profesorado sobre los procesos de evaluación. De forma muy simplificada, creemos que el profesorado está mediatizado por una perspectiva convencional de investigación, según la cual, la evaluación es un proceso de análisis objetivo y científico de la realidad organizacional, fruto del cual se dispone de sugerencias evidentes para la mejora de las titulaciones. De manera alternativa, nuestra opinión es que la evaluación es un proceso fundamentalmente político, cuyo principal objetivo es la legitimación de la titulación ante la comunidad, los responsables políticos y, potencialmente, ante posibles socios en la creación de redes interuniversitarias. No se trata de descubrir ninguna verdad objetiva de los procesos de la organización universitaria, sino de demostrar a distintos socios y grupos de interés que la titulación es gestionada según ciertos estándares normativos nacional e internacionalmente aceptados. No en vano, el sistema de evaluación cuenta con la aprobación directa de la agencia nacional de evaluación universitaria (ANECA) y tanto la agencia nacional como la agencia andaluza forma parte del ente europeo sobre la materia (ENQA).

La pregunta que resta es de qué modo sirve al proceso de convergencia un sistema de evaluación como el nuestro, que ha sido concebido y diseñado desde una óptica pre-Bolonia. Nada se menciona en él sobre aspectos clave en el proceso de internacionalización y convergencia, y no está definido a priori cómo el sistema de evaluación ayudará a la implantación de los cambios estructurales que ya se están introduciendo en nuestras universidades. No nos cabe duda de que la evaluación podría jugar un papel central en estas cuestiones, pero queda por hacer un esfuerzo de actualización de los sistemas de evaluación, el cual no parece formar parte de las agendas políticas correspondientes.

A pesar de sus méritos (la dinámica democrática, por ejemplo), el sistema de evaluación actual no deja de tener cierto aire administrativista o certificacionista, que impone cierta rigidez. Dada la variedad de universidades, titulaciones y grupos implicados, se necesitan mecanismos que flexibilicen las exigencias y las áreas relevantes de análisis, para que el sistema pueda ser adaptado en situaciones variadas, por ejemplo, las que impone la existencia de diferentes ritmos, acciones y compromisos con la adaptación a la filosofía de Bolonia.

Ahora bien, no somos optimistas al respecto, y más bien tememos un futuro incierto para este tipo de sistemas de evaluación universitaria. La falta de centralidad de las evaluaciones, aparentemente ajenas a los procesos de gestión a los que supuestamente deben servir, y la dejadez con que parecen afrontarse los procesos de mejora, nos hacen pensar en una pérdida progresiva de motivación entre los equipos rectorales y los participantes directos en los comités de trabajo. Si lo único que se persigue es el “sello de calidad”, ya tenemos antecedentes variados que muestran cómo desaparece el interés por un sistema de evaluación entre los equipos directivos con la aparición de nuevos sellos y nuevas modas en el sector correspondiente.

 1  Esta investigación fue financiada por el Ministerio de Ciencia y Tecnología, en el marco del Proyecto SEC2003-03230/PSCE.

 2  El calendario de actividades y los documentos centrales pueden ser consultados en la página oficial del proceso: http://www.ond.vlaanderen.be/hogeronderwijs/bologna/. Es obligada la lectura de las declaraciones ministeriales, que fijan los objetivos, instrumentos y plazos, y la lectura de los trends, informes periódicos sobre la implantación del proceso encargados por la EUA (European Universities Association).

 3  Las universidades y las autoridades estatales del país x no se fían de los títulos expedidos por las universidades de los países y, e incluso existen percepciones de este tipo entre universidades del mismo país. Ponga cada cual en x e y los países que formen parte de su experiencia o de su estereotipo.

 4  La documentación está actualizada en: http://www.ond.vlaanderen.be/hogeronderwijs/bologna/documents/Lisbon_Recognition_Convention.htm

 5  Es justo decir que la definición inicial del proceso era escueta y ambigua, abierta a múltiples posibilidades. Visto de otro modo, quizá los cambios actuales no responden a las expectativas que muchos nos habíamos planteado al comienzo.

 6  Nuestras autoridades ministeriales han acuñado la expresión profesionalizante, para referirse a estos títulos de perfil más preocupado por dotar al alumno de competencias que optimicen su empleabilidad.

 7  Este punto merece un comentario. Algunas ideas explícitas en los documentos iniciales del proceso de Bolonia abogaban por fórmulas flexibles en la creación de títulos, incluyendo títulos conjuntos entre diversas universidades, dentro y fuera de un mismo país, títulos mixtos, títulos especializados en campos multi- o interdisciplinares de alta demanda social, etc. En nuestro país, la burocratización ha impuesto un modelo rígido, donde toda flexibilidad y muchas oportunidades de innovación se han visto limitadas en la práctica casi hasta su desaparición. (Se podría decir, simplificando, que nos estamos limitando a pasar de títulos de cinco años, a títulos de seis, con cuatro años de grado y dos de posgrado. O sea, estamos volviendo atrás.) Sólo los títulos “oficiales” tienen ayudas en las convocatorias públicas, sólo sus alumnos pueden solicitar becas en estas convocatorias, y el afán invasor es tal que el ministerio pretende incluso reservar para sí la exclusividad en la utilización del término “máster” para denominar a un título de posgrado, obviando que el éxito social de los másteres durante estos últimos años han venido de la mano de iniciativas privadas, flexibles e independientes de los cauces formales ministeriales. Auguramos a la reforma un futuro incierto.

 8  La AGAE sustituyó en el año 2005 a la anterior Unidad para la Calidad de las Universidades Andaluzas (UCUA), consorcio participado por las universidades y el gobierno regional, entonces a cargo del sistema de evaluación objeto de estudio en el estudio que aquí presentamos.

 9  Una descripción crítica del proceso se encuentra en Rebolloso, Fernández-Ramírez y Cantón (2009a).

 10  Aunque Lawrenz, Keiser y Lavoie (2003) defienden la utilidad de las visitas externas y su validez como procedimientos de evaluación, son comunes las críticas a la competencia, la representatividad y la posible falta de posición crítica que asumen los comités de revisión por pares.

 11  Cada Universidad ha negociado un “contrato” particular con la Secretaría General de Universidades, según el cual se compromete a mejorar una serie de indicadores de gestión, a cambio de lo cual recibirá cierto porcentaje de su presupuesto, que queda así condicionado. En este caso, el indicador correspondiente compromete a la realización de cierto número de evaluaciones anuales, las cuales no incluyen el proceso de negociación e implantación del plan de mejoras.