Educación, política y políticas de evaluación educativa

Saville Kushner y Ester García Sánchez

“Cuanto más seguro me siento de que estoy en lo cierto, tanto más corro el riesgo de dogmatizar mi postura, de congelarme en ella, de encerrarme sectariamente en el círculo de mi verdad”
Paulo Freire, Política y educación, 1993

El monográfico que el lector tiene ahora en sus manos responde a un doble propósito. En primer lugar, el de ofrecer un conjunto de trabajos de notable interés y muy representativos del actual estado de la cuestión en la evaluación en el ámbito educativo. En segundo lugar, reflexionar y debatir acerca de los puntos de encuentro entre dos ámbitos que, teniendo como tienen algunos intereses comunes (las políticas y los programas educativos), curiosamente han seguido desarrollos siempre paralelos, sin que haya habido apenas entre ellos un breve “intercambio de miradas” ¹ . De un lado, la denominada evaluación educativa –en la que el predominio de la pedagogía y la psicología es muy notorio- y, de otro, el análisis (y la evaluación de políticas), en tanto que subdisciplina de la Ciencia Política ² . No es casual, por tanto, que el monográfico vea la luz en una revista como Gestión y Análisis de Políticas Públicas, como tampoco lo es que quienes coordinamos el monográfico procedamos, precisamente, de esos dos mundos.

La evaluación de políticas públicas se ha conformado como un campo multidisciplinar con una identidad propia (…), en el que desarrollan su actividad especialistas procedentes de distintos campos y perspectivas y en los que, con el tiempo, se han ido perfilando una serie de tipos y métodos de evaluación, en función de sus respectivas tradiciones e intereses (Bañón 2003; Vanaclocha, García Sánchez y Viñas 2005). Siendo esto cierto, el simple hecho de que los dos campos de investigación a los que hacíamos referencia al principio compartan un mismo objeto de estudio debiera haber servido para propiciar la reflexión y el aprendizaje mutuo, aunque las perspectivas y los métodos de análisis de cada uno de ellos sean distintos. El saber parece cada día estar más “compartimentado” no ya en disciplinas (lo cual resulta lógico) sino en áreas de conocimiento (en el sentido más “administrativo” del término) que rara vez conversan -aun a sabiendas de que el tema de conversación es el mismo y de que lo que cambia, esencialmente, es el lenguaje (léase, el andamiaje conceptual y metodológico) con el que lo abordamos. Precisamente, uno de los objetivos de este monográfico es contribuir modestamente a tender puentes entre los dos ámbitos mencionados.

¿Cuáles podrían ser los espacios secantes de esos mundos? ¿De qué manera podrían contribuir el análisis y la evaluación de políticas públicas al enriquecimiento de la evaluación educativa? ¿Tendrían algo que aprender de esta última el policy analyisis y la evaluación de políticas?

1. Hay al menos dos motivos por los que la evaluación educativa merece la atención del policy analyis y la Ciencia Política. En primer lugar, la propia riqueza de ese campo de especialidad y la gran difusión de la que goza el término evaluación educativa. Bajo esta rúbrica, encontramos muy distintos tipos de evaluación, desde la que se centra en las políticas o en los programas educativos, hasta la que se ocupa de los centros escolares, pasando por la que se dirige al profesorado, las enseñanzas o las instituciones universitarias. El término está sólidamente acuñado y es perfectamente reconocible para cualquier evaluador que se interese por la realidad educativa, a pesar de que la definición precisa del término plantee no pocos problemas (Kellaghan, Stufflebeam y Wingate, 2003; Nevo, 2006; Schwandt; 2009). Más allá de las razones de índole práctico que han podido llevar a integrar tipos tan distintos bajo una denominación tan genérica, la amplitud del término (o su concreción, según se mire) tiene su razón de ser en la existencia de una serie de cuestiones y elementos teóricos y metodológicos comunes a esos diferentes tipos de evaluación ³ .

En las páginas que siguen, el lector encontrará numerosas alusiones a la idea de evaluación educativa. Algunos de los trabajos que aquí se incluyen no abordan directamente la evaluación de políticas o de programas educativos sino que se ocupan de la evaluación de centros, de titulaciones universitarias o de los estudios internacionales de evaluación del rendimiento o bien son reflexiones teóricas de carácter general. Quede claro, antes de proseguir, que no nos interesan aquí los modelos o los sistemas de evaluación de centros, alumnos o enseñanzas en sí mismos, sino solamente en la medida en que de su análisis podamos extraer lecciones y aprendizajes o en el caso de que constituyan el eje vertebrador de determinadas políticas de evaluación.

Pero la importancia de la evaluación educativa va mucho más allá del amplio reconocimiento con el que cuenta dentro y fuera del mundo académico. Y es que la evaluación de programas es, en gran medida, deudora de la evaluación educativa. Buena parte de los enfoques, modelos, incluso estándares, de los que se sirven hoy los evaluadores (de cualquier parte del mundo y de cualquier campo de actividad) se gestaron en el seno de la evaluación educativa ⁴ . Nadie puede negar la contribución al desarrollo y consolidación de la evaluación de autores como Ralph Tyler, Lee Cronbach, Egon Guba, Robert Stake, Carol Weiss, Ernest House, Barry McDonald, Yvonna Lincoln, Daniel Stufflebeam, Marvin Alkin, Worthen y Sanders o, más recientemente, William Shadish, Thomas Schwandt, Jennifer Greene o David Fetterman ⁵ , todos ellos eminentes psicólogos o pedagogos. Tampoco pueden obviarse, por citar otro ejemplo, los trabajos del Joint Committee for Standards in Educational Evaluation ⁶ , una referencia absolutamente imprescindible para todo aquel que desee adentrarse en el tema de los criterios y los estándares de evaluación.

No obstante, y pese a la evidente trascendencia de la evaluación educativa, el término no ha despertado demasiada atención entre quienes se dedican a la evaluación de políticas y programas educativos desde las perspectivas de la Ciencia Política y del enfoque de políticas públicas. Desde ellas, el término evaluación educativa se suele asociar exclusivamente -y no sin cierto recelo- a la evaluación del aprendizaje de los alumnos. Es lógico que, siendo así, ni la Ciencia Política ni el análisis de políticas públicas -cuyo foco de atención son las políticas y los programas públicos- muestren o hayan mostrado interés por la evaluación educativa. Pero, detrás del desinterés por el término se encuentran otros factores.

El primero tiene que ver con los problemas que plantea, en nuestro idioma, la misma palabra “evaluación”. En castellano, disponemos de un único significante para expresar tres significados distintos, algo que no sucede en los países de habla inglesa, en los que cuentan con tres vocablos diferentes: evaluation, assessment y appraisal ⁷ . El término assessment hace referencia a aquellos estudios que sirven para determinar el nivel o el valor de un objeto en una determinada variable aunque, más específicamente, se emplea para hablar de la evaluación de aprendizajes y/o de rendimiento del alumnado. Por su parte, el término appraisal, incorpora también como el anterior el matiz de medición pero, en esta ocasión, refiriéndolo al rendimiento del personal. Si esto es bien conocido para quien esté familiarizado con el campo de la evaluación educativa, no lo es tanto para quienes proceden de otras parcelas de la evaluación y mucho menos para quienes se acercan a la evaluación desde el análisis de políticas públicas y la Ciencia Política. Este hecho ha contribuido, en muchas ocasiones y de manera obviamente errónea, a reducir el término evaluación educativa a la mera “evaluación” del alumno, vaciándolo así parcialmente de contenido.

El segundo de los factores está relacionado con la preponderancia del enfoque clásico y cientifista de evaluación -que en sus inicios propusiera Ralph Tyler (1950; 1967)- en la evaluación en general y en la educativa muy en particular. Según este enfoque, evaluar consiste en comprobar el grado de consecución de los objetivos previamente definidos por las instituciones por parte de alumnos, profesores, centros y servicios y hacerlo, además, sobre la base del uso de indicadores y estándares integrados en tests y otras pruebas de carácter cuantitativo.

Pese a su preeminencia (o quizás precisamente por ello), el enfoque positivista de evaluación por objetivos, ha sido objeto de numerosas críticas. Cuatro son las principales objeciones que se han planteado a este enfoque ⁸ :

(i) Su visión reduccionista, que lleva a someter a evaluación sólo a los elementos terminales del sistema; resulta obvio, como apunta Santos Guerra (1999) que, en caso de error o de incumplimiento serán aquéllos quienes tendrán que cambiar para acomodarse a los objetivos y estándares previamente establecidos, pero nada tendrá que modificar la institución.

(ii) Su consideración acrítica de los objetivos de la política o el programa, tal cual son formulados por las autoridades educativas, como referentes para juzgar su calidad.

(iii) El análisis del programa sin tener en cuenta el contexto en el que éste se inserta.

(iv) La debilidad de las técnicas y métodos utilizados (fundamentalmente tests) para captar la complejidad de los fenómenos educativos.

El predominio de esta visión neopositivista ha sido tal que se ha llegado a producir una suerte de metonimia en la que se confunde una parte (la medición) con el todo (la evaluación). Además, y de forma pretendidamente neutral y objetiva, se evalúan únicamente los eslabones finales de la cadena: alumnos, profesores, enseñanzas, centros y servicios (Angulo Rasco, 1995; 1996). La afirmación de Alejandro Tiana en este mismo número a propósito de los estudios internacionales de evaluación resume perfectamente la debilidad de los sistemas de medición tan generalizados hoy en el ámbito educativo: “su potencia explicativa se ve limitada sobre todo por la perspectiva macroscópica que adoptan, que les hace perder detalles importantes, por la mirada poco contextualizada que necesariamente deben arrojar (…) y por la estandarización que imponen sus métodos y técnicas de análisis” ⁹ .

Por todo ello, los intentos de evaluar políticas o programas educativos desde la evaluación educativa han tendido a verse, desde fuera, con cierto recelo. La explicación no es otra que la inadecuada conceptualización de los términos “política” y “programa” de la que parte el enfoque tyleriano y que implica considerar que la calidad de las políticas y los programas educativos se determina esencialmente a partir del logro, por el alumno, de los objetivos académicos marcados por los poderes públicos. Ni que decir tiene que esto no deja de ser sólo una suposición. No toda evaluación educativa es (ni tiene por qué ser) evaluación del rendimiento. De hecho, la mayoría de las principales alternativas al enfoque clásico han procedido, precisamente, del ámbito de la evaluación educativa ¹⁰ .

En las últimas décadas, el enfoque clásico se ha ido renovando, integrado en discursos en favor de la gestión y la evaluación por resultados o de la implantación de sistemas de calidad y de evaluación estandarizados (lo que equivale a decir descontextualizados, como sugiere en esta misma obra Saville Kushner). Así, lejos de debilitarse, ha cobrado nueva fuerza, por ejemplo en el ámbito educativo universitario, al hilo del llamado proceso de Bolonia, imponiendo al final una cierta lógica administrativista o certificacionista en los sistemas de evaluación (Fernández et. al en este mismo número) Hasta el momento, las críticas vertidas hacia la implantación de sistemas de indicadores como únicas herramientas para “evaluar” enseñanzas, profesores y centros (Rodríguez Sabiote y Gutiérrez Pérez 2003; Fueyo 2004; Duro y Niremberg en este número), no parecen haber logrado frenar esa tendencia. Cabría pensar que ello se debe a que, en el caso de la educación superior, la evaluación no ha alcanzado aún el estadio más avanzado de desarrollo, no ha llegado a la “cuarta generación”, por emplear la conocidísima expresión de Guba y Lincoln (1989). Sin embargo, a juicio de algunos autores como Ryan y Feller (2009), Santos Guerra (1999), Kushner y Norris (2007) o Schwandt (2007), parece que este hecho está también ligado a la supremacía de una visión gerencialista y neoliberal acerca cómo debe funcionar lo público.

Ahora bien, no queremos decir, con todo ello, que el uso de indicadores y estándares deba descartarse definitivamente o que la medición no pueda aportar información útil a ciudadanos, decisores y gestores. Decimos, simplemente, que la complejidad de los objetos que se evalúan hace imprescindible complementar la perspectiva que aportan los indicadores con otra más atenta a las particularidades del objeto y al contexto en el que se enmarca, como muy acertadamente ha puesto de relieve el profesor Stake (1983; 2004; también en este número)

1. La Ciencia Política y, más específicamente el análisis y la evaluación de políticas públicas, pueden hacer notables aportaciones a la evaluación educativa:

(i) De entrada, permite una más precisa y rigurosa “identificación” (o “construcción”) de las políticas o programas objeto de evaluación. Por razones obvias, ninguna otra disciplina (y subdisciplina) está en condiciones de ofrecer el instrumental teórico y metodológico necesario para analizar y evaluar esos objetos tan genuinamente políticos que son los programas y las políticas públicas ¹¹ . Ya hemos señalado antes la importancia de adecuar la evaluación (sea en el plano teórico, sea en su vertiente aplicada) al objeto que se evalúa. El evaluador ha de ser en todo momento consciente de lo que de común tienen, por ejemplo, la evaluación de centros y la de programas pero también de los muchos elementos que las separan. Incluso entre dos tipos próximos como la evaluación de políticas y la evaluación de programas, las diferencias son considerables, como muy oportunamente destaca en esta misma obra Mª Luisa Merino. Ciencia Política y policy análisis pueden contribuir enormemente a la hora de identificar y definir los contornos y los contenidos de la política pública que se somete a evaluación, toda vez que aquélla, como tantas veces se ha dicho, no es un fenómeno autodefinido sino una categoría de análisis a la que recurrimos para abordar el estudio de los resultados de la acción pública (Heclo, 1972).

(ii) Nos sirve también para advertir la relevancia que adquieren las ideas en las políticas educativas. Pocos ámbitos hay tan sensibles desde el punto de vista ideológico y político como el educativo: ni la educación ni la práctica educativa son neutras. Los escenarios de las políticas educativas estén presididos por la diversidad de opiniones, valores y creencias y que el debate, la argumentación y la confrontación entre actores se tornen en habituales, precisamente porque no cabe (sólo) hallar soluciones científicamente verdaderas. Por ello, resultan de especial utilidad para el análisis de las políticas educativas aquellos enfoques que subrayan el papel de las ideas como variables explicativas del cambio en las políticas públicas. El potencial analítico de dichos enfoques va, incluso, más allá al pretender elaborar una teoría global del proceso de políticas públicas desde la Ciencia Política. Esas teorías, aplicadas en nuestro caso al estudio de las políticas educativas, nos permitirían comprender “cómo los actores políticos interesados interactúan dentro de las instituciones políticas para producir, implementar, evaluar y revisar las políticas públicas” (Schlager y Blomquist, 1996: 653).

(iii) Proporciona el instrumental analítico adecuado para comprender las evaluaciones en tanto que procesos eminentemente políticos. La Ciencia Política y, en particular, los estudios sobre actores, procesos de toma de decisiones o políticas públicas resultan ser, para ese propósito, una referencia inexcusable. La evaluación, como apuntara Thomas Schwandt, “es una práctica tanto política como científica” (2005: 5). La política no es una amenaza para la evaluación, el lado de la subjetividad frente a la dimensión técnico-científica en la que reinan los hechos objetivos y las explicaciones contrastadas, por más que en ciertos momentos así se haya considerado. Y ello es así desde el momento en que en ella “se ven involucrados actores con intereses contrapuestos, políticamente relevantes, que luchan por obtener una mayor cuota de poder e influencia en el proceso evaluativo, con el propósito de modularlo de acuerdo a sus preferencias” (García Sánchez, 2009) Los estudios sobre evaluación y los estudios de metaevaluación no pueden dejar de reconocer y considerar este hecho: la política es un elemento consustancial a la evaluación y, de forma más clara aún, como hemos visto, a la evaluación educativa, “contagiada” de la enorme carga política asociada al mundo educativo.

(iv) Constituye una excelente guía a la hora de abordar el análisis de la política de evaluación de los poderes públicos, en parte por las razones antes apuntadas. Y es que, como nos recuerda Santos Guerra (1999), la cuestión de cómo concibamos la evaluación y de cómo evaluemos no es ni mucho menos baladí. Nuestra idea sobre cómo tiene que ser la evaluación y a qué propósitos ha de orientarse, dice mucho sobre cuál es nuestra visión de la educación y de cuáles creemos que deben ser los fines últimos a los que debe servir. El análisis de cuestiones tales como qué objetos se someten a evaluación, qué actores participan en el proceso evaluativo, a qué enfoques y técnicas se recurre, de quién es la propiedad de la información producida o de qué forma se difunden y/o publican los informes de evaluación, nos permite saber si los poderes públicos intentan ejercer algún tipo de control sobre los procesos de evaluación o si, por el contrario, lo conciben e incorporan como un mecanismo más para la rendición de cuentas a la sociedad ¹² . Son cada día más las voces que reclaman la necesidad de convertir a la evaluación en un instrumento para la rendición de cuentas y el fortalecimiento de la democracia, para la determinación de la eficacia social además de para calibrar la eficacia operativa de las políticas (House, 2006; Stake, 2006; MacDonald y Kushner, 2005; Greene, 2001, 2003)

Puede que el lector encuentre otros espacios de convergencia, además de los que aquí se han mencionado, o considere que los puntos de encuentro propuestos no parecen posibles. Si ello es así, nos habremos aproximado a uno de los objetivos que nos marcábamos al comienzo de esta presentación: abrir el debate en torno a las posibilidades de acercamiento entre la evaluación educativa, de un lado, y la Ciencia Política y el análisis y evaluación de políticas públicas, de otro.

 1  La reflexión que hacemos en estas páginas se refiere esencialmente al caso español, aunque parece probable que esta distancia se dé también en otros países.

 2  Es cierto que el análisis de políticas públicas y la evaluación de políticas no han ido ni van siempre de la mano, ni en los estudios teóricos ni en los de carácter aplicado. Sin embargo, y salvo que indiquemos expresamente lo contrario, para esta presentación nos permitiremos aludir a ellas como si fueran dos campos plenamente integrados. El objetivo es “contraponer” aquella actividad de evaluación de políticas y programas educativos más próxima al enfoque de políticas públicas (y, consiguientemente, a la Ciencia Política) y aquellas otras que se llevan a cabo desde disciplinas como la Pedagogía o la Psicología.

 3  Ello no debe impedir al evaluador ser consciente de que la naturaleza del objeto evaluado condiciona la propia actividad evaluadora y de que entre unos tipos de evaluación y otros pueden existir importantes diferencias.

 4  Son numerosísimos los trabajos que han dado cuenta de la contribución de la evaluación educativa a la génesis y desarrollo de la evaluación. Pueden consultarse, entre otros, Guba y Lincoln (1989) y Nevo (2009).

 5  El lector encontrará en el apartado de “bibliografía” las referencias exactas de las principales obras de estos autores, que hemos omitido aquí con objeto de no alargar excesivamente la exposición en el cuerpo del texto.

 6  El Joint Committee se creó en 1975, fruto de la iniciativa de distintas asociaciones por promover la calidad de las evaluaciones. Este organismo ha publicado tres catálogos de estándares: The Personnel Evaluation Standards, en 1988, The Program Evaluation Standards, cuya segunda edición apareció en 1994 y The Student Evaluation Standards en 2003.

 7  Según las definiciones propuestas por el Joint Committee on Standards for Educational Evaluation (1994)

 8  Las críticas han procedido, fundamentalmente, de aquellos autores que han desarrollado propuestas alternativas a este enfoque. A este respecto, pueden consultarse las obras citadas en la nota a pie núm. 11.

 9 Véase página XXXXXXXX

 10  Entre otras, las de MacDonald (1977), House, (1980; 1993; 2006), House y Howe (1999), Stake (1983; 2004), Guba y Lincoln (1989), Greene (2001); o Kushner (2000; 2007)

 11  En la medida en que, como recuerda Gomà (2002), en ellos se dirime la regulación del conflicto social.

 12  Desde los estudios sobre rendición de cuentas también se ha destacado el papel que puede cumplir, en este sentido, la evaluación. Véanse Borins (1995) e Isunza Vera y Olvera (2006)