Pilar Pineda Herrero

Universidad Autónoma de Barcelona

pilar.pineda@uab.es

Berta Espona Barcons

Universidad Autónoma de Barcelona

bertaespona@gmail.com

Anna Ciraso-Calí

Universidad Autónoma de Barcelona

annaciraso@gmail.com

Carla Quesada Pallarès

University of Leeds

c.quesada-pallares@leeds.ac.uk

Paloma Valdivia Vizarreta

Universidad Autónoma de Barcelona

paloma.Valdiva@uab.cat

 

Evaluación de la formación eLearning en el Instituto Nacional de Administración Pública: resultados del estudio MEEL1

Resumen

El presente artículo expone los hallazgos globales del estudio MEEL (Modelo de Evaluación del eLearning), realizado en 2015 para el Instituto Nacional de Administración Pública (INAP) en España. El objetivo del estudio es desarrollar un modelo integral de evaluación de la formación online en el contexto de la administración pública. Dicho modelo se implementó en siete acciones formativas online, con el ánimo de contribuir a la mejora en el uso de los recursos públicos.

El modelo MEEL contempla diferentes niveles de evaluación: satisfacción, aprendizaje, diseño pedagógico, implementación y transferencia. Se usaron diferentes cuestionarios y listados de verificación, dirigidos a los participantes de las acciones formativas (n=323), a los formadores y a los responsables de las acciones formativas evaluadas.

Los resultados de la evaluación muestran niveles de satisfacción y de aprendizajes medio-altos. Asimismo, el aprendizaje, a diferencia de la satisfacción, aparece relacionado con la transferencia; por lo que cuanto más aprendizaje se dé en una formación online, más transferencia se producirá en el lugar de trabajo. También se evidencian algunas barreras para transferir, ya observadas en otras administraciones públicas: el desajuste a las necesidades formativas, la poca coherencia con la estrategia organizativa y la falta de apoyo en el entorno laboral.

Palabras clave

Formación continua, eLearning, Eficacia de la formación, Evaluación de la formación, Transferencia del aprendizaje.

Evaluation of eLearning in National Institute of Public Administration –INAP-. Results of MEEL study

Abstract

This paper presents the overall findings of MEEL (eLearning Evaluation Model) study, conducted in 2015 for the National Institute of Public Administration (INAP) in Spain. The aim of the study is to develop an integrated evaluation model of online training in the context of public administration. This model was implemented on seven online training activities, in order to improve the use of public resources.

The MEEL model includes different levels of evaluation: satisfaction, learning, instructional design, implementation and transfer. Different questionnaires and check-lists were used; these were addressed to the trainees (n=323), trainers and training managers.

The evaluation results show medium-high levels of satisfaction and learning. Furthermore, learning, unlike satisfaction, is related to transfer; thus, the more learning occurs in an online training activity, more transfer will be produced in the workplace. Findings also highlight some barriers to transfer already observed in previous research on training at public administrations: lack of adjustment to the training needs, inconsistency with the organizational strategy and lack of support in the workplace.

Keywords

Continuous training, eLearning, Training efficacy, Training evaluation, Transfer of learning.

Introducción

En los últimos años ha ido creciendo la conciencia sobre la importancia de la formación continua para cualquier organización, incluyendo las instituciones públicas. Investigadores2 y técnicos reconocen que para ser competitivo y responder a las necesidades de una sociedad cambiante, los trabajadores necesitan aprender a lo largo de la vida.

La formación continua ofrecida por las propias instituciones se ha convertido en una línea estratégica para ser competitivos. Los recursos invertidos en formación continua son muchos, y por ello es importante conocer la utilidad de cada acción formativa y los resultados que genera en la organización.

En un contexto de búsqueda de opciones eficaces para implementar acciones formativas, se ha dado un desarrollo progresivo hacia el eLearning3, tanto a nivel de proliferación de productos y herramientas como de las oportunidades de aprendizaje mediado electrónicamente. Sin embargo, esta expansión de las experiencias eLearning no siempre se ha acompañado de un desarrollo tan rápido de las investigaciones sobre las características y la eficacia de esta forma de aprendizaje; la mayoría de estudios realizados se centra en las tecnologías y en los aspectos más técnicos, mientras que hay una carencia de estudios pedagógicos en relación al tema (Graham et al., 2001).

El Grupo EFI ha realizado un estudio para el Instituto Nacional de Administración Pública (INAP), el estudio MEEL4, con el fin de desarrollar un modelo integral de evaluación de la formación online en el contexto de la administración pública; el modelo se ha aplicado para evaluar la eficacia de esta formación, con el ánimo de contribuir a la mejora en el uso de los recursos públicos. En este artículo se presentan los resultados obtenidos sobre la eficacia de la formación online en el INAP desarrollada en 2015.

Marco teórico

En los últimos años, la formación continua de los trabajadores se ha convertido en un elemento clave en la gestión de los recursos humanos y para el desarrollo de cambios culturales en el lugar de trabajo (Bossaert, 2008). Las administraciones públicas son conscientes de ello (Carazo, 2002). Esta tendencia puede verse en parte reflejada en los datos publicados en las memorias del Instituto Nacional de Administración Pública (INAP): en 2012 se realizaron 23,682 horas lectivas y en 2013 25,325; sin embargo, en 2014 la formación sumó 24,562 horas lectivas, aunque se dio un aumento en el eLearning.

Ponce et al. (2010) comentan que este incremento puede estar influido por el momento de crisis económica, pues las organizaciones buscan rentabilidad a corto plazo de las acciones formativas y los profesionales necesitan formarse de manera más completa para poder competir en un mercado laboral cada vez más saturado. Según el primer barómetro de eLearning en Europa (CrossKnowledge, 2011) las empresas encuestadas preveían aumentar entre un 10% y un 50% la formación eLearning para sus empleados.

Los datos publicados por el INAP en sus últimas memorias confirman estas tendencias, mostrando un incremento elevado del porcentaje de la modalidad eLearning. Los datos del porcentaje de participantes en formación muestran una mayor participación en número de participantes en eLearning, 63% en 2013, en comparación con el 37% de participantes en presencial el mismo año. Estos porcentajes dos años antes estaban invertidos, 40% eLearning, 60% presencial.

Además de invertir recursos en la formación, es necesario no obstante conocer su utilidad e impacto a través de procesos de evaluación que tengan en cuenta todos sus elementos. López y Leal (2002) destacaron la importancia de la evaluación de la formación en las administraciones públicas para poder tomar decisiones respecto a la planificación, funcionamiento, adecuación de los resultados y eficiencia de los recursos empleados de estos programas públicos de formación.

Modelos de evaluación de la formación

Existen diferentes modelos para evaluar la formación continua de los trabajadores y en la Tabla 1 pueden encontrarse algunos de ellos con los diferentes niveles de evaluación detallados.

Autor del modelo	Niveles de evaluación del modelo
Kirkpatrick (1959)	Reacción Aprendizaje Comportamiento Resultado
Phillips (1987)	Reacción Aprendizaje Comportamiento Resultado Retorno de la inversión (ROI)
Meignant (1991)	Satisfacción Adquisición de conocimientos y habilidades esperadas Transferencia Efectos de la formación
Cabrera (1993)	Eficacia Efectividad Impacto
Pineda (2002)	Satisfacción del participante Logro de los objetivos Adecuación pedagógica Transferencia Impacto Rentabilidad

Tabla 1. Modelos de evaluación de la formación continua

En resumen, y considerando los modelos anteriores, Quesada-Pallarès (2014) evidencia que la novedad introducida por el modelo de Pineda (2002) es la importancia que le otorga a la adecuación pedagógica, pues es un nivel de evaluación en sí mismo. En este nivel se analizan tanto la coherencia del proceso pedagógico implementado durante la acción formativa como la relevancia de su diseño formativo.

El estudio de la evaluación de la transferencia de la formación y los factores que pueden influir en la aplicación de los aprendizajes al puesto de trabajo ha constituido una importante línea de investigación en las últimas décadas (Noe, 1986; Baldwin y Ford, 1988; Rouiller y Goldstein, 1993; Thayer y Teachout,, 1995; Holton, 1996, 2005; Burke y Hutchins, 2008; Pineda-Herrero, Quesada-Pallarès y Ciraso-Calí, 2011). En el contexto español, destaca el modelo FET, elaborado por el grupo EFI de la Universidad Autónoma de Barcelona (Pineda-Herrero, Quesada-Pallarès y Ciraso-Calí, 2014), como el primer modelo hispano de evaluación indirecta de la transferencia de la formación, mediante factores y con capacidad predictiva.

El eLearning como modalidad formativa

El eLearning puede definirse como un entorno de aprendizaje abierto (Boneu, 2007) o cerrado (Cabero, 2006), formal o no formal (Svensson, Ellström y Åberg, 2004), que utiliza herramientas pedagógicas a través de Internet con el fin de facilitar el aprendizaje de todos los participantes.

En los últimos años, las diferentes modalidades y herramientas en eLearning han crecido rápidamente, como todo lo referente al campo de la tecnología; sin embargo, éstas no han estado acompañadas de propuestas pedagógicas, como indican Torres et al. (2015).

Sobre los modelos pedagógicos aplicados en las diferentes modalidades eLearning, Stephenson y Sangrá (2003) plantean tres posibilidades: 1) transmisivas, 2) aprender por la práctica o learning by doing y 3) colaborativas. Para Corbalan (2008), el profesor debe ejercer un mayor control en el inicio de la actividad y del curso, y luego debe ir cediendo gradualmente el control a los estudiantes. Pérez et al. (2010) son aún más exigentes, dado que consideran que las únicas modalidades que adquieren valor pedagógico son aquellas que actúan como artefactos mediadores entre el docente y el alumnado o entre iguales, proporcionando un contexto educativo singular y virtual facilitador de procesos interactivos de co-construcción.

Las posibilidades de aplicación de estos modelos de eLearning en el INAP pueden variar en función de la gama de actividades a realizar, de los objetivos planteados, así como de la perspectiva del formador y profesional que interviene en la plataforma.

El modelo pedagógico eLearning del INAP se basa en un diseño instructivo, que depende en gran parte de los paradigmas colaborativo y constructivista del aprendizaje (INAP, n.d.). Utiliza la plataforma de código abierto Moodle como su entorno cerrado de aprendizaje. Según los estudios de Barge y Londhe (2014) Moodle es la plataforma que más destaca por su flexibilidad, personalización y seguridad.

El INAP facilita, a todo el equipo de profesionales de la plataforma, manuales detallados para elaborar acciones formativas con criterios comunes. En dicho manual se detallan siete criterios para definir con mayor precisión el modelo pedagógico de la institución. En la Tabla 2 se han organizado estos criterios de acuerdo a la propuesta de Noguera (2013).

Directrices pedagógicas (Noguera, 2013)	Criterios INAP
a) Diseño de las tareas basadas en características como la apertura, la complejidad, la interdependencia y la discusión	Método interactivo y participativo Rigurosa planificación, seguimiento, control y evaluación Evaluación continua
b) El papel del profesor como guía	La atención personalizada Alto grado de comunicación e interacción
c) La autorregulación del grupo	El aprendizaje compartido Avance sincronizado del grupo

Tabla 2. Criterios pedagógicos del INAP a partir de la definición de Noguera (2013)

También se detallan las funciones de tres perfiles: a) administrador/coordinador (responsable del INAP); b) profesor; y c) alumno.

La estructura pedagógica del eLearning aglutina diversos elementos, criterios y actividades, que se pueden adaptar en función del tipo de aprendizaje que se pretende lograr. Pero para ello, además se deben tener en cuenta, como factores claves, el contexto de la formación y el diseño que elaboren los responsable de la formación.

La evaluación de la formación eLearning en la Administración Pública

En la literatura académica se presentan modelos para evaluar la formación eLearning, como el de Rubio (2003), Van Slyke et al. (1998) y el de Marshall y Shriver (en McArdle, 1999).

Dentro de los modelos de evaluación eLearning con un enfoque global hay dos tendencias principales: modelos basados en normas de calidad y modelos de benchmarking. Uno de los modelos a destacar perteneciente en la primera tendencia es el de Marcelo y Zapata (2008). Basado en la segunda tendencia, se ha desarrollado el BENVIC (Benchmarking of Virtual Campuses Project) (2001) en el marco del programa de la Comisión Europea MINERVA.

Algunos autores, como Lim, Lee y Nam (2007) o Park, Sim y Roh (2010) proponen modelos de evaluación de la transferencia del eLearning a partir de la evaluación de los factores que influyen en ella. Otra propuesta es la de Hill y Wouters (2011) que estudian los factores específicos de cada tipo concreto de entrono virtual de aprendizaje que pueden influir en la transferencia de los aprendizajes.

En el marco del estudio ‘Evaluación de la Eficacia de la Formación en la Administración Pública Española’ –ETAPE- Pineda et al., 2012), se evaluó la eficacia de acciones formativas tanto presenciales como eLearning, en cinco comunidades autónomas, siguiendo el modelo FET (Pineda-Herrero, Quesada-Pallarès y Ciraso-Calí, 2011). Todas las acciones formativas fueron evaluadas a través de un cuestionario sobre factores de transferencia y un cuestionario de transferencia diferida aplicado unos dos meses después de la finalización de la acción formativa. Asimismo se pasaron otros instrumentos que tenían por objetivo recoger información sobre competencias adquiridas y datos cualitativos que permitieran explicar los resultados de manera contextualizada en cada institución.

El mismo estudio también analizó las diferencias en el nivel de eficacia de la formación entre las acciones presenciales y las eLearning. Los resultados mostraron que la modalidad presencial es más eficaz que el eLearning. Algunos de los factores que pudieron influir en estos resultados son: el nivel de satisfacción, el diseño de la formación, las posibilidades para la aplicación en el entorno laboral y la rendición de cuentas, que en la formación eLearning analizada siempre obtuvieron resultados menores que los de la formación presencial.

En el presente estudio estos resultados son actualizados a partir de nuevos datos y a través de un sistema de evaluación más complejo que analiza, además del grado de transferencia: la satisfacción con la formación; la adecuación pedagógica del programa y la plataforma; y el nivel de aprendizaje (los primeros cuatro niveles del modelo de Pineda, 2002). Con ello se pretende crear un modelo completo de evaluación de la formación eLearning y aplicarlo a las acciones formativas del INAP para identificar su eficacia y proponer así mejoras.

Metodología

El objetivo del estudio, y por ende de este artículo, es evaluar los resultados de la formación en modalidad online que realiza el INAP. Para ello se sigue el modelo holístico de evaluación de Pineda (2002): satisfacción, aprendizaje, diseño, implementación y transferencia. De este modo, los resultados de cada nivel se contrastan con los del resto de niveles y se obtienen resultados que permiten tener una visión global de las relaciones entre los distintos niveles y de cómo ello influye en el resultado final de la formación. La adaptación del modelo de Pineda (2002) en un modelo de eLearning permite crear el modelo MEEL.

Partiendo de este objetivo, la metodología tiene un enfoque mixto (cuantitativo y cualitativo), que permite triangular información de diferentes fuentes y realizar una aproximación al objeto de estudio en profundidad, si bien el diseño responde a un estudio ex post facto de tipo prospectivo, con más de una variable independiente, factorial (Montero y León, 2007). La figura 1 muestra las fases del estudio junto con el proceso recogida de datos.

 

Figura 1. Fases del estudio MEEL. Elaboración propia

Muestra

La población del estudio se centró en las acciones formativas online desarrolladas por el INAP durante el año 2015, seleccionando la muestra de acciones formativas en base a cinco criterios: (1) acciones formativas de modalidad online; (2) acciones formativas realizadas por el INAP; (3) acciones formativas orientadas a la transferencia, es decir, con objetivos de aplicabilidad cercana; (4) acciones formativas con una duración homogénea: entre 30 y 40 horas; y (5) acciones formativas realizadas entre los meses de abril y junio 2015, para acotar la recogida de datos.

En la Tabla 3 se detalla las acciones formativas seleccionadas para la evaluación, el número de inscritos en cada una y su participación en el estudio, mostrando el número de personas que respondieron a cada instrumento de cada nivel evaluado: satisfacción, aprendizaje y transferencia.

Formación	Participantes
	N.º Inscritos	N.º Satisfacción	N.º Aprendizaje	N.º Transferencia
Accesibilidad a las páginas web y a sus contenidos digitales	60	42	33	23
Gestión de archivos públicos y transparencia	146	77	144	107
Gestión de la información y transparencia	122	58	18	10
Gestión y dirección de proyectos	58	39	27	12
Protección de datos y transparencia	265	208	163	104
Seguridad en redes WAN e Internet	41	20	13	10
Transparencia y gobierno abierto	138	68	74	57
TOTAL	830	512	472	323

Tabla 3. Distribución de la muestra. Elaboración propia

Además de los empleados que realizaron la formación, se solicitó a las personas responsables de dichas acciones formativas que cumplimentasen los Cuestionarios de Aprendizaje (n=13), el Instrumento de Diseño Pedagógico (n=4) y el Instrumento de Uso de la Plataforma (n=3).

Debido a que el estudio hace una evaluación longitudinal de la formación según el participante de la misma, se eliminaron aquellos casos que no habían respondido todos los instrumentos de evaluación. Por ello, la distribución válida de la muestra por acción formativa es la correspondiente a la columna ‘N.º Transferencia’ de la Tabla 3 con una muestra total de 323 empleados que participaron en la totalidad del estudio. En este sentido, el 61.7% de los trabajadores inscritos en estos cursos participaron de algún modo en el estudio; mientras que el 38.9% de los que participaron en la formación respondieron a todos los cuestionarios facilitados.

Instrumentos

Se diseñaron diferentes instrumentos en formato digital, dirigidos tanto a los participantes en formación como a los formadores. En la Tabla 4 se resumen todos los instrumentos aplicados, especificando cuándo se aplicaron y qué agentes del INAP participaron.

Instrumento	Momento de aplicación	Agentes implicados
Cuestionario de Satisfacción	Al finalizar el curso	– Responsable de formación lo publica en la plataforma online – Participantes del curso lo responden
Cuestionario de Autoevaluación del Aprendizaje	Al finalizar el curso	– Responsable de formación lo publica en la plataforma online – Participantes del curso lo responden
Cuestionario de Evaluación del Aprendizaje para el formador	2-3 semanas después de la finalización del curso	– Equipo de investigación lo envía – Formadores lo responden
Instrumento de Diseño Pedagógico	2-3 semanas después de la finalización del curso	– Equipo de investigación lo envía – Responsables de la formación y formadores lo responden
Instrumento de Uso de la Plataforma	3 – 4 semanas después de la finalización del curso	– Equipo de investigación lo envía – Responsables de la formación lo responden
Cuestionario de Eficacia	2 meses después de la finalización de la acción formativa	– Equipo de investigación lo envía – Participantes del curso lo responden

Tabla 4. Resumen de los instrumentos aplicados. Elaboración propia

El Cuestionario de Satisfacción mide el grado de reacción o satisfacción de los participantes de la formación. Este cuestionario está basado en el cuestionario que utiliza el INAP para este fin, si bien se hicieron algunas modificaciones. Su composición consta de ocho ítems específicos de satisfacción sobre características de la acción formativa y las condiciones que la posibilitan (como la adecuación el aula virtual); un ítem sobre la satisfacción del curso en general; y seis ítems sobre el desempeño del formador. Los ítems fueron valorados mediante una escala del 1 al 10, siendo 10 el extremo positivo. Asimismo, el cuestionario constó de cuatro preguntas abiertas para capturar la percepción más cualitativa del participante de la formación.

El Cuestionario de Autoevaluación del Aprendizaje evaluó el grado de aprendizaje desde la perspectiva del participante en formación, como el nivel de adquisición de nuevos conocimientos, la mejora de habilidades y la actualización de conocimientos previos. Se compone de cinco ítems a valorar en una escala Likert de 5 puntos (1, totalmente en desacuerdo y 5, totalmente de acuerdo), agrupados en el ‘factor de aprendizaje’ (Pineda-Herrero, Quesada-Pallarès, y Ciraso-Calí, 2014) con una elevada consistencia interna (α=.855). Asimismo, el cuestionario consta de una sección previa con preguntas sobre el perfil del participante, así como una sección final en que el participante de la formación valora su logro individual en cada uno de los objetivos y metas de la acción formativa, mediante una escala del 1 al 10 (siendo 10 el extremo positivo) y una pregunta abierta donde puede aportar comentarios al respecto.

Con la finalidad de triangular la evaluación del aprendizaje, el Cuestionario de Evaluación del Aprendizaje evaluó el grado de aprendizaje del grupo de participantes en la formación desde la perspectiva del formador. Una primera sección del mismo consiste en revisar las actividades de evaluación previstas inicialmente, y por lo tanto comprobar su ejecución, indicando su obligatoriedad y el peso de cada una en la nota final del curso. La segunda sección repite la sección final del Cuestionario de Autoevaluación del Aprendizaje en la que se valora el logro grupal de cada uno de los objetivos y metas de la acción formativa en particular, mediante una escala del 1 al 10 (siendo 10 el extremo positivo), y una pregunta abierta con la que puede aportar comentarios al respecto.

El Instrumento de Diseño Pedagógico evaluó el diseño o la adecuación pedagógica de la acción formativa online. Este instrumento se desarrolló con la finalidad de adaptarse a diversas propuestas metodológicas online, a partir de la aportación de varios autores (Graham et al., 2001; Karjalainen y Rytkönen-Suontausta, 2007; Ejarque et al., 2008; Ardila-Rodríguez, 2011; AENOR, 2012; Vladoiu y Constantinescu, 2013). El instrumento consiste en una lista de verificación o check-list agrupadas en seis dimensiones: planificación y funcionamiento - presentación e información sobre la formación, metas y objetivos, organización del curso, actividades y adaptación a los usuarios-; objetivos de aprendizaje -relevancia, pertinencia, cantidad y accesibilidad-; transferencia –diseño de la transferencia-; metodología –coherencia-; evaluación –evaluación y transparencia-; y dinamización y seguimiento -claridad y utilidad de sus comunicaciones, seguimiento e interacción con el grupo-. Los responsables de formación debían cumplimentar este listado en un plazo de dos meses, reflexionando sobre qué aspectos están presentes (o no) en su acción formativa.

El Instrumento de Uso de la Plataforma sigue también un formato de check-list con la finalidad de analizar el uso de la plataforma Moodle –utilizada en los cursos del INAP- y las conexiones entre los formadores, los alumnos y el contenido de la formación (Siemens y Baker, 2012; Nandi et al., 2012; Moodle, 2015; Lara y Duart, 2005; AENOR, 2012). El instrumento está integrado por 17 ítems organizados en: participación; interacción; y actividades. Los formadores completaron el instrumento utilizando porcentajes y proporciones e incluso aportando comentarios aclaratorios.

El Cuestionario de Eficacia de la formación fue enviado a los empleados que habían participado en la formación online analizada y que habían respondido al Cuestionario de Autoevaluación del Aprendizaje. Su objetivo es medir la transferencia de manera directa (Pineda-Herrero, Quesada-Pallarès y Ciraso-Calí, 2014) mediante dos apartados: (1) 14 ítems divididos en siete ítems que analizan el nivel transferencia mediante el ‘factor de transferencia’ (α=.920) –valorados con una escala Likert de 5 puntos (1, totalmente en desacuerdo y 5, totalmente de acuerdo), y siete ítems que analizan las razones de una baja transferencia –a ser valorados con una única opción de respuesta sí/no’; y (2) una pregunta de respuesta abierta en que el participante de la formación debe evidenciar, mediante tres ejemplos, cómo ha aplicado lo aprendido en la formación en su puesto de trabajo en los últimos meses.

Análisis de datos

Los resultados de los cuestionarios de satisfacción, aprendizaje y transferencia fueron analizados a través de un programa de análisis estadístico (SPSS v.23), llevando a cabo análisis descriptivos e inferenciales que permitieron comparar los resultados de cada nivel de evaluación en función de variables de perfil. Asimismo, se realizaron análisis correlacionales y de regresión múltiple, utilizando la transferencia como variable dependiente en este último caso.

En el caso de las preguntas de respuesta abierta que acompañaban a los instrumentos de satisfacción, aprendizaje y transferencia, se vaciaron en documentos de texto; los fragmentos de texto (frases o palabras) se analizaron mediante una categorización inductiva, según criterios unificadores emergentes. Estos datos se utilizaron sobre todo para interpretar los resultados cuantitativos obtenidos.

En cuanto al Cuestionario de Evaluación del Aprendizaje para el formador, los datos sobre las actividades de evaluación del curso y su peso en la nota final se usaron para ponderar las notas de cada participante y calcular las notas finales. Estas notas se utilizaron para contrastar los resultados de los Cuestionarios de Aprendizaje.

Los resultados del Instrumento de Diseño Pedagógico se vaciaron en una plantilla puntuando con un 1 las respuestas afirmativas y con un 0 las respuestas negativas. Partiendo de esto, se sumaron las puntuaciones por variable, y se calculó el porcentaje de respuestas afirmativas en base a la máxima puntuación que podía haberse obtenido de haber respondido afirmativamente todos los ítems. El análisis que se extrajo de estos resultados fue descriptivo y se destacaron especialmente las variables en las que hay margen de mejora en el diseño, ya que no se obtuvo el 100% de respuestas afirmativas.

Por otra parte, el análisis de los resultados del instrumento de Uso de la Plataforma fue también descriptivo. En este caso se utilizó la misma plantilla en la que se cumplimentaron las respuestas. Para realizar este análisis descriptivo, la información obtenida con el Instrumento de Diseño Pedagógico fue muy útil dado que algunos ítems de diseño estaban directamente relacionados con ítems de Uso de la Plataforma.

Resultados

El estudio MEEL contempla diferentes etapas de evaluación de la formación continua online. Se han recogido datos referentes a: la satisfacción del participante con la formación realizada; el aprendizaje del participante -tanto desde la perspectiva del participante como del formador-; el diseño pedagógico de la acción formativa; el uso, por parte de los profesores y alumnos, del entorno virtual; y la transferencia del participante al puesto de trabajo. Se presentan aquí todos los hallazgos generales obtenidos5.

Una visión general del perfil de las personas que participaron en el estudio es indispensable para comprender qué tipo de empleados públicos se formaron. En la Tabla 5 se aprecia que gran parte de las personas que participaron en el estudio fueron mujeres (61%).

El cargo ocupado por estas personas es también diferente. Se observa una mayor presencia de trabajadores cualificados (35%), mandos intermedios (29%) y técnicos (27%).

Parece ser que la distribución anterior de cargos se corresponde con el nivel educativo alcanzado por los mismos. Precisamente, los datos muestran que la gran mayoría (el 81%) de estos empleados públicos tienen tiene estudios universitarios.

Variables de perfil	Distribución de la muestra
Sexo	61% mujeres 29% hombres
Cargo	7% trabajadores no cualificados 25% trabajadores cualificados 27% técnicos 29% mandos intermedios 2% directivos
Nivel educativo	1% educación primaria 0% educación secundaria 1% formación profesional de grado medio 13% bachillerato 4% formación profesional de grado superior 63% diplomatura, licenciatura o grado 17% posgrado o máster 1% doctorado o superior

Tabla 5. Descripción de la muestra. Elaboración propia

vn de la muestrativas y con un 0.

En cuanto a la media de edad, los datos sugieren que ésta se sitúa en torno a los 45 años, con una desviación de 7 años; por lo tanto, el grueso de trabajadores públicos formados en modalidad online y que participaron en este estudio tenían una edad comprendida entre los 38 y 52 años.

La Figura 2 por otro lado, ofrece las puntuaciones alcanzadas del conjunto total de las acciones formativas evaluadas en cuanto a satisfacción, aprendizaje y transferencia del participante. Se observa que tanto la satisfacción como el aprendizaje percibido de los trabajadores obtienen un valor medio-alto (por encima de 3.5 sobre 5); sin embargo, los trabajadores no manifiestan haber transferido en el mismo grado, obteniendo un valor por debajo de los otros dos indicadores (2.79 sobre 5), si bien se sitúa por encima de la media, con una desviación elevada (0.83).

 

Figura 2. Resultados de la formación en la Administración Pública:
satisfacción, aprendizaje y transferencia. Elaboración propia

Para comprobar la distribución de estas puntuaciones de acuerdo a las variables de perfil, los estadísticos inferenciales aplicados indican que no hay diferencias significativas en el nivel de satisfacción, aprendizaje y transferencia en base al sexo, cargo ocupado o nivel educativo del participante en la formación.

Con la finalidad de profundizar un poco más en estos resultados de la formación, la Tabla 6 presenta dichos resultados desagregados por acción formativa online evaluada. Se observa pues, que si bien ‘Gestión y dirección proyectos’ presenta un nivel de satisfacción mayor al resto (4.14), su nivel de aprendizaje y transferencia no son de los más elevados (4.37 y 2.89, respectivamente). Al contrario, ‘Gestión de la información y transparencia’ tiene un nivel de satisfacción medio (3.94) mientras que su grado de aprendizaje y transferencia son los más elevados (4.48 y 3.00, respectivamente); así como ocurre con ‘Accesibilidad a las páginas web y a sus contenidos digitales’.

Esta tendencia hace pensar que la satisfacción no está directamente relacionada con la transferencia; aunque un mayor aprendizaje por parte de los participantes sí parece tener relación con una mayor transferencia.

Acción	Satisfacción	Aprendizaje	Transferencia
Accesibilidad a las páginas web y a sus contenidos digitales	3.94	4.38	3.01
Gestión de archivos públicos y transparencia	3.99	4.24	2.77
Gestión de la información y transparencia	3.94	4.48	3.00
Gestión y dirección de proyectos	4.14	4.27	2.89
Protección de datos y transparencia	3.82	4.25	2.84
Seguridad en redes WAN e Internet	3.78	4.30	2.70
Transparencia y gobierno abierto	3.92	4.19	2.61
GLOBAL	3.91	4.25	2.79

Tabla 6. Resultados de la formación en la Administración Pública:
satisfacción, aprendizaje y transferencia de acuerdo a la acción formativa. Elaboración propia

No obstante, las medias presentadas en la Tabla 6 no garantizan que sus diferencias sean estadísticamente significativas. Tras aplicar los estadísticos inferenciales pertinentes, se observa que solamente existen diferencias significativas en las puntuaciones de satisfacción según la acción formativa; por lo que se puede afirmar que la satisfacción de los participantes es sustancialmente distinta de acuerdo a la acción formativa en la que han participado.

Cabe recordar que la evaluación del aprendizaje contemplaba otras variables. En primer lugar, se evaluó el logro de objetivos y metas planteados en el conjunto de las acciones formativas, tanto por los participantes de la formación como por los mismos formadores; la Figura 3 proporciona información al respecto. En ésta se aprecia que la valoración de logros de objetivos y metas de aprendizaje por parte del participante en formación es ligeramente mayor que la valoración de los formadores. No obstante, en ambos casos se han alcanzado los objetivos y metas de aprendizaje en un grado medio-alto.

 

Figura 3. Resultados de la formación en la Administración Pública:
objetivos y metas de aprendizaje. Elaboración propia

Prestando atención a estos resultados en cada una de las acciones formativas online evaluadas (Tabla 7), se observa que aunque los formadores tienden a hacer una valoración menos positiva del aprendizaje de los participantes, la acción formativa ‘Transparencia y gobierno abierto’ es valorada más positivamente en sus objetivos de aprendizaje (+0.08) por el formador. Lo mismo ocurre con las metas de aprendizaje de las acciones ‘Gestión de archivos públicos y transparencia’ (+0.02) y ‘Gestión de la información y transparencia’ (+0.10).

Acción	Objetivos de aprendizaje (participante)	Metas de aprendizaje (participante)	Objetivos de aprendizaje (formador)	Metas de aprendizaje (formador)
Accesibilidad a las páginas web y a sus contenidos digitales	4.05	4.30	4.00	4.00
Gestión de archivos públicos y transparencia	3.91	3.72	3.79	3.74
Gestión de la información y transparencia	4.44	3.99	4.21	4.09
Gestión y dirección de proyectos	3.99	4.08	–	–
Protección de datos y transparencia	3.89	4.06	3.75	3.84
Seguridad en redes WAN e Internet	4.10	4.05	3.87	4.00
Transparencia y gobierno abierto	3.91	4.20	3.99	4.00
GLOBAL	3.94	3.99	3.84	3.86

Tabla 7. Resultados de la formación en la Administración Pública:
objetivos y metas de aprendizaje de acuerdo a la acción formativa. Elaboración propia

Se solicitó a los participantes que comentasen cualquier aspecto relacionado con la consecución de cada uno de sus objetivos y metas (ver anexo). Asimismo, los formadores también hicieron observaciones en cuanto a los objetivos y metas de aprendizaje de las acciones formativas que gestionaron. Estos comentarios, si bien no permiten un análisis conjunto de los resultados, son muy valiosos para complementar los datos numéricos, comprender valoraciones particularmente bajas o elevadas de algún objetivo, y explicar las discrepancias entre las valoraciones de los participantes y los formadores, a menudo derivadas de una interpretación diferente del objetivo o meta. Además, estos resultados cualitativos permiten ir más allá del logro del objetivo, ya que los participantes suelen aportar ejemplos de aprendizaje, explicaciones del por qué no sienten que han logrado totalmente el objetivo, y propuestas para la formación con la finalidad de facilitar el aprendizaje.

Es significativo el caso de la acción formativa ’Gestión de archivos públicos y transparencia’ dado que los resultados cualitativos permiten comprender las diferencias entre las valoraciones de los participantes y los formadores; e incluso sugieren ciertos cambios en la estructura de la formación y la identificación de los destinatarios de la acción. En referencia a todos los objetivos y metas, los participantes expresan que han realizado aprendizajes nuevos, profundizado en aspectos que ya conocían pero solo superficialmente, o que han logrado ese objetivo o meta. A menudo manifiestan un cambio de actitud hacia el contenido de la acción (como refleja la aportación: “nunca había pensado en el papel tan importante que tiene [el archivo] como preservador de la memoria que garantiza el derecho a la reparación de injusticias”), así como aprendizajes más vinculados con conocimientos y habilidades (por ejemplo, sobre los procesos de identificación y valoración documentales). Sin embargo, también se encuentran aportaciones de participantes que expresan el no cumplimiento de las metas y objetivos, aportando sus motivos.

Por otro lado, algunos participantes también manifiestan sus preocupaciones acerca de las barreras para una futura aplicación de los nuevos aprendizajes, vinculadas con la falta de colaboración entre compañeros o el poco apoyo de los superiores. Aspectos que sin duda cabe explorar, si se considera esta área de contenido de la formación como estratégica para la administración.

La evaluación de la transferencia requirió también que los trabajadores evidenciasen tres aplicaciones de lo que aprendieron en la formación a su puesto de trabajo. A grandes rasgos, se puede apreciar que: el 61.9% de los trabajadores aportan evidencias de su transferencia –por lo que han transferido en algún grado-; el 11.3% manifiestan no haber transferido; el 14.7% no aportan evidencias válidas de transferencia; y el 12.1% no proporcionó ningún tipo de evidencia –respuesta en blanco-. En resumen, la mayor parte de los trabajadores públicos sí proporcionan evidencias de aplicación a su puesto de trabajo.

Más allá de estos resultados globales, para cada acción formativa se han puesto de manifiesto los ámbitos de la actuación profesional de los participantes, donde más cambios ha habido a raíz de los nuevos aprendizajes. Por ejemplo, en el mismo caso de la acción ‘Gestión de archivos públicos y transparencia’, dos terceras partes de los trabajadores que contestaron a ese apartado del cuestionario (62 de 97) aportaron evidencias concretas de transferencia, en ámbitos diferentes. En este caso, los principales aspectos del trabajo donde hubo un impacto como consecuencia de la acción formativa fueron la organización de la oficina; en el traspaso de documentación y su gestión; en la clasificación y destrucción de documentos; en el archivo electrónico, la digitalización de expedientes y la firma electrónica.

Por otro lado,, los motivos por los que algunos de los trabajadores transfirieron poco o nada son diversos y pueden consultarse en la Figura 4. Los dos motivos más comentados son: no es una prioridad de la organización (56.8%) y todavía no he realizado tareas vinculadas a esta formación (55.8%); seguido del contenido de la formación no es útil para mi trabajo actual (40%) y no tengo el suficiente apoyo de las personas con las que trabajo (35.8%) Estos resultados permiten deducir que las acciones formativas contempladas en este estudio no siempre están alineadas con la estrategia organizativa, o bien las tareas específicas del puesto de trabajo no contemplan, por el momento, situaciones que favorezcan la transferencia de la formación realizada. Así como parece haber una falta de respuesta a las necesidades del puesto de trabajo por parte de la formación realizada, y poco apoyo por parte del entorno laboral para que los trabajadores públicos transfieran.

 

Figura 4. Resultados de la formación en la Administración Pública:
motivos para no transferir. Elaboración propia

Una vez descrita la visión general de los resultados de la formación desde distintas perspectivas es interesante analizar los resultados de cada acción formativa evaluada, y ver cómo explica la eficacia cada nivel de evaluación. Estos resultados pueden consultarse en el informe íntegro del estudio.

Conclusiones

El estudio que se ha presentado en este artículo tenía el objetivo de evaluar la formación en modalidad online que se realiza en el INAP de forma integral, contemplando los elementos clave de la eficacia, como son la satisfacción, el aprendizaje, el diseño pedagógico y la transferencia al puesto. El objetivo se ha alcanzado lo que ha permitido plantear diversas propuestas de mejora de la oferta formativa online del INAP, las cuales se comentan a continuación.

Los resultados de la evaluación muestran que en las acciones formativas evaluadas, tanto la satisfacción de los participantes como su aprendizaje, obtienen puntuaciones medias-altas. Y que el nivel de transferencia de los aprendizajes al puesto de trabajo es medio, aunque ligeramente inferior que el de aprendizaje. Este resultado coincide con otros estudios (Holton et al., 2000) en los que se afirma que, de lo que se aprende en la formación, sólo se transfiere al puesto de trabajo entre un 10% y un 30%. Por lo tanto, en las acciones formativas del INAP evaluadas, se ha generado una transferencia por encima de esta media, pues se ha transferido el 65.65% del aprendizaje, y únicamente el 11% de los participantes afirmaron no transferir en absoluto.

Además, en el estudio se han recogido evidencias de la transferencia realizada, aportadas por el 85% de los participantes, que son un buen indicativo de la eficacia de la formación del INAP. En este caso, una propuesta de mejora para futuras aplicaciones del modelo MEEL consiste en que un experto en la temática de la formación, o el mismo formador, pueda analizar estas evidencias de transferencia y así valorar su adecuación al nivel de profundidad de los contenidos tratados en la formación, así como la adecuación de estas aplicaciones a los puestos de trabajo.

Según los resultados del estudio, el aprendizaje, medido como factor único, y a diferencia de la satisfacción, aparece relacionado con la transferencia. Así pues, cuanto más aprendizaje se dé en una formación, más transferencia se producirá en el lugar de trabajo. Estos resultados validan de nuevo de forma empírica esta relación, que está muy argumentada en la literatura científica (Cabrera, 1993; Pineda, 2002).

Otro resultado a destacar son los motivos que dificultaron la transferencia de los participantes. En algunas acciones formativas se detectó que éstas no respondían a las necesidades formativas de los participantes, ni estaban alineadas con la estrategia organizativa, el puesto de trabajo no presentaba situaciones que favorecieran la transferencia de la formación realizada, y había poco apoyo en el entorno laboral para que los trabajadores pudieran transferir. Estas barreras detectadas están muy presentes en las administraciones públicas, tal y como se ha podido observar en otros estudios sobre eficacia de la formación (Pineda et al, 2012).

De aquí se deriva, pues, que para que la formación sea eficaz, es necesario que se detecten las necesidades formativas con rigor y se seleccione, en base a ello, a las personas que pueden y deben participar en cada acción formativa. La panorámica obtenida del INAP con los resultados de este estudio podría mejorarse introduciendo estrategias específicas que permitieran convertir las barreras detectadas en facilitadores de la transferencia, aumentado así la eficacia de la formación online del INAP.

Referencias

AENOR. Asociación Española de Normalización y Certificación. (2012). Calidad de la Formación Virtual. Norma UNE 66181.

Baldwin, T. T. y Ford, J. K. (1988). “Transfer of training: A review and directions for future research”, Personnel Psychology, 41 (1), 63-105. DOI: 10.1111/j.1744-6570.1988.tb00632.x.

Barge, P. y Londhe, B. R. (2014). “From Teaching, Learning to Assessment: MOODLE Experience at B’School in India”. Procedia Economics and Finance, 11, 857-865. DOI: 10.1016/S2212-5671(14)00249-4.

Boneu, J. M. (2007). “Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos”. RUSC. Universities and Knowledge Society Journal, 4 (1), 8.

Bossaert, D. (coord.) (2008). Training and human resource development in the European Union member states. New practices and innovative trends. Maastricht: European Institute of Public Administration.

Burke, L. A. y Hutchins, H. M. (2008). “A study of best practices in training transfer and proposed model of transfer”, Human Resource Development Quarterly, 19 (2), 107-128. DOI: 10.1002/hrdq.1230.

Cabero, J. (2006). “Bases pedagógicas del eLearning”. Revista de Universidad y Sociedad del Conocimiento (RUSC), 3 (1). Recuperado de http://www.uoc.edu/rusc/3/1/dt/esp/cabero.pdf. DOI: 10.7238/rusc.v3i1.265.

Cabrera, F. A. (1993). “La evaluación en las sesiones instructivas”. En F. Cabrera, T. Donoso, y M. A. Marín (Eds.), Manual de formación pedagógica básica para formadores (pp. 215-263). Barcelona: PPU.

Carazo, J. A. (2002). “La evaluación de la formación continua en las Administraciones Públicas”. Capital Humano, 15 (153), 30-38.

Corbalan, G. (2008). Shared control over task selection: helping students to select their own learning tasks. Tesis doctoral. Open University Nederland, The Netherlands.

CrossKnowledge. (2011). 1.º Barómetro de e-learning en Europa. Recuperado de www.dicampus.es/documents/download/414.

Ejarque, E., Hervás, A. y Buendía, F. (2008). “Aplicación de un modelo de calidad para evaluar experiencias e-learning en el Espacio Europeo Universitario”. Educar. 41, 11-28.

Graham, C., Cagiltay, K., Lim, B. R., Craner, J. y Duffy, T. M. (2001). “Seven principles of effective teaching: A practical lens for evaluating online courses”. The Technology Source, 30 (5), 50-54.

Hill, S. y Wouters, K. (2011). The Influence of Learning Interactions and Learner Characteristics on E-Learning Effectiveness (research proposal).

Holton, E. F. III. (2005). “Holton’s evaluation model: New evidence and construct elaborations”, Advances in Developing Human Resources, 7 (37), 37-54. DOI: 10.1177/1523422304272080.

Holton, E. F. III. (1996). “The flawed four-level evaluation model”. Human Resources Development Quarterly, 7, 5-21. DOI: 10.1002/hrdq.3920070103.

Holton, E. F., Bates, R.A. y Ruona, W.E.A. (2000). Development of a generalized learning transfer system inventory. Human Resource Development Quarterly, 11 (4), 333-360. DOI: 10.1002/­1532-1096(200024)­11:4<333::­AID-HRDQ2>­3.0.CO;2-P.

Instituto Nacional de Administración Pública (2013). Memoria de actividades 2012. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/bac17e1c-d718-4f3e-8f7a-2040f4afcb13/MemoriaINAP2012.pdf.

Instituto Nacional de Administración Pública (2014). Memoria de actividades 2013. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/cc9e6e32-2eeb-4169-b170-281a1c894a20/MemoriaINAP2013.pdf.

Instituto Nacional de Administración Pública (2015). Memoria de actividades 2014. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/efdc2dcf-073b-4cb5-8029-60880baaa40b/MemoriaINAP2014.pdf.

Instituto Nacional de Administración Pública (n.d.). Manual de estilo de actividades formativas ON LINE del INAP. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/ccaa0d16-d661-4399-8c9f-9cf64073c7f3/Manual-INAP-actividades-formativas-online.pdf.

Karjalainen, K. y Rytkönen-Suontausta, T. (2007). “The Quality Manual (QM), Tool for Developing Quality in e-Learning”. In World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, 1, 980-984.

Kirkpatrick, D. L. (1959). “Techniques for evaluating training programs”, Journal of American Society for Training and Development, 11, 1-13.

Lara, P., y Duart, J. M. (2005). “Gestión de contenidos en el e-learning: acceso y uso de objetos de información como recurso estratégico”. Revista de universidad y sociedad del conocimiento, 2 (2), 6-14.

Lim, H., Lee, S. y Nam, K. (2007). “Validating E-learning factors affecting training effectiveness”. International Journal of Information Management (27), 22-35. DOI: 10.1016/j.ijinfomgt.2006.08.002.

López, J. y Leal, I. (2002). Aprender a planificar la formación. Barcelona: Paidós.

Marcelo, C. y Zapata, M. (2008). “Cuestionario para la evaluación: ‘Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia’. Metodología de uso y descripción de indicadores”. Revista de Educación a Distancia, número monográfico, VII. Recuperado de http://www.um.es/ead/red/M7/.

McArdle, G. E. (1999). Training Design and Delivery: A single-Source Guide for Every Trainer, Training Manager, and Occasional Trainer. Alexandria, VA: American Society for Training and Development.

Meignant, A. (1991). Manager la formation. Paris: Éditions Liaisons.

Montero, I., y León, O. G. (2007). “Guía para nombrar los estudios de investigación en Psicología”. International Journal of Clinical and Health Psychology, 7 (3), 847-862.

Moodle (2015). 7 Ways to Get Started with Analytics y Reports in Moodle. Recuperado de https://moodle.com/2015/02/05/7-ways-to-get-started-with-analytics-reports-in-moodle.

Nandi, D., Hamilton, M. y Harland, J. (2012). “Evaluating the quality of interaction in asynchronous discussion forums in fully online courses”. Distance Education, 33 (1), 5-30. Recuperado de http://search.proquest.com/docview/1021239612?accountid=15292. DOI: 10.1080/01587919.2012.667957.

Noe, R.A. (1986). “Trainees’ attributes and attitudes: Neglected influences on training efficacy”. Academy of Management Review, 11, 736-749.

Noguera, I. (2013). “Orientaciones pedagógicas para el diseño y apoyo de tareas de construcción colaborativa del conocimiento”. Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, 14 (1), 51-75.

Park, S., Sim, H. y Roh, H. (2010). “The analysis of effectiveness on ‘transfer’ through e-learning courses in industry and technology”. British Journal of Educational Technology (41) 6, 32-34. DOI: 10.1111/j.1467-8535.2010.01070.x.

Pérez, H. S., Fernández, S. R. y Braojos, C. G. (2010). “Metodologías que optimizan la comunicación en entornos de aprendizaje virtual”. Comunicar: Revista científica iberoamericana de comunicación y educación, 34, 163-171.

Phillips, J. J. (1987). Handbook of training evaluation and measurement methods. Houston, TX: Gulf Publishing.

Pineda Herrero, P. (2002). Gestión de la formación en las organizaciones. Barcelona: Ariel.

Pineda-Herrero, P., Quesada-Pallarés, C. y Ciraso-Calí, A. (2011). “Evaluating training effectiveness: results of the FET Model in the Public Administration in Spain”. 7th International Conference on Researching Work and Learning (Shangai, East China Normal University).

Pineda, P., Quesada, C., Espona, B., Ciraso, A. y García, N. (2012). Evaluación de la eficacia de la formación en la administración pública española –ETAPE–: el modelo FET. Recuperado de: http://ddd.uab.cat/record/115524.

Pineda-Herrero, P., Quesada-Pallarès, C., y Ciraso-Calí, A. (2014). “Evaluation of Training Transfer Factors: The FET Model”. In K. Schneider (Ed.), Transfer of Learning in Organizations (pp. 121-144). Switzerland: Springer International Publishing. DOI: 10.1007/978-3-319-02093-8_8. Richardson, J. T. (2005). Instruments for obtaining student feedback: A review of the literature. Assessment y Evaluation in Higher Education, 30 (4), 387-415.

Ponce de Haro, J., Alguilar Cuenca, D., García Aguilera, F. y Otamendi Herrera, A. (2010). “Hacia un itinerario de aprendizaje sólido para el teleformador: la propuesta del programa EVA”. Revista de Universidad y Sociedad de Conocimiento, 7 (1). Recuperado de: http://rusc.uoc.edu/ojs/index.php/rusc/article/view/v7n1_ponce_et-al/v7n1_ponce_et-al.

Quesada-Pallarès, C. (2014). ¿Se puede predecir la transferencia de los aprendizajes al puesto de trabajo?: Validación del modelo de predicción de la transferencia, Tesis doctoral inédita de la Universidad Autónoma de Barcelona.

Rouiller, J. Z. y Goldstein, I. L. (1993). “The relationship between organizational transfer climate and positive transfer of training”, Human Resource Development Quarterly, 4 (4), 377-390. DOI: 10.1002/hrdq.3920040408.

Rubio, M. J. (2003). “Enfoques y modelos de evaluación del e-learning”. RELIEVE. Revista Electrónica De Investigación y Evaluación Educativa, 9 (2), 101-120.

Siemens, G. y Baker, R. S. (2012). “Learning analytics and educational data mining: towards communication and collaboration”. In Proceedings of the 2nd international conference on learning analytics and knowledge. Recuperado de http://www.columbia.edu/~rsb2162/LAKs%20reformatting%20v2.pdf. DOI: 10.1145/2330601.2330661.

Stephenson, J., y Sangrá, A. (2003). Modelos pedagógicos y e-learning. Universidad Oberta de Cataluña UOC.

Svensson, L., Ellström, P. E. y Åberg, C. (2004). “Integrating formal and informal learning at work”. Journal of Workplace Learning, 16 (8), 479-491. DOI: 10.1108/13665620410566441.

Thayer, P. W. y Teachout, M. S. (1995). “A climate for transfer model”. Armstrong Laboratory/Human Resources, 25, 1-41.

Torres, J. C., Infante, A. y Torres, P. V. (2015). “Aprendizaje móvil: perspectivas”. RUSC. Universities and Knowledge Society Journal, 12 (1), 38-49.

Van Slyke, C., Kittner, M. y Belanger, F. (1998). “Identifying Candidates for Distance education: A telecommuting perspective”. Proceedings on the America’s Conference on In-formation Systems, 666-668. Baltimore.

Vladoiu, M. y Constantinescu, Z. (2013). “Towards Assessment of Open Educational Resources and Open Courseware based on a Socio-Constructivist Quality Model”. On the Move to Meaningful Internet Systems: OTM 2013 Workshops. Lecture Notes in Computer Science, vol. 8.186 (pp. 684-693). Graz, Austria: Springer.

ANEXO. Ejemplo de CUESTIONARIO DE AUTOEVALUACIÓN DEL APRENDIZAJE

Como ya sabes, este curso de ‘Accesibilidad a las páginas web’ está incluido entre las acciones formativas del proyecto MEEL, desarrollado por el equipo EFI de la Universidad Autónoma de Barcelona dentro de la convocatoria de investigación del INAP y en estrecha colaboración con el departamento de formación.

Pedimos tu colaboración contestando a este breve cuestionario sobre los aprendizajes que has realizado en esta acción formativa. Tus respuestas contribuirán a mejorar nuestro sistema formativo.

Es necesario que contestes a todas las preguntas. Tienes 1 día para rellenarlo, no te llevará más de 10 minutos.

Valora (del 1 al 10) tu nivel de logro individual respecto a los objetivos y meta de esta acción formativa. Si lo consideras, puedes añadir comentarios o explicaciones.

OBJETIVOS	LOGRO DEL OBJETIVO (1-10)	COMENTARIOS
1. Definir qué es la accesibilidad
2. Conocer las principales barreras de accesibilidad
3. Conocer la legislación, normativa, estándares e iniciativas en relación a la accesibilidad Web
4. Familiarizarse con y hacer uso de las herramientas de desarrollo web accesible
5. Conocer el estándar de accesibilidad a los contenidos web y cómo aplicarlo
6. Conocer los métodos de revisión de la accesibilidad Web (revisión manual y automática)
7. Familiarizarse con y hacer uso de las herramientas de revisión de accesibilidad
8. Distinguir la accesibilidad de las páginas web y la de los distintos recursos electrónicos existentes en sus contenidos digitales
9. Conocer soluciones para hacer accesibles distintos tipos de recursos electrónicos
META
Conocer la características que deben cumplir las páginas web y sus contenidos digitales para ser accesibles y cómo alcanzar dichas características

¡Muchas gracias por tu colaboración!