Evaluación de la formación eLearning en el Instituto Nacional de Administración Pública: resultados del estudio MEEL

Pilar Pineda Herrero; Berta Espona Barcons; Anna Ciraso-Calí; Carla Quesada Pallarès; Paloma Valdivia Vizarreta

doi:10.24965/gapp.v0i15.10315

Authors

Pilar Pineda Herrero Universidad Autónoma de Barcelona
Berta Espona Barcons Universidad Autónoma de Barcelona
Anna Ciraso-Calí Universidad Autónoma de Barcelona
Carla Quesada Pallarès University of Leeds
Paloma Valdivia Vizarreta Universidad Autónoma de Barcelona

DOI:

https://doi.org/10.24965/gapp.v0i15.10315

Keywords:

Continuous training, eLearning, training efficacy, training evaluation, transfer of learning

Abstract

This paper presents the overall findings of MEEL (eLearning Evaluation Model) study, conducted in 2015 for the National Institute of Public Administration (INAP) in Spain. The aim of the study is to develop an integrated evaluation model of online training in the context of public administration. This model was implemented on seven online training activities, in order to improve the use of public resources. The MEEL model includes different levels of evaluation: satisfaction, learning, instructional design, implementation and transfer. Different questionnaires and check-lists were used; these were addressed to the trainees (n=323), trainers and training managers. The evaluation results show medium-high levels of satisfaction and learning. Furthermore, learning, unlike satisfaction, is related to transfer; thus, the more learning occurs in an online training activity, more transfer will be produced in the workplace. Findings also highlight some barriers to transfer already observed in previous research on training at public administrations: lack of adjustment to the training needs, inconsistency with the organizational strategy and lack of support in the workplace.

Downloads

Download data is not yet available.

Author Biographies

Pilar Pineda Herrero, Universidad Autónoma de Barcelona

Es Profesora Titular de Economía de la Educación y Pedagogía Laboral, UAB. Sus líneas de investigación son: formación a lo largo de la vida, eficacia de la formación continua, evaluación de la transferencia del aprendizaje y evaluación participativa. Dirige el grupo de investigación EFI –http://grupsderecerca.uab.cat/efi/es– y forma parte del grupo interuniversitario GIPE - http://gipe-igep.org/. Ha publicado diversos libros y artículos sobre formación en las organizaciones en revistas científicas como la Revista de Educación, Revista Iberoamericana de Educación, Revista Española de Pedagogía, Bordón, Revista de Teoría de la Educación, Capital Humano, European Journal Industrial Training, Teacher Development, Journal of Workplace Learning, European Educational Research Journal, Education + Training.

Berta Espona Barcons, Universidad Autónoma de Barcelona

Es licenciada en Pedagogía (2010) y Máster de Investigación en Sociología Aplicada por la Universidad Autónoma de Barcelona (2013). Tiene experiencia profesional como monitora y formadora en educación en tiempo libre, educación de adultos, educación intercultural y cooperación al desarrollo. Del 2012 al 2014 fue la project manager de la Red de política europea SIRIUS para la educación de niños y jóvenes de origen inmigrante. Colabora como técnica de educación en proyectos comunitarios. Como investigadora ha participado en proyectos sobre evaluación de la transferencia, formación continua, formación profesional dual y en centros de trabajo, y formación para la innovación.

Anna Ciraso-Calí, Universidad Autónoma de Barcelona

Diplomada en Ciencias de la Educación por la Università degli Studi di Padova (Italia, 2007) y licenciada en Pedagogía por la UAB (2011). Tiene experiencia profesional en la educación no formal, sobretodo en educación ambiental y en talleres lúdicos y expresivos; y como educadora profesional, en apoyo escolar y a las familias. Actualmente, es formadora/consultora en temas de diseño y evaluación de la formación continua en las organizaciones. Como investigadora, participa en proyectos de investigación sobre evaluación de la transferencia, formación continua del profesorado, formación a centros de trabajo (FCT), formación orientada a la innovación, y evaluación participativa. Es miembro del Grupo Interdisciplinar de Políticas Educativas (GIPE).

Carla Quesada Pallarès, University of Leeds

Investigadora Postdoctoral en la Leeds University Business School; esta Universidad es triple ganadora en 2015 de: ‘Gold for Small Business Charter’, ‘Duke of York Award for University Entrepreneurship’ y ‘Entrepreneurial University of the Year’. Doctora en Educación por la UAB en 2014. Está realizando, actualmente, investigación sobre temas de emprendimiento y educación en el Reino Unido. Miembro del grupo EFI y del grupo REES - http://lec.leeds.ac.uk/research/rees/. Sus investigaciones se han centrado en la evaluación de: la transferencia del aprendizaje; formación profesional; formación en las organizaciones; trabajo, formación y mujer; formación del profesorado en el contexto universitario; y formación y emprendimiento, entre otros.

Paloma Valdivia Vizarreta, Universidad Autónoma de Barcelona

Profesora Asociada de la Universidad Autónoma de Barcelona. Es licenciada en Educación Primaria (2003) y Máster de Planificación y gestión educativa por la Universidad Autónoma de Barcelona (2012). Actualmente desarrolla su tesis doctoral sobre telecentros, sostenibilidad y capital social. Sus investigaciones se han centrado en el uso de las TIC en la educación formal y para el desarrollo, la sostenibilidad de los proyectos socioeducativos, las redes de empoderamiento comunitario y la formación del profesorado. Ha realizado asesorías pedagógicas para la elaboración de material digital, eLearning, aplicaciones para tablets y móviles.

References

AENOR. Asociación Española de Normalización y Certificación. (2012). Calidad de la Formación Virtual. Norma UNE 66181.

Baldwin, T. T. y Ford, J. K. (1988). “Transfer of training: A review and directions for future research”, Personnel Psychology, 41 (1), 63-105. DOI: 10.1111/j.1744-6570.1988.tb00632.x.

Barge, P. y Londhe, B. R. (2014). “From Teaching, Learning to Assessment: MOODLE Experience at B’School in India”. Procedia Economics and Finance, 11, 857-865. DOI: 10.1016/S2212-5671(14)00249-4.

Boneu, J. M. (2007). “Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos”. RUSC. Universities and Knowledge Society Journal, 4 (1), 8.

Bossaert, D. (coord.) (2008). Training and human resource development in the European Union member states. New practices and innovative trends. Maastricht: European Institute of Public Administration.

Burke, L. A. y Hutchins, H. M. (2008). “A study of best practices in training transfer and proposed model of transfer”, Human Resource Development Quarterly, 19 (2), 107-128. DOI: 10.1002/hrdq.1230.

Cabero, J. (2006). “Bases pedagógicas del eLearning”. Revista de Universidad y Sociedad del Conocimiento (RUSC), 3 (1). Recuperado de http://www.uoc.edu/rusc/3/1/dt/esp/cabero.pdf. DOI: 10.7238/rusc.v3i1.265.

Cabrera, F. A. (1993). “La evaluación en las sesiones instructivas”. En F. Cabrera, T. Donoso, y M. A. Marín (Eds.), Manual de formación pedagógica básica para formadores (pp. 215-263). Barcelona: PPU.

Carazo, J. A. (2002). “La evaluación de la formación continua en las Administraciones Públicas”. Capital Humano, 15 (153), 30-38.

Corbalan, G. (2008). Shared control over task selection: helping students to select their own learning tasks. Tesis doctoral. Open University Nederland, The Netherlands.

CrossKnowledge. (2011). 1.º Barómetro de e-learning en Europa. Recuperado de www.dicampus.es/documents/download/414.

Ejarque, E., Hervás, A. y Buendía, F. (2008). “Aplicación de un modelo de calidad para evaluar experiencias e-learning en el Espacio Europeo Universitario”. Educar. 41, 11-28.

Graham, C., Cagiltay, K., Lim, B. R., Craner, J. y Duffy, T. M. (2001). “Seven principles of effective teaching: A practical lens for evaluating online courses”. The Technology Source, 30 (5), 50-54.

Hill, S. y Wouters, K. (2011). The Influence of Learning Interactions and Learner Characteristics on E-Learning Effectiveness (research proposal).

Holton, E. F. III. (2005). “Holton’s evaluation model: New evidence and construct elaborations”, Advances in Developing Human Resources, 7 (37), 37-54. DOI: 10.1177/1523422304272080.

Holton, E. F. III. (1996). “The flawed four-level evaluation model”. Human Resources Development Quarterly, 7, 5-21. DOI: 10.1002/hrdq.3920070103.

Holton, E. F., Bates, R.A. y Ruona, W.E.A. (2000). Development of a generalized learning transfer system inventory. Human Resource Development Quarterly, 11 (4), 333-360. DOI: 10.1002/1532-1096(200024)11:4<333::AID-HRDQ2>3.0.CO;2-P.

Instituto Nacional de Administración Pública (2013). Memoria de actividades 2012. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/bac17e1c-d718-4f3e-8f7a-2040f4afcb13/MemoriaINAP2012.pdf.

Instituto Nacional de Administración Pública (2014). Memoria de actividades 2013. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/cc9e6e32-2eeb-4169-b170-281a1c894a20/MemoriaINAP2013.pdf.

Instituto Nacional de Administración Pública (2015). Memoria de actividades 2014. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/efdc2dcf-073b-4cb5-8029-60880baaa40b/MemoriaINAP2014.pdf.

Instituto Nacional de Administración Pública (n.d.). Manual de estilo de actividades formativas ON LINE del INAP. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/ccaa0d16-d661-4399-8c9f-9cf64073c7f3/Manual-INAP-actividades-formativas-online.pdf.

Karjalainen, K. y Rytkönen-Suontausta, T. (2007). “The Quality Manual (QM), Tool for Developing Quality in e-Learning”. In World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, 1, 980-984.

Kirkpatrick, D. L. (1959). “Techniques for evaluating training programs”, Journal of American Society for Training and Development, 11, 1-13.

Lara, P., y Duart, J. M. (2005). “Gestión de contenidos en el e-learning: acceso y uso de objetos de información como recurso estratégico”. Revista de universidad y sociedad del conocimiento, 2 (2), 6-14.

Lim, H., Lee, S. y Nam, K. (2007). “Validating E-learning factors affecting training effectiveness”. International Journal of Information Management (27), 22-35. DOI: 10.1016/j.ijinfomgt.2006.08.002.

López, J. y Leal, I. (2002). Aprender a planificar la formación. Barcelona: Paidós.

Marcelo, C. y Zapata, M. (2008). “Cuestionario para la evaluación: ‘Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia’. Metodología de uso y descripción de indicadores”. Revista de Educación a Distancia, número monográfico, VII. Recuperado de http://www.um.es/ead/red/M7/.

McArdle, G. E. (1999). Training Design and Delivery: A single-Source Guide for Every Trainer, Training Manager, and Occasional Trainer. Alexandria, VA: American Society for Training and Development.

Meignant, A. (1991). Manager la formation. Paris: Éditions Liaisons.

Montero, I., y León, O. G. (2007). “Guía para nombrar los estudios de investigación en Psicología”. International Journal of Clinical and Health Psychology, 7 (3), 847-862.

Moodle (2015). 7 Ways to Get Started with Analytics y Reports in Moodle. Recuperado de https://moodle.com/2015/02/05/7-ways-to-get-started-with-analytics-reports-in-moodle.

Nandi, D., Hamilton, M. y Harland, J. (2012). “Evaluating the quality of interaction in asynchronous discussion forums in fully online courses”. Distance Education, 33 (1), 5-30. Recuperado de http://search.proquest.com/docview/1021239612?accountid=15292. DOI: 10.1080/01587919.2012.667957.

Noe, R.A. (1986). “Trainees’ attributes and attitudes: Neglected influences on training efficacy”. Academy of Management Review, 11, 736-749.

Noguera, I. (2013). “Orientaciones pedagógicas para el diseño y apoyo de tareas de construcción colaborativa del conocimiento”. Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, 14 (1), 51-75.

Park, S., Sim, H. y Roh, H. (2010). “The analysis of effectiveness on ‘transfer’ through e-learning courses in industry and technology”. British Journal of Educational Technology (41) 6, 32-34. DOI: 10.1111/j.1467-8535.2010.01070.x.

Pérez, H. S., Fernández, S. R. y Braojos, C. G. (2010). “Metodologías que optimizan la comunicación en entornos de aprendizaje virtual”. Comunicar: Revista científica iberoamericana de comunicación y educación, 34, 163-171.

Phillips, J. J. (1987). Handbook of training evaluation and measurement methods. Houston, TX: Gulf Publishing.

Pineda Herrero, P. (2002). Gestión de la formación en las organizaciones. Barcelona: Ariel.

Pineda-Herrero, P., Quesada-Pallarés, C. y Ciraso-Calí, A. (2011). “Evaluating training effectiveness: results of the FET Model in the Public Administration in Spain”. 7th International Conference on Researching Work and Learning (Shangai, East China Normal University).

Pineda, P., Quesada, C., Espona, B., Ciraso, A. y García, N. (2012). Evaluación de la eficacia de la formación en la administración pública española –ETAPE–: el modelo FET. Recuperado de: http://ddd.uab.cat/record/115524.

Pineda-Herrero, P., Quesada-Pallarès, C., y Ciraso-Calí, A. (2014). “Evaluation of Training Transfer Factors: The FET Model”. In K. Schneider (Ed.), Transfer of Learning in Organizations (pp. 121-144). Switzerland: Springer International Publishing. DOI: 10.1007/978-3-319-02093-8_8. Richardson, J. T. (2005). Instruments for obtaining student feedback: A review of the literature. Assessment y Evaluation in Higher Education, 30 (4), 387-415.

Ponce de Haro, J., Alguilar Cuenca, D., García Aguilera, F. y Otamendi Herrera, A. (2010). “Hacia un itinerario de aprendizaje sólido para el teleformador: la propuesta del programa EVA”. Revista de Universidad y Sociedad de Conocimiento, 7 (1). Recuperado de: http://rusc.uoc.edu/ojs/index.php/rusc/article/view/v7n1_ponce_et-al/v7n1_ponce_et-al.

Quesada-Pallarès, C. (2014). ¿Se puede predecir la transferencia de los aprendizajes al puesto de trabajo?: Validación del modelo de predicción de la transferencia, Tesis doctoral inédita de la Universidad Autónoma de Barcelona.

Rouiller, J. Z. y Goldstein, I. L. (1993). “The relationship between organizational transfer climate and positive transfer of training”, Human Resource Development Quarterly, 4 (4), 377-390. DOI: 10.1002/hrdq.3920040408.

Rubio, M. J. (2003). “Enfoques y modelos de evaluación del e-learning”. RELIEVE. Revista Electrónica De Investigación y Evaluación Educativa, 9 (2), 101-120.

Siemens, G. y Baker, R. S. (2012). “Learning analytics and educational data mining: towards communication and collaboration”. In Proceedings of the 2nd international conference on learning analytics and knowledge. Recuperado de http://www.columbia.edu/~rsb2162/LAKs%20reformatting%20v2.pdf. DOI: 10.1145/2330601.2330661.

Stephenson, J., y Sangrá, A. (2003). Modelos pedagógicos y e-learning. Universidad Oberta de Cataluña UOC.

Svensson, L., Ellström, P. E. y Åberg, C. (2004). “Integrating formal and informal learning at work”. Journal of Workplace Learning, 16 (8), 479-491. DOI: 10.1108/13665620410566441.

Thayer, P. W. y Teachout, M. S. (1995). “A climate for transfer model”. Armstrong Laboratory/Human Resources, 25, 1-41.

Torres, J. C., Infante, A. y Torres, P. V. (2015). “Aprendizaje móvil: perspectivas”. RUSC. Universities and Knowledge Society Journal, 12 (1), 38-49.

Van Slyke, C., Kittner, M. y Belanger, F. (1998). “Identifying Candidates for Distance education: A telecommuting perspective”. Proceedings on the America’s Conference on In-formation Systems, 666-668. Baltimore.

Vladoiu, M. y Constantinescu, Z. (2013). “Towards Assessment of Open Educational Resources and Open Courseware based on a Socio-Constructivist Quality Model”. On the Move to Meaningful Internet Systems: OTM 2013 Workshops. Lecture Notes in Computer Science, vol. 8.186 (pp. 684-693). Graz, Austria: Springer.