Evaluación de la formación eLearning en el Instituto Nacional de Administración Pública: resultados del estudio MEEL

Pilar Pineda Herrero, Berta Espona Barcons, Anna Ciraso-Calí, Carla Quesada Pallarès, Paloma Valdivia Vizarreta

Resumen


El presente artículo expone los hallazgos globales del estudio MEEL (Modelo de Evaluación del eLearning), realizado en 2015 para el Instituto Nacional de Administración Pública (INAP) en España. El objetivo del estudio es desarrollar un modelo integral de evaluación de la formación online en el contexto de la administración pública. Dicho modelo se implementó en siete acciones formativas online, con el ánimo de contribuir a la mejora en el uso de los recursos públicos. El modelo MEEL contempla diferentes niveles de evaluación: satisfacción, aprendizaje, diseño pedagógico, implementación y transferencia. Se usaron diferentes cuestionarios y listados de verificación, dirigidos a los participantes de las acciones formativas (n=323), a los formadores y a los responsables de las acciones formativas evaluadas. Los resultados de la evaluación muestran niveles de satisfacción y de aprendizajes medio-altos. Asimismo, el aprendizaje, a diferencia de la satisfacción, aparece relacionado con la transferencia; por lo que cuanto más aprendizaje se dé en una formación online, más transferencia se producirá en el lugar de trabajo. También se evidencian algunas barreras para transferir, ya observadas en otras administraciones públicas: el desajuste a las necesidades formativas, la poca coherencia con la estrategia organizativa y la falta de apoyo en el entorno laboral.

Palabras clave


Formación continua; eLearning; eficacia de la formación; evaluación de la formación; transferencia del aprendizaje

Texto completo:

PDF HTML EPUB XML JATS

Referencias


AENOR. Asociación Española de Normalización y Certificación. (2012). Calidad de la Formación Virtual. Norma UNE 66181.

Baldwin, T. T. y Ford, J. K. (1988). “Transfer of training: A review and directions for future research”, Personnel Psychology, 41 (1), 63-105. DOI: 10.1111/j.1744-6570.1988.tb00632.x.

Barge, P. y Londhe, B. R. (2014). “From Teaching, Learning to Assessment: MOODLE Experience at B’School in India”. Procedia Economics and Finance, 11, 857-865. DOI: 10.1016/S2212-5671(14)00249-4.

Boneu, J. M. (2007). “Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos”. RUSC. Universities and Knowledge Society Journal, 4 (1), 8.

Bossaert, D. (coord.) (2008). Training and human resource development in the European Union member states. New practices and innovative trends. Maastricht: European Institute of Public Administration.

Burke, L. A. y Hutchins, H. M. (2008). “A study of best practices in training transfer and proposed model of transfer”, Human Resource Development Quarterly, 19 (2), 107-128. DOI: 10.1002/hrdq.1230.

Cabero, J. (2006). “Bases pedagógicas del eLearning”. Revista de Universidad y Sociedad del Conocimiento (RUSC), 3 (1). Recuperado de http://www.uoc.edu/rusc/3/1/dt/esp/cabero.pdf. DOI: 10.7238/rusc.v3i1.265.

Cabrera, F. A. (1993). “La evaluación en las sesiones instructivas”. En F. Cabrera, T. Donoso, y M. A. Marín (Eds.), Manual de formación pedagógica básica para formadores (pp. 215-263). Barcelona: PPU.

Carazo, J. A. (2002). “La evaluación de la formación continua en las Administraciones Públicas”. Capital Humano, 15 (153), 30-38.

Corbalan, G. (2008). Shared control over task selection: helping students to select their own learning tasks. Tesis doctoral. Open University Nederland, The Netherlands.

CrossKnowledge. (2011). 1.º Barómetro de e-learning en Europa. Recuperado de www.dicampus.es/documents/download/414.

Ejarque, E., Hervás, A. y Buendía, F. (2008). “Aplicación de un modelo de calidad para evaluar experiencias e-learning en el Espacio Europeo Universitario”. Educar. 41, 11-28.

Graham, C., Cagiltay, K., Lim, B. R., Craner, J. y Duffy, T. M. (2001). “Seven principles of effective teaching: A practical lens for evaluating online courses”. The Technology Source, 30 (5), 50-54.

Hill, S. y Wouters, K. (2011). The Influence of Learning Interactions and Learner Characteristics on E-Learning Effectiveness (research proposal).

Holton, E. F. III. (2005). “Holton’s evaluation model: New evidence and construct elaborations”, Advances in Developing Human Resources, 7 (37), 37-54. DOI: 10.1177/1523422304272080.

Holton, E. F. III. (1996). “The flawed four-level evaluation model”. Human Resources Development Quarterly, 7, 5-21. DOI: 10.1002/hrdq.3920070103.

Holton, E. F., Bates, R.A. y Ruona, W.E.A. (2000). Development of a generalized learning transfer system inventory. Human Resource Development Quarterly, 11 (4), 333-360. DOI: 10.1002/­1532-1096(200024)­11:4<333::­AID-HRDQ2>­3.0.CO;2-P.

Instituto Nacional de Administración Pública (2013). Memoria de actividades 2012. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/bac17e1c-d718-4f3e-8f7a-2040f4afcb13/MemoriaINAP2012.pdf.

Instituto Nacional de Administración Pública (2014). Memoria de actividades 2013. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/cc9e6e32-2eeb-4169-b170-281a1c894a20/MemoriaINAP2013.pdf.

Instituto Nacional de Administración Pública (2015). Memoria de actividades 2014. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/efdc2dcf-073b-4cb5-8029-60880baaa40b/MemoriaINAP2014.pdf.

Instituto Nacional de Administración Pública (n.d.). Manual de estilo de actividades formativas ON LINE del INAP. Recuperado de http://www.inap.es/alfresco/d/d/workspace/SpacesStore/ccaa0d16-d661-4399-8c9f-9cf64073c7f3/Manual-INAP-actividades-formativas-online.pdf.

Karjalainen, K. y Rytkönen-Suontausta, T. (2007). “The Quality Manual (QM), Tool for Developing Quality in e-Learning”. In World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, 1, 980-984.

Kirkpatrick, D. L. (1959). “Techniques for evaluating training programs”, Journal of American Society for Training and Development, 11, 1-13.

Lara, P., y Duart, J. M. (2005). “Gestión de contenidos en el e-learning: acceso y uso de objetos de información como recurso estratégico”. Revista de universidad y sociedad del conocimiento, 2 (2), 6-14.

Lim, H., Lee, S. y Nam, K. (2007). “Validating E-learning factors affecting training effectiveness”. International Journal of Information Management (27), 22-35. DOI: 10.1016/j.ijinfomgt.2006.08.002.

López, J. y Leal, I. (2002). Aprender a planificar la formación. Barcelona: Paidós.

Marcelo, C. y Zapata, M. (2008). “Cuestionario para la evaluación: ‘Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia’. Metodología de uso y descripción de indicadores”. Revista de Educación a Distancia, número monográfico, VII. Recuperado de http://www.um.es/ead/red/M7/.

McArdle, G. E. (1999). Training Design and Delivery: A single-Source Guide for Every Trainer, Training Manager, and Occasional Trainer. Alexandria, VA: American Society for Training and Development.

Meignant, A. (1991). Manager la formation. Paris: Éditions Liaisons.

Montero, I., y León, O. G. (2007). “Guía para nombrar los estudios de investigación en Psicología”. International Journal of Clinical and Health Psychology, 7 (3), 847-862.

Moodle (2015). 7 Ways to Get Started with Analytics y Reports in Moodle. Recuperado de https://moodle.com/2015/02/05/7-ways-to-get-started-with-analytics-reports-in-moodle.

Nandi, D., Hamilton, M. y Harland, J. (2012). “Evaluating the quality of interaction in asynchronous discussion forums in fully online courses”. Distance Education, 33 (1), 5-30. Recuperado de http://search.proquest.com/docview/1021239612?accountid=15292. DOI: 10.1080/01587919.2012.667957.

Noe, R.A. (1986). “Trainees’ attributes and attitudes: Neglected influences on training efficacy”. Academy of Management Review, 11, 736-749.

Noguera, I. (2013). “Orientaciones pedagógicas para el diseño y apoyo de tareas de construcción colaborativa del conocimiento”. Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, 14 (1), 51-75.

Park, S., Sim, H. y Roh, H. (2010). “The analysis of effectiveness on ‘transfer’ through e-learning courses in industry and technology”. British Journal of Educational Technology (41) 6, 32-34. DOI: 10.1111/j.1467-8535.2010.01070.x.

Pérez, H. S., Fernández, S. R. y Braojos, C. G. (2010). “Metodologías que optimizan la comunicación en entornos de aprendizaje virtual”. Comunicar: Revista científica iberoamericana de comunicación y educación, 34, 163-171.

Phillips, J. J. (1987). Handbook of training evaluation and measurement methods. Houston, TX: Gulf Publishing.

Pineda Herrero, P. (2002). Gestión de la formación en las organizaciones. Barcelona: Ariel.

Pineda-Herrero, P., Quesada-Pallarés, C. y Ciraso-Calí, A. (2011). “Evaluating training effectiveness: results of the FET Model in the Public Administration in Spain”. 7th International Conference on Researching Work and Learning (Shangai, East China Normal University).

Pineda, P., Quesada, C., Espona, B., Ciraso, A. y García, N. (2012). Evaluación de la eficacia de la formación en la administración pública española –ETAPE–: el modelo FET. Recuperado de: http://ddd.uab.cat/record/115524.

Pineda-Herrero, P., Quesada-Pallarès, C., y Ciraso-Calí, A. (2014). “Evaluation of Training Transfer Factors: The FET Model”. In K. Schneider (Ed.), Transfer of Learning in Organizations (pp. 121-144). Switzerland: Springer International Publishing. DOI: 10.1007/978-3-319-02093-8_8. Richardson, J. T. (2005). Instruments for obtaining student feedback: A review of the literature. Assessment y Evaluation in Higher Education, 30 (4), 387-415.

Ponce de Haro, J., Alguilar Cuenca, D., García Aguilera, F. y Otamendi Herrera, A. (2010). “Hacia un itinerario de aprendizaje sólido para el teleformador: la propuesta del programa EVA”. Revista de Universidad y Sociedad de Conocimiento, 7 (1). Recuperado de: http://rusc.uoc.edu/ojs/index.php/rusc/article/view/v7n1_ponce_et-al/v7n1_ponce_et-al.

Quesada-Pallarès, C. (2014). ¿Se puede predecir la transferencia de los aprendizajes al puesto de trabajo?: Validación del modelo de predicción de la transferencia, Tesis doctoral inédita de la Universidad Autónoma de Barcelona.

Rouiller, J. Z. y Goldstein, I. L. (1993). “The relationship between organizational transfer climate and positive transfer of training”, Human Resource Development Quarterly, 4 (4), 377-390. DOI: 10.1002/hrdq.3920040408.

Rubio, M. J. (2003). “Enfoques y modelos de evaluación del e-learning”. RELIEVE. Revista Electrónica De Investigación y Evaluación Educativa, 9 (2), 101-120.

Siemens, G. y Baker, R. S. (2012). “Learning analytics and educational data mining: towards communication and collaboration”. In Proceedings of the 2nd international conference on learning analytics and knowledge. Recuperado de http://www.columbia.edu/~rsb2162/LAKs%20reformatting%20v2.pdf. DOI: 10.1145/2330601.2330661.

Stephenson, J., y Sangrá, A. (2003). Modelos pedagógicos y e-learning. Universidad Oberta de Cataluña UOC.

Svensson, L., Ellström, P. E. y Åberg, C. (2004). “Integrating formal and informal learning at work”. Journal of Workplace Learning, 16 (8), 479-491. DOI: 10.1108/13665620410566441.

Thayer, P. W. y Teachout, M. S. (1995). “A climate for transfer model”. Armstrong Laboratory/Human Resources, 25, 1-41.

Torres, J. C., Infante, A. y Torres, P. V. (2015). “Aprendizaje móvil: perspectivas”. RUSC. Universities and Knowledge Society Journal, 12 (1), 38-49.

Van Slyke, C., Kittner, M. y Belanger, F. (1998). “Identifying Candidates for Distance education: A telecommuting perspective”. Proceedings on the America’s Conference on In-formation Systems, 666-668. Baltimore.

Vladoiu, M. y Constantinescu, Z. (2013). “Towards Assessment of Open Educational Resources and Open Courseware based on a Socio-Constructivist Quality Model”. On the Move to Meaningful Internet Systems: OTM 2013 Workshops. Lecture Notes in Computer Science, vol. 8.186 (pp. 684-693). Graz, Austria: Springer.




DOI: http://dx.doi.org/10.24965/gapp.v0i15.10315

Instituto Nacional de Administración Pública (INAP)revistagapp@inap.esrevistas@inap.es

ISSN: 1989-8991 - DOI: 10.24965/gapp - Depósito legal: M-39.657-1994 - NIPO: 174-17-019-9

Accesibilidad - Mapa web

Licencia de Creative Commons

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.