La otra mirada. Evaluación participativa y mejora de los Servicios de Prevención y Atención del Cáncer en Valle de la Estrella, Costa Rica

Esteban Tapella; Juan Carlos Sanz

doi:10.24965/gapp.i22.10593

Authors

Esteban Tapella Universidad Nacional de San Juan https://orcid.org/0000-0002-3835-4205
Juan Carlos Sanz Instituto Alemán de Evaluación de la Cooperación para el Desarrollo (DEval) https://orcid.org/0000-0002-2394-9900

DOI:

https://doi.org/10.24965/gapp.i22.10593

Keywords:

Public policy evaluation, participatory evaluation, collaborative approaches, meta-evaluation

Abstract

This work presents the results and learnings of a retrospective analysis of the experience of the Participatory Evaluation of the Cancer Prevention Program in the Valle del Estrella, in the province of Limón, Costa Rica. The central question that drove the study was “how successful was the participation and contribution of diverse social actors in the evaluation of the programs and projects that affected them and to what extend this involvement was done in compliance with evaluation quality standards.
This work emphasises the value of an experience that sought to offer learning opportunities and improvements for a particular group and actors involved. The analysis explored the use of methodologies and timely opportunities for reflection, understanding and collective construction. The case analysed here is especially revealing, because it started out with groups holding opposing perspectives; a public service provider and its users. This study not only reviews how the methodology was used to carry out a different kind of evaluation but also retrospectively analyses the experience of the protagonists involved. The idea and importance of alliances between different actors is, without doubt, one of the most distinctive aspects of this study. The lessons learned from this experience are presented with recommendations and guidelines for those who wish to carry out innovative and participatory evaluations.

Downloads

Download data is not yet available.

Author Biographies

Esteban Tapella, Universidad Nacional de San Juan

Especializado en estudios del desarrollo (Institute of Social Studies, The Netherlands) y Doctor en Ecología humana (Universidad Nacional de Córdoba, Argentina). Director del PETAS (Programa de Estudios del Trabajo, el Ambiente y la Sociedad), profesor de planificación y evaluación en Grado y Posgrado de la UNSJ y otras universidades de la región. Investigador y consultor independiente en temas de evaluación, particularmente enfoques colaborativos, participativos y orientados al aprendizaje. Miembro de la Red Argentina de Evaluación (EvaluAR) y la Red Latinoamericana de Evaluación (ReLAC).

Juan Carlos Sanz, Instituto Alemán de Evaluación de la Cooperación para el Desarrollo (DEval)

Economista por la Universidad de Valladolid (España), y especializado en evaluación en el Instituto de Desarrollo Regional de la Universidad de Sevilla. Ha coordinado proyectos de cooperación internacional en varios países de América Latina y África y actualmente trabaja como experto en Desarrollo de Capacidades en Evaluación (Evaluation Capacity Development, ECD) en DEval. Es miembro de la Sociedad Europea de Evaluación (EES) y de la Red Latinoamericana de Evaluación (ReLAC).

References

BOYD, T. A, GEERLING, W. J., GREGORY, C., KAGAN, G., MIDGLEY, E. , MURRAY, P. y WALSH, M. P. (2007): “Systemic evaluation: a participative, multi-method approach”, en Journal of the Operational Research Society, vol. 58, núm. 10, págs. 1306-1320, October. DOI: https://doi.org/10.1057/palgrave.jors.2602281.

BREWER, J. y HUNTER, A. (1989): Multimethod Research: a synthesis of styles. Newbury Park, California: Sage, 209 págs.

CHAMBERS, R. (2003): Whose reality counts? Putting the first last (Revisited Edition). London: Intermediate Technology. DOI: https://doi.org/10.3362/9781780440453.

COUSINS, J. B., WHITMORE, E. & SHULHA, L. (2013): “Arguments for a common set of principles for collaborative inquiry in evaluation”, en American Journal of Evaluation, vol. 34, núm. 1, págs. 7-22. DOI: https://doi.org/10.1177/1098214012464037.

DAVIS, R. y DART, J. (2005): The «Most Significant Change» (MSC) Tool. A guide to Its use. United Kingdom: Care International, Oxfam, Ibis and Lutheran World Relief.

DENZIN, N. K. (1978): The Research Act: A Theoretical Introduction to Sociological Methods. New York: McGraw-Hill Book Company, 216 págs. DOI: https://doi.org/10.4324/9781315134543.

FARMER, L. S. J. (2010): “Gaming in Adult Education”, en Gaming and Simulations: Concepts, Methodologies, Tools and Applications, págs. 194-213. USA: Information Resources Management Association, IGI Global, Nov. 30. DOI: https://doi.org/10.4018/978-1-60960-195-9.ch111.

FEINSTEIN, O. N. (2002): “Use of Evaluations and the Evaluation of their Use”, en Evaluation, vol. 8, núm. 4, págs. 433-439. DOI: https://doi.org/10.1177/13563890260620621.

FEINSTEIN, O. N. (2017): “Trends in Development Evaluation and Implications for Knowledge Management”, en Knowledge Management for Development Journal, vol. 13, núm. 1, págs. 31-38. Disponible en web: http://journal.km4dev.org/.

FIELDING, N. G. y FIELDING, J. L. (1986): Linking Data. California: Sage Publications, 96 págs. DOI: https://doi.org/10.4135/9781412984775.

FOCEVAL (2017): Informe final de la evaluación participativa de los servicios de prevención y atención del cáncer en Valle de la Estrella, Provincia de Limón, Costa Rica [inédito]. Disponible en web: http://foceval.org/wp-content/uploads/2016/12/20170228_Informe-final-EP.pdf.

GARCÍA-BOTELLO, H. A. (2009): El juego en la edad adulta: su análisis desde distintas teorías psicológicas [Tesis inédita], Facultad de Psicología, UNAM, México.

GRIGGS, D., NILSSON, M., STEVANCE, A., McCOLLUM, D. (eds.) (2017): A guide to Sustainable Development Goals interactions: From Science to Implementation. París: International Council for Science (ICSU).

GUIJT, I. (2014): “Participatory Approaches”, en Methodological Briefs: Impact Evaluation, núm. 5. Florence, Italy: UNICEF Office of Research.

GUBER, R. (2004): El Salvaje Metropolitano. Reconstrucción del conocimiento social en el trabajo de campo. Buenos Aires: Editorial Paidós, 325 págs.

HAMMERSLEY, M. & ATKINSON, P. (1994): Etnografía: métodos de investigación. Barcelona: Paidón, 352 págs.

JACOB, S. y OUVRARD, L. (2009): Comprendre et entreprendre une évaluation participative. Guide de synthèse. Québec: Bibliothèque et Archives nationales du Québec.

JACOB, S., DIALLO, N., DAIGNEAULT, P. M. (2009): “L’évaluation participative des politiques de coopération au développement. Analyse comparée des dispositifs du Canada, de l’Union européenne et de la Banque mondiale”, en Organisations & Territoires, vol. 18, núm. 3, págs. 69-84.

JARA-HOLLIDAY, O. (2010): Trayectos y búsquedas de la sistematización de experiencias en América Latina. San José, Costa Rica: Centro de Estudios y Publicaciones Alforja.

JARA-HOLLIDAY, O. (2013): La sistematización de las experiencias. Práctica y teoría para otros mundos posibles. Montevideo, Uruguay: Editorial EPPAL.

CAJA COSTARRICENSE DEL SEGURO SOCIAL (CCSS) (2004): Reglamento de las Juntas de Salud, Artículo 18.º de la sesión 7825, celebrada el 15 de enero del 2004. Disponible en web: http://www.ccss.sa.cr.

MANN, D. (1996): “Serious play”, en Teachers College Record, vol. 97, núm. 3, págs. 447-469.

MURCIANO, J. (2017): Metaevaluación de las evaluaciones elaboradas dentro de la Agenda Nacional de Evaluación (ANE) y otras de programas nacionales en Costa Rica [trabajo inédito], Proyecto FOCEVAL.

NACIONES UNIDAS (2015): Resolución 70/1 de la Asamblea General «Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible», A/RES/70/1 (21 de octubre de 2015). Disponible en web: http://undocs.org/es/A/RES/70/1.

PATTON, M. Q. (2010): Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use. New York, NY: Guilford Press.

PATTON, M. Q. (2017a): Facilitating Evaluation. Principles in Practice. USA: SAGE Publications. DOI: https://doi.org/10.4135/9781506347592.

PATTON, M. Q. (ed) (2017b): “Pedagogy of Evaluation”, en New Directions for Evaluation, núm. 155, Fall 2017, special Issue published by Jossey-Bass and American Evaluation Association. DOI: https://doi.org/10.1002/ev.20260.

PAYNE, G. y WILLIAMS, M. (2005): “Generalization in Qualitative Research”, en Sociology, vol. 39, núm. 2, págs. 295-314. DOI: https://doi.org/10.1177/0038038505050540.

RODRÍGUEZ-BILELLA, P., TAPELLA, E., MARTINIC VALENCIA, S., SOBERÓN ÁLVAREZ, L., KLIER, S. D. y GUZMÁN, A. L. (2016): Estándares de Evaluación para América Latina y el Caribe. Buenos Aires: Editorial Akian. ISBN 978-987-42-1807-0.

RODRÍGUEZ-BILELLA, P. y TAPELLA, E. (eds) (2018): Dejar Huella. Historias de evaluaciones que marcaron la diferencia. Buenos Aires: Editorial UNSJ. ISBN 978-987-3984-66-2.

RODRÍGUEZ-SOSA, J. y ZEBALLOS, M. (2007): Evaluación de proyectos de desarrollo local. Enfoques, métodos y procedimientos. Lima: DESCO (Centro de Estudios y Promoción del Desarrollo), 35 págs.

ROGERS, P. (2008): “Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions”, en Evaluation, vol. 14, núm. 1, págs. 29-48. DOI: https://doi.org/10.1177/1356389007084674.

SEGONE, M. (1998): Evaluación Democrática. Documento de trabajo, núm. 3, Oficina Regional para América Latina y El Caribe, Colombia: UNICEF.

SHULHA, L. M., WITHMORE, E., COUSINS, J. B., GILBERT, N., AL HUDIB, H. (2015): Evidence based principles to guide collaborative approaches to evaluation: Technical report [trabajo inédito], Centre for Research on Educational and Community Services, University of Ottawa.

STAKE, R. E. (1998): Investigación con Estudio de Caso. Madrid: Ediciones Morata, S. L.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014a): “Shared learning and participatory evaluation. The sistematización approach to assess development interventions”, en Evaluation, vol. 20, núm. 1, págs. 115-133, SAGE publications. DOI: https://doi.org/10.1177/1356389013516055.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014b): “Sistematización: what’s that? Introducing a multi-stakeholder, reflexive action-learning evaluation approach”, en Evaluation Connections, News Letter of European Evaluation Society, March 2014, págs. 13-14.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014c): “Evaluación y Aprendizaje desde la práctica”, en edición especial en castellano de la revista Knowledge Management for Development. Disponible en web: http://www.km4dev.org/.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014d): “Sistematización de experiencias: una metodología para evaluar intervenciones de desarrollo”, en Revista de Evaluación de Programas y Políticas Públicas, núm. 3, págs. 80-116. DOI: https://doi.org/10.5944/reppp.3.2014.13361.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2015): “Evaluaciones para aprender, aprendizajes para mejorar: sistematización de un proyecto de desarrollo sustentable en Argentina”, en NEIROTTI, N. (coord.), BRISSON, M. E. y

MATALLINI, M. (eds.): La Evaluación de las políticas públicas. Reflexiones y experiencias en el escenario actual de transformaciones del Estado, Colección Políticas Públicas, págs. 135-150. Buenos Aires: Ediciones UNLa y REUN.

TORREJON-CARDONA, E., NOBOA, A. y ORAISÓN, M. (2017): “La participación en América latina: Formas emergentes y cristalizadas de politicidad y prácticas ciudadanas”, en De Prácticas y discursos, año 6, núm. 7, Universidad Nacional del Nordeste/Centro de Estudios Sociales (Enero-Julio). ISSN 2250-6942.

VASILACHIS, I. (2006): “Investigación Cualitativa”, en VASILACHIS, I. (coord.): Estrategias de investigación cualitativa, págs. 23-64. Barcelona: Gedisa.

WEBLER, T., DANIELSON, S. & TULER, S. (2009): Using Q method to reveal social perspectives in environmental research. Greenfield MA: Social and Environmental Research Institute. Disponible en web: http://www.seri-us.org/sites/default/files/Qprimer.pdf.

WHITTEMORE, R., CHASE, S. K. y MANDLE, C. L. (2001): “Validity in Qualitative Research”, en Qualitative Health Research, vol. 11, núm. 4, págs. 522-537. DOI: https://doi.org/10.1177/104973201129119299.

YIN, R. K. (1994): Case Study Research. Design and Methods (Second Edition). London and New Delhi: Sage.