La otra mirada. Evaluación participativa y mejora de los Servicios de Prevención y Atención del Cáncer en Valle de la Estrella, Costa Rica

The other gaze. Participatory Evaluation and Improvement of the Cancer Prevention and Care Services in Valle de la Estrella, Costa Rica

Esteban Tapella

Universidad Nacional de San Juan – UNSJ (Argentina)

ORCID: https://orcid.org/0000-0002-3835-4205

etapella@gmail.com

NOTA BIOGRÁFICA

Especializado en estudios del desarrollo (Institute of Social Studies, The Netherlands) y Doctor en Ecología humana (Universidad Nacional de Córdoba, Argentina). Director del PETAS (Programa de Estudios del Trabajo, el Ambiente y la Sociedad), profesor de planificación y evaluación en Grado y Posgrado de la UNSJ y otras universidades de la región. Investigador y consultor independiente en temas de evaluación, particularmente enfoques colaborativos, participativos y orientados al aprendizaje. Miembro de la Red Argentina de Evaluación (EvaluAR) y la Red Latinoamericana de Evaluación (ReLAC).

Juan Carlos Sanz

Instituto Alemán de Evaluación de la Cooperación para el Desarrollo – DEval (Alemania)

ORCID: https://orcid.org/0000-0002-2394-9900

juan.sanz@deval.org

NOTA BIOGRÁFICA

Economista por la Universidad de Valladolid (España), y especializado en evaluación en el Instituto de Desarrollo Regional de la Universidad de Sevilla. Ha coordinado proyectos de cooperación internacional en varios países de América Latina y África y actualmente trabaja como experto en Desarrollo de Capacidades en Evaluación (Evaluation Capacity Development, ECD) en DEval. Es miembro de la Sociedad Europea de Evaluación (EES) y de la Red Latinoamericana de Evaluación (ReLAC).

RESUMEN

Este trabajo presenta los resultados y aprendizajes del análisis retrospectivo de la experiencia Evaluación Participativa del Programa de Prevención y Atención del Cáncer en Valle de la Estrella, en provincia de Limón, Costa Rica. La pregunta central que motivó el estudio es ¿cómo lograr la participación y el protagonismo de diversos actores sociales en la evaluación de los programas o proyectos que los afectan o involucran asegurando el cumplimiento de los correspondientes estándares de calidad de evaluación?

El trabajo destaca los méritos atribuibles a una experiencia que asumió que la evaluación ofrece oportunidades de aprendizaje y mejora a través del acercamiento de posturas entre los distintos grupos actores implicados. El análisis da cuenta del uso de metodologías y abordajes apropiados a la hora de generar espacios de reflexión, comprensión y construcción colectiva. El caso analizado es especialmente revelador, puesto que se trata de una evaluación protagonizada por grupos que partían de posiciones aparentemente contrapuestas: la institución que presta un servicio público y la comunidad de usuarios del mismo. En este estudio no solo se revisa el abordaje metodológico utilizado para realizar una evaluación diferente, sino también para analizar retrospectivamente la experiencia evaluativa con el protagonismo de los actores involucrados. La noción e importancia de alianzas entre diversos actores es, sin duda, uno de los aspectos más destacados de este estudio. Las lecciones aprendidas de esta experiencia son presentadas como recomendaciones y pautas para quienes quieran apostar por enfoques de evaluación innovadores y participativos.

PALABRAS CLAVE

Evaluación de políticas públicas; evaluación participativa; enfoques colaborativos; metaevaluación.

ABSTRACT

This work presents the results and learnings of a retrospective analysis of the experience of the Participatory Evaluation of the Cancer Prevention Program in the Valle del Estrella, in the province of Limón, Costa Rica. The central question that drove the study was “how successful was the participation and contribution of diverse social actors in the evaluation of the programs and projects that affected them and to what extend this involvement was done in compliance with evaluation quality standards.

This work emphasises the value of an experience that sought to offer learning opportunities and improvements for a particular group and actors involved. The analysis explored the use of methodologies and timely opportunities for reflection, understanding and collective construction. The case analysed here is especially revealing, because it started out with groups holding opposing perspectives; a public service provider and its users. This study not only reviews how the methodology was used to carry out a different kind of evaluation but also retrospectively analyses the experience of the protagonists involved. The idea and importance of alliances between different actors is, without doubt, one of the most distinctive aspects of this study. The lessons learned from this experience are presented with recommendations and guidelines for those who wish to carry out innovative and participatory evaluations.

KEYWORDS

Public policy evaluation;

participatory evaluation;

collaborative approaches;

meta-evaluation

SUMARIO

1. INTRODUCCIÓN. 2. METODOLOGÍA. 2.1. JUEGO DE SIMULACIÓN: EL LABERINTO DE LA EVALUACIÓN PARTICIPATIVA. 2.2. ENTREVISTAS A ACTORES MÁS RELEVANTES. 2.3. ANÁLISIS DE LOS DATOS. 3. RESULTADOS. EVALUACIÓN PARTICIPATIVA EN VALLE DE LA ESTRELLA. 3.1. CONTEXTO EN EL QUE SE INSCRIBE EL CASO DE ESTUDIO. 3.2 UNA EVALUACIÓN GESTADA DESDE LA BASE. 3.3. UNA EVALUACIÓN CON PERSPECTIVA PLURAL: ALIANZA CON LOS USUARIOS PARA MEJORAR LOS SERVICIOS DE SALUD A TRAVÉS DE LA EVALUACIÓN. 3.4. UNA EVALUACIÓN PROTAGONIZADA POR PERSONAS SIN EXPERIENCIA EN EVALUACIÓN. 3.5. UNA EVALUACIÓN QUE FOMENTA EL ANÁLISIS CRÍTICO. 3.6. UNA EVALUACIÓN DESDE UNA MIRADA SINGULAR: LA DE AQUELLOS QUE VEN. 3.7. EL USO DE LA EVALUACIÓN Y LA EVALUACIÓN DEL USO. 4. CONCLUSIONES. 4.1. DESENLACE DE UNA EVALUACIÓN DIFERENTE. 4.2. ¡DÉJAME HACERLO, ENSÉÑAME A HACERLO! REFERENCIAS BIBLIOGRÁFICAS.

1. INTRODUCCIÓN

La importancia de la evaluación de las políticas públicas ha aumentado significativamente en los últimos quince años. Esto se ve reflejado en el incremento de la producción teórica y metodológica sobre el tema, la aprobación de leyes y políticas nacionales de evaluación en países de todos los continentes, la creciente institucionalidad de la evaluación y el surgimiento de diversas iniciativas orientadas a profesionalizar esta práctica. La declaración del 2015 como «Año Internacional de la Evaluación» por parte de la Asamblea General de Naciones Unidas (A/RES/69/237), confirmó el interés en potenciar la evaluación como instrumento para mejorar las políticas públicas, expresado por la iniciativa EvalPartners ( https://evalpartners.org/ ) y otros actores clave, como la comunidad académica, organismos internacionales de desarrollo, organizaciones no gubernamentales y redes de evaluación.

La adopción en 2015 de la Agenda 2030 por parte de la Asamblea General de la ONU constituye un punto de inflexión en la teoría y la práctica de la evaluación, que debe adaptarse a los principios que inspiran el nuevo marco global de desarrollo: centrarse en las personas, no dejar a nadie atrás, responsabilidad mutua e integralidad (Naciones Unidas, 2015).

Esta creciente importancia de la evaluación ha sido acompañada por una demanda de mayor protagonismo de la sociedad civil. El mayor involucramiento de diversos actores sociales en la agenda evaluativa es visto como una forma de asegurar, no sólo que las evaluaciones respondan a las necesidades de las personas usuarias, sino también que se ajusten a estándares de calidad, se basen en evidencias, sean creíbles y puedan ser utilizadas en la formulación y gestión de políticas públicas (Griggs et al., 2017; Patton, 2010 y 2017a; Torrejon Cardona et al.., 2017). Esta dimensión participativa de la práctica evaluativa se visualiza en la literatura a través de expresiones tales como «protagonismo de los actores», «participación ciudadana», «perspectiva de los actores», entre otras (Jacob y Ouvrard, 2009; Jacob et al., 2009)1.

Sin embargo, más allá del discurso y las buenas intenciones, la práctica de la evaluación no siempre refleja esta «vocación» participativa (Guijt, 2014). La noción de participación adquiere diferentes connotaciones, pudiendo convertirse en un simulacro simbólico si no se toma conciencia de que animar un proceso participativo implica una práctica de redistribución del poder (Chambers, 2003). Las evaluaciones llamadas participativas no siempre han (a) reconocido el valor de la experiencia y los conocimientos de la población local involucrada, (b) creado diferentes espacios, instancias y modalidades para la recolección, análisis y uso de la información por parte de los actores sociales, y (c) diseñado herramientas e instrumentos «amigables» que estimulen y faciliten la participación de múltiples actores, capacitando al grupo de evaluación para su uso en diferentes situaciones y contextos (Cousins et al., 2013). De este modo, la evaluación participativa tiende a limitarse a una mera instancia de consulta (participación pasiva), sin ofrecer a los actores locales la posibilidad de influir en las decisiones que se suceden en un proceso evaluativo. Esta serie de prácticas recurrentes evidencia cierta falta de claridad teórica y pobreza instrumental en buena parte de las evaluaciones, sin que las razones de este déficit hayan sido claramente identificadas.

El interrogante central de la investigación que se presenta en este artículo es, ¿cómo lograr la participación y el protagonismo de diversos actores sociales en la evaluación de aquellos programas que los involucran asegurando el cumplimiento de los correspondientes estándares de calidad de evaluación?

La respuesta pasa por identificar las condiciones y los mecanismos que hacen posible una efectiva participación ciudadana en los procesos de evaluación, sin que ello menoscabe la calidad y rigor exigibles a las evaluaciones (Rodríguez-Bilella, 2016). Es necesario profundizar en experiencias evaluativas que permitan entender los aspectos que hacen la diferencia en una evaluación en términos de participación social real y efectiva, explorando los posibles aportes de los enfoques participativos y colaborativos a las evaluaciones convencionales (Rodríguez-Bilella y Tapella, 2018).

Las propuestas contenidas en el artículo se realizan a partir del análisis de un caso: la experiencia de la Evaluación Participativa de los Servicios de Prevención y Atención del Cáncer en Valle de la Estrella, Costa Rica. Esta evaluación se realizó entre julio de 2015 y febrero de 2017, mientras que el análisis retrospectivo para el estudio de caso se desarrolló entre julio de 2017 y abril de 2018. En la Figura núm. 1 se presenta un resumen de las actividades y actores que participaron tanto en la evaluación como en el posterior estudio retrospectivo.

Hemos organizado los contenidos del artículo en cuatro partes. Tras esta introducción dedicamos el segundo capítulo a la descripción de la metodología empleada para analizar el caso de estudio, incluyendo el empleo de juegos de simulación como aporte destacado. En el tercer capítulo describimos la evaluación participativa objeto de estudio y los resultados del análisis. La presentación se realiza a la luz de los principios básicos que todo abordaje de una evaluación comprometida con la participación debiera tener. En el cuarto y último capítulo presentamos las conclusiones de nuestro estudio, donde valoramos los aspectos más destacados de este tipo de abordaje evaluativo y que, a modo de lecciones aprendidas, representan los puntos sobresalientes de una evaluación diferente e innovadora. El artículo en su conjunto destaca los aspectos centrales de una evaluación que logró el protagonismo de los actores locales, manteniendo un elevado cumplimiento con los estándares de calidad exigibles a las evaluaciones.

Figura 1. Principales actividades y actores sociales involucrados en la evaluación participativa y la investigación realizada

 

Fuente: Elaboración propia.

2. METODOLOGÍA

El abordaje metodológico del estudio se basa en el enfoque interpretativo, combinando técnicas y fuentes de información con datos principalmente cualitativos, tanto de fuentes primarias como secundarias.

El enfoque interpretativo es uno de los tres paradigmas consolidados en la investigación científica. Entre sus principios, este paradigma expresa una resistencia a la «naturalización» del mundo social propia de aplicar el paradigma positivista al ámbito de la vida humana. Además adopta la noción de doble hermenéutica, la cual supone asumir que la conducta humana ya es significativa para los actores sociales, independientemente de la posible reinterpretación que haga el investigador a partir de sus propios esquemas científicos (Vasilachis, 2006). Este enfoque se basa en priorizar y comprender la búsqueda de los significados que los actores sociales atribuyen a la experiencia (en este caso su involucramiento en un proceso evaluativo multi-actoral), privilegiando la profundidad sobre la extensión, y procurando captar los diferentes matices de las experiencias vivenciadas (Whittemore et al., 2001). En tanto abordaje interpretativo, se prioriza la comprensión de la complejidad, el detalle y el contexto, procurando una representación significativa de los hallazgos más que una generalización o representación estadística de los mismos (Guber, 2004).

Nuestra investigación se plantea como un estudio de caso retrospectivo (Stake, 1998; Yin, 1994), realizado a partir de una reflexión participativa con los principales actores involucrados en la evaluación de los Servicios de Prevención y Atención del Cáncer en el Valle de la Estrella. Para la investigación hemos utilizado los principios del Enfoque Colaborativo en Evaluación (CAE, por sus siglas en inglés) como marco de análisis primario.

El CAE es un enfoque relativamente nuevo (Cousins et al., 2013; Shulha et al. 2015), el cual plantea un acercamiento teórico-metodológico que, valiéndose de las lecciones aprendidas de experiencias de evaluación con participación de múltiples actores, procura orientar de un modo eficaz la práctica de evaluación en colaboración con los miembros de la comunidad a la que se dirige el programa.

El CAE es el resultado de un proyecto de investigación que analizó, en diferentes contextos internacionales, experiencias evaluativas implementadas con similar intención y resultados a nuestro caso de estudio. Antes que un concepto rígido, el CAE introduce ocho principios2 que caracterizan y orientan un proceso de evaluación con un alto grado de participación, basándose en el entendimiento que cualquier proyecto de evaluación debe diseñarse y desarrollarse en colaboración y en base a las necesidades de información e intereses de las personas involucradas en la intervención que va a ser evaluada.

Para responder a nuestro interrogante central, ¿cómo lograr la participación y el protagonismo de diversos actores sociales en la evaluación de los programas o proyectos que los afectan o involucran asegurando el cumplimiento de los correspondientes estándares de calidad de evaluación?, hemos recopilado datos cualitativos de una fuente secundaria y dos fuentes primarias. Con la intención de maximizar la «representatividad» de los hallazgos, realizamos una aproximación de métodos múltiples3, triangulando las diferentes estrategias de recopilación de datos para mitigar el sesgo de «una única forma de conocimiento» (Denzin, 1978).

Como fuente secundaria de datos, hemos analizado el estudio Metaevaluación de evaluaciones preparadas dentro de la Agenda Nacional de Evaluación (ANE) y otras evaluaciones de programas nacionales en Costa Rica (Murciano, 2017). Esta metaevaluación ofrece una revisión de once programas de evaluaciones nacionales realizados en Costa Rica, incluida la evaluación en el Valle de la Estrella. La metaevaluación se planteó con objetivos orientados al aprendizaje y mejora de la calidad de los procesos de evaluación. Las conclusiones de esta metaevaluación se trasladaron a las preguntas que se formularon durante el trabajo de campo para enriquecer nuestra comprensión del caso de estudio en Valle de la Estrella.

Para la recopilación de datos primarios de los actores involucrados en la evaluación participativa se realizó un estudio de campo en el que aplicamos dos instrumentos: (a) un juego de simulación diseñado a los efectos de este estudio y (b) entrevistas semiestructuradas y no estructuradas con informantes relevantes. Para ambos instrumentos los participantes fueron muestreados intencionalmente (Guber, 2004), sin uso de métodos estadísticos4.

2.1. Juego de simulación: el laberinto de la evaluación participativa

El uso de juegos de simulación o juegos para pensar es el aporte metodológico más original aplicado tanto en nuestra investigación, como en la propia evaluación participativa que constituye el objeto de estudio. Este tipo de juegos constituyen una herramienta muy útil para facilitar la participación horizontal y activa de diferentes grupos de actores en un proceso evaluativo o de investigación, por lo que describiremos con más detalle el juego empleado para nuestro estudio, denominado El laberinto de la evaluación participativa: replantear y evaluar nuestra experiencia.

Los juegos de simulación surgen como una forma de «tratar educativamente» o con «contenido» un tema complejo, que requiere de conocimientos previos y de la participación profesional, pero que demanda también opiniones y opciones personales, en una forma participativa, horizontal y no impositiva (García-Botello, 2009). Así, bajo una dinámica entretenida y pro-activa, esta herramienta busca reproducir con la mayor fidelidad posible las condiciones en que transcurre, por ejemplo, la vida diaria de una familia, un grupo o una organización, intentando «poner en juego» elementos que, en la vida real, tienen verdadera incidencia para las personas (Farmer, 2010). Valiéndose de la lógica de los «juegos de mesa» (tablero, tarjetas con preguntas y proposiciones, dados, entre otros), el reglamento estimula al grupo a intercambiar sus percepciones, abordando temas complejos sobre los que comúnmente no se habla. Se trata de herramientas que trascienden el propósito recreativo propio de un juego, pero se valen de su potencialidad para crear condiciones favorables para que las personas participantes se comuniquen mejor, expresen sus sentimientos, experiencias, conocimientos y expectativas sobre el tema tratado (Mann, 1996).

En el diseño del juego El laberinto de la evaluación participativa: replantear y evaluar nuestra experiencia, tuvimos en cuenta los principios CAE como referencia para compilar la percepción de los involucrados en la evaluación participativa en Valle de la Estrella. El juego facilitó la reflexión sobre la experiencia de evaluación para generar lecciones sobre las dificultades, obstáculos, limitaciones y el potencial del enfoque de evaluación utilizado. Se concibió como un ejercicio de autoevaluación para crear una lista de principios o lecciones aprendidas que son relevantes para aquellos que desean llevar a cabo proyectos de evaluación similares.

Básicamente, las instrucciones del juego aplicado para nuestro estudio orientan a un grupo de entre siete y doce participantes para que avancen por las casillas de un tablero (ver Figura N.° 2) a medida que van respondiendo a preguntas o reaccionan ante desafíos relacionados con la experiencia de la evaluación participativa en la que estuvieron involucrados.

Figura 2. Tablero de juego El Laberinto de la Evaluación Participativa

 

Fuente: Elaboración propia.

Las preguntas buscan provocar el debate en torno a aspectos básicos de la evaluación realizada. Los desafíos estimulan a los participantes a reflexionar sobre las dificultades de adoptar enfoques participativos en evaluación (ver ejemplos de preguntas y desafíos en Figuras núm. 3 y núm. 4). Aunque tanto las preguntas como los desafíos inician con una respuesta individual, la dinámica del juego abre paso a un debate con todos los participantes. Tanto las respuestas y como las discusiones posteriores son registradas y presentadas al final del juego por una persona encargada de la facilitación.

Figura 3. Ejemplo de tarjetas con preguntas orientadas a indagar acerca de los niveles de participación alcanzados durante la evaluación en Valle de la Estrella. El juego tiene 35 tarjetas, las que reflejan de diferente manera los principios del Enfoque Colaborativos en Evaluación (CAE) o evaluaciones con alto protagonismo de múltiples actores

 

Fuente: Elaboración propia.

Figura 4. Ejemplo de tarjetas con retos, orientadas a indagar sobre las dificultades y desafíos a tener en cuenta para desarrollar una evaluación participativa que tenga un alto protagonismo de múltiples actores. En la evaluación se usaron 35 tarjetas con preguntas similares a estas

 

Fuente: Elaboración propia.

La ventaja de trabajar con un juego de estas características fue el permitirnos abordar el tratamiento de problemas complejos en condiciones que favorecieron la comunicación y el aprendizaje. Los principales puntos o aspectos en los que hubo consenso son la base de la reflexión que realizamos en el apartado de resultados y conclusiones del trabajo. En algunos casos, cuando los comentarios expresados eran recurrentes o alcanzaron un alto grado de consenso, los hemos incorporado como citas textuales para el análisis.

2.2. Entrevistas a actores más relevantes

Además del juego de simulación, realizamos ocho entrevistas a otras tantas personas clave involucradas en la evaluación. Las entrevistas se utilizaron para recopilar datos sobre la experiencia subjetiva de cada persona (Rodríguez-Sosa y Zeballos, 2007), capturando sus descripciones, puntos de vista, sentimientos y percepciones respecto de su experiencia vivida durante el proceso de evaluación en Valle de la Estrella. Para este tipo de estudios, la entrevista es una de las técnicas más apropiadas para acceder al universo de interés de los actores sociales, permitiendo referencias a acciones pasadas o presentes de las personas entrevistadas u otras personas que no fueron consultadas por el equipo investigador (Guber, 2004).

En las entrevistas planteamos preguntas abiertas, dejando libertad a cada persona para enfocarse y desarrollar sus respuestas y reflexiones sobre los temas pertinentes al estudio. Las entrevistas sirvieron para comprender los detalles de los actores sociales y el significado que atribuyen a la experiencia de la evaluación participativa en el Valle de la Estrella. Una de las características clave de nuestro enfoque de investigación fue comprender cuándo y cómo sondear. Con frecuencia le pedíamos a las personas entrevistadas que ampliaran, aclararan y volvieran a explicar lo que habían dicho, alentándolas continuamente a proporcionar descripciones detalladas de su punto de vista Esto, como señala Patton (2017b), sirve como estrategia para complementar el abordaje a través del juego y enriquecer la reflexión final, que presentamos como resultados y conclusiones del estudio.

2.3. Análisis de los datos

Para el análisis de datos de las fuentes primarias (sesiones de juego y entrevistas) así como las fuentes secundarias (revisión de la metaevaluación), utilizamos en enfoque «Q-method» (Webler et al., 2009). Este método, como otras técnicas de análisis del discurso, está diseñado para capturar y analizar las percepciones sociales. La herramienta explora la subjetividad de los actores sociales y está orientada hacia el aprendizaje a partir de datos de texto no estructurados que surgen de las sesiones de juego y entrevistas para identificar patrones y puntos comunes a partir de respuestas diversas, lo que permite la aparición de temas más amplios.

Al igual que con todos los estudios interpretativos, el análisis se basa en una lectura profunda de los datos, una lectura que descubre «pistas» con respecto a los puntos de vista comunes. El trabajo de detección y categorización de temas y subtemas, de diferenciación y conexión, es el trabajo que realizamos como autores de este estudio. El análisis combinó las percepciones de los actores clave con nuestras propias percepciones, que están impregnadas de la teoría de evaluación en general y los abordajes participativos en particular.

3. RESULTADOS. EVALUACIÓN PARTICIPATIVA EN VALLE DE LA ESTRELLA

Abrimos este capítulo caracterizando el contexto en el que se desarrolló nuestro caso de estudio: la experiencia evaluativa de los Servicios de Prevención y Atención del Cáncer en Valle de la Estrella, Costa Rica. Luego nos concentramos en los hallazgos de la investigación, lo que Hammersley y Atkinson (1994) denominan como el «desarrollo analítico» del estudio. Los hallazgos que presentamos intentan mostrar relaciones, identificar asuntos relevantes, sugerir hipótesis y crear una teoría en torno a evaluación participativa basada en evidencia empírica.

Hemos organizado nuestra reflexión por apartados que, de alguna manera, refieren a las fases de todo proceso evaluativo: preparación, implementación y uso de resultados. Los resultados contenidos en este capítulo irán adelantando las principales lecciones aprendidas, con las que concluimos el artículo.

3.1. Contexto en el que se inscribe el caso de estudio

El cáncer es la segunda causa de muerte en Costa Rica, viéndose superada únicamente por las enfermedades cardiovasculares. Los datos revelan una tendencia negativa: en un periodo de apenas 25 años, la incidencia del cáncer ha subido desde los 140 casos por cada cien mil habitantes registrados en 1991, hasta los 229 casos registrados en 2014, última fecha para la que hay datos disponibles. Son cifras preocupantes, pero que se pueden contener con acciones de promoción de la salud, prevención de la enfermedad y mejora de los servicios para su tratamiento.

La Caja Costarricense del Seguro Social o la Caja, como se la conoce popularmente, es la entidad responsable de prestar servicios de salud a toda la población. Es la entidad más importante del país y en ella trabajan uno de cada cien costarricenses. Recién cumplido su 75 aniversario, afronta desafíos importantes, como su sostenibilidad financiera, la respuesta a nuevas enfermedades, el adelgazamiento de la base de cotizantes o la incipiente competencia del sector privado. Pero las dudas sobre su futuro conviven con la opinión generalizada, dentro y fuera del país, de que la labor de la Caja ha sido determinante para elevar la esperanza de vida hasta los 79,6 años (la segunda más alta de América Latina, sólo por detrás de Chile) y, en general, los indicadores de desarrollo humano de Costa Rica.

Como ocurre con tantos otros servicios públicos, la alianza entre la Caja y la ciudadanía resulta fundamental para el éxito de la lucha contra el cáncer. La comunidad de especialistas resalta la importancia de la inversión en los sistemas de salud para la prevención y tratamiento de la enfermedad, pero además abogan por la información y la educación como factores determinantes. Se calcula que un tercio de los fallecimientos por cáncer se deben a causas evitables, entre las que figuran el sedentarismo, la obesidad o el consumo de tabaco. Aunque no todos los tumores pueden prevenirse con estilos de vida saludables, sí es posible detectar precozmente muchos de ellos, siempre que la ciudadanía conozca y siga las rutinas sanitarias adecuadas.

La creación de las Juntas de Salud en 1998 supuso un hito para la formalización de esta alianza entre sector público y ciudadanía en el ámbito de la salud en Costa Rica. Se trata de organizaciones comunitarias, conformadas por representantes de la población asegurada, el empresariado y asociaciones pro-salud, que no tienen autoridad sobre los centros de salud, pero que pueden opinar y emitir recomendaciones para mejorar los servicios que éstos prestan en sus comunidades (CCSS, 2004). Pese al reconocimiento formal de su importancia y funciones, una encuesta que realizó la propia Caja revela que los miembros de las Juntas de Salud manifiestan tener escaso apoyo y aceptación por parte del personal de los centros de salud.

En este contexto, el Consejo Regional de Juntas de Salud de la Región Huétar Caribe de Costa Rica, solicitó apoyo a la cooperación alemana y al Ministerio de Planificación de Costa Rica para evaluar los servicios de prevención y atención de cáncer en Valle de la Estrella. «Eran demasiadas muertes en mi comunidad. Todas las semanas enterrábamos a una persona. Una hermana había muerto hacía unas semanas de cáncer. Y también se lo diagnosticaron a otra hermana y a mi cuñado durante la evaluación…». Con estas palabras lo relata una de las representantes de las Juntas de salud al ser consultada sobre cuál fue su principal motivación para comprometerse a participar en un proceso de evaluación tan exigente como el que proponía su organización.

El Valle de la Estrella se esconde en una de las áreas más más aisladas del caribe costarricense. Junto al vecino cantón de Talamanca, constituye el hogar de los pueblos indígenas Bri-brís y Cabécares, que se asientan en la zona desde tiempos precolombinos. También es territorio de fincas bananeras, cuyo patrón de desarrollo condiciona seriamente el reparto equitativo de los ricos y abundantes recursos de la zona. Esta combinación de factores mantiene la calificación del Valle de la Estrella como territorio de menor, con fuerte tendencia a muy bajo, nivel de desarrollo social en comparación con el resto del país. Con estos antecedentes, ¿qué ocurrió para que un grupo de miembros y personal médico de esta comunidad recurrieran a la evaluación como instrumento para mejorar un programa de salud?

3.2. Una evaluación gestada desde la base

El origen de la iniciativa hay que buscarlo a casi siete horas en transporte público del Valle de la Estrella, en San José de Costa Rica, donde un grupo de representantes del sector público, la academia, la comunidad evaluadora y la sociedad civil organizada celebran encuentros periódicos (en la denominada Plataforma Nacional por la Evaluación) para discutir y proponer iniciativas conjuntas que promuevan la evaluación en el país. Entre las prioridades marcadas por este grupo está promover la demanda de evaluaciones por parte de la ciudadanía, que participe de forma activa en las mismas y que exija el uso de los resultados de las evaluaciones. Para ello es necesario identificar y abrir canales de participación adecuados, de modo que se acordó generar aprendizajes mediante la realización de una «evaluación desde la base», tomando como referencia el enfoque de evaluación participativa, ya que prima el liderazgo de grupos que conocen muy de cerca el programa que se evalúa, especialmente el personal técnico que presta los servicios a nivel local y la comunidad usuaria de esos servicios.

La Plataforma Nacional por la Evaluación puso especial cuidado para asegurarse de que el origen de la evaluación y la selección del programa a evaluar surgiera de las organizaciones ciudadanas y no que fuera impuesta o condicionada desde las instituciones. Para ello tuvo lugar un proceso de acercamiento que duró más de un año. Se celebraron varios encuentros informativos con representantes de organizaciones sociales, se impartió un seminario de capacitación sobre evaluación participativa y se realizó una convocatoria abierta para que las organizaciones interesadas pudieran presentar propuestas de proyectos que les gustaría que fueran evaluados con un enfoque participativo.

Del medio centenar de organizaciones que participaron en estas actividades se recibieron varias propuestas, de las que se preseleccionaron cuatro. Un equipo técnico visitó cada una de las localidades para reunirse con las organizaciones y analizar con sus miembros la viabilidad técnica y utilidad esperada de cada evaluación propuesta. También valoraron el compromiso de los representantes de la organización local para participar en la evaluación. Este aspecto motivacional resultaba de gran importancia puesto que no estaba previsto ningún tipo de remuneración para realizar las evaluaciones y únicamente se cubrirían los gastos de transporte, alimentación y alojamiento.

La propuesta de las Juntas de Salud de Valle de la Estrella para evaluar los servicios de prevención y atención del cáncer fue finalmente seleccionada por los representantes de la Plataforma Nacional de Evaluación. El hecho de que la motivación inicial surgiera de organizaciones de base y que se seleccionara un tema tan sensible como el cáncer para realizar la evaluación, marcó de forma decisiva el resto del proceso evaluativo. Aunque posteriormente se incorporarían nuevos actores, las siete representantes de las Juntas de Salud que tomaron la iniciativa para formar el equipo evaluador se consideraron desde el primer momento las verdaderas protagonistas de la evaluación y asumieron un liderazgo que se mantuvo a lo largo de todo el proceso.

3.3. Una evaluación con perspectiva plural: alianza con los usuarios para mejorar los servicios de salud a través de la evaluación

Desde las primeras sesiones de trabajo con las representantes de las Juntas de Salud se planteó la conveniencia de conformar un equipo de evaluación. La perspectiva de la comunidad beneficiaria ofrecía sólo un conocimiento parcial del sistema de salud y se hacía necesaria una visión más técnica que pudiera despejar dudas y aclarar mitos o falsas creencias sobre el cáncer. Por ello decidieron invitar a formar parte del equipo de evaluación a una doctora y una enfermera del área de oncología del Centro de Salud de Valle de la Estrella, que aportaron conocimientos técnicos sobre la enfermedad y una perspectiva institucional que complementaba a la visión externa de las Juntas de Salud. De este modo, el equipo de evaluación quedó definitivamente conformado por un grupo de nueve personas. «Contar con las doctoras en el equipo de evaluación fue bueno para entender mejor la forma en que operan los servicios de salud y aclarar las dudas que tenía el grupo». En estos términos se expresaba una representante de las Juntas de Salud, dando a entender que la decisión de ampliar el equipo de evaluación les ayudó a comprender mejor la realidad interna de la Caja.

El tándem que conformaron el personal médico y las representantes de los usuarios para realizar juntos una evaluación encierra cierto carácter simbólico en el contexto del sistema de salud de Costa Rica. Pese a que las Juntas de Salud son un ente auxiliar reconocido por ley, lo cierto es que los miembros de estas organizaciones coinciden en reclamar a la Caja que les preste mayor atención y otorgue más visibilidad a su labor. En este contexto, cualquier iniciativa de trabajo conjunto y acercamiento de posturas entre ambos colectivos resulta fundamental para mejorar el funcionamiento del sistema de salud.

Enseguida fueron apareciendo las primeras ventajas de realizar la evaluación con un equipo ampliado. La perspectiva de los usuarios de un servicio suele estar enfrentada a la de las personas que lo prestan. Integrar ambas en el equipo de evaluación permitió explorar cómo los diferentes puntos de vista son construidos, expresados, defendidos y, a veces, modificados durante los debates generados a lo largo del proceso. «La evaluación participativa es exactamente eso, la oportunidad de conocer el punto de vista de diferentes actores sociales, quienes decidimos involucrarnos en hacer preguntas pertinentes de evaluación sobre una intervención que “nos toca” de cerca», resumía una de las representantes de las Juntas de Salud al reflexionar sobre el trabajo conjunto realizado.

3.4. Una evaluación protagonizada por personas sin experiencia en evaluación

Junto a las ventajas derivadas de la ampliación del equipo de evaluación también aparecieron, cómo no, las primeras dificultades. La principal fue resolver cómo un grupo de personas sin conocimientos previos sobre este instrumento y con distinto nivel de formación y experiencia podría conducir una evaluación rigurosa y de calidad.

Como medida frente a este riesgo se conformó un grupo de apoyo a la evaluación. Este acompañó el proceso para velar por la calidad del mismo, observando cuestiones de respeto a la diversidad, pluralidad y rigor técnico que marcan los principales estándares internacionales5 de evaluación, sin interferir en la independencia y el protagonismo de los miembros del equipo evaluador. La labor del grupo de apoyo fue determinante para asistir al equipo evaluador y asegurar el rigor del proceso evaluativo (ver en la Figura núm. 1 los roles de cada grupo de actores durante el proceso).

El grupo de personas a cargo de crear y mantener este delicado balance estuvo formado por representantes de la Unidad de Evaluación del Ministerio de Planificación de Costa Rica, de la Defensoría de los Habitantes y del instituto DEval de la cooperación alemana. Además, se incluyeron dos figuras clave para acompañar el día a día del equipo evaluador: un experto en evaluación participativa y una experta en procesos de facilitación y participación comunitaria.

Los resultados de esta labor de asistencia al equipo de evaluación fueron muy positivos. La comparación con otras diez evaluaciones realizadas por profesionales dejan al equipo de Valle de la Estrella en muy buen lugar. Los puntajes obtenidos son perfectamente comparables con las calificaciones del resto de evaluaciones, destacando precisamente en la valoración del criterio de «rigurosidad». En la Figura núm. 5 se observa un resumen de los resultados del análisis comparativo de la metaevaluación.

Figura 5. Resultados del estudio de metaevaluación de las evaluaciones elaboradas en el marco de la Agenda Nacional de Evaluación de Costa Rica y otras evaluaciones de programas nacionales realizadas en el país

 

Fuente: Elaboración propia a partir de Murciano (2017).

La labor del grupo de apoyo fue determinante para asegurar el rigor del proceso hasta el punto de obtener estos resultados. Su primera actividad fue brindar una capacitación sobre evaluación participativa diseñada específicamente para el grupo. En las sesiones de trabajo del equipo evaluador se introdujo también un componente formativo. Estas sesiones estaban precedidas por una introducción teórica que había sido previamente preparada por la facilitadora y el experto para asegurar su comprensión por todo el grupo. También se diseñaron herramientas de evaluación «amigables» que estimulaban la participación y que, tras la correspondiente capacitación, pudieran ser aplicadas por el equipo evaluador en diferentes situaciones y contextos 6 .

Además de su labor formativa, el grupo de apoyo asistió al equipo evaluador en las tareas para las que, por problemas de tiempo, requirieran un acompañamiento más intensivo. Los propios miembros del equipo de evaluación resumen la contribución del grupo de apoyo en los siguientes términos: «[…] del experto en evaluación participativa nos agradó la metodología de “juegos para pensar” y las cosas importantes que nos enseñó en las sesiones de formación», «[…] queda un recuerdo muy lindo de las sesiones con la facilitadora. Ella pudo conducirnos en este aprendizaje, tenernos paciencia, nunca pasó por alto ni obvió lo que decíamos», «[…] las instituciones nos brindaron apoyo, sensación de respaldo, que lo que estábamos haciendo era algo serio».

3.5. Una evaluación que fomenta el análisis crítico

Además del desarrollo de competencias, un importante desafío que tuvo que enfrentar el equipo de evaluación fue el de asumir un rol diferente al que suelen tener los actores locales en la evaluación. En esta ocasión no iban a ser meros informantes, sino las verdaderos protagonistas y responsables del control de un proceso evaluativo. Esta transformación implicaba posicionarse como evaluadoras, cuyo principal cometido es realizar un análisis crítico y sustentado de un programa en el que ellas mismas participan. Se trataba, en suma, de que reconocieran el valor de su experiencia y conocimientos como actores locales de desarrollo.

Las representantes de las Juntas de Salud, en su mayoría líderes comunitarios con larga trayectoria de activismo social, tuvieron que dejar de lado su papel tradicional de usuarias del sistema de salud para asumir un papel de investigadoras que formulan preguntas de forma crítica y valoran los servicios a partir de la recolección de evidencias desde distintas fuentes. Por su parte, el personal de salud tuvo que revisar desde una posición crítica su propio desempeño. Las capacitaciones y espacios de intercambio organizadas desde el grupo de apoyo –especialmente las sesiones de trabajo con la facilitadora–, fueron obrando poco a poco el cambio. Una de las representantes de las Juntas de Salud hace una valoración muy positiva de los logros alcanzados: «[…] fue algo muy lindo porque de alguna manera sentimos que siempre lo habíamos hecho. No nos sentimos cohibidos, nos metimos en el proceso».

Adoptar una perspectiva evaluativa y conocer nuevas herramientas también ha contribuido a que las personas participantes estén mejor preparadas para velar por la salud de sus vecinos. A partir de esta experiencia varias Juntas de Salud de la región están teniendo un papel mucho más activo como enlace entre las personas usuarias y la Caja. Comentan que la evaluación fue «[…] una forma para acercarse más a las personas, conocer más al usuario, las instituciones, poder tener ese tiempo para hablar con el personal médico, que nunca se había hecho así. Y ya uno se siente con poder de preguntarles cosas al personal médico».

La generación de capacidades y el fomento del pensamiento evaluativo también tuvieron influencia entre las personas que integran el grupo de apoyo. Desde la Defensoría de los Habitantes se resalta el descubrimiento de la evaluación como uno de los más provechosos resultados de su participación en esta iniciativa. Consideran que es un valioso instrumento para velar por los derechos e intereses de los habitantes: «[…] conocer información de la gestión de la Caja para defender los derechos es sin lugar a dudas un hito. Esta forma de trabajo puede ser una metodología que une la defensa con la promoción de los derechos». Para el grupo de representantes regionales de la Caja la experiencia cumplió con su expectativa de fortalecer las capacidades de las Juntas de Salud y les ha permitido crear alianzas y vínculos con otras instituciones como el Ministerio de Planificación y la Defensoría de los Habitantes.

La representante del Ministerio de Planificación de Costa Rica en el grupo de apoyo concluye de una manera más general que «[…] con este tipo de evaluaciones se va creando cultura de evaluación y sin duda enseñamos a la ciudadanía a demandar estos procesos. En el Ministerio tratamos de que se cumpla desde las instituciones, pero no habíamos llegado a la ciudadanía. Nos faltaba ese paso». Este reconocimiento a un proceso de evaluación diferente, valorado por las personas responsables de las políticas públicas, es un avance en la construcción de la cultura e institucionalidad de la evaluación en el país.

3.6. Una evaluación desde una mirada singular: la de aquellos que ven

Las ventajas de una evaluación participativa, plural y con protagonismo local se hicieron notar desde los primeros pasos para definir objetivos y preguntas de evaluación e identificar los elementos del programa en los que se debería centrar el análisis. Junto a las entrevistas y revisión documental con que habitualmente se abordan estas cuestiones, la evaluación en Valle de la Estrella incluyó dos talleres en los que participaron personal de la Caja y miembros de las Juntas de Salud.

El primer taller inició con una presentación institucional sobre los objetivos y funcionamiento del programa de prevención y atención del cáncer, con referencias a las acciones concretas que se realizan en Valle de la Estrella. Las representantes de las Juntas de Salud formularon preguntas y propuestas hasta acordar con el personal médico los elementos concretos del programa que se iban a evaluar. En el segundo taller, se definieron los objetivos de evaluación a partir de la formulación de preguntas referentes al programa. Este proceso de definición colectiva de la hoja de ruta del proceso evaluativo permitió revisar cómo funciona el programa, poniendo de manifiesto diferencias entre la propuesta de los responsables regionales de la Caja, la interpretación y acciones concretas implementadas por el personal local y la mirada de las personas usuarias del servicio.

Estos espacios de discusión plural e integradora caracterizaron las siguientes etapas de la evaluación de manera que, junto a la generación de capacidades en los actores locales, constituyen su principal elemento diferenciador. Incluso para tareas más exigentes, como el análisis de los datos o la redacción del informe, en las que el grupo de apoyo asumió un papel más activo, todos los resultados fueron discutidos y validados con el equipo de evaluación. Entre sus miembros existe un amplio consenso en que «[…] fue una experiencia sumamente valiosa, de mucho aprendizaje en la que nunca se pasó por alto ni obvió nuestro punto de vista o sugerencias».

En el informe final de evaluación (FOCEVAL, 2017) también se refleja la dimensión participativa y plural de esta evaluación. El capítulo de recomendaciones incluye tres grupos de destinatarios bien diferenciados: la Caja como entidad responsable del programa, las propias Juntas de Salud como actores locales de desarrollo y la comunidad de usuarios del servicio. Esta particularidad ofrece una idea muy clara del sentimiento de responsabilidad compartida que genera una evaluación de este tipo.

3.7. El uso de la evaluación y la evaluación del uso

El tema del uso de la evaluación, la credibilidad y comunicación de los resultados y recomendaciones, es un tema que adquiere cada día más relevancia (Feinstein, 2002 y 2017). Dada la particularidad de esta experiencia y que muchas de las conclusiones y recomendaciones de la evaluación son perfectamente aplicables a otras regiones, los representantes de las Juntas de Salud realizaron varias presentaciones de los resultados de la evaluación en otras regiones del país. Incluso se hizo una presentación en la capital específicamente dirigida a las autoridades centrales de la Caja. Además de la buena acogida que tuvieron tanto la metodología aplicada como los resultados de la evaluación, estas giras tuvieron un efecto muy positivo en la motivación del equipo de evaluación, puesto que supusieron un reconocimiento público del esfuerzo comprometido y voluntario que venían realizando.

En el momento de escribir este trabajo (septiembre de 2018, un año y medio después de la presentación del informe de evaluación) las personas implicadas en la evaluación prosiguen sus esfuerzos para que las recomendaciones se traduzcan en el mayor número de acciones de mejora posible. El plan de acción derivado de la aplicación de las recomendaciones fue elaborado conjuntamente por las Juntas de Salud de la región a la que pertenece el Valle de la Estrella y representantes regionales de la Caja. Recientemente, la propia Caja decidió trasladar este plan de acción a las otras 26 unidades regionales del país, por considerar que contiene iniciativas aplicables en cada una de ellas. Y desde la propia Caja, en colaboración con las Juntas de Salud, se está trabajando en un sistema para dar seguimiento a la aplicación de las recomendaciones.

La aplicación de las recomendaciones dirigidas al ámbito local y regional no está encontrando mayores dificultades, puesto que están dentro –o al menos cerca– del ámbito de acción de las personas que estuvieron directamente implicadas en el proceso evaluativo. Esta constatación revela una importante ventaja de los enfoques participativos. En muchas ocasiones, el uso de los resultados de las evaluaciones se ve comprometido por un cierto freno en el proceso que se produce cuando el equipo evaluador presenta el informe final y termina su compromiso con la evaluación. En la etapa siguiente, la responsabilidad de la puesta en práctica de las recomendaciones se traslada a las unidades o personas destinatarias de las mismas. Si estas personas no conocían o no estuvieron suficientemente implicadas en el proceso evaluativo, suele suceder que las recomendaciones les resultan un tanto ajenas, lo que genera cierta resistencia para su aplicación. Esta situación no se reproduce en evaluaciones realizadas en primera persona, como el caso de la evaluación que nos ocupa.

Las recomendaciones dirigidas a personas más alejadas del proceso evaluativo encuentran más dificultades para su recepción y aplicación. La presentación de resultados en San José fue bastante exitosa en términos de público y contó con la asistencia de importantes referentes nacionales de la institución, pero lo cierto es que no se lograron compromisos concretos de actuación, ni propuestas de trabajo conjunto a nivel nacional. Claramente, uno de los mayores retos de una evaluación que se gesta y desarrolla desde el protagonismo de los actores locales, es encontrar la forma de hacer también partícipes desde un inicio a los centros de decisión estratégica de la institución responsable del programa. En la medida en que esto se logre, será más fácil el trabajo final de aplicación de las recomendaciones también a este nivel.

Mientras se sigue trabajando para superar esta dificultad, las opiniones de las representantes de las Juntas de Salud son diversas al respecto. Algunas se quedan con la parte positiva de todo lo aprendido con la evaluación y se resignan a que el uso de la evaluación no sea el que hubieran deseado, aunque lo hacen con cierto tono de denuncia: «…a la Caja no le interesa que sepamos tanto». Otras proponen seguir buscando vías para hacer llegar las recomendaciones al nivel central de la Caja «Hay que saber llegar a los tomadores de decisiones». Y un tercer grupo realiza una propuesta intermedia bastante esperanzadora: «La prueba será ver qué pasa en Valle de la Estrella y, si se registran cambios, empezar por ahí».

4. CONCLUSIONES

En esta sección final destacamos, a modo de conclusiones, los principales aprendizajes tanto del proceso de la evaluación en sí, como del estudio retrospectivo realizado. La exposición se centra en los elementos que dan respuesta a nuestra pregunta central de investigación sobre cómo asegurar el rigor metodológico y la calidad de evaluaciones realizadas con un alto componente de participación. Con estas conclusiones pretendemos orientar el trabajo de tomadores de decisiones, profesionales de la evaluación y grupos de actores involucrados en procesos de evaluación.

4.1. Desenlace de una evaluación diferente

Como conclusión central de nuestra investigación podemos afirmar que estamos ante un caso de evaluación rigurosa y de calidad cuyos resultados se ven enriquecidos por las ventajas atribuibles a la amplia participación de los representantes de los usuarios de los servicios, auténticos protagonistas durante todo el proceso de evaluación.

Uno de los principales méritos de los enfoques de evaluación participativos es el de acercar las posturas de los actores implicados en los programas a través de la generación de espacios de reflexión, comprensión y construcción colectiva. El caso de Valle de la Estrella es especialmente revelador, puesto que se partía de las posiciones contrapuestas que, en principio, presentan la comunidad de usuarios con la institución que presta el servicio. El fortalecimiento de este tipo de alianzas entre el sector público y la sociedad civil a través de la evaluación es, sin duda, uno de los resultados obtenidos más destacables.

Por otra parte, la mirada de los actores locales –la mirada de los que ven– aporta una valoración más rica y centrada en el contexto que la que podría ofrecer un equipo externo. Eso sí, resulta necesario crear las condiciones adecuadas para asegurar la participación igualitaria y que la evaluación cumpla con los estándares de calidad, aunque sus protagonistas no sean profesionales de la evaluación. La labor del grupo de apoyo para capacitar a los miembros del equipo de evaluación, mantener su motivación y adaptar las herramientas que debían utilizar, son tres elementos claves para generar estas condiciones favorables. Por contra, se ha visto cómo la dilatación de tiempos derivada de esta labor de apoyo ocasiona retrasos y presión por hacer las cosas más rápido, lo que llega a condicionar el protagonismo local en algunas etapas de la evaluación.

En la siempre crítica fase de uso de las evaluaciones también se han logrado resultados muy positivos. Cuando el control del proceso evaluativo recae sobre los actores implicados directamente en el programa, resulta más sencillo que éstos asuman y pongan en práctica las acciones de mejora derivadas.

También se pueden extraer algunos mensajes dirigidos a la comunidad evaluadora, ya que los esquemas e instrumentos aplicados bajo este enfoque participativo son perfectamente combinables con otros diseños de evaluación. El aporte de estos enfoques tiene gran relevancia en el contexto actual de la Agenda 2030 donde la apertura de espacios de participación para asegurar que nadie queda atrás, la sostenibilidad de las acciones emprendidas que se logra a través de procesos empoderadores, la responsabilidad compartida sobre el desarrollo y el abordaje integral del compromiso con las dimensiones económica, social y ambiental del desarrollo sostenible constituyen los principios orientadores de la actual agenda global de desarrollo.

Como investigadores sociales y profesionales de la evaluación, entendemos que nuestra práctica debe adaptarse con estos nuevos compromisos para alcanzar y defender los más altos estándares de calidad. En la medida en que, como demuestra la experiencia vivida en Valle de la Estrella, nuestras evaluaciones sean capaces de abrir espacios donde se da importancia al contexto y la percepción local y se generen resultados más ricos y fácilmente interpretables por los grupos locales que constituyen el núcleo de cualquier intervención, estaremos avanzando en la dirección correcta.

4.2. ¡Déjame hacerlo, enséñame a hacerlo!

La noción de participación supuso comprender dos dinámicas: la oportunidad de participar y la capacidad de participar. La primera está determinada por la voluntad institucional de la Caja y las demás organizaciones intervinientes por crear espacios reales de participación. La segunda está determinada principalmente por las actitudes y habilidades que los actores de la sociedad civil han desarrollado a través de experiencias anteriores. Es posible hablar de participación cuando existe una adecuación entre ambas dinámicas, es decir las capacidades de participar de los pobladores se ajustan a las oportunidades que «abre» la institución, el programa o proyecto.

Sobre la oportunidad de participar (déjame hacerlo), hemos observado que no todas las instituciones/programas que convocan a una evaluación participativa están realmente dispuestas a facilitar y acompañar estos procesos. En el caso de Valle de la Estrella, podemos destacar como lecciones aprendidas aquellos aspectos que sí favorecen este tipo de evaluación: (a) es importante que las personas representantes de los diferentes niveles del programa evaluado tengan real disposición para una evaluación de este tipo, que sean conscientes de las implicaciones que una evaluación multi-actoral y desde las bases puede tener, y que estén abiertos a escuchar y adoptar las recomendaciones que de ella puedan surgir; (b) la institución/programa debe contar con tiempo y recursos, ya que crear verdaderos espacios para el protagonismo de la sociedad civil implica procesos lentos y costosos que las instituciones no siempre están dispuestas a asumir; (c) es muy importante contar con el apoyo de una persona que facilite los procesos in situ, con conocimiento de la realidad e idiosincrasia de los participantes, así como adecuado manejo de herramientas de comunicación y animación socio-cultural; (d) es determinante que la institución solicite o genere instancias de capacitación para los actores locales involucrados, ya que en la mayoría de los casos la experiencia participativa y evaluativa de las principales grupos de interés es muy limitada; y (e) es muy importante conformar un equipo de evaluación relativamente pequeño pero integrado con representantes de todas las partes involucradas, el que deberá actuar durante todo el proceso, desde la priorización de los temas más relevantes y la formulación de las preguntas y objetivos, hasta la comunicación y facilitación del uso de los resultados, pasando por el trabajo de definición de indicadores, recopilación y análisis de los datos, y elaboración de conclusiones y recomendaciones.

En cuanto a la capacidad de participar (enséñame a hacerlo), sentimos que quienes apoyamos estos procesos de participación tenemos un gran desafío. Particularmente en contextos como el latinoamericano, por mucho tiempo rígido y reticente a crear experiencias participativas. Sin duda, las capacidades de participación se crean cuando desde una institución se ofrecen instancias de participación y se anima a los pobladores y otros actores a involucrarse decididamente en la práctica evaluativa. Pero, sumado a la existencia de «oportunidades de participación», que funcionan como una motivación fundamental para los participantes, es necesario iniciar un proceso de capacitación activa durante todo el proceso. Entre los principales desafíos, nos gustaría destacar a modo de recomendación aquellas lecciones aprendidas en torno a la capacidad de participar: (a) hay que hacer un esfuerzo por adecuar las instancias de participación a las capacidades de los actores, buscando intereses comunes y al alcance de los participantes (por ejemplo, no pretender que los miembros de una organización de base se involucren en el diseño de un muestreo con representación estadística para una evaluación de impacto) y acompañando los desafíos que ellos estén dispuestos a asumir; (b) conocer el variado conjunto de herramientas para la evaluación democrática y participativa que hoy existe, y estar dispuestos a adecuarlas y/o recrearlas para que sirvan a los procesos participativos que requiere la evaluación (elaboración de herramientas apropiadas, juegos, o dinámicas que garanticen el protagonismo de todos, y no sólo el de los más extrovertidos), (c) las herramientas «no lo pueden todo», es necesario evidenciar en el encuentro y diálogo con los participantes una vocación participativa, vocación que se expresa en la tolerancia al error, la voluntad para «volver a explicar», la disposición a revisar acuerdos y rediseñar el plan de trabajo, entre otros; y (d) es muy importante tener claridad sobre nuestro rol como agentes externos, aunque participantes en el proceso; esto es: «motivar» sin «empujar», «reflexionar» con el grupo sin «condicionar» conclusiones, «aportar ideas» sin «imponer» y «hacer preguntas» sin «sugerir las respuestas».

Aun cuando puede resultar obvio a esta altura, vale destacar finalmente que las ventajas de evaluaciones como las del Valle de la Estrella se sustentan en su potencial para: (a) fortalecer las organizaciones involucradas para que tengan mayor control sobre su propio desarrollo; (b) mejorar su capacidad para reflexionar, analizar y proponer soluciones, (c) aportar nuevos y diferentes conocimientos desde los actores más relevantes, para la elaboración de mejores políticas, programas y proyectos; y (d) contribuir a la construcción de sociedades más inclusivas y equitativas.

Sin duda, la experiencia de evaluación en Valle de la Estrella en el Caribe costarricense ha marcado la diferencia. Su resultado es claro en términos de aprendizaje y empoderamiento de los múltiples actores involucrados. Este tipo de experiencias podría perfectamente calificar como un enfoque CAE, en tanto todos los principios del mismo están sensiblemente presentes en la práctica evaluativa que hemos observado. Una evaluación participativa así entendida contribuye a la construcción de una cultura de la evaluación y su institucionalización, permite poner este instrumento al alcance de las organizaciones de la sociedad civil, que demandan y ameritan nuevos canales de participación activa e influyente en la agenda pública, y plantean a la comunidad evaluadora una seria e innovadora propuesta para mejorar nuestra práctica profesional y hacer frente a nuestro compromiso con la Agenda 2030.

REFERENCIAS BIBLIOGRÁFICAS

BOYD, T. A, GEERLING, W. J., GREGORY, C., KAGAN, G., MIDGLEY, E. , MURRAY, P. y WALSH, M. P. (2007): “Systemic evaluation: a participative, multi-method approach”, en Journal of the Operational Research Society, vol. 58, núm. 10, págs. 1306-1320, October. DOI: https://doi.org/10.1057/palgrave.jors.2602281.

BREWER, J. y HUNTER, A. (1989): Multimethod Research: a synthesis of styles. Newbury Park, California: Sage, 209 págs.

CHAMBERS, R. (2003): Whose reality counts? Putting the first last (Revisited Edition). London: Intermediate Technology. DOI: https://doi.org/10.3362/9781780440453.

COUSINS, J. B., WHITMORE, E. & SHULHA, L. (2013): “Arguments for a common set of principles for collaborative inquiry in evaluation”, en American Journal of Evaluation, vol. 34, núm. 1, págs. 7-22. DOI: https://doi.org/10.1177/1098214012464037.

DAVIS, R. y DART, J. (2005): The «Most Significant Change» (MSC) Tool. A guide to Its use. United Kingdom: Care International, Oxfam, Ibis and Lutheran World Relief.

DENZIN, N. K. (1978): The Research Act: A Theoretical Introduction to Sociological Methods. New York: McGraw-Hill Book Company, 216 págs. DOI: https://doi.org/10.4324/9781315134543.

FARMER, L. S. J. (2010): “Gaming in Adult Education”, en Gaming and Simulations: Concepts, Methodologies, Tools and Applications, págs. 194-213. USA: Information Resources Management Association, IGI Global, Nov. 30. DOI: https://doi.org/10.4018/978-1-60960-195-9.ch111.

FEINSTEIN, O. N. (2002): “Use of Evaluations and the Evaluation of their Use”, en Evaluation, vol. 8, núm. 4, págs. 433-439. DOI: https://doi.org/10.1177/13563890260620621.

FEINSTEIN, O. N. (2017): “Trends in Development Evaluation and Implications for Knowledge Management”, en Knowledge Management for Development Journal, vol. 13, núm. 1, págs. 31-38. Disponible en web: http://journal.km4dev.org/.

FIELDING, N. G. y FIELDING, J. L. (1986): Linking Data. California: Sage Publications, 96 págs. DOI: https://doi.org/10.4135/9781412984775.

FOCEVAL (2017): Informe final de la evaluación participativa de los servicios de prevención y atención del cáncer en Valle de la Estrella, Provincia de Limón, Costa Rica [inédito]. Disponible en web: http://foceval.org/wp-content/uploads/2016/12/20170228_Informe-final-EP.pdf.

GARCÍA-BOTELLO, H. A. (2009): El juego en la edad adulta: su análisis desde distintas teorías psicológicas [Tesis inédita], Facultad de Psicología, UNAM, México.

GRIGGS, D., NILSSON, M., STEVANCE, A., McCOLLUM, D. (eds.) (2017): A guide to Sustainable Development Goals interactions: From Science to Implementation. París: International Council for Science (ICSU).

GUIJT, I. (2014): “Participatory Approaches”, en Methodological Briefs: Impact Evaluation, núm. 5. Florence, Italy: UNICEF Office of Research.

GUBER, R. (2004): El Salvaje Metropolitano. Reconstrucción del conocimiento social en el trabajo de campo. Buenos Aires: Editorial Paidós, 325 págs.

HAMMERSLEY, M. & ATKINSON, P. (1994): Etnografía: métodos de investigación. Barcelona: Paidón, 352 págs.

JACOB, S. y OUVRARD, L. (2009): Comprendre et entreprendre une évaluation participative. Guide de synthèse. Québec: Bibliothèque et Archives nationales du Québec.

JACOB, S., DIALLO, N., DAIGNEAULT, P. M. (2009): “L’évaluation participative des politiques de coopération au développement. Analyse comparée des dispositifs du Canada, de l’Union européenne et de la Banque mondiale”, en Organisations & Territoires, vol. 18, núm. 3, págs. 69-84.

JARA-HOLLIDAY, O. (2010): Trayectos y búsquedas de la sistematización de experiencias en América Latina. San José, Costa Rica: Centro de Estudios y Publicaciones Alforja.

JARA-HOLLIDAY, O. (2013): La sistematización de las experiencias. Práctica y teoría para otros mundos posibles. Montevideo, Uruguay: Editorial EPPAL.

CAJA COSTARRICENSE DEL SEGURO SOCIAL (CCSS) (2004): Reglamento de las Juntas de Salud, Artículo 18.º de la sesión 7825, celebrada el 15 de enero del 2004. Disponible en web: http://www.ccss.sa.cr.

MANN, D. (1996): “Serious play”, en Teachers College Record, vol. 97, núm. 3, págs. 447-469.

MURCIANO, J. (2017): Metaevaluación de las evaluaciones elaboradas dentro de la Agenda Nacional de Evaluación (ANE) y otras de programas nacionales en Costa Rica [trabajo inédito], Proyecto FOCEVAL.

NACIONES UNIDAS (2015): Resolución 70/1 de la Asamblea General «Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible», A/RES/70/1 (21 de octubre de 2015). Disponible en web: http://undocs.org/es/A/RES/70/1.

PATTON, M. Q. (2010): Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use. New York, NY: Guilford Press.

PATTON, M. Q. (2017a): Facilitating Evaluation. Principles in Practice. USA: SAGE Publications. DOI: https://doi.org/10.4135/9781506347592.

PATTON, M. Q. (ed) (2017b): “Pedagogy of Evaluation”, en New Directions for Evaluation, núm. 155, Fall 2017, special Issue published by Jossey-Bass and American Evaluation Association. DOI: https://doi.org/10.1002/ev.20260.

PAYNE, G. y WILLIAMS, M. (2005): “Generalization in Qualitative Research”, en Sociology, vol. 39, núm. 2, págs. 295-314. DOI: https://doi.org/10.1177/0038038505050540.

RODRÍGUEZ-BILELLA, P., TAPELLA, E., MARTINIC VALENCIA, S., SOBERÓN ÁLVAREZ, L., KLIER, S. D. y GUZMÁN, A. L. (2016): Estándares de Evaluación para América Latina y el Caribe. Buenos Aires: Editorial Akian. ISBN 978-987-42-1807-0.

RODRÍGUEZ-BILELLA, P. y TAPELLA, E. (eds) (2018): Dejar Huella. Historias de evaluaciones que marcaron la diferencia. Buenos Aires: Editorial UNSJ. ISBN 978-987-3984-66-2.

RODRÍGUEZ-SOSA, J. y ZEBALLOS, M. (2007): Evaluación de proyectos de desarrollo local. Enfoques, métodos y procedimientos. Lima: DESCO (Centro de Estudios y Promoción del Desarrollo), 35 págs.

ROGERS, P. (2008): “Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions”, en Evaluation, vol. 14, núm. 1, págs. 29-48. DOI: https://doi.org/10.1177/1356389007084674.

SEGONE, M. (1998): Evaluación Democrática. Documento de trabajo, núm. 3, Oficina Regional para América Latina y El Caribe, Colombia: UNICEF.

SHULHA, L. M., WITHMORE, E., COUSINS, J. B., GILBERT, N., AL HUDIB, H. (2015): Evidence based principles to guide collaborative approaches to evaluation: Technical report [trabajo inédito], Centre for Research on Educational and Community Services, University of Ottawa.

STAKE, R. E. (1998): Investigación con Estudio de Caso. Madrid: Ediciones Morata, S. L.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014a): “Shared learning and participatory evaluation. The sistematización approach to assess development interventions”, en Evaluation, vol. 20, núm. 1, págs. 115-133, SAGE publications. DOI: https://doi.org/10.1177/1356389013516055.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014b): “Sistematización: what’s that? Introducing a multi-stakeholder, reflexive action-learning evaluation approach”, en Evaluation Connections, News Letter of European Evaluation Society, March 2014, págs. 13-14.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014c): “Evaluación y Aprendizaje desde la práctica”, en edición especial en castellano de la revista Knowledge Management for Development. Disponible en web: http://www.km4dev.org/.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2014d): “Sistematización de experiencias: una metodología para evaluar intervenciones de desarrollo”, en Revista de Evaluación de Programas y Políticas Públicas, núm. 3, págs. 80-116. DOI: https://doi.org/10.5944/reppp.3.2014.13361.

TAPELLA, E. y RODRÍGUEZ-BILELLA, P. (2015): “Evaluaciones para aprender, aprendizajes para mejorar: sistematización de un proyecto de desarrollo sustentable en Argentina”, en NEIROTTI, N. (coord.), BRISSON, M. E. y MATALLINI, M. (eds.): La Evaluación de las políticas públicas. Reflexiones y experiencias en el escenario actual de transformaciones del Estado, Colección Políticas Públicas, págs. 135-150. Buenos Aires: Ediciones UNLa y REUN.

TORREJON-CARDONA, E., NOBOA, A. y ORAISÓN, M. (2017): “La participación en América latina: Formas emergentes y cristalizadas de politicidad y prácticas ciudadanas”, en De Prácticas y discursos, año 6, núm. 7, Universidad Nacional del Nordeste/Centro de Estudios Sociales (Enero-Julio). ISSN 2250-6942.

VASILACHIS, I. (2006): “Investigación Cualitativa”, en VASILACHIS, I. (coord.): Estrategias de investigación cualitativa, págs. 23-64. Barcelona: Gedisa.

WEBLER, T., DANIELSON, S. & TULER, S. (2009): Using Q method to reveal social perspectives in environmental research. Greenfield MA: Social and Environmental Research Institute. Disponible en web: http://www.seri-us.org/sites/default/files/Qprimer.pdf.

WHITTEMORE, R., CHASE, S. K. y MANDLE, C. L. (2001): “Validity in Qualitative Research”, en Qualitative Health Research, vol. 11, núm. 4, págs. 522-537. DOI: https://doi.org/10.1177/104973201129119299.

YIN, R. K. (1994): Case Study Research. Design and Methods (Second Edition). London and New Delhi: Sage.