Rodríguez Bilella, Pablo y Tapella, Esteban: Dejar huella. Historias de evaluaciones que marcaron la diferencia

Rodríguez Bilella, Pablo y Tapella, Esteban: Dejar huella. Historias de evaluaciones que marcaron la diferencia

Luis Soberón Álvarez

Pontificia Universidad Católica del Perú (Perú)

ORCID: https://orcid.org/0000-0002-6890-153X

lsoberon@pucp.pe

NOTA BIOGRÁFICA

Sociólogo, profesor del Departamento de Ciencias Sociales de la Pontificia Universidad Católica del Perú.

RESUMEN

Recensión: Rodríguez Bilella, Pablo y Tapella, Esteban. Dejar huella. Historias de evaluaciones que marcaron la diferencia. San Juan, Argentina: Editorial Universidad Nacional de San Juan (UNSJ), 2018. 188 págs.

PALABRAS CLAVE

América Latina; desarrollo comunitario; evaluación participativa; metodología; políticas sociales.

ABTRACT

Review: Rodríguez Bilella, Pablo and Tapella, Esteban. Dejar huella. Historias de evaluaciones que marcaron la diferencia. San Juan, Argentina: Editorial Universidad Nacional de San Juan (UNSJ), 2018. 188 págs.

KEYWORDS

Latin America; community development; participatory evaluation; methodology; social policies.

Dejar huella presenta siete historias de evaluaciones, realizadas en varios países de América Latina, que los autores identifican como evaluaciones con impacto en la vida de las personas. En la introducción exponen el enfoque, pautas seguidas y resultados del análisis, identificando factores que facilitan el impacto de la evaluación.

En la primera historia, «Lo que uno no se pregunta, simplemente ¡no lo ve!» Programa Oportunidades. (México), la adecuación cultural aparece como tema crítico, después de varios años de ejecución y evaluaciones. Lo que está en juego es la sensibilidad cultural de los responsables del programa. En la historia se relieva cómo las recomendaciones de la evaluación externa, cualitativa, influyeron para la adecuación cultural del programa, reconocimiento de la brecha existente y despertar de la sensibilidad cultural. Oportunidades es un programa de transferencias monetarias condicionadas, implementado desde 1998, dirigido a madres de familia, para romper el ciclo de la pobreza de las poblaciones indígenas, requiriendo que sus hijos asistan a los servicios de educación y salud; prevé, también, la mejora en las actividades económicas familiares.

La segunda historia, «Dar cuenta y darse cuenta» Proceso e impacto de la participación juvenil en el desarrollo territorial en el Valle Santa Catalina (Perú), implementado con el objetivo de «romper el círculo intergeneracional de la pobreza» (pág. 56), promoviendo la organización de los jóvenes en redes empresariales. El proyecto formó parte de la iniciativa «conjuntos integrados de proyectos» propiciada por la Fundación Kellog. Participaron varias ONG, gobiernos locales, una agencia regional del gobierno central, una universidad y la propia Fundación. La historia centra la atención en la conformación y capacitación de un equipo de evaluación (interna), integrado por personal de los proyectos. Se destaca el aprendizaje y aplicación de lo aprendido: «dar cuenta de lo que estaba pasando, pero de darnos cuenta nosotros para este aprendizaje, eso era la parte más importante de la evaluación» (pág. 63).

La tercera historia, «Mujeres indígenas, territorialidades y evaluación». Historia de un camino (de)construido (Colombia), da cuenta de la evolución de una evaluación externa a una evaluación participativa, construyendo relaciones de colaboración con lideresas indígenas y grupos de mujeres de las organizaciones, siguiendo un proceso de adecuación y respeto cultural. Se destaca cómo las mujeres indígenas asimilan la ayuda externa y se apropian de los aprendizajes de la evaluación. El objetivo del proyecto, financiado por la Unión Europea, fue «que las mujeres indígenas fueran reconocidas como agentes de desarrollo en el marco del conflicto armado colombiano» (pág. 80).

La cuarta historia, «Saberes locales y actores institucionales». Evaluación de la Iniciativa Maternidades Seguras y Centradas en la Familia (Argentina), concierne a una evaluación en la que las evaluadoras externas enfrentan una situación compleja: múltiples actores, diez provincias con situaciones variadas, intervención sustentada en un enfoqué médico científico –distinto al campo práctico de experiencia de las evaluadoras– y falta de claridad sobre lo que se buscaba con la evaluación. El programa evaluado se enmarca en un convenio de colaboración entre UNICEF, el gobierno nacional y los gobiernos de 10 provincias. UNICEF participó como donante, cooperante técnico, y operador del componente de capacitación. La evaluación jugó un rol clave para legitimar el programa y su continuidad.

La quinta historia, «Evaluación con acento caribeño» El caso del Programa de Cuidadoras Itinerantes (Santa Lucía, Caribe), corresponde a la evaluación de una iniciativa auspiciada por la Fundación van Leer. Iniciada en Jamaica, se extendió a otros lugares del Caribe, incluyendo Santa Lucía. El objetivo fue «introducir y potenciar prácticas de crianza infantil tendientes al desarrollo integral de los niños pequeños» (pág. 119), en contextos de pobreza y privación, por medio de visitas familiares. La evaluación fue colaborativa y longitudinal, con un enfoque mixto (cuantitativo y cualitativo); y, seguimiento a 44 familias: mitad beneficiarias y mitad no beneficiarias.

La sexta historia, «De la indiferencia a la apropiación» El proceso de la autoevaluación en la Universidad Nacional Lanús-UNLa (Argentina), corresponde a un caso de autoevaluación institucional en el marco de la política universitaria de Argentina que requiere que las universidades pasen por un proceso de auto evaluación y de evaluación externa. Lo particular en esta historia es que el equipo de evaluación, encabezado por el Vicerrector, logró superar el ambiente de indiferencia y desinterés en la comunidad universitaria, producidos por la experiencia previa de una auto evaluación impuesta externamente. La preparación del equipo, el plan de trabajo y la calidad de la facilitación fueron fundamentales para motivar la participación y reflexión, culminando en la apropiación de la evaluación, como un proceso necesario y valioso para la gestión universitaria.

La séptima y última historia, «La mirada de los que ven». Evaluación participativa de los servicios de prevención y atención del cáncer en Valle Estrella (Costa Rica) muestra la viabilidad y aportes significativos de una evaluación participativa realizada por integrantes de la población beneficiaria, asistida por un equipo de apoyo y evaluadores externos. Esto, en un contexto de avances institucionales en Costa Rica en la práctica y cultura de evaluación. El programa evaluado es administrado por la Caja de Seguro Social, prestadora de servicios de salud. Funciona con la participación de las Juntas de Salud: organizaciones comunitarias que representan a la población asegurada, empresariado y asociaciones pro salud. La historia relata el itinerario seguido por la evaluación participativa. La propuesta de evaluación fue seleccionada por la Plataforma Nacional de Evaluación (una plataforma multi actor y multi sectorial) interesada en «promover la demanda de evaluaciones por parte de la ciudadanía» (pág. 168); y, fue apoyada por el proyecto de Fortalecimiento de Capacidades en Evaluación (FOCEVAL).

En Dejar huella, Rodríguez Bilella y Tapella, replican un estudio previo sobre «evaluaciones que marcan la diferencia», que han tenido un impacto en la vida de las personas, realizado por un grupo de evaluadores de varias asociaciones de evaluación, liderado por Burt Perrin (Sociedad Europea de Evaluación). En el estudio de ocho evaluaciones seleccionadas, practicadas en diversas regiones del mundo, se identificaron los factores que favorecieron el impacto de las evaluaciones (Perrin y otros 2015). Cabe anotar que en el grupo de evaluadores participó Rodríguez Bilella (Red de Seguimiento, Evaluación y Sistematización en América Latina – ReLAC).

Las historias tratadas en Dejar huella corresponden a evaluaciones de proyectos en México, Perú, Colombia, Argentina (dos), Santa Lucía y Costa Rica. La de México forma parte de las ocho del estudio liderado por Perrin. La elaboración y redacción de las historias fue hecha por los dos autores, en base al material recibido y entrevistas con los actores participantes. Las evaluaciones se refieren a intervenciones con diferentes tiempos de implementación y en contextos particulares y localizados.

La conclusión central de los autores es que se requiere que la evaluación sea participativa, de comienzo a fin, para que sea significativa, que los actores se apropien de sus resultados y los empodere. Las historias ponen de relevancia la potencia de la evaluación cualitativa y participativa en contextos de diversidad cultural y social, pobreza y exclusión social, en relación a lo cual identifican los siguientes factores facilitadores: participación activa de los usuarios y cercanía de los evaluadores con los actores involucrados; importancia de captar la perspectiva de los actores y dar voz a los usuarios; motivación, factor personal y voluntad política; equipo evaluador interdisciplinario con capacidad técnica, competencias y capacidad para trascender el rigor técnico; el factor tiempo implicado en los procesos participativos. Aun cuando, en el texto no se presenta un cuadro síntesis de estos factores ni un esquema de su articulación, se los va señalando haciendo referencia a las historias.

En el estudio liderado por Perrin, los factores facilitadores fueron traducidos a «formas de mejorar la evaluación de impacto» considerando dos círculos: Primero, lo que los evaluadores pueden hacer; segundo, lo que los usuarios de la evaluación pueden aportar; y un área común (de intersección): lo que ambos pueden hacer. (Perrin 2015, págs. 6-9). Los factores identificados por Rodríguez Bilella y Tapella concuerdan, en gran medida, con los factores incluidos en el esquema de los dos círculos y su área común, concordancia que fortalece la conexión sostenida entre la evaluación participativa y la evaluación de impacto, tal como se plantea en ambas publicaciones.

A partir de sus constataciones, sostienen que «la razón última de la evaluación apunta a contribuir de alguna manera a dicha mejora social o impacto», que se «trasciende la mera utilización de los resultados de la evaluación», y que «la utilización per se deja de ser el objetivo final de la evaluación al apuntar, ahora más bien, a que los cambios promovidos por ella puedan dar lugar a mejoras en la vida de las personas». En este sentido, sostienen que «la evaluación puede tener un impacto transformador en la vida de los actores usuarios de programas y políticas» (págs. 13-14).

Se puede decir que las historias y análisis presentados contribuyen a identificar factores facilitadores para propiciar un cambio profundo, en el sentido de un cambio en las personas y en los patrones de relación con quienes ejercen posiciones de autoridad y poder. Sin embargo, en la mención de estos factores queda en la penumbra la interacción que pueda darse entre ellos, generando sinergias de cambio. Así mismo, queda la interrogante de sí los cambios sostienen su dinámica transformadora en el largo plazo, y las condiciones que tendrían que darse para que ocurra.

Si seleccionamos evaluaciones que reúnen ambas condiciones: impacto en las personas y aplicación de un enfoque y metodología de evaluación participativa, ciertamente tenemos que concluir que el impacto es consecuencia del enfoque y metodología participativa. ¿Habría que descartar que otros tipos de evaluación puedan tener impacto en las personas? ¿Podrían darse evaluaciones participativas sin impacto?

La evaluación es parte del sistema más amplio que se configura en la intervención para el cambio. Se espera que la intervención produzca un punto de quiebre en la realidad en la que se interviene, que tenga impacto en las personas y comunidades involucradas. Por lo cual se colige que las historias presentadas se refieren a intervenciones fallidas o con fallas en su diseño y ejecución. La cuestión está en la lectura de la realidad que hacen los responsables de la intervención y en sus modos de relacionamiento con las personas y poblaciones involucradas. Si operan desde una posición directiva técnico-burocrática, bajo nivel de empatía y de sensibilidad cultural, y énfasis en el cumplimiento de plazos administrativos, lo más probable es que la intervención sea inefectiva, no genere los cambios deseados aun cuando se cumpla con la realización de las actividades programadas.

Resulta fundamental tener una noción clara del contexto y de su dinámica, no sólo con referencia a la población o comunidad en la que se interviene, sino también en el contexto más amplio que involucra a las agencias y personal a cargo del proyecto. En este sentido, la evaluación debe jugar un rol crítico, de inicio a fin, cumpliendo una realimentación efectiva. Así, se podrá contar con intervenciones y evaluaciones transformadoras, con impacto.

REFERENCIAS

PERRIN, B., ZORZI, R., RODRIGUEZ-BILELLA, P., BAYLEY, S., YAKEU, S., y DE SILVA, S. (eds.) (2015): Evaluations that make a difference, 54 págs. https://evaluationstories.files.wordpress.com/2015/11/evaluaciones-que-marcan-la-diferencia-sp_27sep15.pdf.

RODRÍGUEZ BILELLA, P. y TAPELLA, E. (2018): Dejar huella. Historias de evaluaciones que marcaron la diferencia, 188 págs. San Juan, Argentina: Editorial Universidad Nacional de San Juan. (Versión digital accesible en: https://www.researchgate.net/publication/327872146_Dejar_huella_Historias_de_evaluaciones_que_marcaron_la_diferencia).