INTRODUCCIÓN

Ante similares problemas sociales, los gobiernos de distinto signo ideológico aplican políticas y programas sociales diferentes que, a su vez, evalúan también en forma diversa.

El presente artículo realiza una breve revisión teórica de la evaluación de programas sociales en torno a la diversidad posible en dos de sus aspectos sustantivos: sus formas de organización y sus métodos. Ambos resultan relevantes para lograr un informe de calidad y una utilización efectiva de las recomendaciones; sin embargo, el primero ha sido poco debatido en la literatura especializada de evaluación.

El objetivo principal del trabajo es de carácter empírico y se refiere a la evaluación de programas sociales en el caso mexicano, en el que se describe la experiencia emergente en el Gobierno del Distrito Federal y se compara con la relativamente consolidada en el Gobierno Federal. Esto permite, por un lado, enriquecer el inventario de experiencias sustancialmente diferentes en materia de organización y métodos de evaluación y, por otro, resalta la importancia de la dimensión organizativa en la comparación realizada.

El trabajo se basa en investigación documental e incluye: una breve revisión conceptual; la discusión teórica de los dos temas mencionados, iniciando por el más discutido (métodos); el análisis empírico del caso, considerando los mismos temas en la secuencia que exige su práctica (organización antes que métodos); y finalmente, las conclusiones.

1. REVISIÓN TEÓRICA

Con objeto de facilitar la compresión del caso que se analiza, a continuación se definen los principales conceptos utilizados en el mismo:

Las políticas públicas constituyen “…un fenómeno social, administrativo y político específico, resultado de un proceso de sucesivas tomas de posición, que se concretan en un conjunto de decisiones, acciones u omisiones, mismas que traducen, en un lugar y período determinado, la respuesta preponderante del Estado frente a problemas públicos vividos por la sociedad civil” (Cardozo, 2006: 25-26, retomando elementos desarrollados en O’Donnell y Oszlak, 1976; y Oszlak, 1980).

Las políticas referidas se concretan en sectores o temas específicos mediante el diseño de programas que presentan definiciones más precisas de sus componentes (objetivos, metas, recursos, acciones, tiempos).

Un tipo particular de políticas públicas está constituido por las políticas sociales, “…cuyo objetivo final es el logro del bienestar social mediante estrategias de redistribución de la riqueza y del ingreso para impulsar un mejoramiento continuo de las condiciones de vida de la población” (Cardozo, 2006: 153).

El proceso de estas políticas puede desagregarse en etapas cuya secuencia temporal no siempre puede respetarse en la práctica. La literatura se refiere fundamentalmente a tres: formulación, implementación y evaluación.

La última etapa identificada analiza y valora los procesos, resultados e impactos provocados por las dos anteriores ¹ . Puede definirse como una investigación aplicada, de tendencia interdisciplinaria, realizada mediante la aplicación de un método sistemático, cuyos objetivos fundamentales son:

• técnicos: conocer, explicar y valorar una política o programa para aportar

elementos al proceso decisorio que permitan mejorar los efectos de la actividad evaluada, resaltando la importancia atribuida a la emisión de un juicio valorativo sobre dicha actividad, y

• políticos: contribuir al logro de una democracia efectiva, a través de la

rendición de cuentas del gobierno a los ciudadanos y de su participación efectiva en el proceso (Cardozo, 2006).

En consecuencia, la evaluación se justifica: a) técnicamente, por las múltiples brechas que pueden presentarse entre los problemas sociales y su definición pública, el diseño y la implementación de las políticas y programas que se proponen resolverlos; y b) políticamente, por los procesos de democratización (debate ciudadano, aprendizaje participativo, credibilidad,) y reforma del Estado (privatización, descentralización) que se agravan en países de gran tamaño, sujetos a una estricta disciplina fiscal, como sucede en el caso mexicano.

Cuando ésta se realiza de forma integral, ya sea externa o interna, trata de: a) describir los recursos empleados, b) describir el proceso que se llevó a cabo, c) explicar sus determinantes y condicionantes contextuales, d) identificar, medir y valorar los resultados e impactos alcanzados, d) calificar su grado de efectividad y e) proponer recomendaciones para decidir si continúa aplicándose, y si lo hará con o sin modificaciones tendientes a resolver, o al menos reducir, los problemas identificados. Implica verificar si los efectos esperados se han producido, y en qué grado éstos pueden ser atribuidos a la política o el programa evaluado, descartando impactos de otras posibles variables intervinientes, así como identificar si se han presentados efectos no planeados (externalidades positivas o negativas).

Para llevar a cabo las actividades anteriores se utilizan métodos que dotan al evaluador de una perspectiva y un conjunto de principios o normas que guían su actuación y le permiten seleccionar y coordinar las técnicas más adecuadas para el análisis y valoración de una política o programa.

El debate sobre los métodos ha sido muy intenso. Algunos de los aspectos más discutidos provocan posiciones teóricas encontradas que explicitaremos a continuación: a) el grado de objetividad del evaluador; b) las actitudes asumidas en cuanto a la profundidad del trabajo y su referente valorativo; c) su nivel de tecnicismo y de participación; d) su enfoque uni o multidisciplinario; e) su objetivo de aprendizaje o de sanción; f) la necesidad o falta de relevancia atribuida al conocimiento del evaluador sobre el tema a evaluar; g) su énfasis en el papel de la teoría y de las pruebas; h) el grado en que la evaluación se construye en cada caso o se estandariza un modelo único aplicable a cualquier programa; y principalmente, i) el énfasis en la utilización de métodos cuantitativos o cualitativos.

En el abanico de posiciones asumidas frente a las opciones previas, dos grandes corrientes (en la práctica a veces combinadas en una perspectiva contingente) orientan prioritariamente la evaluación de programas en la actualidad: el énfasis positivista, de origen estadounidense, y el contructivista, desarrollado en el contexto europeo.

Esquemáticamente, los enfoques positivistas se caracterizan por poner distancia respecto del objeto analizado, preocuparse de la validez interna y externa de su diseño metodológico, la confiabilidad, el poder de generalización, la objetividad, el énfasis en la cuantificación y la utilización privilegiada de la experimentación.

Los constructivistas, por su parte, consideran que existen tantas realidades como individuos (en lugar de visiones objetivas), se interesan en fenómenos que articulan lo micro y lo macro, lo formal y lo informal, recuperan los efectos del contexto, la pluridimensionalidad de los problemas y la organización en red, rechazan la separación tajante de las etapas del proceso de políticas públicas y la realización de estudios de caso sectoriales, y enfatizan la investigación cualitativa, a veces apoyada en la estadística (Mayntz ,1987; Le Moigne, 1994; Thoenig, 1998; Monnier, 1995; Durán,1999).

Por otra parte, si bien el problema del método es un asunto clave en materia de evaluación, hay otro aspecto muy importante y menos estudiado que enmarca la forma en que se desarrollan sus trabajos: la dimensión organizativa. Se trata de comprender que las administraciones públicas, en cuyo marco se realizan los procesos de gestión y evaluación, se componen de redes de organizaciones en que los aspectos políticos, culturales, de estructuración y de funcionamiento constituyen factores relevantes que afectan el desempeño evaluativo. El estudio de la dimensión mencionada, uno de los tres aspectos resaltados ²  en Francia por el Informe Deleau en 1986, constituye el aporte realizado por la sociología de las organizaciones y la sociología política al análisis de la evaluación.

El análisis de los factores organizacionales que afectan el desarrollo de la evaluación y la calidad de sus resultados implica tomar en cuenta al menos: a) el contexto político, jurídico y cultural; b) los órganos que deciden la realización de la evaluación y sus motivos; c) las organizaciones y actores participantes, su funcionamiento y relaciones formales e informales; d) la planeación del trabajo; e) los recursos asignados para su ejecución; y f) la difusión y utilización de los resultados (Cardozo, 2006).

En consecuencia, Thoenig propone redefinir la evaluación como un proceso de aprendizaje institucional, de transformación de lo que conviene hacer, de las reglas y las identidades. Para institucionalizar realmente esa evaluación, señala que es necesario algo muy diferente a establecer procedimientos administrativos: crear las condiciones que se enfoquen a cambiar la teoría en actos de los decisores, a modificar los modelos cognitivos y normativos que estructuran su visión del mundo, su representación de los problemas y su apreciación de los instrumentos movilizados para actuar (Thoenig, 2002).

2.- EL CASO DE MÉXICO

Se expone brevemente la situación social y las políticas mexicanas así como la caracterización de la organización y los métodos empleados para realizar la evaluación por el Gobierno Federal (GF), con el objetivo de presentar una nueva experiencia que busca encarar su trabajo con un enfoque diferente: la del Gobierno del Distrito Federal (GDF). En su tratamiento se retoman los aspectos analizados en la revisión teórica; sin embargo, para una mejor comprensión del caso concreto se invierte el orden en que ellos fueron tratados, respetando su secuencia empírica (primero la organización de la evaluación y luego los métodos aplicados en su desarrollo).

2.1. Pobreza, desigualdad y políticas sociales mexicanas

El proceso de industrialización mexicano, iniciado en los años cuarenta, provocó altas tasas de crecimiento económico que permitieron, incluso a los más pobres, aumentar su nivel de ingreso; sin embargo, éstas estuvieron acompañadas de una distribución del ingreso muy polarizada, que se fue profundizando con el paso del tiempo.

En el período 1963-1984, las mediciones realizadas (Hernández, 1991) muestran un sustantivo descenso de la pobreza general de 77 a 59%; pero, en 1994-1996, la crisis económica vivida provocó un nuevo incremento de la misma ³ .

Entre 1996 y 2006 los tres tipos de pobreza (alimentaria, de capacidades y de patrimonio ⁴ ) tendieron a disminuir; sin embargo, recién en 2001 alcanzaron aproximadamente el nivel que presentaban en 1992.

Entre 2006 y 2008 la tendencia volvió a invertirse; el porcentaje de personas en condición de pobreza alimentaria a nivel nacional aumentó de 13,8% a 18,2% (19,5 millones de personas), y en condición de pobreza de patrimonio, de 42,6% a 47,4% (50,6 millones de personas) como consecuencia del incremento en el desempleo, la disminución de las remesas recibidas del extranjero y los aumentos en el costo de la canasta alimenticia básica, principalmente. En cambio, este aumento no se produjo en el caso de la pobreza de capacidades debido al incremento de las transferencias efectuadas por los programas gubernamentales (CONEVAL, 2009a).

Pocos meses después, la misma institución dio a conocer nuevas estimaciones de pobreza para 2008, utilizando un método de medición multidimensional: 33,7% de pobreza moderada y 10,5% de pobreza extrema. Para el caso del Distrito Federal sus cálculos arrojan: 25,7% y 2,1% respectivamente (CONEVAL; 2009b). Sin embargo, las estimaciones de pobreza, efectuadas con criterios más estrictos, alcanzan aproximadamente a la mitad de la población de la entidad, o sea, 4,5 millones de personas (Evalúa DF, 2009).

Complementariamente, en 2005, la desigualdad medida por el coeficiente de Gini fue de 0,528 (Medina y Galván, 2008). Estos datos, cercanos al promedio latinoamericano, ubican a México en una situación intermedia entre los países de la región ⁵ .

En materia de política social, México desarrolló múltiples programas federales en las décadas de auge económico, principalmente en salud, educación, seguridad social y vivienda. Los mismos respondieron a la promoción del Estado de Bienestar en América Latina, mediante la ampliación de derechos sociales y la procuración de mejores condiciones de vida para el conjunto de la sociedad.

Pero, hacia finales de los ochenta, después de la aplicación del ajuste estructural para lidiar con la crisis fiscal del Estado de Bienestar y de la implantación del mercado como nueva centralidad, las mencionadas políticas sociales federales de amplio espectro tendieron a ser sustituidas por programas focalizados a la atención de la pobreza extrema ⁶ , situación que sigue vigente hasta la actualidad a pesar del cambio de partidos a cargo del Gobierno Federal (Partido Revolucionario Institucional, PRI, hasta el año 2000 y Partido Acción Nacional, PAN, en adelante) ⁷ . Estos programas enfatizan la realización de transferencias mínimas para la satisfacción de las necesidades humanas básicas, condicionadas al cumplimiento de un conjunto de obligaciones por parte de los beneficiarios, y las complementan mediante la inversión en políticas de formación de capital humano (alimentación, salud y educación).

En cambio, a nivel del Distrito Federal, desde 1997 en que el Partido de la Revolución Democrática (PRD) se hizo cargo del gobierno, éste ha defendido una mayor intervención estatal en la solución de problemas sociales y ha tratado de promover la participación de la sociedad en los procesos decisorios correspondientes. Así mismo ha definido un conjunto de principios rectores de la política, plasmados en la Ley de Desarrollo Social del Distrito Federal ⁸ , entre los que figuran algunos que marcan diferencias tajantes con la política federal: universalidad combinada con criterios de focalización territorial, integralidad, avance hacia un enfoque de derechos económicos, sociales, culturales y ambientales exigibles, participación ciudadana, entre otros.

2.2. La organización de la evaluación

El GF mexicano estuvo durante siete décadas en poder del PRI. En el largo período en que éste fungió como partido hegemónico no se generaron incentivos para impulsar estrategias de evaluación, sólo se implantaron algunos mecanismos de control punitivo que provocaban temor y rechazo en los funcionarios públicos.

Sin embargo, acabando el siglo pasado, los partidos de oposición fueron ganando cargos en las gubernaturas estatales, los gobiernos municipales y los congresos. Ante esta situación de incertidumbre creciente y elevado nivel de conflicto, el GF priísta propuso la aplicación de evaluaciones a los programas gubernamentales, estrategia compartida por el Banco Mundial (BM) y el Banco Interamericano de Desarrollo (BID).

En consecuencia, la evaluación externa y sistemática de los programas públicos fue asumida en 2001 por el GF panista para responder a una decisión tomada por la Cámara de Diputados. La misma se introdujo en todos los programas gubernamentales relevantes ⁹ , pretendiendo cubrir anualmente todo su proceso (incluso la medición de impacto), sin previa preparación de funcionarios y formación de especialistas que hasta ese momento se habían desempeñado en un universo ajeno a la cultura de evaluación, y sin modificar una legislación poco adecuada para la contratación de evaluadores externos.

En el proceso debían participar múltiples organizaciones (Cámara de Diputados, Secretarías de Estado responsables de los programas evaluados, órgano operadores de los anteriores, Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y universidades y centros de investigación invitados o contratados para aplicar las evaluaciones externas), lo que provocó problemas administrativos internos por falta de experiencia y dificultades en la coordinación interorganizacional.

La evaluación fue planeada por la secretaría responsable de cada programa y fue organizada, contratada y pagada por la organización que lo opera, lo que puso de relieve otros problemas: la ausencia de criterios de equidad para la fijación del monto de recursos disponible para evaluar cada programa, la falta de autonomía financiera del evaluador para garantizar su objetividad, así como la posterior difusión y utilización limitada de sus resultados (Cardozo, 2006).

En 2006, el GF creó el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) ¹⁰ . El mismo logró avances importantes en la organización y funcionamiento del sistema de evaluación; sin embargo, algunos problemas importantes siguen aún sin resolverse. Se trata principalmente de la ausencia de un fondo independiente de recursos para la contratación de todos los evaluadores, la aplicación generalizada de mecanismos de contratación por concurso, y la utilización efectiva de los resultados de la evaluación.

Es importante aclarar que el primer problema antes señalado y el cambio en la periodicidad de la evaluación de los programas, requeriría de una modificación de la legislación federal vigente.

Por su parte, en 2008, el gobierno local del Distrito Federal instaló el Comité de Evaluación y Recomendaciones del Consejo de Evaluación de la Política de Desarrollo Social (Evalúa DF) ¹¹ , creado el año anterior por decreto de su Jefe de Gobierno (de orientación política perredista), ante la necesidad de instrumentar un proceso, casi inexistente en su administración, que contribuyera a mejorar la gestión de sus programas.

Evalúa DF ha organizado un sistema de evaluación sustantivamente diferente al federal. En su presentación se pondrá énfasis en las acciones y propuestas de Evalúa DF frente a los principales problemas identificados en el contexto federal.

Reconociendo la limitada aceptación cultural que la evaluación tiene entre los funcionarios mexicanos, el relativo nivel de institucionalización de esta función y de profesionalización de quienes la realizan, Evalúa DF decidió discutir, analizar y capacitar a los servidores públicos en el tema, en forma paralela al inicio de sus trabajos, proceso que no se realizó a nivel federal. Se espera que el evaluador recoja y juzgue evidencias, pero también que actúe como facilitador de un proceso de aprendizaje, lo que a mediano plazo implica un cambio en su rol y en las características requeridas para cumplirlo (interdisciplinariedad, habilidades de negociación, didácticas, etc.), aspectos resaltados en la experiencia francesa (Monnier, 1995).

Durante la capacitación señalada ha sido muy importante resaltar el papel positivo de la evaluación, ligado al aprendizaje de los servidores públicos y de la ciudadanía, en contraste con el temido enfoque punitivo aplicado por el GF durante el siglo pasado. También se han señalado las limitaciones de este proceso, de manera que las expectativas generadas sean realistas.

A nivel federal, la falta de capacitación de los funcionarios en el tema se agravó debido a la ausencia de un manual básico o guía de evaluación que apoyara específicamente el nuevo trabajo a realizar. En Evalúa DF se pretende retomar la experiencia de países como Francia, Gran Bretaña o Canadá para la elaboración de una guía apropiada a nuestro contexto; sin embargo, la urgencia en la realización de otras tareas ha venido postergando su elaboración.

Por otra parte y como ya fuera mencionado, en el caso federal, la decisión asumida por la Cámara de Diputados en materia de evaluación llevó a que se tratara de evaluar anualmente todos los programas gubernamentales federales sujetos a Reglas de Operación, en todos sus aspectos: recursos, procesos, resultados e impactos. Esto resulta muy ambicioso, ningún país lo ha hecho, y se corre un altísimo riesgo de transformar a la evaluación en un procedimiento superficial y “rutinizado” (como el que vivió Canadá a inicios de los noventa), que busca cumplir una disposición legal sin hacer una contribución real al mejoramiento de los programas. Para evitar dicho riesgo, en 2008, Evalúa DF solicitó la evaluación externa de diseño y operación (postergando la medición de resultados e impactos) de sólo 13 programas ¹² , seleccionados con base en una combinación de diversos criterios (presupuesto del programa, visibilidad y sensibilidad ante la población, programas “centrales” y delegacionales, entre otros). En 2009, en cambio, se optó por solicitar la evaluación de la formulación e implementación de cuatro políticas sociales? (no sólo de programas), nivel en que la experiencia internacional es casi inexistente.

Para la contratación de los evaluadores, Evalúa DF comenzó por hacer una amplia convocatoria para conformar su padrón (el que se mantiene abierto en forma continua), seleccionando a los interesados que demostraron contar con conocimientos y experiencia en la materia. Posteriormente, se invitó a todos los que quedaron inscritos en el padrón a participar, vía concurso, en la realización de la primera y segunda rondas de trabajos, evitando así los procedimientos federales centrados en la invitación a tres o más instituciones y, en casos extremos, la asignación directa. En su selección se tomó en cuenta no sólo el compromiso de cumplimiento de lo solicitado por los Términos de Referencia, sino la calidad que puede ofrecer el equipo evaluador y su solvencia ética.

Adicionalmente, la experiencia federal muestra equipos de evaluadores que tienden a concentrar varias evaluaciones al mismo tiempo como forma de incrementar sus ingresos, lo que puede reducir la calidad del trabajo. Por ello Evalúa DF limitó a dos el número de evaluaciones que un mismo equipo podría realizar. En las dos primeras rondas de trabajos ningún equipo evaluó más de un programa o política.

Como ya se mencionó, un aspecto importante para garantizar lo más posible la necesaria independencia del evaluador es evitar que su pago sea realizado con recursos del mismo programa que está evaluando, problema que se presenta en la experiencia federal. En contraste, Evalúa DF conforma un fondo específico que distribuye los recursos disponibles de manera autónoma y en función de la complejidad del trabajo a realizar. Además, los montos a pagar son trasparentados desde la convocatoria y no quedan sujetos a competencia, como sucede en la experiencia federal.

Evalúa DF interviene a lo largo de todo el proceso de evaluación, en particular, poniendo en práctica procedimientos de acompañamiento del evaluador para superar ágilmente los problemas a que éste se enfrenta. De manera muy especial, en el caso de la contratación de evaluaciones externas (en forma similar al Consejo Científico de la Evaluación en Francia), Evalúa DF opina sobre la propuesta técnica (metodología, fuentes de información, mecanismos de participación, contenido tentativo del informe, cronograma de trabajo, etc.) que los equipos postulantes presentan y, una vez finalizado el trabajo, elabora un dictamen sobre la calidad del informe presentado: sus datos, métodos, conclusiones y recomendaciones.

Con base en el anterior, Evalúa DF redacta sus propias recomendaciones, mismas que tienen carácter de vinculatorio u obligatorio, diferencia sustantiva con el procedimiento federal, que se espera permita la efectiva utilización de los resultados encontrados para el mejoramiento del diseño, eficacia, eficiencia, equidad y calidad de los programas en curso. Además, este Comité ha diseñado un sistema de seguimiento de la aplicación de dichas recomendaciones y del impacto que van logrando en el programa, a fin de garantizar una verdadera gestión por resultados. Dicho sistema recién se está poniendo en práctica debido a que acaban de emitirse 121 recomendaciones vinculantes de la primera ronda, de la cuales 86 han sido aceptadas total o parcialmente por los programas evaluados, y con ellas se está iniciando el proceso.

Frente al casi único método de difusión de los informes finales empleado por CONEVAL (páginas de Internet), Evalúa DF considera importante divulgar ampliamente (como lo hace Costa Rica, por ejemplo) una síntesis de los resultados de las evaluaciones en periódicos y revistas de amplia circulación, para fomentar el debate ciudadano. Complementariamente, considera la posibilidad de publicar en forma de libro algunas evaluaciones seleccionadas. Sin embargo, a la fecha es poco lo que se ha podido realizar debido a restricciones presupuestales.

En resumen, podemos esquematizar la práctica de evaluación desarrollada a nivel federal y contrastarla con la emergente en el GDF (acciones y propuestas) en materia de organización:

ESQUEMA I

Comparación de la organización de la evaluación en México

Fuente: elaboración propia a partir de la información contenida en: http://www.sedesol.gob.mx http://www.coneval.gob.mx y http://www.evalua.df.gob.mx.

El contraste anterior, si bien en algunos casos no alcanza a denotar acciones sustancialmente diferentes debido a la mayor antigüedad de la práctica federal, señala propuestas y procesos de planeación que implican diferencias de valores y de criterios de organización y decisión.

2.3 Los métodos de evaluación

Desde sus comienzos la evaluación federal se ha mostrado interesada en la búsqueda de los métodos más rigurosos y objetivos, lo que la ha llevado a preferir las mediciones cuantitativas y las mediciones de impacto mediante métodos experimentales. En la práctica, éstos últimos han sido poco utilizados por falta de grupo de control, de información sobre la línea de base del programa, o de presupuesto para cubrir su costo. Por otro lado, la evaluación no ha sido cuidadosa en la determinación de tamaños muestrales de las encuestas, sus mecanismos de selección, y su inclusión en el informe, de manera que el lector pueda valorar la calidad de la información en que se basó el trabajo realizado.

También ha tendido a priorizar la expertise sobre la participación social, a lo sumo se limita a la respuesta de encuestas por los beneficiarios, y la especialización económica y econométrica sobre otras disciplinas.

La creación del CONEVAL, aunque se ha caracterizado por la continuidad metodológica de fondo, ha resuelto algunos problemas importantes como el contar con lineamientos más claros para la ejecución del trabajo o incluir en forma expresa la evaluación del diseño del programa (originalmente referida sólo a su operación) y solicitar su reestructuración con base en el Marco Lógico.

También ha introducido una clasificación de los tipos de evaluación de programas que planea realizar: de consistencia y resultados, de indicadores, de procesos, de impacto y específicas (no incluidas en las categorías anteriores). En 2007 el primer tipo, que incluye el diseño del programa, la planeación estratégica, la cobertura y focalización, la operación, la percepción de la población objetivo y los resultados, se estandarizó mediante un conjunto de preguntas con respuestas dicotómicas aplicables a los 106 programas evaluados (34 preguntas exclusivamente para diseño y 100 para consistencia y resultados en su conjunto).

En el caso de Evalúa DF, puesto que los estudios experimentales y cuasiexperimentales requieren la selección de un grupo al que se le aplica el programa y otro de control, con las mismas características, pero que no recibe los bienes, servicios o transferencias entregados por el programa, su política prioritariamente universal y basada en derechos, no permite identificar a un grupo excluido del programa, salvo que éste se autoexcluya, en cuyo caso ya no es igual al compuesto por quienes deciden obtener el apoyo del mismo. Por esta razón, por sus altos costos y, muy fundamentalmente, por los múltiples problemas éticos que implica, Evalúa DF se propone utilizarlos sólo en casos excepcionales.

Por otra parte, Evalúa DF aparece menos preocupado por la objetividad de las mediciones, más abierto a la utilización de métodos tanto cuantitativos como cualitativos, más interesado en la participación de las organizaciones sociales y los ciudadanos en general, y en la conformación de equipos multidisciplinarios donde el peso relativo de cada disciplina depende del programa evaluado.

Por último, el Comité local considera que cada evaluación debe construirse en función del tipo de programa a evaluar (de transferencias, de servicios, de construcción de infraestructura, entre otras), del área en que se trabaje (salud, educación, vivienda, transporte, etc.), de la etapa del proceso en que se han detectado problemas (diseño, operación, resultados, impactos), y cualquier otro criterio que resulte relevante en el caso particular. Así mismo, que el evaluador experimentado debe gozar de libertad para definir los métodos con los cuales cumplir con los objetivos de la evaluación solicitada. Sin embargo, al planear la primera ronda de evaluaciones en 2008, ante la limitada información disponible sobre la gestión de los programas, la urgencia por iniciar los procesos, y la demora en la elaboración de una guía de evaluación, Evalúa DF decidió elaborar un amplio cuestionario único para la evaluación de diseño y operación solicitada en esa oportunidad.

Adicionalmente, en 2009, al poner en marcha las evaluaciones de políticas, Evalúa DF diseñó Términos de Referencia ad hoc para cada una de ellas. Estos incluyen el listado de asuntos a revisar, pero ya no predefinen cuestionario alguno.

A la fecha el Comité local no ha solicitado aún evaluaciones de impacto o de satisfacción de la población, que requieran trabajo de campo. Cuando esto se realice se planea que su informe incluya un anexo en que se especifique y fundamente la forma en que fue determinada la o las muestras de la población encuestada, así como los parámetros utilizados en su cálculo y las limitaciones de la misma.

Por último, si bien a nivel federal se ha mencionado el interés de realizar una metaevaluación, con asesoría de un organismo internacional, que analice, valore y contribuya a mejorar la calidad de las evaluaciones realizadas, no se tiene conocimiento de que la misma haya sido realizada. Evalúa DF, considerando la importancia de reflexionar sobre lo realizado en su primer año de trabajo, ha puesto en práctica una metaevaluación que analizará todo el proceso desarrollado.

Esquemáticamente, las diferencias más relevantes encontradas entre los métodos de evaluación del GF y el GDF, incluyen:

ESQUEMA II

Comparación de métodos de evaluación

Fuente: elaboración propia.

Las características contrastadas nos llevan a identificar una mayor tendencia federal hacia el enfoque positivista de evaluación, mientras que el método empleado por el GDF presenta más connotaciones de índole constructivista.

CONCLUSIONES

El estudio empírico, desarrollado a partir del marco teórico expuesto, muestra que los problemas de pobreza y desigualdad continúan siendo muy fuertes en México; la primera incluso se ha incrementado a partir de 2006, lo que si bien se relaciona con la crisis mundial, el desempleo, el incremento del precio de los alimentos y la disminución de las remesas recibidas del exterior, también cuestiona la efectividad de las políticas y programas sociales aplicados, especialmente en la última década.

Como fue referido, los principios y criterios que guían el diseño de dichas políticas a nivel federal y del GDF son sustantivamente diferentes y responden a concepciones filosóficas y políticas opuestas en torno al debate del intervencionismo estatal. Ante el cuestionamiento de las mismas, CONEVAL ha reconocido la insuficiencia de las políticas focalizadas y la necesidad de complementarla con algunas políticas de carácter universal. Por su parte, Evalúa DF ha argumentado los errores de inclusión y exclusión cometidos por el programa Oportunidades y la poca efectividad de los programas focalizados en general. Para ello ha calculado la efectividad de las políticas de ambos gobiernos en la reducción de la pobreza: 0,98 y 2,85% para el nivel nacional y el Distrito Federal respectivamente en el caso de pobres; y 6,77 y 9,18% en el mismo orden para indigentes (Evalúa DF, 2009). Lo anterior, sin negar la gravedad de la situación local en que está viviendo la mitad de la población y la necesidad de proponer ajustes en la formulación e implementación de la política social del GDF.

En materia de evaluación, a pesar de que el GF tiene ya una cierta consolidación en su organización y sus métodos, y una experiencia acumulada de aproximadamente 10 años, el aprendizaje realizado a partir del análisis de experiencias extranjeras y del propio GF, está permitiendo a Evalúa DF organizarse y definir un enfoque metodológico emergente y novedoso para el contexto mexicano, que se espera se traduzca en mayor efectividad de los programas (recomendaciones profundamente analizadas y vinculantes) y mayor desarrollo de ciudadanía (mejor informada y participante).

Las diferencias encontradas en los dos sistemas de evaluación estudiados son múltiples en el plano metodológico, pero resultaron aún más numerosas en el organizativo, que juega un papel relevante en facilitar las condiciones que permiten a un especialista en métodos de evaluación arribar a la elaboración de un informe de calidad en sus análisis, conclusiones y recomendaciones. La organización del sistema también es responsable de que las recomendaciones resulten efectivamente incorporadas, después del estudio minucioso de su viabilidad, al rediseño y la gestión del programa.

El trabajo empírico realizado permite enriquecer el inventario de experiencias de evaluación disponibles, cuya efectividad será posible comparar con el transcurso del tiempo. Pero su estudio ha servido fundamentalmente para llamar la atención sobre la dimensión organizativa de la evaluación, que en la primera parte del trabajo se muestra relativamente descuidada en comparación con el intenso tratamiento merecido por la discusión metodológica.

 1  Las políticas en proceso de evaluación en 2009 incluyen: Infancia, Juventud, Acceso al agua potable, y Promoción del empleo y protección del trabajo.

 2  Los otros dos temas son metodología y deontología (reglas del arte).

 3  El incremento pasó de 69 a 78% con base en la medición de Boltvinik (1998), pero su cálculo no es necesariamente compatible con la serie presentada por Hernández (1991), en el período 1963-1984.

 4  El Comité de Medición de la Pobreza entiende por población en pobreza alimentaria aquella que no dispone de recursos suficientes para cubrir ni siquiera sus gastos de alimentación (similar a la indigencia en las mediciones de CEPAL); en pobreza de capacidades, la que logra cubrir los anteriores pero no los gastos correspondientes a salud y educación; y en pobreza de patrimonio, a la que cubre los gastos anteriores pero no alcanza a satisfacer necesidades como vivienda, vestido, zapatos, transporte, entre otras (cercana a la pobreza general de CEPAL).

 5  América Latina contaba con un estimado de 34,1% de pobres en 2007 (CEPAL, 2008), y un coeficiente de Gini de 0,533 en 2005 (Medina y Galván, 2008).

 6  El Programa Nacional de Solidaridad (PRONASOL) se creó en diciembre de 1988. En 1997 dio inicio el Programa de Educación, Salud y Alimentación (PROGRESA), que se transformó, con algunas modificaciones, en el Programa de Desarrollo Humano Oportunidades en 2001 (actualmente vigente).

 7  En la presentación de la nueva medición muldimensional de la pobreza, realizada en diciembre de 2009, CONEVAL reconoció la necesidad de desarrollar algunas políticas universales (seguridad social, educación, salud), además de las políticas focalizadas priorizadas hasta el presente (CONEVAL, 2009b).

 8  Aprobada en el año 2000 y reformada en 2004 y 2009.

 9  En 2002, sólo una secretaría (Desarrollo Social) tuvo que evaluar 31 programas.

 10  El CONEVAL está conformado por el titular de la Secretaría de Desarrollo Social federal, seis investigadores académicos elegidos por la Comisión Nacional de Desarrollo Social a través de convocatoria pública, y un Secretario Ejecutivo designado por el Ejecutivo Federal.

 11  Evalúa DF está compuesto por el Secretario de Desarrollo Social del DF, y seis consejeros ciudadanos seleccionados en convocatoria pública por la Comisión Interinstitucional de Desarrollo Social del Distrito Federal.

 12  Los programas mencionados fueron: - Pensión alimentaria para adultos mayores; - Acceso gratuito a los servicios médicos y medicamentos de las personas residentes en el DF que carecen de seguridad social laboral; - Apoyo económico a las personas con discapacidad; - Atención integral de cáncer de mama en el DF; - Microcréditos para actividades productivas de autoempleo; - Vivienda en conjunto; - Mejoramiento de vivienda y/o lote familiar del DF; - Estímulos para el bachillerato universal; - Programas de Desarrollo Social de las Delegaciones Iztapalapa, Gustavo A. Madero, A. Obregón, Tláhuac y M. Hidalgo.