Diagnóstico de los sistemas de monitoreo y evaluación en Chile
←
→
Transcripción del contenido de la página
Si su navegador no muestra la página correctamente, lea el contenido de la página a continuación
Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina Diagnóstico de los sistemas de monitoreo y evaluación en Chile Salvador Ríos Hess El equipo CLAD-Banco Mundial a cargo del Proyecto revisó, junto con la profesora Sonia Ospina, la primera versión del informe. El documento que aquí se presenta fue sometido a la consideración de las instituciones con responsabilidad en la conducción de los sistemas en estudio, a saber: Ministerio Secretaría General de la Presidencia: Ricardo Brodsky, Jefe de la División de Coordinación Interministerial; y Gustavo Marcos, Jefe del Sistema de Seguimiento de la Programación Gubernamental (SPG). Ministerio de Hacienda. Dirección de Presupuestos: Heidi Berner, Jefe de la División de Control de Gestión. Banco Mundial CLAD Centro Latinoamericano de Administración para el Desarrollo
Banco Mundial CLAD Centro Latinoamericano de Administración para el Desarrollo Noviembre 2007 © Banco Mundial © Centro Latinoamericano de Administración para 1818 H St. NW el Desarrollo (CLAD) Washington, D.C. 20433 - Estados Unidos Apartado 4181, Caracas 1010-A, Venezuela Tel.: (1202) 4771000 Tel.: (58212) 9922395/3297/5953/4064/9937277 Fax: (1202) 4776391 Fax: (58212) 9918427 E-mail: feedback@worldbank.org E-mail: cedai@clad.org.ve http://www.worldbank.org http://www.clad.org.ve ISBN: 978-980-6125-52-0 Depósito Legal: lf86020073323641 Las ideas y pensamientos contenidos en el documento no representan necesariamente los criterios del Banco Mundial ni del CLAD. No se permite la reproducción total o parcial de este documento, ni su almacenamiento en un sistema informático, ni su transmisión en cualquier forma o por cualquier medio, electrónico, mecánico, fotocopia u otros métodos, sin el permiso previo del Banco Mundial y del CLAD. Documentos Estudios de Casos del CLAD, No. 3 2
PREFACIO En 1998, el Consejo Directivo del CLAD alertó en el documento “Una Nueva Gestión Pública para América Latina”, que la administración pública en la región estaba sufriendo los males de una rutinización extrema. Por ello, el documento proclama de manera fehaciente que un nuevo modelo administrativo que permita el aumento de la eficacia, la eficiencia y la efectividad de la administración pública, además de crear nuevas condiciones que posibiliten una relación más democrática entre el Estado y la sociedad, debe estar orientado por el control de los resultados, entre otros aspectos. La consolidación de ese nuevo modelo de gestión pública requiere una modificación de la cultura administrativa que admita una definición clara de los objetivos de la organización, focalizados en sus aspectos sustanciales y no como procesos administrativos formales, de manera que la evaluación de la gestión pública se realice a través del cumplimiento de metas más que a partir del respeto a reglas que, en muchas ocasiones, son auto-referidas por la burocracia. Así, se fortalecerá la capacidad de la administración pública para aprender de su desempeño y mejorar continuamente la prestación de servicios públicos. Desde aquella oportunidad, el CLAD se ha abocado a desarrollar actividades que impulsen condiciones favorables a una “gestión por resultados”, en especial, aquellas que promuevan la construcción de sólidos sistemas gubernamentales de evaluación. Gracias a la coincidencia de objetivos, se produjo una alianza entre el CLAD y el Banco Mundial que impulsó en el 2006 un proyecto conjunto cuya finalidad es la de fortalecer los sistemas de monitoreo y evaluación de los gobiernos de América Latina y el Caribe, por medio del intercambio de conocimientos y el aprendizaje Sur-Sur. Por su parte, el Banco Mundial no solamente se encuentra dedicado al monitoreo y evaluación (M&E) de los proyectos y programas que financia, sino que también apoya a sus países miembros en el desarrollo e implementación de metodologías apropiadas de M&E en los distintos niveles del gobierno central y local, bajo un enfoque orientado a mejorar la gestión de todas las etapas del ciclo presupuestal y a motivar la participación y supervisión ciudadana durante todo ese ciclo. Bajo el primer aspecto, el Banco continuamente se encuentra mejorando los mecanismos de M&E, en lo que respecta al diseño e implementación de sus operaciones de inversión y los Préstamos para Políticas de Desarrollo (DPL, por sus siglas en inglés), a través de auto evaluaciones realizadas por las entidades ejecutoras, evaluaciones realizadas por el personal del Banco, evaluaciones independientes incorporadas en el diseño de los proyectos, y las actividades de su Grupo de Evaluación Independiente (IEG, por sus siglas en inglés) que reporta directamente al Directorio Ejecutivo del Banco. En lo referido al segundo aspecto, por solicitud de los gobiernos, el Banco apoya los esfuerzos del país por fortalecer sus sistemas de M&E. Actualmente, el Banco se encuentra trabajando con alrededor de 30 gobiernos, entre ellos, siete de la región de Latinoamérica y el Caribe, para brindarles apoyo en el fortalecimiento de dichos sistemas, incluyendo componentes específicos de créditos y donaciones. Normalmente, las unidades de Gerencia del Sector Público y el IEG proporcionan la asistencia técnica requerida por los gobiernos en materia de M&E. Para el Banco Mundial, M&E va mucho más allá de la evaluación ex post tradicional. Cuando se incluye en el ciclo del presupuesto global, M&E constituye una herramienta clave para diseñar programas y asignar presupuestos para lograr mejores resultados y mejorar los servicios prestados a la población. Al realizar un seguimiento efectivo del gasto público, es posible identificar las políticas más adecuadas para aliviar la pobreza, así como estructurar las reformas pendientes más urgentes, y asegurar que los beneficios de tales reformas efectivamente alcancen a los grupos objetivo. En general, el M&E es un insumo valioso para los congresos y gobiernos que necesitan de información confiable para la toma de decisiones sobre políticas públicas, y resulta esencial para definir un Marco de Referencia del Gasto Público a mediano plazo. 3
A partir de esta iniciativa conjunta de CLAD-Banco Mundial, se han logrado importantes avances que van desde innovaciones conceptuales sobre el objeto de estudio, que nos ofrece el término más preciso de “gestión para resultados”, hasta la obtención de los primeros productos constituidos por los Informes Nacionales que hoy publicamos. Por ello, el CLAD y el Banco Mundial agradecen el trabajo intenso de los coordinadores e investigadores de este proyecto, y el apoyo solidario de los gobiernos de América Latina y el Caribe. Julio César Fernández Toro Secretario General Centro Latinoamericano de Administración para el Desarrollo (CLAD) Nicholas P. Manning Gerente Sectorial Reforma del Sector Público Banco Mundial 4
PRESENTACIÓN En el marco de una estrategia que aspira a orientar la gestión pública a resultados relevantes para el desarrollo, las dos últimas décadas han sido testigos de múltiples esfuerzos por institucionalizar el Monitoreo y la Evaluación (M&E) como una función clave de gobierno. Ante este panorama, diversos organismos, entre los cuales se cuentan el Banco Mundial y el CLAD, han realizado esfuerzos sistemáticos por apoyar el fortalecimiento de los sistemas gubernamentales de M&E, promoviendo el aprendizaje y el intercambio de conocimientos Sur-Sur. Un paso más en esta dirección lo constituye el proyecto "Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina y el Caribe", iniciado por ambas instituciones en diciembre del 2006, y del que forma parte el informe que acá se presenta. La atención, en una primera etapa, se ha focalizado en el estudio de los sistemas nacionales de M&E en Chile y en otros once países, a saber: Argentina, Bolivia, Brasil, Colombia, Costa Rica, Honduras, México, Nicaragua, Paraguay, Perú y Uruguay. Con base en las especificidades nacionales, el objetivo básico es ofrecer una comprensión más profunda acerca de los factores que pueden incidir en la institucionalización de los sistemas. El avance en la teoría que enriquezca la práctica es, pues, el norte de esta fase del Proyecto. Teniendo en consideración tales propósitos, dos rasgos básicos caracterizan estos estudios diagnósticos. Primero, una perspectiva integral que busca identificar los principales sistemas nacionales de M&E que operan en cada país, y conocer sus eventuales conexiones. Segundo, una base teórico-metodológica común a todos los estudios, que aspira a enriquecer un conjunto de hipótesis, enraizadas a su vez en el estado del arte acerca de la institucionalización del M&E. Han sido fundamentales, a estos efectos, las contribuciones de la profesora Sonia Ospina, integrada al equipo de dirección del Proyecto en esta primera etapa. El Proyecto ha contado, además, con el apoyo de reconocidos especialistas, que se han encargado de los diagnósticos nacionales y que intervinieron en dos encuentros colectivos para aportar a la construcción de una perspectiva común. También se ha beneficiado de la generosa colaboración de las autoridades gubernamentales con responsabilidades en los sistemas. Todo ello hace posible aspirar a que los resultados que se entregan puedan contribuir, en alguna medida, al fortalecimiento del M&E con miras a enriquecer las decisiones estratégicas de los países en pos del desarrollo. Este nuevo producto de la alianza CLAD-Banco Mundial es la continuación de una larga relación de colaboración e intercambio de experiencias entre ambas instituciones durante más de diez años, que se ha materializado en contribuciones específicas de expertos del Banco a las publicaciones del CLAD y su participación frecuente en eventos organizados por la institución y principalmente en su Congreso Anual. Cada uno de los estudios de país será presentado por un experto del Banco Mundial que ha trabajado en temas de M&E en dicho país, a fin de contextualizar el análisis del autor del estudio con las actividades del Banco en materia de M&E desde cualquiera de las dos perspectivas mencionadas en el Prefacio (como parte de la supervisión de los programas o proyectos que el Banco financia, o como parte de la asistencia técnica prestada a los países que lo solicitan en el marco general de su ciclo presupuestal). Además de la publicación del estudio comparativo en el que se presenta una visión de conjunto de los hallazgos y conclusiones de los estudios de país, se espera continuar este ejercicio de investigación y difusión de conocimientos con una serie de conferencias y talleres regionales, y con el desarrollo de 5
materiales didácticos en materia de M&E en áreas como taxonomía de sistemas de M&E, marco conceptual de indicadores, e indicadores normalizados y selectivos en áreas críticas. En esas tareas, además de prestigiosos consultores internacionales, colaborarán expertos del IEG y del Instituto del Banco Mundial (WBI, por sus siglas en inglés). David Fernando Varela S. Nuria Cunill Grau Banco Mundial Centro Latinoamericano de Administración para el Desarrollo (CLAD) 6
ÍNDICE Prólogo Roberto O. Panzardi, Banco Mundial 9 Resumen Ejecutivo 11 Introducción 15 I. Antecedentes y panorámica global de los sistemas 21 1.1 Descripción general 21 1.2 Línea cronológica 24 1.3 Normativa 28 1.4 Financiamiento y sostenibilidad 29 II. Orientación funcional de los sistemas y naturaleza de sus herramientas 30 2.1 Orientación funcional 30 2.2 Instrumentos de evaluación y monitoreo 34 2.3 Capacidad de los sistemas para diversificar los instrumentos de M&E 40 III. Coherencia institucional 42 3.1 Capacidad de integración al interior de los sistemas 42 3.2 Capacidad de integración con otros sistemas 43 IV. Uso de la información 46 4.1 Credibilidad de la información 46 4.2 Acceso a la información 46 4.3 Consumo de la información 46 4.4 Impacto de la información. Caso de los programas sociales 49 V. Institucionalización de los sistemas 71 5.1 El Sistema de Control de Gestión de la Dirección de Presupuestos 71 5.2 El Sistema de Seguimiento de la Programación Gubernamental de la DCI 75 VI. Resumen y desafíos 78 6.1 Resumen de recomendaciones para el SCG 79 6.2 Resumen de recomendaciones para el SPG 80 6.3 Desafíos 81 6.3.1 Integración de los dos principales sistemas de M&E en Chile: el SPG y el SCG 81 6.3.2 Superar limitaciones al mejoramiento de los programas gubernamentales 85 Bibliografía 87 Lista de resúmenes de entrevistas y documentos relacionados 89 Glosario de siglas utilizadas 91 7
8
PRÓLOGO La experiencia chilena en cuanto a sistemas de Monitoreo y Evaluación (M&E) es quizás la más avanzada en América Latina. La implementación del Sistema de Seguimiento de la Programación Gubernamental (SPG) y del Sistema de Control de Gestión (SCG) ha permitido iniciar un proceso de discusión de los resultados de gestión pública acompañada con evaluaciones independientes. Chile ha ido aprendiendo de las experiencias de países desarrollados como Inglaterra, Irlanda, Australia y Nueva Zelanda, y ha incorporado a su propia realidad instrumentos de gestión por resultados. En forma metódica y sistemática, Chile ha probado una variedad de instrumentos a través del tiempo. Dicha diversidad de instrumentos implementados queda claramente reflejada al analizar, por ejemplo, el caso del Sistema de Control de Gestión, donde se trabaja con instrumentos tales como las Definiciones Estratégicas, el Programa de Mejoramiento de Gestión, los Indicadores de Desempeño, el Balance de Gestión Integral y los Fondos Concursables. Si bien la utilización de algunos de estos instrumentos ha ido variando a través del tiempo, esto refleja la madurez del sistema de M&E y el apoyo político con que se ha contado. Las instituciones y las personas responsables que participan en el diseño e implementación del sistema de M&E, incluyendo las universidades y el sector privado, han contado con plena independencia técnica, y es sólo por ello que el sistema de M&E es hoy de utilización tanto por el Poder Ejecutivo como por el Poder Legislativo. El actual sistema de M&E ha sido evaluado por agentes externos, nacionales e internacionales, que si bien reconocen áreas que pueden ser mejoradas, indican las cualidades positivas del sistema chileno. En esta misma línea, el Banco Mundial fue llamado por la Dirección de Presupuestos (DIPRES) a colaborar con Chile en la implementación del Sistema de Información para la Gestión Financiera del Estado (SIGFE), a nivel central, regional y municipal. También, el Banco fue invitado a colaborar en la preparación de estudios para la revisión de ciertos instrumentos. Los reportes preparados son el “Análisis del Programa de Evaluación del Gasto Público” y el “Programa de Mejoramiento de Gestión”. Esta colaboración mutua ha sido instructiva para ambas partes. Esperamos en el futuro poder compartir esta rica experiencia de gestión por resultados con otros países de la región. Roberto O. Panzardi Especialista Senior en Reforma del Sector Público Banco Mundial 9
10
RESUMEN EJECUTIVO En Chile hay dos sistemas de M&E de alto nivel, que cubren la acción conjunta del gobierno. Son: el Sistema de Seguimiento de la Programación Gubernamental SPG, de la División de Coordinación Interministerial (DCI) del Ministerio de la Secretaría de la Presidencia (SEGPRES), y el Sistema de Control de Gestión SCG, de la Dirección de Presupuestos (DIPRES) del Ministerio de Hacienda. El SPG entrega informes trimestrales a los servicios y ministerios, que permiten gestionar los problemas y re direccionar la acción del Estado, de forma de obtener mejores resultados a fin de año. Estos informes están disponibles en línea para los servicios evaluados y se realizan reuniones para abordar los puntos más problemáticos con los respectivos subsecretarios (viceministros). La siguiente tabla da cuenta de sus funciones. Sistema SCG de DIPRES Sistema SPG de SEGPRES Áreas de aplicación de un sistema Orden de Orden de Orden de Orden de de M&E prioridad prioridad en la prioridad prioridad en la declarado práctica declarado práctica 1. Planificación y Control de 1 1 Agenda Programática 2. Gestión Presupuestaria 1 1 3. Mejoramiento de la Gestión 1 1 de instituciones 4. Gobernanza 1 1 1 1 Orden de prioridad de funciones en los sistemas (1: máximo; 5: mínimo). El sistema SCG promueve y realiza una participación informativa, pues informa públicamente tanto sus procesos como los resultados de su gestión por su página web. En forma similar, el sistema SPG informa los resultados al término del ejercicio anual, a través del Discurso Presidencial del 21 de mayo, y de reportes especiales (Balance de Gestión Integral) al Congreso Nacional. Por otra parte, en el área social, el Ministerio de Planificación (MIDEPLAN) lidera el denominado “Pacto Social para el Desarrollo”. Este pacto implica articular un Sistema de Protección Social, cuya pieza central es el Programa Chile Solidario, focalizado en las familias en extrema pobreza. Chile Solidario se apoya a este efecto en un sistema de monitoreo social constituido por un conjunto de herramientas cuyos objetivos son: (i) identificar y priorizar la población más vulnerable, y (ii) apoyar la administración de la asignación de los diversos beneficios sociales del Estado. En relación con la influencia que tendrían los sistemas de monitoreo y evaluación en Chile sobre la gestión presupuestaria, concretamente si estarían contribuyendo en un presupuesto por resultados y de ese modo en el mejoramiento del gasto público, la evidencia recogida apunta a mostrar la existencia de una influencia positiva en dos vertientes: a) La información producida por los sistemas, tanto por el SCG como por el SPG, forma parte de los recaudos que acompañan y soportan las partidas del proyecto de presupuesto, y es considerada a lo largo de las etapas que conforman el proceso presupuestario. En concreto: los indicadores de desempeño, las evaluaciones de programas gubernamentales y los reportes de ejecución de los programas de la agenda programática del gobierno se revisan durante la etapa de evaluación presupuestaria del ejercicio fiscal anterior; la etapa anterior da origen a la discusión de los proyectos de presupuestos en la comisiones mixtas entre la DIPRES y los organismos sectoriales, donde se comprometen metas físicas a través de 11
indicadores, de compromisos ministeriales de mejoramiento y de los compromisos del Programa de Mejoramiento de Gestión (PMG), metas que se consideran parte integrante de los recaudos de los presupuestos, y que, una vez que el proyecto de ley de presupuesto es aprobado, ingresan a ambos sistemas para su seguimiento durante el ejercicio siguiente. La Comisión Especial Mixta de Presupuesto del Congreso recibe no sólo el proyecto de ley de presupuesto, sino además los reportes de Balance de Gestión Integral, BGI, de cada uno de los servicios del gobierno. Estos informes son un instrumento del sistema SCG de DIPRES, que contienen el resultado anual del SPG. b) Considera una expresión cuantitativa del beneficio social de los programas simultáneamente con su incidencia presupuestaria (sea en una relación Beneficio/ Costo absoluta o incremental) para justificar el presupuesto, lo cual depende de procesos en desarrollo: Se busca superar las dificultades inherentes a estimar el beneficio social con nuevos indicadores de desempeño referentes a usuarios y beneficiarios, y con evaluaciones de impacto cada vez más sofisticadas, realizadas simultáneamente a conjuntos de programas relacionados. Destacan los conjuntos programados en educación y en fomento al micro-emprendimiento. Aun así, las evidencias apuntan a la necesidad de avanzar en el diseño de herramientas de evaluación que superen el ámbito de una institución y abarquen políticas globales de Estado. El relacionamiento de beneficios y costos, esto es, las vinculaciones entre avances físicos y presupuestarios, que podrán ser realizadas con los catálogos de productos institucionales elaborados en el Sistema de Información para la Gestión Financiera del Estado (SIGFE). El SIGFE es un proyecto de la Dirección de Presupuestos en desarrollo. Actualmente, alrededor de 70% de los servicios están distribuyendo un 60% de su presupuesto en los programas. Globalmente, se obtiene la impresión de que en Chile está institucionalizada una gestión de presupuesto por resultados, basada en sistemas de monitoreo y evaluación, que opera entre las instituciones eficazmente, aun cuando no se encuentra completamente desarrollada una práctica basada en resultados cuantitativos que relacionen los beneficios sociales con los costos de los programas de gobierno, aunque se progresa en esa dirección. A continuación se resumen las oportunidades de mejora identificadas por sistema: A. SPG. El SPG tiene una institucionalidad basada en la práctica y en la experiencia que ella le ha dado. Actualmente opera en todo el ámbito del gobierno, aunque sólo a un nivel nacional. Según se deriva de la evidencia, algunos aspectos de su institucionalización que estarían por mejorar son: 1. Fortalecer su apoyo, contemplando en una ley garantías para la existencia misma del sistema, la continuidad de sus recursos y el financiamiento de sus expansiones. 2. Extenderlo a un nivel regional, para facilitar, con la dimensión espacial, la localización de las causas de los atrasos o incumplimientos. Se está trabajando en los cambios necesarios. 3. Formular un proyecto de fortalecimiento institucional propio, que aborde los desafíos identificados, con apoyo institucional de organismos como el Banco Mundial y el BID, cuya cooperación técnica estaría encaminada a cubrir diversos elementos que podrían integrarse en la concepción y arquitectura del sistema: a) Un diagnóstico que profundice en los ámbitos y áreas de gobierno donde se genera la mayor necesidad de coherencia y coordinación, y los alcances deseables de la actuación de la DCI, dada las particularidades de los ministerios y dependencias/servicios involucrados. b) Proposición de medidas de mejoramiento. Ellas incluirían posiblemente: Definición de los indicadores de desempeño a proponer a los ministerios que aborden las necesidades de coordinación: indicadores de interdependencia. Técnicas a adquirir y profundizar para coordinar, controlar y evaluar los programas de la agenda presidencial. 12
En especial, podría ser útil considerar la combinación de dos enfoques evaluativos sobre los que se han recogido experiencias exitosas en programas de entrega de servicios de naturaleza compleja, y con un amplio rango de productos con que los servicios se proponen impactar: (i) la Evaluación de Base Teórica (TBE o Theory Based Evaluation), que efectúa un estudio sistemático y acumulativo de las relaciones entre las actividades, salidas y contextos de una iniciativa; y (ii) la Evaluación Participativa, que involucra una colaboración estrecha entre evaluadores, administradores y personal técnico de un programa y público a atender. 4. Fortalecer la permanencia y la formación continua del personal a cargo del funcionamiento del ciclo de planificación y control en la DCI. B. SCG. Del análisis de la evidencia recogida para este sistema, se puede identificar un conjunto de medidas que permitirían fortalecer su institucionalización, las cuales se sintetizan a continuación: 1. Evaluar globalmente la acción del gobierno en áreas sociales y de fomento al micro- emprendimiento y a las pequeñas y medianas empresas. 2. Impulsar en las Oficinas de Planificación y Control y de Administración Financiera de los servicios el desarrollo de capacidades para: a) Elaborar, como práctica habitual, un Indicador de Impacto Final (de eficacia) que refleje el beneficio social para los usuarios de sus programas. Sería un indicador por programa, con una medición inicial con la cual comparar el éxito de los Compromisos de Mejoramiento. b) Al preparar los avances trimestrales que son solicitados por el sistema SPG de la DCI, explicitar los avances trimestrales de las asignaciones presupuestarias a las que esos programas han sido vinculados, a objeto de llevar un indicador de desempeño que mida el Avance Real Acumulado versus el Gasto Real Acumulado por programa. Esta recomendación podría extenderse a todos los programas del servicio, aunque no sean solicitados por el SPG, para el uso interno por la Dirección del servicio. c) Evaluar la conveniencia de ir a una frecuencia menor, bimensual o mensual, para el caso de los programas prioritarios en condición crítica (con luz amarilla o roja). 3. Elaborar un indicador de impacto global del SCG sobre la gestión pública. Esto requeriría: a) Hacer un seguimiento a los Indicadores de Impacto Final (ver punto 2.a), a medida que un Programa j avance en su Compromiso Institucional; ej. [ID(año t+2) menos ID(año t)], como valor de una Variable Mj de Mejoramiento de su gestión, y, b) Como medida de éxito global, elaborar un indicador ponderando los Mj de los diversos programas j por la importancia de ellos (en la Agenda Programática de la Presidencia, por ejemplo, o con algún otro conjunto de ponderadores establecido ex-ante, que refleje la importancia en el gasto fiscal). Un indicador así serviría tanto para las evaluaciones de programas como para el Programa de Mejoramiento de Gestión. 4. Integrarse funcionalmente con el SPG para: a) Lograr que los servicios incorporen en sus Compromisos de Mejoramiento las Definiciones Estratégicas, Productos, Metas, etc., de los programas prioritarios en la Agenda Presidencial. Esta coordinación está realizándose desde 2006, pues la DCI participa en las comisiones de DIPRES; la recomendación es que se institucionalice. b) Coordinar con la DCI la solicitud de información a los servicios, homogeneizando las actividades controladas y las frecuencias de control, procurando que las solicitudes sean simultáneas y sobre indicadores más generales y globales, entrando en detalle sólo en casos particulares. c) Participar junto con la DCI en los ejercicios de planificación de los servicios más exigidos, de modo de equilibrar los productos y metas operacionales del ejercicio próximo (requeridas por la 13
Agenda Presidencial) con los Compromisos de Mejoramiento (derivados de las evaluaciones) y con las exigencias del Programa de Mejoramiento de Gestión (para incorporar la Norma ISO 9001: 2000). d) Superar las limitaciones al mejoramiento del alto número de programas gubernamentales que actúan separados y ligados débilmente al ministerio del cual dependen, buscando: impulsar la eficacia que se produciría por una actuación más coordinada de los diversos servicios que atacan un área o un problema común; impulsar la eficiencia a niveles que se lograrían si los programas se fusionasen, o si algunos fuesen eliminados en aras de uno de ellos. Esta situación plantea un desafío para el Gobierno, que puede ser abordado inicialmente por una instancia que reúna a la DIPRES con la SEGPRES y MIDEPLAN (el Comité Interministerial que funciona para el Programa de Evaluaciones) y lo impulse al nivel presidencial. 5. Auditar permanentemente y en forma aleatoria la información recibida de los servicios. 6. Fortalecimiento interno para lo anterior, por medio de lograr una vinculación permanente del personal asociado al SCG con la institución (DIPRES), con planes de entrenamiento, medidas de mejoramiento del ingreso personal y perspectivas de desarrollo profesional. C. Área social de MIDEPLAN. Del análisis de la evidencia recogida resaltaría la conveniencia de: 1. Mejorar la definición y medición de indicadores de productos y de resultados en los servicios del área social, asimilando los datos de las CASEN y otras evaluaciones de impacto en Chile Solidario, con series suficientemente extensas como para reforzar sus proposiciones de metas. 2. Procurar que la Dirección de Presupuestos y el Ministerio de la Secretaría de la Presidencia, SEGPRES, a través del Comité Interministerial, apoyen el rol de MIDEPLAN como ente a cargo de la planificación y coordinación del Área de Protección Social del Gobierno, por medio de: a) Incorporar a MIDEPLAN en los comités de dirección de las evaluaciones de impacto en el área social. b) Procesos ampliados, liderados en conjunto por DIPRES y MIDEPLAN, con la participación de los programas y servicios del área social, para la definición de los Compromisos de Mejoramiento. c) Ejercicios habituales de planificación al interior de los servicios del área social, supervisados en conjunto por la SEGPRES y MIDEPLAN, estimulando la participación ciudadana (aprovechando las instancias que MIDEPLAN desarrolla a niveles comunales). 14
INTRODUCCIÓN En Chile hay dos sistemas de M&E de alto nivel, que cubren la acción conjunta del gobierno. Son: el Sistema de Seguimiento de la Programación Gubernamental, SPG, de la División de Coordinación Interministerial (DCI) del Ministerio de la Secretaría de la Presidencia, y el Sistema de Control de Gestión, SCG, de la Dirección de Presupuestos (DIPRES) del Ministerio de Hacienda. Ambos están funcionando desde hace casi una década y, habiendo pasado la etapa de su formación inicial, están en una posición consolidada, desde la cual hacen contribuciones estables y significativas al mejoramiento de la gestión pública. La Figura No 1 da la visión global de su acción, que comprende la secuencia siguiente: El conjunto de los organismos ejecutores del Estado, señalados a la izquierda, comunica su situación y los resultados obtenidos en su operación y en su mejoramiento a dos direcciones clave del Gobierno Central, DCI y DIPRES, encargadas de un M&E transversal. Verticalmente, cada unidad depende de un ministerio, que es su supervisor directo. La transversalidad se refiere a funciones superiores de gobierno, que son la coordinación entre los ejecutores y su modernización, y así optimizar globalmente los resultados del gasto público. La información, enviada por internet, alimenta los dos sistemas, que operan en forma independiente (más adelante se analizarán posibles ventajas de una mayor integración entre ellos). Para los programas presidenciales prioritarios, el SPG controla los avances por trimestres. A partir de lo ejecutado en un trimestre, puede hacer correcciones y producir impactos en el trimestre inmediatamente siguiente. Este timing puede ser lento para los programas más críticos, típicamente los referentes a situaciones que reciben amplia cobertura mediática y que afectan la imagen pública del gobierno. Si el Presidente requiere re-orientar un programa en el corto plazo (tener éxito en el mes), recurre a mesas especiales de coordinación, con personas facultadas para tomar decisiones rápidas. A través de DIPRES, los organismos ejecutores se comprometen en tres niveles a: (i) cumplir metas anuales de los indicadores de desempeño ID; (ii) mejorar la gestión de sus sistemas de RRHH, de Atención a Usuarios, de Planificación y Control, y de Administración Financiera; y (iii) realizar cambios mayores identificados en las evaluaciones. La información de la situación real en estas tres áreas (M&E enviado a la base de datos de DIPRES u obtenida por evaluaciones) es usada por DIPRES en reuniones con cada ejecutor en el proceso presupuestario anual y en reuniones ad-hoc para revisar las evaluaciones. El producto es el Proyecto de Ley de Presupuesto que va a la Comisión Especial Mixta de Presupuesto del Congreso, en cuyos recaudos están los ID comprometidos, los Compromisos Ministeriales (de cambios mayores) y los Compromisos de Gestión (de mejorar sistemas). El Congreso recibe, además, los BGI de cada organismo, con los resultados del año pasado. Esto constituye el proceso de presupuesto por resultados. Aunque no está en la figura, en 2001-2003 operó el Fondo Central de Recursos para Prioridades Gubernamentales, experiencia que incorporó una metodología de presentación para el presupuesto de innovación/expansión. En la Figura No 1 se aprecian estos dos circuitos en los que se desarrolla un proceso cíclico que comienza en los servicios, va a las direcciones de control transversal (DCI y DIPRES) y desemboca en el Congreso. El flujo de información es en ambos sentidos: los servicios producen información de ejecución y reciben 15
exigencias en forma de compromisos. Los compromisos con la DCI son metas operativas. Los compromisos con la DIPRES son metas de mejoramiento de gestión. Por otra parte, en el área social, el Ministerio de Planificación (MIDEPLAN) lidera el denominado “Pacto Social para el Desarrollo”. El Pacto Social se concibe y ejecuta por medio del Área de Protección Social del Gobierno, conformada por los ministerios de Educación, Salud, Vivienda, Trabajo, Cultura y SERNAM, y que es coordinada por el Ministerio de Planificación. El objetivo de esta instancia es articular y complementar los organismos públicos e impulsar servicios de mayor calidad para la atención de la población más pobre y con riesgo social del país. Su énfasis de trabajo está en concebir las prestaciones y beneficios sociales como derechos que deben ser garantizados por el Estado, asegurando la igualdad de oportunidades y la cobertura de los principales riesgos que amenazan a las familias vulnerables a lo largo de todo su ciclo vital. Este pacto implica articular un Sistema de Protección Social, cuya pieza central es el Programa Chile Solidario, focalizado en las familias en extrema pobreza. El Área Social de MIDEPLAN se apoya a este efecto en un sistema de monitoreo, la Encuesta de Caracterización Socioeconómica Nacional (CASEN), y en un Sistema Integrado de Información Social 1 constituido por un conjunto de herramientas cuyos objetivos son: (i) identificar y priorizar a la población más vulnerable, y (ii) apoyar la administración de la asignación de los diversos beneficios sociales del Estado 2. En relación con la influencia que tendrían los sistemas de monitoreo y evaluación en Chile sobre la gestión presupuestaria, concretamente si estarían contribuyendo en un presupuesto por resultados y de ese 1 http://gestion.chilesolidario.gov.cl/moduloseguimiento. 2 Además de los sistemas en el área social, MIDEPLAN dispone del Sistema Nacional de Inversiones, SNI, con su Banco Integrado de Proyectos, que entra en la categoría de los sistemas nacionales de inversión pública, SNIP, instrumentos que se han venido desarrollando en la región desde la década de los 80 (Ortegón …[et al], 2005). Chile es el país que cuenta con el SNIP más antiguo, que se inició en 1982. Otros países con larga trayectoria son Bolivia, Colombia y Perú. Los sistemas más recientes están en Argentina, Guatemala, Perú y República Dominicana. En el SNIP de Chile, el objetivo expresado es el “mejorar la calidad de la inversión pública nacional, asignando recursos a iniciativas de mayor rentabilidad social y económica, de acuerdo con los lineamientos de la política de gobierno”. Su operatoria se basa en la implementación de algunas estrategias nacionales que direccionan la inversión pública, a través de su relación con los siguientes organismos: El Ministerio del Interior, a través de la Subsecretaría de Desarrollo Regional y Administrativo (SUBDERE), que realiza una labor semejante a la DIPRES en lo que se refiere a la asignación y seguimiento físico - financiero de los recursos regionales (Fondo Nacional de Desarrollo Regional - FNDR). El Ministerio de Agricultura, a través de la Oficina de Estudios y Políticas Agrarias (ODEPA) y el Ministerio de Economía a través de la Subsecretaría de Pesca, que cumplen funciones de asesoría a MIDEPLAN en materias técnico normativas de los respectivos sectores. Otras instituciones que participan en el nivel nacional son: Comisión Nacional de Riego (CNR), Comisión Nacional de Energía (CNE), Comisión Chilena del Cobre (COCHILCO) y Subsecretaría Ejecutiva de la Comisión de Transporte Urbano (SECTRA). En el nivel regional participan el Consejo Regional y la Secretaria Regional Ministerial de Planificación y Coordinación. Entre los subsistemas del SNI están el Sistema de Estadísticas Básicas de Inversión (SEBI) y el Subsistema de Evaluación Ex-post Simplificada de Programas y Proyectos. Los SNIP no corresponden al ámbito o caracterización de sistemas de monitoreo y evaluación, M&E, pues manejan información de tipo socio-económico relevante en la fase de asignación de recursos, esto es, que es considerada ex- ante la ejecución de proyectos y programas. Los sistemas de M&E, en cambio, manejan información recurrente de seguimiento de la ejecución de proyectos y la obtenida de la gestión cotidiana de programas, e información puntual más profunda de gestión (con sus evaluaciones), que orientan la coordinación y el mejoramiento de la administración pública. Por este motivo, el SNI de MIDEPLAN no fue considerado en este diagnóstico, el que se refiere solamente a los sistemas de M&E en la región. En todo caso, es necesario destacar que los SNIP en la región contribuyen a una mayor eficiencia y eficacia de la inversión pública, gracias a la formulación y evaluación sistemática de las iniciativas de inversión, y a su contribución a un mejor seguimiento de la ejecución de los proyectos. 16
modo en el mejoramiento del gasto público, la evidencia recogida en este diagnóstico apunta a mostrar la existencia de una influencia positiva desarrollándose por dos vertientes: a) La información producida por los sistemas, tanto por el SCG como por el SPG, forma parte, desde hace ya varios años, de los recaudos que acompañan y soportan todos las partidas del proyecto anual de presupuesto, y es considerada a lo largo de las varias etapas que conforman el proceso presupuestario. En concreto: los indicadores de desempeño, las evaluaciones de programas gubernamentales y los reportes de ejecución de los programas de la agenda programática del gobierno se revisan durante la etapa de evaluación presupuestaria del ejercicio fiscal anterior; la etapa anterior da origen a la discusión de los proyectos de presupuestos en la comisiones mixtas entre la DIPRES y los organismos sectoriales, donde se comprometen metas físicas a través de indicadores, de compromisos ministeriales de mejoramiento y de los compromisos del PMG (Programa de Mejoramiento de Gestión), metas que se consideran parte integrante de los recaudos de los presupuestos, y que, una vez que el proyecto de ley de presupuesto es aprobado, ingresan a ambos sistemas de M&E para su seguimiento durante el ejercicio siguiente. La Comisión Especial Mixta de Presupuesto del Congreso recibe no sólo el proyecto de ley de presupuesto, sino además los reportes de Balance de Gestión Integral, BGI, de cada uno de los servicios del gobierno, que en 2005 fueron 114. Estos informes son uno de los instrumentos del sistema de M&E de la DIPRES (del SCG). Aunque los parlamentarios no tengan físicamente el tiempo disponible para leer toda esa información, el material elaborado a partir de ella por su personal de apoyo y por los equipos que los asesoran 3, les permite plantear discusiones detalladas en la Comisión Mixta, en las que se relacionan las solicitudes de gastos de los servicios con sus resultados históricos y comprometidos. La versión final que se apruebe de las recomendaciones surgidas de los sistemas de M&E y de las solicitudes de presupuesto entra en el ámbito de la discusión política y depende de las cuotas de poder en el Congreso. Sin embargo, no hay duda que la información de M&E es usada y que numerosas personas de los servicios son llamados al Congreso a explicarla 4. b) Que una expresión cuantitativa del beneficio social de los programas gubernamentales sea considerada simultáneamente con su incidencia presupuestaria (sea en una relación Beneficio/ Costo absoluta o incremental) para justificar el presupuesto, depende de procesos que están en desarrollo: Se busca superar las dificultades inherentes a estimar el beneficio social con nuevos indicadores de desempeño referentes a usuarios y beneficiarios y con evaluaciones de impacto cada vez más sofisticadas, realizadas simultáneamente a conjuntos de programas con fines relacionados. Destacan los conjuntos programados en 2007 en educación y en el fomento al micro- emprendimiento. Aun así, se señala en entrevistas (3) la necesidad de avanzar en el diseño de herramientas de evaluación que superen el ámbito de una institución y abarquen políticas globales del Estado. Se busca el relacionamiento de beneficios y costos, esto es, las vinculaciones entre avances físicos y presupuestarios, que podrán ser realizadas con los catálogos de productos institucionales elaborados en el Sistema de Información para la Gestión Financiera del Estado (SIGFE). El SIGFE es un proyecto de la Dirección de Presupuestos en desarrollo. Se indica que (en la versión 1.8 en 3 Son equipos integrados en instituciones de derecho privado asociadas a las diversas corrientes políticas, en las que incluso llega a haber un especialista por cada ministerio. Cabe mencionar el Instituto Libertad y Desarrollo, la Corporación Expansiva y la Fundación Jaime Guzmán. 4 Ver entrevista a Verónica Silva. 17
operación) alrededor de 70% de los servicios están distribuyendo cerca de 60% de su presupuesto en los programas. Globalmente, se obtiene la impresión de que en Chile está institucionalizada una gestión de presupuesto por resultados, basada en sistemas de monitoreo y evaluación, que opera entre las instituciones eficazmente, aun cuando no se encuentra completamente desarrollada una práctica basada en resultados cuantitativos que relacionen los beneficios y los costos sociales de los programas de gobierno, aunque se progresa en esa dirección. Este diagnóstico busca extraer lecciones de esta situación e identificar posibilidades de crecimiento y mejora de los sistemas, centrándose en los factores que pueden estimular la demanda de información de los usuarios actuales y potenciales de M&E, interesados en controlar la gestión pública, tanto desde dentro como desde fuera del gobierno. Para esto se basa en entrevistas (resumidas en el Anexo) y revisión de documentos (reseñados en la Bibliografía). 18
Figura No 1 Diagrama de flujo de información de M&E en CHILE y decisiones que apoya (+) El sistema SPG proporciona información de la ejecución anual de la Agenda Presidencial que se incorpora a los Balances de Gestión Integral. Fuente: Elaborado por el autor. 19
20
I. ANTECEDENTES Y PANORÁMICA GLOBAL DE LOS SISTEMAS 1.1 Descripción general A. El Sistema de Seguimiento de la Programación Gubernamental, SPG, de la SEGPRES A continuación se describe el esquema general del proceso de la Dirección de Coordinación Interministerial en que se inserta el M&E. La Agenda Programática del Gobierno genera una actividad cíclica anual, constituida por las siguientes etapas, que comienzan con las solicitudes y pedidos que la Presidenta hace a los ministros: Etapa I. La Presidenta realiza un conjunto de pedidos a los ministerios y servicios Estos pedidos son las obligaciones que se derivan del Programa de Gobierno, de los compromisos de sus discursos y de los planteamientos del Mensaje a la Nación del 21 de mayo. En la formulación de los planteamientos de esta etapa intervienen principalmente los asesores presidenciales directos, la Secretaría de la Presidencia (SEGPRES) y el Gabinete Político. Etapa II. Negociación Los planteamientos anteriores (los pedidos) dan origen a negociaciones en las que se explicitan las condiciones necesarias en materias: (i) presupuestarias; (ii) legislativas; (iii) de coordinación entre ministerios y servicios que deben actuar conjuntamente. Se genera así la Matriz de Compromisos, que expresa las precondiciones requeridas por cada Ministro ejecutor para comprometerse a realizar los planteamientos iniciales. En esta fase es importante establecer la cuestión de si el compromiso tiene valor para la Presidenta, esto es, si los objetivos, metas y plazos corresponden a sus aspiraciones, o si deben, a raíz de su indicación, reformularse. La Matriz de Compromisos expresa objetivos estratégicos, productos e hitos. Debe lograr las características de: Relevancia: los elementos de las matrices (las acciones, programas, productos, recursos, etc.) deben apuntar a los fines a lograr, y en la medida y cantidad necesarias, y no deben tener cuestiones innecesarias, superfluas, que distraigan recursos, etc. Coherencia: debe haber una programación intersectorial, que se refleje en una matriz de servicios intersectoriales, en la que se expresen las relaciones de dependencia y las necesidades de coordinación entre los diversos servicios. En esta fase intervienen los equipos de trabajo siguientes: SEGPRES: los compromisos ministeriales logran su relevancia y coherencia con el trabajo combinado de diversas direcciones de SEGPRES. Se revisa la factibilidad legal en la División Jurídico- Legislativa, se realiza el lobby necesario en la División de Relaciones Políticas e Institucionales y se consigue la necesaria integración entre sectores en la División de Coordinación Interministerial (DCI). DIPRES: los programas planteados por los ministerios y servicios incluidos en los proyectos iniciales de las Matrices de Compromisos entran en el proceso presupuestario que culmina con la elaboración del Presupuesto de la Nación. La SEGPRES se ha hecho presente desde 2006 en las comisiones mixtas de DIPRES con los sectores, buscando que todos los proyectos de la Agenda queden incluidos. 21
Etapa III: Seguimiento de la Agenda Programática Las Matrices de Compromisos que se generan a partir de los pedidos presidenciales en la etapa anterior (que representan los objetivos a lograr el próximo año) son cargadas en el Sistema de Seguimiento del Programa de Gobierno (SPG) a fin de año, al aprobarse la Ley de Presupuesto. El seguimiento de la Agenda Programática se realiza con ayuda del SPG implementado en la DCI, el cual monitorea trimestralmente la ejecución de los compromisos. El SPG es un sistema de alerta y, en la práctica, por medio de las luces del semáforo (roja, amarilla y verde), llama la atención sobre los atrasos e incumplimientos. Se producen cuatro reportes anuales, mostrando la ejecución trimestral, que se envían a los ministros responsables. Son las llamadas Carpetas Blancas, con los listados impresos por institución de los objetivos, productos e hitos, tanto programados como ejecutados realmente. El sistema es de uso privado, al nivel del gobierno. Tienen acceso a él los funcionarios públicos. Opera a través de Internet. Operacionalmente, el sistema completo que permite el output del SPG involucra a un conjunto de personas interactuando en línea a través de Internet, en la DCI y en las diversas unidades operativas (ministerios y servicios), que en la actualidad alcanza a los 580 funcionarios. En la DCI, además del personal técnico, existe un equipo de 12 a 14 analistas que se hacen cargo de los compromisos de agenda por sectores específicos (ver Cuadro No 1). Un aspecto clave para la efectividad operativa es que la Contraparte Ministerial (el funcionario del organismo ejecutor que se relaciona a través del sistema con el analista correspondiente de la DCI) sea una persona que tenga acceso al Ministro o a su Jefe de Gabinete. Existe en cada caso una unidad de planificación y control de gestión, pero para que la información que ella genere y transmita permita reportar los avances efectivos y evaluar realistamente la agenda, tales unidades deberían tener un status adecuado. Cuadro N° 1 Agrupaciones de Sectores en el Seguimiento de la Programación Gubernamental Sectores Temas específicos Prioridades Gubernamentales 2004 - 2006, Defensa - Minería Corporación Nacional del Cobre, Empresa Nacional de Petróleo. Agencia Alimentaria, Bosque Nativo, Credos. Gobierno en Agricultura Marcha. Educación-Consejo Nacional de la Cultura - Discursos Presidenciales. Secretaría General de Gobierno Subsecretaría del Interior Derechos Humanos, Seguridad Ciudadana. Obras Públicas, Transporte y Telecomunicaciones Transantiago. Relaciones Económicas Internacionales, Firma Electrónica, Hacienda - Salud Tratados de Libre Comercio. Ministerio Secretaría General de la Presidencia - Subsecretaría de Desarrollo Regional - Servicio Prioridades Regionales, Planificación y Control de Gestión. Nacional de la Mujer Programación Gubernamental, La Concertación está Economía Cambiando a Chile, Biotecnología. Ministerio de Planificación, Instituto Nacional de Temas Indígenas. la Juventud - Servicio del Adulto Mayor Vivienda y Bienes Nacionales, Relaciones Residuos Sólidos, Foro Económico del Asia Pacífico (APEC). Exteriores, Comisión Nacional de Medio Ambiente Justicia - Trabajo Sistema de Logros Comunales. Fuente: División de Coordinación Interministerial. 22
Etapa IV. Evaluación final - Aseguramiento de la ejecución de la Agenda Programática La etapa IV, que completa el ciclo, y es realizada en la DCI, consiste en liderar el proceso de ajustes a la ejecución de aquellas actividades destacadas como “en problemas” o “atrasadas” por el sistema, esto es, las que tengan luces amarillas y rojas. Es un proceso que se inicia con los sectores involucrados en el mes siguiente a la terminación de cada trimestre, con la formación de mesas de trabajo intersectoriales, donde los representantes de los organismos ejecutores llevan informes justificativos, que abordan las causas de los atrasos e incumplimientos, a objeto de discutir medidas de corrección con los analistas de la DCI de los sectores involucrados (ver Cuadro N° 1). En las mesas de trabajo se busca crear confianza y lograr un espíritu de trabajo abierto y colaborador entre los integrantes. No se trata de usar un tono denunciante; el estilo es el de invitar a dar explicaciones. Se pretende así llegar incluso a anticipar los problemas, y evitar que surjan después incumplimientos graves que den origen a muchas mesas de conflicto. La evaluación de la agenda tiene dos niveles: hay un nivel cotidiano, que se apoya en el sistema, para controlar los avances reales versus los programados por producto, y hay una evaluación de otro horizonte, que se pregunta si la agenda está dando respuesta a las demandas de la nación. Aun cuando la discusión que se genera en esta última función es del más alto nivel político, en la DCI surge la información que permite dar origen a ella. A modo de ejemplo, la SEGEGOB (Ministerio Secretaría General de Gobierno), a través de su Secretaría de Comunicación y Cultura, ha generado, ya en dos oportunidades, un reporte de balance programático que cubre un período presidencial completo, para los períodos de los presidentes Eduardo Frei y Ricardo Lagos, haciendo uso de la información residente en la DCI. La Figura N° 2 esquematiza el ciclo de Definición y Evaluación de la Agenda Programática. Figura N° 2 Etapas del Ciclo de Definición y Seguimiento de Compromisos Ministeriales en la División de Coordinación Interministerial (DCI) Pedidos Con base en las indicaciones del Negociaciones: bajo qué condiciones Programa de Gobierno, de los es posible realizarlos: Presupuesto, Discursos y del Mensaje del 21 de Legislativas, Coordinación mayo → ↑ ↓ Presidenta Compromisos ↑ ↓ Evaluación de término: los impactos Seguimiento trimestral: cómo están los de los programas cubren los compromisos ← programas, hay luces de alerta, mesas inter-sectoriales para medidas de ajuste Evaluación Fuente: Elaborado por el autor. 23
También puede leer