Departamento Administrativo Nacional de Estadística

Dirección de Regulación, Planeación, Estandarización y Normalización -DIRPEN-

METODOLOGÍA LÍNEA BASE DE INDICADORES

Agosto de 2009

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

DEPARTAMENTO ADMINISTRATIVO NACIONAL DE ESTADÍSTICA

HÉCTOR MALDONADO GÓMEZ Director

CARLOS EDUARDO SEPÚLVEDA RICO Subdirector

ALFREDO VARGAS ABAD Secretario General

Directores técnicos EDUARDO EFRAÍN FREIRE DELGADO Metodología y Producción Estadística BERNARDO GUERRERO LOZANO Censos y Demografía JAVIER ALBERTO GUTIÉRREZ LÓPEZ Regulación, Planeación, Estandarización y Normalización NELCY ARAQUE GARCÍA Geoestadística ANA VICTORIA VEGA ACEVEDO Síntesis y Cuentas Nacionales CAROLINA GUTIÉRREZ HERNÁNDEZ Difusión, Mercadeo y Cultura Estadística

Bogotá, D.C., 2009.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Dirección de Regulación, Planeación, Estandarización y Normalización, DIRPEN Javier Alberto Gutiérrez López

Coordinación Técnica: Ana Zoraida Quintero Gómez

Equipo Técnico: Andrés Felipe Salazar Cuellar

Impresión: Dirección de Difusión, Mercadeo y Cultura Estadística

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

CONTENIDO

PRESENTACIÓN .......................................................................................................................... 6 INTRODUCCIÓN........................................................................................................................... 7 1.

ANTECEDENTES................................................................................................................. 9

2. DISEÑO .............................................................................................................................. 10 2.1 MARCO CONCEPTUAL ................................................................................................ 10 2.1.1 Objetivos......................................................................................................................... 10 2.1.2 Marco de referencia ....................................................................................................... 10 2.2 DISEÑO ESTADÍSTICO................................................................................................. 18 2.2.1 Diseño de instrumentos.................................................................................................. 19 3. PRODUCCIÓN ESTADÍSTICA .......................................................................................... 21 3.1. PLANEACIÓN ................................................................................................................ 21 3.2. MARCO NORMATIVO Y REQUERIMIENTOS DE INFORMACIÓN ............................. 22 3.3. DISEÑO DE ESTRUCTURA .......................................................................................... 23 3.4. RECOLECCIÓN, VERIFICACIÓN Y ANÁLISIS DE CALIDAD DE INFORMACIÓN ESTADÍSTICA ................................................................................................................ 24 3.4.1 Método de recolección ................................................................................................... 24 3.4.2 Análisis de calidad de información disponible................................................................ 24 3.4.3 Determinación de los flujos de información estadística ................................................. 31 3.5. SELECCIÓN DE INDICADORES – DOCUMENTACIÓN (METADATOS) .................... 33 3.5.1. Validación................................................................................................................... 34 3.5.2. Documentación .......................................................................................................... 34 3.6. IMPLEMENTACIÓN ....................................................................................................... 36 3.6.1. Aspectos organizativos .............................................................................................. 36 3.6.2. Desarrollo de herramienta informática....................................................................... 37 3.7. SOCIABILIZACIÓN Y CAPACITACIONES.................................................................... 37 4. 4.1

DIFUSIÓN........................................................................................................................... 39 PRODUCTOS E INSTRUMENTOS DE DIFUSIÓN....................................................... 39

5.

DOCUMENTACIÓN RELACIONADA................................................................................. 40

GLOSARIO.................................................................................................................................. 41 BIBLIOGRAFÍA............................................................................................................................ 44

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

ÍNDICE DE TABLAS

Tabla 1. Marco normativo y solicitudes de información expresas por ley................................... 22 Tabla 2. Inventario de producción y uso de indicadores............................................................. 31 Tabla 3. Matriz de indicadores .................................................................................................... 34 Tabla 4. Estructura básica de metadato de indicadores ............................................................. 35 Tabla 5. Componentes de la herramienta informática de la línea base de indicadores ............. 37

ÍNDICE DE DIAGRAMAS

Diagrama 1. Papel de la línea base en los sistemas de seguimiento y evaluación ................... 15 Diagrama 2. Proceso de fortalecimiento estadístico con la línea base de indicadores.............. 16 Diagrama 3. Comparación de los cambios frente a una referencia temporal............................. 17 Diagrama 4. Comparación de los cambios frente a estándares ................................................. 18 Diagrama 5. Etapas de la línea base de indicadores.................................................................. 21 Diagrama 6. Identificación de indicadores estratégicos según jerarquía de objetivos ............... 25 Diagrama 7. Proceso para identificar los indicadores relevantes ............................................... 27 Diagrama 8. Preguntas para evaluar el criterio de credibilidad de los indicadores .................... 28 Diagrama 9. Preguntas para evaluar el criterio de coherencia de los indicadores propios........ 29 Diagrama 10. Preguntas para evaluar el criterio de oportunidad - puntualidad de las operaciones estadísticas propias ................................................................................................ 30 Diagrama 11. Preguntas para evaluar el criterio de accesibilidad de los indicadores................ 31 Diagrama 12. Flujo de información interno ................................................................................. 32 Diagrama 13. Flujo de información hacia actores externos ........................................................ 32 Diagrama 14. Flujo de información desde actores externos....................................................... 33

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

PRESENTACIÓN

El Departamento Administrativo Nacional de Estadística – DANE, en función de su papel como coordinador del Sistema Estadístico Nacional – SEN y en el marco del proyecto de Planificación y Armonización Estadística, trabaja para el fortalecimiento y consolidación del SEN, mediante la producción de estadísticas estratégicas, la generación, adaptación, adopción y difusión de estándares, la consolidación y armonización de la información estadística, la articulación de instrumentos, actores, iniciativas y productos; para mejorar la calidad de la información estadística estratégica, su disponibilidad, oportunidad y accesibilidad, como respuesta a la demanda cada vez mayor de información estadística. En este contexto y consciente de la necesidad y obligación de brindar a los usuarios los mejores productos, el DANE desarrolló una guía estándar para la presentación de metodologías que contribuye a visibilizar y a entender el proceso estadístico. Con este instrumento elaboró y pone a disposición de los usuarios especializados y del público en general, los documentos metodológicos de sus operaciones e investigaciones estadísticas, donde se presentan de manera estándar, completa y de fácil lectura, las principales características técnicas de los procesos y subprocesos de cada investigación, lo que permite su análisis, control, replicabilidad y evaluación. Esta serie de documentos favorecen la transparencia, confianza y credibilidad en la calidad técnica de la institución para un mejor entendimiento, comprensión y aprovechamiento de la información estadística, producida en el contexto de los principios de coherencia, comparabilidad, integralidad y calidad de las estadísticas.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

INTRODUCCIÓN

La selección y clasificación de la información estadística estratégica, obliga a desarrollar procesos que eviten situaciones que se salgan de un marco general de producción, 1 organización, disposición y uso de información (CEPAL 2001) . •

Realizar una exploración de las condiciones actuales para agregar previsión y coherencia en el proceso de toma de decisiones.

•

Mejorar la coordinación de las Políticas Públicas con el objetivo de orientar el proceso económico y social y procurar por la asignación equitativa y eficiente de los recursos públicos, de forma estratégica, promoviendo determinados resultados mediante el establecimiento de prioridades del desarrollo nacional y regional y los distintos programas, de tal modo que se constituya en la guía de las políticas públicas.

•

Desarrollar sistemas de indicadores de seguimiento y evaluación de los planes, programas, proyectos y políticas del sector.

Estas tres premisas, que hacen parte de la planificación estadística, están en continua retroalimentación puesto que el proceso de construcción de la gestión pública y las políticas derivadas de ésta deben ser dinámicas y complejas, en el sentido de estar en permanente redefinición de acuerdo con las demandas de la ciudadanía y las nuevas realidades. El tercer punto reconocido por la CEPAL implica reconocer que un sistema de indicadores se diseña con el objetivo fundamental de apoyar el proceso de planificación, formulación, seguimiento y evaluación de planes, programas y proyectos a mediano y largo plazo. El uso reiterado de un grupo específico de indicadores como parámetros de medición del cumplimiento de metas propuestas lleva a la necesidad de la construcción de una línea base de indicadores definida como el un conjunto de indicadores seleccionados que permiten hacer seguimiento, evaluación y rendición de cuentas de políticas públicas, planes, programas y proyectos, para comparar avances y logros que se hayan hecho respecto a un año de referencia. En terminos de Pfenniger la linea base permite hacer seguimiento y la evaluación sistemática de políticas y programas a través de información estadística sistematizada, oportuna y confiable que permite a instancias directivas la consecución de niveles óptimos de 2 gestión y facilite el proceso de toma de decisiones . De esta manera, la línea base resuelve problemas frecuentes de improvisación en la planeación y brinda elementos ciertos para una evaluación sistemática de las políticas y la gestión pública, porque ha definido previamente los indicadores estables en el tiempo, además de un año de referencia para observar la evolución y el comportamiento de las acciones públicas. Tiene la ventaja adicional de ofrecer, cuando se trate de programas específicos de un gobierno particular, esquemas de selección, ponderación e incorporación de nuevos indicadores, así como esquemas de análisis sistemático de políticas.

1

CEPAL. 2001. Serie: Seminarios y Conferencias No. 8 “Seminario de alto nivel sobre las funciones básicas de la planificación. Compendio de experiencias exitosas”. La Habana, Cuba, 16 y 17 de noviembre de 2000. 2 PFENNIGER, Mariana. 2004. Indicadores y estadísticas conceptuales: un breve repaso conceptual. Portal Iberoamericano de Gestión Cultural.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN El presente documento contiene la metodología para el diseño, formulación e implementación de la línea base de indicadores ya sea a nivel institucional, sectorial o territorial, comenzando por el un marco conceptual, teórico y normativo, seguido por la definición de los lineamientos básicos tanto para la conceptualización, diseño y formulación, como para la implementación y puesta en marcha de la misma.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

ANTECEDENTES

El análisis de línea base nació como un método de evaluación de proyectos, en donde se pretendía conocer información concreta de la situación al momento de iniciarse las acciones planeadas, estableciendo el 'punto de partida' del proyecto o intervención. Esta herramienta permitia hacer una evaluación ex ante de la situación que se pretendia modificar, para despues ser comparada con los resultados del proyecto (evaluación ex post). El avance tecnico y teórico de la evalución de proyecos y la gestión adminstrativa ofreció una nueva visión de las cualidades de esta herramienta, donde se entendió su capacidad para hacer evaluaciones intermedias a todo el proceso de ejecución no solo en proyectos especificos, sino tambien a la gestión pública y las metas gubernamentales, permitiendo evidenciar el impacto de las decisiones tomadas. Esta nueva caracteristica pretende entender la evaluación como un proceso continuo en donde las lecciones aprendidas son un mecanismo para alcanzar los resultados deseados. De esta forma, el análisis de línea base se estableció como una herramienta fundamental dentro de los sistemas de seguimiento y evalución basado en resultados. Estas caracteristicas han sido reconocidas por multiples organismos internacionles como la 3 4 5 CEPAL , Banco Mundial y el PNUD entre otros. En este sentido, la línea base ha tomado un papel fundamental dentro de los sistemas de información para la toma de decisiones, permitiendo reducir algunos problemas de asimetrias de información estadística y con ello reducir la selección adversa de politicas públicas. El DANE ha desarrollado una metodología para el análisis de línea base de indicadores, cuya primera versión corresponde al año 2001, y la cual, en aras del mejoramiento y de la obtención de óptimos resultados, se ha venido actualizando con el fin de ajustar sus cualidades teóricas y técnicas para un mejor manejo de esta herramienta. El DANE ha asesorado técnicamente, a través de convenios, la elaboración de líneas base de indicadores las siguientes entidades nacionales y territoriales: • • • • • • •

3

Secretaria de Salud de la Gobernación de Cundinamarca (2001) Departamento de Casanare (2007) Departamento de Arauca (2007) Instituto Colombiano del Deporte, Coldeportes (2008) Consejo Superior de la Judicatura (2009) Fiscalía General de la Nación (2009) Policía Nacional (2009)

Óp. cit. CEPAL, 2001. ZALL, Jody y RIST, Ray. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System, World Bank. 5 NUPD. 1997. Monitoreo y evaluación orientados a la obtención de resultados: Manual para los administradores de programas. OESP Handbook Series. New York, USA. 4

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

1. DISEÑO

2.1 MARCO CONCEPTUAL 2.1.1 Objetivos Objetivo general Facilitar el seguimiento y evaluación de la gestión pública basada en resultados, brindando información agregada, oportuna y confiable, que permita a los hacedores de política mejorar el proceso de toma de decisiones. De esta forma, la línea base de indicadores contribuye a la consolidación de una cultura de uso y aprovechamiento de la información, mediante el análisis comparativo de indicadores claves.

Objetivos especificos 6

•

Ofrecer un marco de referencia cuantitativo y cualitativo de la situación actual que se pretende modificar, para de esta forma poder medir los avances, y efectos de la gestión publica, los planes, programas y proyectos.

•

Brindar información agregada, oportuna y confiable, que permita a los involucrados en el proceso decisorio alcanzar óptimos de eficiencia en la gestión y en los procesos de toma de decisiones.

•

Contribuir a la consolidación de una cultura de uso y aprovechamiento de la información, mediante el manejo permanente de indicadores claves para la planeación, el seguimiento, la evaluación y la rendición de cuentas de políticas públicas, programas y proyectos.

•

Definir técnicas y procedimientos estandarizados que garanticen la obtención de la información requerida.

•

Establecer funciones y compromisos institucionales frente a los requerimientos de la información.

2.1.2 Marco de referencia Base conceptual 7

La información es un conjunto organizado de datos procesados y útiles, que constituyen un mensaje sobre un determinado fenómeno, proporcionando significado o sentido a una situación en particular. Los datos se convierten en información cuando aportan significado, relevancia y entendimiento a determinadas personas en un tiempo y lugar determinado. El principal desafío

6

Aunque la línea base tiene un carácter eminentemente cuantitativo, en su realización se recurre a métodos cuantitativos y cualitativos con la finalidad de mejorar la calidad de los hallazgos. 7 Los datos son simplemente unidades de información que incluyen percepciones, números, observaciones, hechos y cifras, pero que al estar desligadas de un contexto particular carecen de sentido informativo.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN en la evaluación es separar los datos útiles de los irrelevantes y contradictorios para asegurarse que el análisis se realice basado en la mejor información posible. Existen tres condiciones que son de vital importancia para el seguimiento y evaluación de los planes, programas, proyectos y políticas públicas. La primera de ellas es que la producción de información tiene costos marginales decrecientes. En otras palabras, en la medida que los individuos poseen información, más capacidad tienen de generar un mayor volumen de ésta a menores costos y así convertir al proceso de producción de información estadística en un círculo virtuoso. La segunda característica de la información es que permite conectar a varios oferentes y demandantes al mismo tiempo, eliminando intermediarios y costos de transacción. Esa característica de no rivalidad en el consumo, junto a la de no exclusión hacen de la información 8 un bien semi-público que debe ser tratado como tal. En otras palabras, cuando una persona o entidad produce información relevante, las demás personas pueden utilizarla sin ningún costo 9 adicional . Por último, es necesario dejar claro las notables consecuencias de predicción y mejora de políticas públicas que puede ofrecer la información bien gestionada. La falta de información presenta en muchos aspectos un problema que implica incertidumbre en la toma de decisiones. A falta de información perfecta, puede no saberse exactamente cuáles son las consecuencias de determinada acción. Es posible reducir esa incertidumbre con una mejor información y, por lo tanto, tomar mejores decisiones que reporten mayores niveles de utilidad. La información estadística puede ser manejada de múltiples maneras. Sin embargo, se ha reconocido la construcción de indicadores como una de las formas más simples en que los datos se convierten en información por su poder de comunicación. En este sentido, debemos entender un indicador como una expresión cualitativa o cuantitativa observable, que permite describir características, comportamientos o fenómenos de la realidad a través del establecimiento de una relación entre variables, que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar el desempeño y su evolución en el tiempo. Por lo general son fáciles de recopilar, altamente relacionados con otros datos y de los cuales se pueden sacar rápidamente conclusiones útiles y fidedignas. Un indicador debe cumplir con tres características básicas: Simplificación: la realidad en la que se actúa es multidimensional, un indicador puede considerar alguna de tales dimensiones (económica, social, cultural, política, etc.) pero no puede abracarlas todas. Medición: permite comparar la situación actual de una dimensión de estudio en el tiempo o respecto a patrones establecidos. Comunicación: todo indicador debe transmitir información para la toma de decisiones. Particularmente, los indicadores son herramientas muy útiles para la planeación, seguimiento, evaluación y la gestión en general y tienen como objetivos principales:

8

La información puede considerarse como un bien semi-público en la medida que siempre existe un mínimo de rivalidad en consumo (por ejemplo, las líneas de teléfono o de acceso a Internet se pueden saturar si son utilizadas masivamente) y existe algo de exclusión, ya que dependiendo del tipo de consumo existen tarifas o pagos por obtener información y servicios personalizados. 9 Dado que esta situación reduce significativamente los incentivos para realizar descubrimientos científicos, muchos países han adoptado leyes sobre patentes para privatizar la información que normalmente seria de carácter público. En otros casos, cuando una persona o entidad produce información de interés público, se ha optado por el cobro al acceso de esta.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN •

Generar información útil para mejorar el proceso de toma de decisiones, el proceso de diseño, implementación o evaluación de un plan, programa, etc.

•

Monitorear el cumplimiento de acuerdos y compromisos.

•

Cuantificar los cambios en una situación que se considera problemática.

•

Efectuar seguimiento a los diferentes planes, programas y proyectos que permita tomar los correctivos oportunos y mejorar la eficiencia y eficacia del proceso en general.

De esta forma, la línea base se puede definir como un conjunto de indicadores seleccionados que permiten hacer seguimiento, evaluación y rendición de cuentas de políticas públicas, planes, programas y proyectos, para comparar avances y logros que se hayan hecho respecto a un año de referencia. No obstante, aunque la línea base se refiere a indicadores, su estructuración tiene como punto de partida el intentar resolver interrogantes sobre el aprovechamiento y la utilidad de la información, por lo que la información disponible puede ser de carácter cuantitativo y cualitativo. Es decir que expresa la necesidad de adelantar un proceso de análisis de la información disponible, en principio en el nivel de detalle a que se refieren las variables y posteriormente en el nivel de los indicadores. La característica más importante de la línea base de indicadores es la capacidad de hacer comparaciones reiterativas, para de esta forma hacer seguimiento y evaluar la situación del problema respecto a un año base o punto de referencia. En otras palabras, la línea base proporciona datos al comienzo del período de seguimiento o inmediatamente antes del mismo, permitiendo mantener un proceso comparativo entre el transcurso y la etapa del proyecto respecto al inicio de dicha política.

Contenido temático Línea base de indicadores como instrumento de evaluación de proyectos La línea base nació como un método de evaluación de proyectos sociales, en donde se pretendia conocer información concreta de la situación al momento de iniciarse las acciones planificadas, es decir, establecer el 'punto de partida' del proyecto o intervención. La línea base suele tener un carácter cuantitativo y puede recurrir a fuentes primarias y secundarias de información, sin embargo, se prefieren las fuentes primarias dado que la mayoría de veces los proyectos de desarrollo concernían a un escenario específico no contemplado por otros investigadores. En el contexto de la evaluación de un proyecto, era completamente necesario que la línea base se realizara cuando el plan, programa o proyecto se iniciara, de lo contrario, no se contaría con datos que permitieran establecer comparaciones posteriores e indagar por los cambios ocurridos conforme el proyecto se iba implementando. Así mismo, de no realizarse se harían menos confiables las posteriores evaluaciones de resultados y/o de impacto de un proyecto en desarrollo. 10

En este sentido, la línea base para evaluación de proyectos permite : •

10

Establecer la situación inicial del escenario en que se va a implementar un proyecto.

Bobadilla Díaz, P., Del Águila Rodríguez, L. y Morgan, M. de la L. 1998. Diseño y evaluación de proyectos de desarrollo. Lima-Perú: Pact-USAID.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN •

Servir como un punto de comparación para que en futuras evaluaciones se pueda determinar qué tanto se lograron alcanzar los objetivos.

•

Corroborar los datos obtenidos en el diagnóstico y los estudios de factibilidad previos que dieron origen a la formulación del proyecto.

•

Caracterizar en forma más precisa a la población objetivo del proyecto o intervención, y con ello incluso se podrían reformular los objetivos con miras a ganar mayor pertinencia, eficacia, eficiencia y sostenibilidad potencial.

•

Realizar una planificación bien concebida para la ejecución del proyecto.

Como se observó anteriormente, la línea base fue utilizada en primera instancia como un recurso para evaluar los resultados de proyectos específicos y a su vez para medir el impacto de las decisiones enmarcadas en dichos planes o políticas. Sin embargo, llevar a cabo una evaluación ex–ante y ex–post era pensar que la ejecución de cualquier proyecto era un proceso estático en el que no existían cambios estructurales en el desarrollo. En este sentido, la línea base para seguimiento y evaluación aportó nuevos mecanismos para evaluar tanto los resultados como el proceso mismo de ejecución, permitiendo establecerse como el punto más importante en el proceso de seguimiento y evaluación de cualquier proyecto o política.

Sistemas de seguimiento y evaluación Los sistemas de seguimiento y evaluación son una iniciativa multidimensional enfocada a hacer el desarrollo global mas efectivo por medio de herramientas de administración basada en resultados. Este proceso refleja el concenso acerca de la importancia de medir el alcance de los objetivos del desarrollo. En este sentido, contar con información que permita retroalimentar las acciones gubernamentales permite entender la evolución de las problemáticas del desarrollo y en este sentido ajustar y orientar los planes, programas y proyectos que permitan alcanzar estos resultados. 11

Según OECD (2002) el seguimiento es una “función continua que utiliza la recolección sistemática de datos en indicadores especificos para medir el grado de avance y logros de objetivos y progresos en la utilización de fondos asignados”. A su vez, la evaluación es la “valoración o estimación sistemática y objetiva de un plan, programa, proyecto o politica en curso o terminada, comprendiendo su diseño, ejecución y resultados. Lo que se busca es determinar la relevancia y satisfacción de los objetivos, la eficiencia del desarrollo, su efectividad, impacto y sostenibilidad. La evaluación debe proporcionar información creible y útil, permitiendo incorporar las lecciones aprendidas de todos los actores involucrados”. Estos dos conceptos complementan una visión global de la administración pública basada en resultados. El seguimiento ofrece información relevante acerca de la situación en un momento dado de las politicas, programas y proyectos, mientras que la evaluación ofrece la evidencia de por qué los objetivos y efectos se están, o no, alcanzando. Es así como el seguimiento envía señales acerca de la labor que se esta llevando a cabo en el proceso de alcanzar las metas que se quieren evaluar. En este sentido, un sistema de seguimiento y evaluación es una herramienta que permite valorar el nivel de cumplimiento de los objetivos propuestos de un plan, programa o proyecto, identificando y seleccionando la información que permita tomar decisiones, aplicar correctivos y

11

OECD. 2002. Glossary of key terms in Evaluation and Result-Based Management. OECD Publications. Paris.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN sistematizar experiencias. A su vez, este sistema permite entender y valorar todos los pasos estructurales en el proceso decisorio de una politica pública. Como se evidenció anteriormente, la herramienta básica para este proceso son los indicadores, los cuales permiten tener una visión de la realidad que se pretende transformar con el proyecto o política que se pondrá en marcha. Los indicadores permiten valorar las modificaciones de las características del problema que se quiere medir, es decir que permiten calcular las variaciones y dinámicas de la dimensión política, económica o social que se quiere monitorear y evaluar. El proceso de seguimiento y evaluación implica la valoración y medición de un ámbito multidimensional, por lo que cada vez se hace más necesaria la elaboración de conjuntos de indicadores que analicen el comportamiento de todas las variables de estudio. En este sentido, se debe entender el proceso de seguimiento y evaluación de una forma dinámica, manteniendo un balance adecuado entre los diferentes tipos de indicadores con el fin de determinar la relación entre los medios y los fines para llevar a cabo los planes, programas y proyectos que se quieren implementar. 12

En este sentido, según Llano y Moreno (1995) “pretender elaborar sistemas de indicadores que solo sirvan para dar cuenta del estado de la sociedad, es interpretar a los procesos sociales como estáticos, sin involucrar el dinamismo natural de la sociedad. Según este delineamiento, un sistema de indicadores debe buscar dar cuenta de ambos sucesos, permitiendo en una primera instancia extraer una foto del estado del fenómeno en un momento del tiempo, a partir del cual se elabore un diagnostico que sirva para la formulación de políticas, planes, programas y proyectos, a las cuales se les haga permanente seguimiento y evaluación”. Particularmente, la línea base de indicadores es una herramienta que permite llevar a cabo este proceso teniendo en cuenta el estado actual de las problemáticas a estudiar y evaluando las dinámicas y cambios en el tiempo que tienen el objeto de medición para así poder reducir la incertidumbre y tomar decisiones con la mejor información posible.

Línea base de indicadores como herramienta de seguimiento y evaluación La línea base de indicadores es de uso común entre investigadores sociales y económicos, sin embargo, las cualidades de esta herramienta son aun más amplias que el simple ejercicio de la 13 evaluación de un proyectos. Según el Banco Mundial , “es imposible proyectar el rendimiento en el futuro (fijar objetivos) sin crear primero una línea base que represente la primera medición de un indicador. Por ejemplo, estos datos sirven para informar a los hacedores de política sobre circunstancias actuales antes de embarcarse en la proyección de objetivos para un programa, proyecto o política determinada. De esta manera, la línea base se utiliza para aprender sobre niveles actuales o recientes y patrones de desempeño. Lo que es más importante es que la línea base ofrece la evidencia necesaria para que los encargados del proceso decisorio puedan medir el desempeño y el impacto de las políticas, programas y proyectos”. El diagrama 1 muestra el papel de la línea base de indicadores como herramienta de seguimiento y evaluación. Como se puede ver, la línea base es la primera evaluación de la problemática a tratar y es el punto de comparación de cada una de las siguientes etapas. En este sentido, el seguimiento, la evaluación de resultados y la evaluación de impacto se deben comparan con los indicadores de la línea base para medir los avances, resultados y metas que se lograron. De esta manera, la línea base resuelve problemas frecuentes de improvisación en la planeación y brinda elementos específicos para una evaluación sistemática de las políticas y la gestión pública. 12 LLANO, Anibal y MORENO, Hernando. 1995. Metodología para la conformación de la línea de base del programa BID-PLAN PACIFICO. Departamento Nacional de Planeación. Bogotá. 13 ZALL, Jody y RIST, Ray. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System, World Bank.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Diagrama 1. Papel de la línea base en los sistemas de seguimiento y evaluación

LÍNEA BASE Evaluación preliminar de la problemática (antes de aprobarse la ejecución del plan, programa o proyecto.) Evaluación de impacto (evaluación periódica después de la culminación)

Evaluación de resultados (una vez culminada la ejecución)

Seguimiento (evaluaciones durante el transcurso)

Fuente: DANE

El ejercicio de diseñar y utilizar la línea base contribuye a: •

Identificar indicadores claves de uso obligado para la planeación, el seguimiento, la evaluación, el control y la rendición de cuentas de la gestión pública, dependiendo de la naturaleza de las funciones de las entidades.

•

Organizar bases de datos conforme a necesidades de información identificadas.

•

Definir técnicas y procedimientos estandarizados que garanticen la obtención de la información requerida.

•

Establecer funciones y compromisos frente a los requerimientos de la información.

Sin embargo, el proceso de fortalecimiento estadístico no solo se debe llevar a cabo por medio de la línea base de indicadores, pues existen múltiples instrumentos para el mejor uso y aprovechamiento de la información estadística. La planificación estadística estratégica, la estandarización de conceptos y el plan de fortalecimiento de registros administrativos son solo algunas estas herramientas. De esta forma, estos instrumentos ayudan a que la línea base genere los indicadores que constituyen la plataforma para la generación de un sistema de seguimiento y evaluación para las entidades del orden nacional, sectorial y territorial. El diagrama 2 ilustra cómo la línea base de indicadores se constituye dentro del proceso de fortalecimiento estadístico. El resultado final es un mayor aprovechamiento de los datos para convertirlos en información estadística.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Diagrama 2. Proceso de fortalecimiento estadístico con la línea base de indicadores

Situación inicial

Situación final

Datos disponibles sin aprovechamiento estadístico

Datos disponibles sin aprovechamiento estadístico

Planificación estadística estratégica Estandarización de conceptos Línea base de indicadores

Información estadística y datos transformados en indicadores

Información estadística y datos transformados en indicadores

Plan de fortalecimiento de registros administrativos . . .

Fuente: DANE

Según la experiencia del DANE en el fortalecimiento estadístico, se ha encontrado que las entidades del orden nacional, sectorial y territorial cuentan con abundantes datos sin aprovechamiento estadístico. No obstante, entre la organización de las bases de datos y el uso de la información para la toma de decisiones hay una brecha que se traduce en limitaciones de información requerida, no disponibilidad en tiempos necesarios, bajo perfil en la gestión, entre otros aspectos. En este sentido, los procesos de fortalecimiento de información mencionados anteriormente permiten reducir estos problemas y de esta forma traducir la información en indicadores que permitan tomar decisiones de política. Pensar en la línea base de indicadores como una herramienta para la constitución de un sistema de seguimiento y evaluación, presupone entender que los procesos de acción para mejorar una situación en particular, necesitan de un proceso de eficiencia comparativa, en donde las dimensiones de un problema puedan ser contrastadas con las mimas dimensiones en otros periodos de tiempo, respecto a una meta, promedio, o un valor de referencia nacional o internacional.

Análisis de eficiencia comparativa La filosofía de la línea base parte de definir el estado actual en un tema o situación específica. De esta forma, se pueden comparar las transformaciones (medidas en indicadores) que se buscan mediante políticas y programas. Este proceso se puede llevar a cabo por medio de: a) comparación de los cambios frente a una referencia temporal (diagrama 3); b) comparación de los cambios frente a estándares (diagrama 4). Desde la perspectiva de la mejor gestión de la política, la implementación de la línea base conduce a la identificación de situaciones que requieren cambios mayores, facilita el control social y establece pautas para el mejoramiento de la calidad de los servicios.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Diagrama 3. Comparación de los cambios frente a una referencia temporal

Línea base de indicadores Datos de referencia Año 0

Año 1

Año 2

. . .

Año n

Indicador 1

XX

XX1

XX2

. . .

XXn

Indicador 2

YY

YY1

YY2

. . .

YYn

. . .

. . .

Indicador n

ZZ

. . .

TRANSFORMACIONES

ZZ1

ZZ2

. . .

ZZn

Fuente: DANE

Como se observa en el diagrama 3 la línea base parte de la medición de un conjunto de indicadores en un año especifico, el cual será la referencia para las comparaciones a través del tiempo. Este conjunto de indicadores debe diseñarse de tal forma que responda a las necesidades presentes y futuras de las acciones misionales y los proyectos que permitan solucionar problemas específicos. Frente a los problemas de organización de la información, la línea base distingue los aspectos estructurales y coyunturales en los temas que la integran. Por esta razón, en el primer caso habrá un conjunto de indicadores estructurales cuya producción y uso es permanente y generalizada, no sólo para la política interna, sino también para las comparaciones frente a referencias nacionales o internacionales (diagrama 4). La relevancia del indicador y su continuidad en el tiempo son condiciones que exigen una mínima organización y disposición oportuna de la información. En el segundo caso, la línea base ofrece la opción de incluir indicadores coyunturales, (los referidos a un plan de gobierno, misional o a una situación de coyuntura). De este modo, se facilita el enlace de indicadores estructurales con indicadores de coyuntura.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Unidad de medida

Diagrama 4. Comparación de los cambios frente a referencias

1

2

3

4

5

6

7

…

n

Período

Valor de referencia 1: estándar nacional o internacional Valor de referencia 2: promedio o meta Valor del indicador Comparación entre indicadores Fuente: DANE

El diagrama 4 muestra el proceso de comparación de indicadores con valores de referencia: estándares nacionales, estándares internacionales, promedios o metas establecidas. De esta forma, la continua comparación permite evaluar el desempeño y desarrollo de políticas en ámbitos particulares. En este sentido, las entidades podrán comparar su gestión con respecto a dichos valores establecidos, para fortalecer o corregir las medidas que se han llevado a cabo dentro de las políticas o programas implementados. La información de los indicadores de la línea base puede ofrecer a los hacedores de política una visión amplia de las diferencias que existen entre grupos poblacionales, económicos, sociales, o cualquier otra agrupación temática, para que de esta forma pueda orientar la política o reducir las diferencias entre ellos. La eficiencia comparativa constituye en este caso un proceso de comparación y medición de la gestión a la que se refieren los indicadores. Desde la perspectiva de la mejor gestión de la política, la práctica de la comparación conduce a la identificación de situaciones que requieren cambios mayores, facilita el control social y establece pautas para el mejoramiento de la calidad de los servicios. A partir del esquema de análisis que se propone con la línea base, ya no es suficiente la información sobre el grado de cumplimiento en la ejecución de los recursos del presupuesto o el cumplimiento de las metas establecidas; se hace necesaria la comparación de las transformaciones en el tiempo, la comparación de la gestión frente a temas puntuales, y la comparación de la gestión para realizar transformaciones frente a estándares de referencia.

2.2 DISEÑO ESTADÍSTICO Población objetivo La línea base de indicadores tiene como población objetivo las entidades públicas del orden nacional, sectorial y territorial, así como planes, programas, proyectos o políticas a las cuales se le desee hacer seguimiento y evaluación por medio de indicadores claves.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Unidad de observación Dependencias misionales de las entidades públicas del orden nacional, productoras y usuarias de indicadores estadísticos estratégicos.

2.2.1 Diseño de instrumentos Formulario de Línea Base de Indicadores (FLBI)

14

El instrumento utilizado para la recolección de la información básica, denominado Formulario de Línea Base de Indicadores. El objetivo de este instrumento es registrar la existencia de información estadística, identificando los indicadores producidos, utilizados de otras fuentes y la demanda no satisfecha de de la entidad. Este registro es insumo básico para la conformación del inventario de indicadores, susceptibles de actualización, mejoramiento e inclusión de nuevos proyectos de información. Este formulario está conformado por los siguientes capítulos: Capítulo I. Identificación: incluye información relacionada con el nombre de la entidad en particular, la Unidad y el nombre del grupo o instancia específica objeto de indagación y recolección de la información de interés. El tipo de unidad/división/grupo, el nombre del entrevistado y los datos básicos de localización - cargo, teléfono y correo electrónico. Capítulo II. Tipo de actividad que desarrolla: permite identificar y clasificar a la unidad de observación según la actividad que realiza como productora o como usuaria de información estadística. Capítulo III. Producción de operaciones estadísticas e indicadores: Tiene como propósito identificar de manera exhaustiva la producción de información, a partir del reconocimiento de las operaciones estadísticas e indicadores (realizadas bajo la responsabilidad directa de la unidad de observación). Interesa establecer, para cada unidad de observación o instancia de consulta la siguiente información: Tipo de operación estadística, objetivo, universo de estudio, unidad de observación, periodicidad de recolección de resultados, cobertura geográfica, desagregación geográfica, variables investigadas, periodicidad reproducción, disponibilidad de los datos, disponibilidad de la metodología, difusión de los resultados, indicadores producidos, información relativa a cada indicador, entidades usuarias de los resultados e información sobre indicadores, entre otros. Capítulo IV. Indicadores utilizados de otras fuentes: indaga sobre los principales ítems mencionados anteriormente, haciendo referencia a los indicadores que usa la unidad/división/grupo, pero que es producida por fuentes diferentes a tal unidad/división/grupo, que pueden ser otras Unidades de la entidad, otros grupos o divisiones dentro de la misma unidad o entidades externas a la entidad. Capítulo V. Indicadores requeridos: tiene por objeto identificar las necesidades de indicadores que no están siendo satisfechas; indaga por las variables, cobertura geográfica, desagregación geográfica, periodicidad requerida entre otras cualidades de cada indicador que no está siendo satisfecho por la producción interna de la entidad. Capítulo VI. Observaciones: es un espacio para relacionar información complementaria, que permita aclarar las respuestas del formulario o sustentar cualquier otro aspecto que se considere importante, para el análisis posterior de la información.

14

El anexo A presenta el Formulario de Línea Base de Indicadores.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Capítulo VII. Resultado de la entrevista: permite registrar el resultado final de la entrevista, el nombre del encargado de diligenciar el formulario y la fecha del diligenciamiento, con el fin de poder complementar información o realizar alguna consulta posterior.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

2. PRODUCCIÓN ESTADÍSTICA

La línea base de indicadores tiene como objetivo facilitar el seguimiento y evaluación de la gestión pública frente a objetivos de política. Para llevar a cabo este proceso se debe seguir siete pasos, como se muestra en el diagrama 5: Diagrama 5. Etapas de la línea base de indicadores Planeación Marco normativo y requerimientos de información Diseño de estructura LÍNEA BASE DE INDICADORES

Recolección, verificación y análisis de calidad de información estadística Selección de indicadores – documentación (fichas técnicas) Implementación Sociabilización y capacitaciones

Fuente: DANE

2.1. PLANEACIÓN El objetivo principal de la primera etapa metodológica consiste en orientar a los directivos y técnicos encargados de la línea base sobre su importancia para el proceso de seguimiento y evaluación de políticas, planes, programas y proyectos, así como definir su rol en el proceso. Una vez expuestos los argumentos, se deben concertar acuerdos con el fin de determinar el alcance de la línea base, las obligaciones de los actores responsables de su elaboración y los resultados esperados. Determinar el grado de participación de los actores contribuye a definir los acuerdos y compromisos que permitan aclarar responsabilidades de la información en sus etapas de recolección, producción, análisis y difusión. Esto es vital para la determinación del nivel de precisión de la información a incluir dentro de la línea base, así como para la definición de los instrumentos y mecanismos de utilización de dicha información, con lo cual se definen, en buena parte, los flujos de información y el tamaño del esfuerzo para la asignación de los recursos. Una línea base puede ser concebida para diferentes escenarios, entre ellos entidades del orden nacional, sectorial o territorial responsables del diseño de la política pública, una dependencia en particular dentro de una entidad o un programa, plan o proyecto que se desea llevar a cabo, entre otros. Dependiendo del escenario, la etapa de planeación permite precisar

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN los objetivos de la línea base y establecer la magnitud de las actividades y sus tiempos, la conformación del equipo técnico, los recursos necesarios, los resultados esperados y el esquema de organización y operación de la misma. En este sentido, la planeación de la línea base de indicadores en esta etapa debe incluir la identificación de los distintos escenarios posibles y deseados, cotejando necesidades, magnitud de las acciones por realizar y disponibilidad de los recursos (financieros, presupuestales, humanos, tecnológicos, etc.). Por último, para poder construir una línea base es indispensable tener en cuenta que este es un proceso constante de mejoramiento en el cual los interesados aprenden a evaluar constantemente su progreso hacia metas determinadas y a reorientar sus planes y estrategias según los resultados de un proceso continuo de evaluación. Los resultados que se esperan en esta etapa del proceso son: •

Objetivos y alcance de la línea base.

•

Grupo técnico de coordinación y equipos de trabajo.

•

Compromisos y acuerdos.

•

Plan de actividades y cronograma.

2.2. MARCO NORMATIVO Y REQUERIMIENTOS DE INFORMACIÓN Una vez establecida la magnitud de las actividades, el alcance de la línea base y todos los aspectos concernientes a la planeación, el segundo paso conduce a una revisión del marco normativo y a la identificación de necesidades de información relacionadas con demandas externas y requerimientos en instancias de toma de decisiones que permitan analizar la pertinencia de la construcción y estudio de los indicadores. La tabla 1 relaciona los principales aspectos a tener en cuenta en este paso. Tabla 1. Marco normativo y solicitudes de información expresas por ley






Marco normativo Constitución Leyes Decretos Resoluciones Acuerdos internacionales

Solicitudes expresas por ley
Requerimientos para el cumplimiento de acuerdos internacionales
Demandas externas: requerimiento de orden nacional, regional o local.
Demandas intersectoriales
Planes misionales, de acción y de desarrollo

Fuente: DANE

Para iniciar el proceso de análisis de los requerimientos de información según marco normativo, se deben revisar las normas y leyes que soportan la misión, acciones, políticas, planes, programas y proyectos que se llevan a cabo, y que generan una responsabilidad en la producción de información. Se debe tener en cuenta que dependiendo de los objetivos, alcance y contexto de la línea base de indicadores, algunos de estos lineamientos normativos serán más importantes que otros. Existen dos aclaraciones respecto a esta etapa. En primera instancia, no se debe creer que todas las operaciones estadísticas deban estar sustentadas por una norma, ni que por el hecho de tener éste soporte un proceso estadístico sea mejor que otro. En este sentido, la revisión de la normatividad está enfocada a establecer la relación de información implícita en la norma, las

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN responsabilidades institucionales y la relación de requerimientos puntuales de información en instancias de decisiones nacionales. El segundo punto está relacionado con la transversalidad del marco legal en la línea base. En este sentido, las leyes que se involucren en esta etapa no solo están relacionadas con operaciones estadísticas específicas, sino que se debe hacer un análisis general de las funciones y labores que por ley le correspondan a los involucrados en el diseño, implementación, seguimiento y evaluación de las políticas públicas, planes, programas y proyectos y que afectan a toda la información estadística producida. Los resultados que se esperan en esta etapa del proceso son: •

Identificación de necesidades de información relacionadas con las normas, leyes, decretos, etc.

•

Relación de información implícita en la norma y de responsabilidades institucionales.

•

Relación de requerimientos puntuales de información en instancias de decisiones.

2.3. DISEÑO DE ESTRUCTURA La tercera etapa consiste en estructurar la línea base conforme a las áreas temáticas que se requieren medir para su posterior seguimiento y evaluación. Este paso es fundamental ya que parte de un acercamiento teórico que llevará a plantear temas y subtemas que cubran los objetivos y metas planteados. Esta estructuración no es un ejercicio idealista, sino un estudio concreto basado en documentos estratégicos, normatividad, revisión bibliográfica y el análisis especifico del contexto del objeto de medición, sea este un plan, programa, proyecto, políticas o la misma gestión estratégica de una entidad pública. En primera instancia, la conceptualización de la línea base facilitará evaluar y definir los tipos de indicadores requeridos para hacer seguimiento y evaluación a cada uno los temas y subtemas establecidos. De allí la importancia de esta etapa del proceso, debido a que permite enfocar esfuerzos en la consecución y diseño de información que responda a cada uno de los sectores y no a información que no es significativa para la toma de decisiones en cada uno de las áreas temáticas establecidas. Un segundo análisis de los temas seleccionados consiste en determinar su correspondencia y 15 pertinencia con los documentos misionales, estructurales y/o de funcionamiento que tenga cada actor (sector, territorio, organización, proyecto, etc.). En concreto, se debe tener en cuenta la pertinencia del actor objeto de estudio en relación con los siguientes aspectos: •

Problemas de desarrollo a nivel local, nacional, regional y/o mundial.

•

Grupos destinatarios de los resultados (poblaciones rurales, pobres e indígenas, etc.), cuyas necesidades y obstáculos deben identificarse claramente.

•

Beneficiarios directos, responsables no únicamente de ejecutar la intervención sino de ajustarla y de mantener sus resultados positivos (población objetivo, ejecutores directos, co-ejecutores, instituciones estatales y otros actores directos).

15 Siguiendo los lineamientos del NUPD (1997), se entiende por pertinencia el grado en que los objetivos de una intervención continúan siendo válidos y de interés en la forma originalmente prevista o tal como se han modificado posteriormente, debido a nuevas circunstancias en el contexto inmediato y en el entorno externo.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Los resultados que se esperan en esta etapa del proceso son: •

Estructura temática de la línea base (temas y subtemas).

2.4. RECOLECCIÓN, VERIFICACIÓN Y ANÁLISIS DE CALIDAD DE INFORMACIÓN ESTADÍSTICA Esta etapa busca indagar sobre la existencia y necesidades de indicadores para hacer seguimiento y evaluación a planes, programas, proyectos o la gestión misional de una entidad. 16 Para esto, el DANE diseñó el Formulario de Línea Base de Indicadores (FLBI) , con el fin de tener acceso a la oferta, demanda y requerimientos de indicadores. Esta actividad es de vital importancia ya que suministra el insumo central sobre el cual se estructura la línea base de indicadores. En este sentido, deberá existir compromiso por parte de los encargados o líderes del proyecto, con el fin de garantizar la completitud y calidad de la información diligenciada.

3.4.1 Método de recolección La recolección de los formularios se realizará a través de encuestas presenciales, es decir, por el método de entrevista directa a la fuente de información seleccionada. En este sentido, se deberá asignar un funcionario entrevistador para realizar las encuestas a grupos específicos productores de información estadística. Metodológicamente, se deben repartir las cargas entre los entrevistadores participantes lo más homogéneamente posible, buscando realizar el trabajo en el menor tiempo posible para no exceder los tiempos estipulados en el cronograma. Paso a seguir, debe organizarse el material recolectado en una base de datos, para que se puedan hacer consultas y reportes como insumo para continuar con la fase de análisis de la información estadística.

3.4.2 Análisis de calidad de información disponible Este paso comienza con la verificación de la información disponible respecto a la estructura temática desarrollada en la etapa de diseño. En este sentido, el equipo técnico debe verificar que exista información en todos los temas y subtemas de la línea base, para lo cual cuenta con los formularios de recolección y los formatos de las operaciones estadísticas existentes (censos, muestras, registros administrativos o estadísticas derivadas). Esta verificación permite prever la disponibilidad de información para construir indicadores de seguimiento y evaluación en todos los temas planteados, lo que implica la intervención directa de los actores involucrados de la entidad, y grupos involucrados en el proceso de construcción de la línea base. El proceso de verificación de información disponible y de calidad inicia con la identificación de información estratégica para la planeación, seguimiento y evaluación de políticas, planes, programas, y proyectos con base en necesidades manifestadas por las distintas instancias de toma de decisiones.

16

El formulario se encuentran en el anexo A.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Diagrama 6. Identificación de indicadores estratégicos según jerarquía de objetivos

Fuente: DANE

Posteriormente dentro del conjunto de la información identificada como estratégica, se debe constatar el estado en que se encuentra dicha información respecto a estándares de calidad 17 estadística . Este tipo de evaluación busca incentivar en las entidades públicas la importancia de producir información estadística que responda a estos parámetros. El resultado de esta actividad, son las recomendaciones de mejoramiento de información estadística, lo cual comprometería, a lo actores involucrados a la revisión y ajuste de los procesos de recolección, producción y difusión.

Definición de criterios de calidad estadística: •

Relevancia: Evalúa cualitativamente el valor aportado por la operación estadística. “El valor se caracteriza por el grado de utilidad para satisfacer el propósito por el cual fue buscada por los usuarios. Depende de la cobertura de los tópicos requeridos y del apropiado uso de conceptos. La medición de la relevancia de un producto estadístico requiere de la identificación de su grupo de usuarios y sus necesidades. La información generada tiene múltiples usos y usuarios que pueden cambiar con el tiempo. Nuevas necesidades requerirán de nueva información. La relevancia puede medirse indirectamente indagando si existen procesos en marcha que determinen la 18 perspectiva de los usuarios y el uso que hacen de la información” .

•

Credibilidad: Evalúa si los indicadores están soportados “en estándares estadísticos apropiados y que las políticas y prácticas aplicadas sean transparentes para los procedimientos de recolección, procesamiento, almacenaje y difusión de datos 19 estadísticos” . Además es reforzado por políticas de transparencia en el tratamiento de 20 los resultados .

17 Estos estándares han sido difundidos por organizaciones como EUROSTAT (organismo encargado de administrar las estadísticas europeas), OECD por sus siglas en ingles (Organización para Cooperación y el Desarrollo Económico) y el FMI (Fondo Monetario Internacional). 18 Instituto Nacional de Estadísticas de Chile, 2007, p. 3. 19 Ibíd., p. 6. 20 También expresa en parte los Principios Fundamentales No. 2 y No. 3 de las Estadísticas Oficiales según Naciones Unidas, los cuales establecen respectivamente que: “Para mantener la confianza en las estadísticas oficiales, los organismos de estadística han de decidir, con arreglo a consideraciones estrictamente profesionales, incluidos los principios científicos y la ética profesional, acerca de los métodos y procedimientos para la reunión, el procesamiento,

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

•

21

Coherencia : Evalúa que el proceso estadístico posea una adecuada consistencia y coherencia y esté sujeta a una política de revisión previsible. Este criterio intenta medir el nivel de aprovechamiento que se obtiene de la información estadística, que a su vez debe ser coherente para poder ser utilizada. En este sentido, según la OECD la coherencia se refiere al grado en que la operación estadística esta 22 lógicamente conectada y es consistentes entre sus diferentes características . La coherencia implica que el proceso estadístico “está basado en conceptos, definiciones, 23 y clasificaciones compatibles y que pueden combinarse con sentido” . Para esto, se debe evaluar la pertinencia de hacer variaciones a las metodologías, ya que podrían afectar los valores de los datos sin explicación técnica. En otras palabras, siempre se busca que los datos que produce la operación estadística sean comparables.

•

Oportunidad: Evalúa el cumplimiento del “tiempo transcurrido entre su disponibilidad y el evento o fenómeno que ellos describan, pero considerado en el contexto del periodo de tiempo que permite que la información sea de valor y todavía se puede actuar 24 acorde con ella” . Este criterio contempla otra de las dimensiones de calidad establecidas por la OCDE, pues según esta organización, la información estadística puede considerarse de calidad en la medida en que ésta se encuentre disponible en el momento en que aún es relevante para el seguimiento y evaluación o la toma de decisiones respecto al fenómeno que estudia o que es objeto de medición.

•

Accesibilidad: Evalúa la “rapidez de localización y acceso desde y dentro de la organización. […] La accesibilidad incluye la conveniencia de la manera en que los datos están disponibles, los medios de divulgación, la disponibilidad de metadatos y 25 servicios de apoyo al usuario” . En términos de la CEPAL, este criterio contempla las “condiciones físicas en que los usuarios pueden obtener los datos: dónde y cómo pedirlos, tiempo de entrega, política clara de precios, formatos de disponibilidad, 26 otros” .

Evaluación de los criterios de calidad estadística de indicadores •

Relevancia: Para evaluar la relevancia de la información estadística es necesario identificar los usuarios internos y externos, e indagar sobre la utilidad que los indicadores ofrecen. Este paso pretende entender la importancia de la producción estadística para la satisfacción de los usuarios.

Esta labor debe ir acompañada de la identificación de indicadores demandados desde requerimientos legales (véase numeral 3.2) y la revisión de la pregunta 40 del formulario de línea base de indicadores. el almacenamiento y la presentación de los datos estadísticos” y “para facilitar una interpretación correcta de los datos, los organismos de estadística han de presentar información conforme a normas científicas sobre las fuentes, métodos y procedimientos de la estadística”. NACIONES UNIDAS. Principios fundamentales de las estadísticas oficiales. Sesión Especial de la Comisión de Estadísticas. Nueva York, 1994. 21 En este documento solo se hará énfasis en la coherencia dentro del proceso de construcción de información estadística. Sin embargo, en el sentido más amplio de la palabra, la coherencia también implica una evaluación comparativa de los datos producidos en cuatro sub-dimensiones: dentro de bases de datos, entre bases de datos, en el tiempo, y entre países. Para ampliar este tema, véase: Instituto Nacional de Estadísticas de Chile, 2007. 22 Op cit. Instituto Nacional de Estadísticas de Chile, 2007, p. 6. 23 Ibíd., p. 6. 24 OCDE, Quality Framework and guideline for OECD statistical activities. 2003, p. 9. 25 Ibíd., p. 9. 26 CEPAL, Gestión orientada a asegurar la calidad de los datos en los institutos nacionales de estadística. Segunda reunión de la Conferencia Estadística de las Américas, Chile, 2003.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN El diagrama 7 muestra el proceso que el grupo técnico debe llevar a cabo para determinar los indicadores que cumplen el criterio de relevancia desde el proceso e recolección de la información para la línea base de indicadores.

Diagrama 7. Proceso para identificar los indicadores relevantes

Fuente: DANE

Como se puede observar en el diagrama anterior, la fase de recolección ofrece un inventario de información estadística, el cual está compuesto por la información disponible (producción de indicadores) y la demandada que no ha sido suplida, denominada como indicadores no disponibles (requerimientos de indicadores). Durante el proceso de verificación ocurren dos tipos de acciones fundamentales. La primera de ellas es la reunión con los actores involucrado en el proceso estadístico con los usuarios de esta información, para determinar cuáles de los indicadores reportados son relevantes para el seguimiento, evaluación y toma de decisiones. La segunda es la evaluación por parte del equipo técnico sobre la posibilidad de suplir la demanda de indicadores que no ha sido satisfecha a través de la información disponible. En este sentido, se pretende reducir al máximo los costos en la generación de nuevos indicadores y con ello involucrar estos indicadores, que aunque no están siendo producido, pueden reportarse a bajos costos y son relevantes para los usuario de información. En conclusión, los indicadores relevantes y que deben considerarse para ser parte de la línea base de indicadores son: •

Indicadores expresos por ley.

•

Indicadores demandados por entidades externas.

•

Indicadores disponibles y clasificados como relevantes por los usuario y productores

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN •

Indicadores no disponibles que pueden ser obtenidos a bajos costos y son relevantes para los usuarios y productores.

Después de identificar los indicadores relevantes el quipo técnico debe evaluar estos indicadores en base a lo demás criterios de calidad estadística. •

Credibilidad: el diagrama 8 indica la secuencia de preguntas que se deben tener en cuenta en la evaluación de este criterio.

Diagrama 8. Preguntas para evaluar el criterio de credibilidad de los indicadores Pregunta 25 Nombre del indicador

Pregunta 26 Objetivo del indicador

Pregunta 28 Fórmula del indicador

Pregunta 29 Definición del indicador

Pregunta 36 Metodología y metadato

Pregunta 33 Desagregación geográfica

Pregunta 32 Cobertura geográfica

Pregunta 30 Periodicidad de producción

Fuente: DANE

Según los estándares internacionales y la experiencia del DANE, la credibilidad, implica que la producción de información cumpla con estándares estadísticos apropiados, y que las políticas y 27 prácticas implementadas sean transparentes por medio de procesos documentados (metodologías y metadatos). Es importante recordar que las preguntas del formulario de LBI proporcionan al quipo técnico la materia prima para identificar las falencias del indicador reportado y de esta forma proponer soluciones concretas para ajustar el proceso estadístico que se está llevando a cabo para producir este indicador. Para la evaluación de este criterio, verifique que todas las preguntas relacionadas en el diagrama 8 tienen una respuesta clara. La sola definición de los parámetros expuestos da evidencia que se está llevando un proceso de identificación de los parámetros mínimos para la construcción de un indicador, dejando evidencia de un proceso transparente. Es fundamental entender que la evaluación de calidad estadística debe basarse en el conjunto completo de criterios, por lo que es necesario evaluar la oportunidad y coherencia del indicador para determinar su calidad. Así mismo, verifique que la pregunta 36 fue respondida afirmativamente para la metodología y el metadato del indicador y que se haya anexado dicha documentación. •

27

Coherencia: el diagrama 9 indica la secuencia de las preguntas para tener en cuenta para la evaluación de este criterio.

Op cit. Instituto Nacional de Estadísticas de Chile, 2007, p. 6.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Diagrama 9. Preguntas para evaluar el criterio de coherencia de los indicadores propios Pregunta 26 Objetivo del indicador

Pregunta 27 Unidad de medida del Indicador

Pregunta 28 Fórmula de cálculo del Indicador

Pregunta 29 Definición del indicador

Pregunta 35 Cuadro explicativo del indicador

Pregunta 33 Desagregación geográfica

Pregunta 32 Cobertura geográfica

Pregunta 30 Periodicidad de indicador

Fuente: DANE

Para la valoración de la coherencia se debe analizar si el objetivo (pregunta 26) para el que ha sido creado el indicador es coherente con la formula y definición del indicador (preguntas 28 y 29). Ejemplo: •

El indicador “porcentaje de minas desactivadas en zonas de desminado humanitario” se define como el número de minas desactivadas en zona, expresado como porcentaje del total de minas estimadas en la zona. Este indicador tiene como objetivo “medir la disminución de los accidentes con minas antipersonales, MAP, o munición sin explotar, MUSE”. Aunque la definición del indicador es congruente con el nombre del indicador, éste es adecuado para medir el número de minas desactivadas, en términos porcentuales, durante el proceso de desminado humanitario, pero no “la disminución de los accidentes con minas antipersonales por MAP o MUSE” como se expresó en el objetivo propuesto; en consecuencia debe evaluarse involucrar un nuevo indicador que sea coherente con el objetivo que se quiere llevar a cabo.

•

El indicador “variación de los accidentes por MAP o MUSE en el periodo” se define como la diferencia entre los accidentes por MAP o MUSE presentados en el periodo actual y los accidentes por MAP o MUSE presentados en el periodo anterior, expresado como porcentaje de los accidentes por MAP o MUSE presentados en el periodo anterior. Adicionalmente, el objetivo de este indicador relacionado en la pregunta 26 es “medir la disminución de los accidentes con minas antipersonales, MAP, o munición sin explotar, MUSE”. En este caso es claro que la definición es congruente con el nombre del indicador y a su vez el objetivo del indicador es coherente con esta definición.

Paso seguido se debe analizar si la fórmula es coherente con la unidad de medida del indicador, por ejemplo si señala la formula en términos de porcentaje y la unidad de medida es número no se evidencia una correlación entre sí. Entonces la pregunta 27 y 28 deben ser coherentes entre sí. Verifique que la cobertura geográfica siempre es mayor o igual y la desagregación geográfica. Por ejemplo, si la cobertura del indicador es nacional, la desagregación geográfica puede ser nacional y departamental. Lo que no debe pasar es que si el indicador tiene cobertura en ocho departamentos, se reporte que la desagregación geográfica es a nivel nacional. En este caso verifique la cobertura y desagregación de las variables para identificar la verdadera disponibilidad del indicador.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Finalmente, con base en el cuadro de variables de la pregunta 35, debe verificarse si las variables descritas son utilizadas en la fórmula y si están referidas en la definición relacionada en la pregunta 29, así no sea explícitamente. Así mismo, debe verificarse que la cobertura y desagregación geográfica de las variables esté acorde con las expresadas con estas mismas características del indicador general (preguntas 30, 31 y 32) •

Oportunidad: el diagrama 10 indica la secuencia de las preguntas a tener en cuenta para la evaluación de este criterio.

Diagrama 10. Preguntas para evaluar el criterio de oportunidad - puntualidad de las operaciones estadísticas propias Pregunta 30 Periodicidad de producción

Pregunta 34 Última fecha de producción

Pregunta 37 Difusión de los resultados

Pregunta 39 Última fecha de difusión

Pregunta 38 Periodicidad de difusión

Fuente: DANE

En primer lugar la pregunta 34 debe compararse con la fecha de diligenciamiento del formulario teniendo en cuenta la periodicidad de producción registrada en la pregunta 30, dado que esta última determinará el periodo de rezago por tener en cuenta. Si al contrastarlas se evidencia un rezago menor o igual a un periodo, se considera que no existen problemas en la oportunidad de producción de dicho indicador. Si al contrario, el rezago es mayor a uno o más periodos entonces se deben tomar medidas para reducir estos tiempo y poder tener disponibles los indicadores en el menor tiempo posible, para que lo usuario puedan contar con ellos en su proceso de toma de decisiones. Ejemplo: el indicador X tiene una periodicidad de producción mensual (pregunta 30) y la última fecha de producción de los resultados fue el mes 09 de 2008 (pregunta 34); el formulario registra como fecha de diligenciamiento el 30/11/2008. Se considera que hay problemas de oportunidad en la producción puesto que se observa un rezago superior a un periodo. Paso seguido, debe verificarse que la pregunta 37 tiene respuesta afirmativa y que en la pregunta 38 se haya marcado alguna de las opciones. La oportunidad de difusión de los resultados se evalúa comparando la respuesta a la pregunta 39 con la fecha de diligenciamiento del formulario, teniendo en cuenta la periodicidad con que se difunden los resultados dada por la respuesta a la pregunta 38. Si al contrastarlas se evidencia un rezago menor o igual a un periodo se considera que no existen problemas de difusión. Ejemplo: continuando con el ejemplo anterior, el indicador X tiene una periodicidad de difusión anual de los resultados y la última fecha de producción fue del mes 12 del año 2007. Ahora bien, la respuesta a la pregunta 38 indica que el periodo de rezago no debe ser mayor a un año, y al comparar la pregunta 39 con la fecha de diligenciamiento del formulario encontramos que no existen rezagos superiores a éste, por lo que se considera que no existen problemas en la oportunidad de difusión del indicador. Recuerde que es posible que se presenten casos en los que los indicadores sean oportunas en la producción de los resultados, mas no en la difusión de los mismos.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Disponibilidad - accesibilidad: el diagrama 11 indica la secuencia de las preguntas por tener en cuenta para la evaluación de este criterio.

•

Diagrama 11. Preguntas para evaluar el criterio de accesibilidad de los indicadores Pregunta 37 Difusión de los resultados

Pregunta 40 Forma de entrega de los resultados

Fuente: DANE

Primero verifique que la pregunta 37 es afirmativa. Luego de esto, identifique las opciones marcadas de las preguntas 40 y dele mayor valor de importancia a aquellos indicadores que se entregan en forma gratuita, gratuita restringida o convenios interadministrativos, e indague las razones por las que los indicadores pueden ser entregados de forma comercializada o comercializada restringida.

3.4.3 Determinación de los flujos de información estadística Como actividad complementaria es preciso conocer los actores productores y usuarios de los indicadores, con el fin de establecer un panorama del flujo de información y con ellos concentrar acciones para la implementación de la línea base de indicadores. Este ejercicio se debe realizar primero a nivel de cada actor involucrado (unidades, dependencias, entidades, etc.) y luego construir el esquema general de todo el proceso. Con base en el inventario de oferta de indicadores y utilizando la pregunta 37 del Formulario Línea Base de Indicadores, debe construirse una tabla en Excel, como la que se presenta en la tabla 2. Tabla 2. Inventario de producción y uso de indicadores Principales usuarios de los resultados Código flujo de indicador

Indicador

Fuente de información

1

Indicador X

Productor 1

2

Indicador Y

Productor 3

3

indicador Z

Productor 5

Usuarios internos

Usuarios externas

Usuario interno 2 Usuario interno 3 Usuario interno 1 Usuario interno 4

Usuario externo A Usuario externo Z Usuario externo Y Usuario externo X Usuario externo B Usuario externo H Usuario externo W

Usuario interno 1 Usuario interno 2

Fuente: DANE

A partir de la tabla anterior se determinan los flujos de información estadística, al establecer productores, usuarios y el indicador que se transfiere. Este cuadro debe ser diligenciado con la información más exacta posible, en este sentido, los productores y usuarios (internos y externos) deben ser identificados como entidad, dependencia y oficina. Para mayor comprensión del ejercicio, los flujos se deben establecer mediante esquemas que permitan visualizar fácilmente la situación existente. Adicionalmente, de acuerdo con el volumen de información, podría resultar relevante construir flujos del actor responsable hacia el exterior (entidades externas) y del exterior hacia el actor responsable. Un flujo de información debe contener:

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

•

En casillas, los nombres de las oficinas, entidades o actores productores o usuarios de indicadores.

•

Conectores o líneas con convenciones que expliquen el tipo de información que está circulando.

•

El nombre de los indicadores que circulan entre productores y usuarios. Para fines prácticos este podría remplazarse por un código flujo asignado al indicador.

El diagrama 12 ilustra un esquema de flujo de información interno. Los flujos de información no deben seguir obligatoriamente este esquema, pero han de guardar relación con las pautas establecidas anteriormente.

Diagrama 12. Flujo de información interno (1)

Actor interno 2

Actor interno 4

Actor interno 1 (2) (2)

Actor interno 3 (1)

Indicadores propios Fuente: DANE

El diagrama 13 presenta un esquema de flujo de actores internos hacia externos.

Diagrama 13. Flujo de información hacia actores externos (2)

Actor interno 1

Actor externo X (1)

Actor externo Z

(3)

Actor interno 2

Actor externo W

Indicadores para usuarios externos Fuente: DANE

Para determinar el flujo de información desde entidades externas se utiliza el inventario de demanda satisfecha de indicadores, y a partir de este se establecen los flujos a que haya lugar. El diagrama 14 presenta un modelo esquemático para este tipo de flujo.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Diagrama 14. Flujo de información desde actores externos

Actor interno 1

Actor interno 2

Actores externos

Acto interno 4 Indicadores desde entidades externas Fuente: DANE

Los resultados que se esperan en esta etapa del proceso son: •

Revisión y ajuste de procesos de obtención de datos (operaciones estadísticas: censos, muestras y registros administrativos).

•

Recomendaciones de mejoramiento de la información.

•

Listado preliminar de indicadores.

•

Flujos de información.

2.5. SELECCIÓN DE INDICADORES – DOCUMENTACIÓN (METADATOS) Esta etapa permite establecer el conjunto de indicadores definitivos que hacen parte de la línea base y su respectiva documentación conforme a fichas técnicas (metadatos) previamente diseñadas. El primer paso es diseñar una matriz en donde se evidencien los conjuntos de indicadores para cada subtema y a su vez clasificando estos indicadores según la cadena lógica de intervención. Los indicadores que se encuentran bajo esta clasificación tratan de medir en cuánto se acerca el proceso a los efectos e impactos esperados, la cual es la razón de ser de un proceso de seguimiento y evaluación basado en resultados. En este sentido, los indicadores se deben clasificar según los siguientes criterios: •

Indicadores de impacto: se refieren a los efectos, a mediano y largo plazo, que pueden tener uno o más programas en el universo de estudio y que repercuten en la sociedad en su conjunto.

•

Indicadores de resultado (outcome): son los que reflejan los logros alcanzados por la entidad y que se relacionan con los objetivos estipulados.

•

Indicadores de producto (outputs): son los asociados a los bienes y servicios generados como resultado de la ejecución de los procesos.

•

Indicadores de proceso: se refieren al seguimiento de la realización de las actividades programadas, respecto a los recursos materiales, personal y/o presupuesto. Este tipo

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN de indicadores describe el esfuerzo administrativo aplicado a los insumos para obtener los bienes y servicios programados. •

Indicadores de insumo: se refiere a la disponibilidad de los recursos necesarios para llevar a cabo la actividad planeada.

En este sentido la matriz de indicadores debe quedar de la siguiente forma: Tabla 3. Matriz de indicadores Tema

Subtema Subtema 1.1

Tema 1

Subtema 1.2 Subtema 1.3 Subtema 2.1

Tema 2

Subtema 2.2

Indicador Indicador 1 Indicador 2 Indicador 3 Indicador 4 Indicador 5 Indicador 6 Indicador 7 Indicador 8

Tipología Producto Proceso Insumo Producto Impacto Proceso Proceso Impacto

Fuente: DANE

2.5.1. Validación Los directivos, técnicos y demás encargados de la línea base deben validar cada uno de los indicadores propuestos en la matriz, teniendo en cuenta su clasificación temática, tipológica y su ficha técnica. Así mimo, es pertinente que este ejercicio se haga siempre teniendo en cuenta la función de cada indicador para constituir un sistema de seguimiento y evaluación, además de la revisión normativa hecha en la segunda etapa metodológica. El paso anteriormente descrito conduce a la conformación de una matriz de indicadores ajustada, en donde se incluyen los indicadores con información disponible e indicadores sin información disponible pero con medios para su obtención.

2.5.2. Documentación Después de seleccionar los indicadores que cumplen con los parámetros de calidad establecidos y clasificarlos según tema, subtema y tipo de indicador, se procede a realizar la documentación de los mismos, lo cual permite informar al usuario sobre todas las características del proceso de generación de dicho indicador. Las fichas técnicas o metadatos responden a las preguntas qué, quién, cuándo, dónde, para qué y cómo, de los aspectos relativos a los datos que se documentan. La inclusión del registro de metadato en el esquema de línea base constituye un aporte al acceso y la democratización de la información. Los metadatos se han definido como “los datos acerca de los datos” según su origen epistemológico, sin embargo, otras definiciones precisan que un metadato constituyen un conjunto común de términos y definiciones que describen las principales propiedades o 28 características de los datos . Son múltiples los beneficios que se obtienen de la construcción sistemática y del uso de los metadatos. A continuación se mencionan algunos:

28 Para mayor información consulte: DURRELL, W. R. Data Administration. A Practical Guide to Data Administration. McGraw-Hill, 1985.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN •

Facilita a los usuarios el proceso de acceso y uso de información estadística.

•

Reduce el problema de la abundancia de información y desconocimiento de su uso.

•

Apoya la gestión de los responsables de los servicios estadísticos oficiales mediante el ordenamiento y mantenimiento de datos y recursos de información, y también de la promoción de productos y servicios de información.

•

La documentación genera credibilidad de la información hacia los usuarios.

•

Apoyan la toma de decisiones requeridas por los usuarios para la elaboración de sus proyectos.

La estructura básica de un metadato para la documentación de indicadores se presenta a continuación: Tabla 4. Estructura básica de metadato de indicadores Tema Subtema Tipo de indicador Sigla Objetivo Definiciones y conceptos Método de medición Unidad de medida

Fórmula

Variables Limitaciones del indicador

Fuente de los datos

Desagregación temática Desagregación geográfica

Tema al que corresponde el indicador según la organización temática de la línea base. Subtema al que corresponde el indicador según la organización temática de la línea base. Insumo, proceso, producto, resultado, impacto Termino abreviado que representa el nombre del indicador. Propósito que se persigue con su medición, es decir, describe la naturaleza y finalidad del indicador. Explicación conceptual de cada uno de los términos utilizados en el indicador. Corresponde a la explicación técnica sobre el proceso para la obtención de los datos utilizados y la medición del resultado del indicador. Unidad con la que se mide el indicador: porcentaje, hectáreas, pesos, etc. Expresión matemática mediante la cual se calcula el indicador. La formula se debe presentar con siglas claras y que en lo posible den cuenta del nombre de cada variable. Descripción de cada variable de la fórmula: Especificación precisa de cada una de las variables con su respectiva sigla ¿Qué no mide el indicador? Las limitaciones que el indicador tiene como modelo para medir una realidad a la que es imposible acceder directamente. Nombre de las entidades encargadas de la producción y/o suministro de la información que se utiliza para la construcción del indicador y operación estadística que produce la fuente. Se refiere al nivel de detalle temático hasta el cual se puede obtener información estadísticamente significativa a partir de los datos disponibles. Se refiere al nivel geográfico hasta el cual se puede obtener información estadísticamente significativa. Por ejemplo, nacional, departamental, municipal, entre otras.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Periodicidad de los datos Fecha de información disponible Responsable

Observaciones

Frecuencia con que se hace la medición del indicador en su expresión total. Fecha inicial y final de la información disponible. Entidad(es) y dependencia(s) que tendrá(n) a su cargo la elaboración del indicador. Incluye las reflexiones y recomendaciones que se consideren pertinentes para la conceptualización y comprensión del indicador además de señalar la bibliografía de referencia o documentales utilizados para la elaboración de los conceptos.

Fuente: DANE

En esta etapa cada uno de los indicadores involucrados en la línea base debe documentarse de tal forma que se cree un proceso estandarizado de identificación de información disponible. Los resultados que se esperan en esta etapa del proceso son: •

Matriz ajustada de indicadores.

•

Fichas técnicas (metadatos) de los indicadores.

2.6. IMPLEMENTACIÓN Esta etapa permite ejecutar las recomendaciones y productos expuestos en las etapas anteriores. Particularmente se busca implementar las mejoras en la producción de información estadística, poner en práctica los flujos de información y poner a disposición la línea base de indicadores con sus datos al público. La implementación de la línea base no está relacionada con un periodo de tiempo específico, ya que es un proceso constante que requiere el compromiso y la participación activa de todos los actores involucrados. Su funcionamiento depende de la puesta en marcha de los aspectos organizativos y la disponibilidad el desarrollo de una herramienta informática.

2.6.1. Aspectos organizativos Se debe definir las responsabilidades de la administración de la línea base, así como la dinámica de la transferencia de la información entre los distintos actores involucrados, con el fin de garantizar su efectividad en el tiempo. Para esto, en este paso se estructura lo siguiente: •

Conformación del grupo temático de trabajo: este grupo queda a cargo de los posibles futuros ajustes a los indicadores vinculados en la línea base, así como del diseño y formulación de otros nuevos que correspondan a las demandas futuras de información.

•

Conformación del grupo de sistemas: este equipo se encargará del mantenimiento de la plataforma del software, así como del soporte técnico y la administración de las bases de datos.

•

Puesta en funcionamiento de los flujos y canales de información para alimentar los indicadores: este proceso parte de la participación de todos los actores involucrados, así como la de los dos grupos mencionados anteriormente, con el fin de garantizar la armonización en el funcionamiento de la línea base. Este paso parte de los formatos de captura de información, así como de los protocolos de transferencia de información establecidos.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

2.6.2. Desarrollo de herramienta informática Aunque puede utilizarse cualquier alternativa tecnológica para la construcción de la herramienta informática, la recomendación es que pueda hacerse en ambiente Web, y que sea compatible con la plataforma tecnológica de cada actor, con el fin de aprovechar las ventajas que proporcionan los sistemas a través de Internet. No sólo permite la alimentación de la información requerida en los indicadores, sino también la consulta abierta y accesible de múltiples usuarios. La alimentación de datos se hará, de esta forma, en tiempo real y la herramienta tendrá en cuenta lo siguiente: •

Protocolos de trasferencias de información, permisos y accesos a los diferentes campos del software.

•

Formatos de captura de información, tiempos establecidos por indicador.

•

Esquema de administración, manuales e instrumentos de control de la calidad (validaciones) de la información que ingresa a la línea base.

•

Mecanismos de cálculo automático de los indicadores de la línea base.

Esta herramienta cuenta con tres módulos articulados los cuales facilitan la implementación de la línea base de indicadores. En la tabla 5 se explican la funcionalidad de cada módulo. Tabla 5. Componentes de la herramienta informática de la línea base de indicadores Modulo de administrador

Modulo de captura

La función de este módulo es Por medio de este módulo se aportar los campos adecuados rea-liza el ingreso de los para el cargue de los datos indicadores formulados. correspondientes a las variables de los indicadores. Este cargue Este módulo responde de información se puede realizar directa-mente a la estructura de manera individual y manual de la línea base, y a todos los (indicador por indicador) ó se campos que componen tanto puede realizar un cargue masivo los indicadores como los cuando se tienen series metadatos de los mismos. periódicas completas por medio de archivos planos.

Modulo de consulta En este módulo proporciona el metadato por cada indicador, el cálculo del mimo en el periodo t seleccionado y compara el comportamiento de las variables del indicador con el año base. Así mismo se puede ver el comportamiento histórico del indicador por medio de gráficas y adicionalmente se pueden exportar las bases de datos de las variables del indicador a Excel.

Fuente: DANE

Este software incluye integración de procesos de generación de información, procesamiento, mediciones y consultas una vez cargadas las bases de datos que lo alimentan las variables de los indicadores finales.

2.7. SOCIABILIZACIÓN Y CAPACITACIONES En esta etapa se llevan a cabo reuniones con los actores productores y usuarios con el fin de presentar la línea base de Indicadores que se ha diseñado para que de esta forma se entienda el alcance de esta herramienta para el seguimiento y evaluación de planes, programas, proyectos y demás decisiones de política. Así mismo, el proceso prevé el desarrollo de un programa de capacitación a funcionarios y directivos en torno a la administración y coordinación de la línea base, la construcción y análisis de indicadores.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

Las capacitaciones que se deben tener en cuenta son: •

Capacitación en el diseño, construcción e interpretación de indicadores.

•

Capacitación para la inclusión de indicadores dentro del sistema.

•

Capacitación para el cargue de los datos de las variables que componen los indicadores.

•

Capacitación para la consulta de los indicadores.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

3. DIFUSIÓN

4.1 PRODUCTOS E INSTRUMENTOS DE DIFUSIÓN

La difusión de los documentos de líneas base de indicadores que han resultado del apoyo prestado por el DANE, se realiza a través de su página web (www.dane.gov.co) accediendo a estos mediante el vínculo Planificación Estadística, y luego Línea Base de Indicadores donde además podrá encontrarse la metodología completa. La metodología y los documentos de línea base pueden descargarse desde la página web en formato PDF. Por su parte, cada entidad es responsable de difundir los resultados de su línea base y dejar el software a disposición del público.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

4. DOCUMENTACIÓN RELACIONADA

•

Guía de diseño, construcción e interpretación de indicadores. DANE, 2009. Este documento es una guía detallada acerca del proceso de diseño, construcción e interpretación de indicadores. Así mismo, se presentan las principales tipologías y un formato básico de metadato para su documentación.

•

Manual de diligenciamiento del Formulario de Línea Base de Indicadores (FLBI). DANE, 2009. Este manual incluye el Formulario de Línea Base de Indicadores (FLBI) y las instrucciones para su diligenciamiento.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

GLOSARIO

29

Análisis: Proceso de aplicar sistemáticamente la lógica y técnicas estadísticas para interpretar, comparar, categorizar y resumir datos reunidos con el fin de llegar a conclusiones (2). Cadena de resultados: La secuencia causal de una intervención para el desarrollo que estipula la secuencia necesaria para lograr los objetivos deseados, comenzando con los insumos, pasando por las actividades y los productos, y culminando en el efecto directo, el impacto y la retroalimentación. En algunos organismos, los destinatarios (o el «alcance») forman parte de la cadena de resultados (1). Difusión: Proceso de entregar información acerca de, típicamente, un producto (3). Enseñanzas (lecciones) aprendidas: Generalizaciones basadas en las experiencias de evaluación de proyectos, programas o políticas en circunstancias específicas, que se aplican a situaciones más amplias. Con frecuencia, las enseñanzas destacan los puntos fuertes o débiles en la preparación, el diseño y la puesta en práctica que afectan al desempeño, los resultados y el impacto (1). Eficacia: Medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa. Nota: Se utiliza también como medida agregada o juicio sobre el mérito o el valor de una actividad, es decir, el grado al cual una intervención ha logrado, o se espera que logre, sus principales objetivos pertinentes de manera eficaz, en forma sostenible, y con un impacto institucional positivo en el desarrollo (1). Eficiencia: Medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido económicamente en resultados (1). Evaluación: Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida (1). Evaluación cualitativa: Tipo de evaluación primordialmente descriptiva e interpretativa, que puede o no prestarse a la cuantificación (2).

29

Este glosario está basado en los siguientes documentos, los cuales serán enumerados para identificar la fuente de cada termino : (1) OCDE (Organización para la Cooperación y el Desarrollo Económico). 2002. Glossary of Key Terms in Evaluation and Result-Based Management. OECD Publications. Paris. (2) UNFPA (Fondo de Población para las Naciones Unidas). 2004. Conjunto de Herramientas de Planificación, seguimiento y evaluación del Administrador de Programas. Herramienta 1: Glosario de términos de planificación, seguimiento y evaluación. (3) SCRIVEN, Michael. 1981. Evaluation Thesaurus. Third edition. Edgepress Inverness, California, USA. Nota: Los conceptos que no tienen referencia bibliográfica están en revisión por parte del grupo de estandarización de conceptos del DANE.

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Evaluación cuantitativa: Tipo de evaluación que entraña el uso de la medición numérica y el análisis de datos basado en métodos estadísticos (2). Evaluación ex ante: Evaluación que se efectúa antes de poner en práctica una intervención para el desarrollo (1). Evaluación ex post: Evaluación de una intervención para el desarrollo que se efectúa una vez que ha concluido (1). Gestión basada en resultados: Una estrategia de gestión por la que una organización garantiza que sus procesos, productos y servicios contribuyen al logro de resultados deseados (productos, efectos directos e impacto). La gestión basada en los resultados se basa en la participación de las partes interesadas y en una rendición de cuentas clara respecto de los resultados. También requiere la supervisión del progreso hacia los resultados y en la presentación de informes sobre el desempeño/retroalimentación que es cuidadosamente examinada y utilizada para mejorar la concepción o ejecución del programa (2). Impacto: Efectos de largo plazo, positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no (1). Indicador: expresión cualitativa o cuantitativa observable, que permite describir características, comportamientos o fenómenos de la realidad a través del establecimiento de una relación entre variables, que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar el desempeño y su evolución en el tiempo. Variable o factor cuantitativo o cualitativo que proporciona un medio sencillo y fiable para medir logros, reflejar los cambios vinculados con una intervención o ayudar a evaluar los resultados de un organismo de desarrollo (1). Información: conjunto organizado de datos procesados y útiles, que constituyen un mensaje sobre un determinado fenómeno, proporcionando significado o sentido a una situación en particular. Información estadística: conjunto de resultados cuantitativos y cualitativos que se obtienen mediante el tratamiento sistemático de datos que se originan en encuestas (censos y muestras), o consolidación de registros, normas y estándares para medición y estudio de fenómenos de interés. Información estadística estratégica: información producida o avalada por instituciones de carácter gubernamental, en desarrollo de su misión institucional, generada a través de procedimientos metodológicos, normas y estándares de carácter técnico-estadístico, requerida para la toma de decisiones del país. Debe generarse a nivel nacional, sectorial y territorial para apoyar la planeación y toma de decisiones por parte de las entidades estatales; dicha información debe ser veraz, imparcial y oportuna. Impacto: efectos de largo plazo, positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no (1). Insumo: recursos financieros, humanos y materiales empleados en una intervención para el desarrollo (1). Meta: objetivo global hacia el cual se prevé que contribuya una intervención para el desarrollo (1).

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN Metadato: atributos y características que describen la información en su contenido y estructura; en síntesis el metadato es la documentación acerca de la información. Metodología: estudio lógico y sistemático de los métodos de procedimientos que guían el proceso de generación de una investigación. En términos estadísticos, se refiere al enfoque que permite observar un problema de una forma total, sistemática y con cierta disciplina estadística. Operación estadística: conjunto de procesos que comprenden el diseño, producción y difusión de información estadística, que se origina en censos, muestras, consolidación de registros administrativos y estadísticas derivadas. Producto: Comprende los productos, los bienes de capital y los servicios que resultan de una intervención para el desarrollo; puede incluir también los cambios resultantes de la intervención que son pertinentes para el logro de los efectos directos (1). Rendición de cuentas: obligación de demostrar que se ha efectuado el trabajo cumpliendo con las reglas y normas acordadas o de declarar de manera precisa e imparcial los resultados obtenidos en comparación con las funciones y/o planes encomendados. Esto puede exigir una demostración cuidadosa, que pueda defenderse incluso judicialmente, de que la labor realizada es congruente con los términos contractuales (1). Resultado: Producto, efecto o impacto (intencional o no, positivo y/o negativo) de una intervención para el desarrollo (1). Seguimiento: función continua que utiliza la recolección sistematica de datos en indicadores especificos para medir el grado de avance y logros de objetivos y progresos en la utilización de fondos asignados (1).

Metodología de línea base de indicadores Dirección de Regulación, Planificación, Estandarización y Normalización – DIRPEN

BIBLIOGRAFÍA

BOBADILLA, P., Del Águila Rodríguez, L. y Morgan, M. 1998. Diseño y evaluación de proyectos de desarrollo. Lima-Perú: Pact-USAID. CEPAL (Comunidad Económica para América Latina y el Caribe). 2001. Serie Seminarios y Conferencias No. 8 “Seminario de alto nivel sobre las funciones básicas de la planificación. Compendio de experiencias exitosas”. La Habana, Cuba, 16 al 17 de noviembre de 2000. DANE (Departamento Administrativo Nacional de Estadística). 2009. Guía de diseño, construcción e interpretación de indicadores. Bogotá. DANE (Departamento Administrativo Nacional de Estadística). 2001. Línea de base Secretaría de salud gobernación de Cundinamarca. DIRPEN. Bogotá. DNP (Departamento Nacional de Planeación). Plan Nacional de Desarrollo 2006 - 2010 “Estado Comunitario: Desarrollo para Todos”. Bogotá, D.C., 2007, pp. 468-469. LATORRE, Emilio. 1996. Teoría general de sistemas. Aplicada a la solución integral de problemas. Universidad del Valle. Santiago de Cali, Colombia. LLANO, Anibal y MORENO, Hernando. 1995. Metodología para la conformación de la línea de base del Programa BID-PLAN PACIFICO. Departamento Nacional de Planeación. Bogotá. NUPD. 1997. Monitoreo y evaluación orientados a la obtención de resultados: Manual para los administradores de programas. OESP Handbook Series. New York, USA. OCDE (Organización para la Cooperación y el Desarrollo Económico). 2002. Glossary of Key Terms in Evaluation and Result-Based Management. OECD Publications. Paris. PFENNIGER, Mariana. 2004. Indicadores y estadísticas conceptuales: un breve repaso conceptual. Portal Iberoamericano de Gestión Cultural. España http://www.gestioncultural. org/gc/boletin/pdf/Indicadores/MPfenniger.pdf RIST, Ray y ZALL, Jody. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System, World Bank. SCRIVEN, Michael. 1981. Evaluation Thesaurus. Third edition. Edgepress Inverness, California, USA. UNFPA (Fondo de Población para las Naciones Unidas). 2004. Conjunto de Herramientas de Planificación, seguimiento y evaluación del Administrador de Programas. Herramienta 1: Glosario de términos de planificación, seguimiento y evaluación. VOS, Rob. 1995. Hacia el mejoramiento del sistema de indicadores sociales para América Latina. Institute of Social Studies y Banco Interamericano de Desarrollo BID, Washington.