GUÍA
ORIENTACIÓN A EFECTOS E IMPACTOS en los Proyectos y Programas de Welthungerhilfe Parte I: Trasfondo y Definiciones
CONTENIDO
Listado de abreviaciones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 1.1 1.2 1.3
Introducción. . . . . . . . . . Trasfondo . . . . . . . . . . . Organización de la guía. . Destinatarios de la guía. .
2
Definición de términos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3
La orientación a efectos e impactos en el ciclo del proyecto. . . . . . . . . . . . . . . 9
4
Bibliografía . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
3 3 4 4
Resumen de las Gráficas Gráfica 1 Esquema de la cadena de resultados . . . . . . . . . . . . . . . . . . . . . . . . . 6 Gráfica 2 Términos claves – Las lógicas que rigen la cadena de resultados y el Marco Lógico (según glosario CAD). . . . . . . . . . . . . . . . . . . . . . . . 7 Gráfica 3 Esquema del ciclo del proyecto en la Welthungerhilfe. . . . . . . . . . . . . . 10
1
LISTADO DE ABREVIACIONES
BMZ CAD DFID M&E ML OCDE ODM ONG
2
Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (Ministerio Federal de Cooperación Económica y Desarrollo) Comité de Asistencia para el Desarrollo (Development Assistance Comité) Department for International Development (Ministerio (británico) de Desarrollo Internacional) Monitoreo y Evaluación Marco lógico del proyecto Organización para la Cooperación y el Desarrollo Económico (Organisation for Economic Cooperation and Development – OECD) Objetivos de Desarrollo del Milenio (Millennium Development Goal(s)) Organización No Gubernamental
Introducción
1.1
1
Trasfondo
Desde que la cooperación para el desarrollo se comprometió en el marco de la « Declaración del Milenio » y la « Declaración de Paris 2005 » con la observación de objetivos de desarrollo consensuados, la orientación a efectos e impactos está experimentando un alto prestigio a nivel internacional. Más que nunca se le exige a la comunidad de donantes, pero también a las organizaciones no gubernamentales (ONG), que deben dar muestras fehacientes de su capacidad de usar con eficacia los recursos puestos a su disposición, lo que se traduce en un aporte visible al desarrollo de los países contrapartes. Poder comprobarlo presupone una orientación explícita a efectos e impactos desde la misma fase de planificación de los programas y proyectos y la correspondiente documentación de la misma. En su concepto temático « Evaluación orientada a impactos en el trabajo exterior de la Deutsche Welthungerhilfe » la Welthungerhilfe definió ya en 2003 la auto-exigencia de comprobar tanto impacto como eficacia de su trabajo de proyectos a través de una evaluación orientada a efectos e impactos. Las claves para la evaluación orientada a efectos e impactos de la Welthungerhilfe son: aprender de los éxitos y fracasos, sacar conclusiones de los errores y mejorar continuamente, en conjunto con las organizaciones contrapartes y los grupos meta, los efectos / impactos de la cooperación para el desarrollo. Se le encomendó a un grupo de trabajo promover en Welthungerhilfe la implementación de un concepto de planificación, monitoreo y (auto-)evaluación orientado a efectos e impactos. La tarea principal del grupo de trabajo fue la elaboración de una guía donde se define el enfoque conceptual sobre impactos de la Welthungerhilfe que debe servir a la vez como un manual para la implementación de la orientación a efectos e impactos en la planificación, el monitoreo y la evaluación de proyectos de Welthungerhilfe. En aras de organizar un proceso lo más cercano posible a la realidad cotidiana se eligieron cuatro proyectos de la cartera de Welthungerhilfe, los que fueron planificados e implementados en línea con los aspectos relevantes en la orientación a efectos / impactos1. A la presente guía se incluyeron tanto las experiencias de este proceso piloto como los conocimientos con los que cuentan los oficiales de programas, jefes de proyectos y organizaciones contrapartes participantes.
1 Los talleres de planificación de los proyectos pilotos (Paquistán, Madagascar, Perú, Congo) fueron ampliamente documentados. Las personas interesadas pueden solicitar a la Oficina Central de la Welthungerhilfe un CD-ROM con la documentación completa de los talleres.
3
CAPÍTULO 1
1.2
Organización de la guía
La presente guía se divide en tres partes: La Parte I explica la terminología y el trasfondo de la planificación orientada a efectos e
impactos y la en el ciclo del proyecto que utiliza la Welthungerhilfe. La Parte II facilita un manual donde se explica paso a paso el procedimiento orientado a efectos e impactos en las diferentes fases de un proyecto, tomando como ejemplo un proyecto concreto. Se hace referencia a opciones metodológicas que pueden aplicarse a los diferentes pasos del proyecto – dependiendo del tipo de proyecto en mención – , pero sin profundizar en ellas. La Parte III ofrece una colección de instrumentos y métodos para la orientación a efectos e impactos, describiendo las ventajas y limitaciones de cada uno. La gran mayoría de ellos se seleccionó en base a las experiencias vividas en los proyectos de la Welthungerhilfe. La idea es seguir perfeccionando y completando continuamente la guía. Particularmente la Parte III debe entenderse como un documento dinámico, en proceso de continua revisión y ampliación2. Por ejemplo, si una organización contraparte o un proyecto ha tenido una experiencia positiva con la aplicación de métodos nuevos, o alternativos a los aquí descritos, nos alegraría poder incluirlos a la presente guía. De esta manera todos los responsables de Welthungerhilfe y de sus organizaciones contrapartes pueden apropiarse rápidamente de instrucciones actualizadas, y validadas por la práctica, y socializar a la vez sus propias experiencias, nacidas del quehacer cotidiano.
1.3
Destinatarios de la guía
La guía se dirigirá principalmente a las y los colegas3 de la Welthungerhilfe y sus organizaciones contrapartes, así como a los expertos externos contratados para misiones de corto plazo, a los encargados de la preparación y la gestión de proyectos nuevos o nuevas etapas de proyectos ya existentes. En segundo lugar la guía servirá a las instancias de decisión en la Welthungerhilfe, concretamente para los Responsables de Gestión, la Junta Directiva y los Consejos Consultivos, así como para los asesores, contratados para realizar evaluaciones externas. La guía constituye una herramienta de orientación importante a la hora de evaluar si, y en qué medida, los diferentes pasos de un ciclo del proyecto – planificación, implementación, monitoreo y evaluación (M&E), información / documentación – han seguido una orientación a efectos / impactos. Además, se considerarán destinatarios indirectos de la guía los financiadores de la Welthungerhilfe y el público especializado, interesado en la cooperación para el desarrollo orientada a efectos e impactos. Ellos podrán servirse de los procesos y productos facilitados por Welthungerhilfe, y eventualmente hacerlos fructíferos para su propia labor.
2 La responsabilidad para el cuidado y la actualización continúa de la guía, así como de la colección de prácticas exitosas, recae en la unidad conocimientos, innovación, asesoría en la sede central de Welthungerhilfe. 3 Para facilitar la lectura se utiliza de aquí en adelante solamente la forma masculina. No obstante esta elección semántica, se refiere por igual a las y los colegas, así como a las y los asesores, etc.
4
Definición de términos
2
« Sin términos precisos se pierde el orden de las cosas. » (Confucio) En la discusión actual en el ámbito de la cooperación sobre impactos, cada organización (CAD, BMZ, DFID etc.) está usando su propia terminología para conceptualizar los niveles de objetivos, efectos e impactos. De ahora en adelante se hace referencia a la terminología actualizada del BMZ y a la del CAD, ya que cobra cada vez más importancia a nivel internacional. Donde sea posible, se recurre también a la terminología vigente en Welthungerhilfe (vea gráfica 1, p. 6). Actividades: gestiones o acciones que se realizan en el marco de un proyecto para generar, mediante el uso de recursos, un producto determinado. Productos: Productos y servicios, generados y/o facilitados por el proyecto. A través de los productos se genera un efecto. Buen uso de los productos: describe la manera cómo el grupo meta hace uso del producto. Efecto: cambios a corto y mediano plazo (efecto directo), que se relacionan directamente con el buen uso que el grupo meta hace de los productos que el proyecto genera. Quiere decir: el efecto resulta del buen uso de los productos.4 Impacto: Cambios en el largo plazo – intencionales y no intencionales, positivos y negativos – a nivel de los diferentes actores de un proyecto (grupos meta, organizaciones contrapartes, organizaciones locales, etc.) y en el ámbito del proyecto como tal. Estos impactos pueden producirse a consecuencia de las intervenciones realizadas durante la implementación del proyecto y/o una vez finalizado el mismo. En el pasado, trabajando en proyectos, el enfoque conceptual y la motivación solían concentrarse en las actividades y los resultados / los productos5 que el proyecto generaba (por ejemplo, el número de pozos construidos y cursos impartidos). De ahora en adelante la Welthungerhilfe se interesará más por el buen uso de estos productos por parte de los grupos meta (uso del agua, uso de lo aprendido) y los efectos que ello surtirá en los grupos meta (reducción de enfermedades, mejores ingresos). 4 En inglés el término ‹ efecto › se diferencia aún más: el ‹ output › se refiere al producto de un proyecto (p.ej. la realización de un taller), mientras que el ‹ outcome › apunta al resultado que dicho ‹ output › ha generado en el grupo meta (p.ej. conocimientos en agricultura orgánica); es propiamente el ‹ efecto › del proyecto. Hay efectos esperados (aquellos que concretizan los objetivos), pero también hay efectos no esperados. La Welthungerhilfe utiliza en este contexto solamente el término efecto. 5 Al entrar en vigencia la presente guía se cambiará en la terminología de Welthungerhilfe (p.ej. en el marco lógico) el término « resultados » por el término « producto ». Es un aporte al esfuerzo por armonizar la terminología vigente en las diferentes organizaciones, particularmente en el BMZ, la GTZ y el CAD. Por otro lado, ello ayuda a prevenir confusiones a la hora de traducir al inglés la terminología del CAD, internacionalmente aceptada.
5
CAPÍTULO 2 Gráfica 1: Esquema de la cadena de resultados
«Finanzas, personal etc.»
Recursos (insumos)
«Pozos construidos…»
«Agua potable puesta «Familias usan agua a disposición…» para cocinar y tomar…»
Actividades
Productos
Terminología de Welthungerhilfe basada en BMZ Recursos
Actividades
Terminología internacional del CAD
«Reducción en enfermedades e higiene mejorada»
«Reducción en mortalidad infantil y en gastos médicos (condiciones de vida mejoradas)»
Efectos
Impactos
Efectos
Impactos
Uso de los productos
Productos Resultados
Un proyecto puede haber generado todos los productos planificados, sin que los grupos meta los hayan usado o que éstos hayan tenido un efecto positivo sobre sus vidas. La influencia de Welthungerhilfe y sus organizaciones contrapartes sobre los efectos e impactos deseados es cada vez más reducida, una vez que se han facilitado al grupo meta los productos que el proyecto ha generado. Naturalmente, la consecución del objetivo de un proyecto depende también de las acciones del grupo meta y demás factores externos. No obstante, es responsabilidad de la Welthungerhilfe formular durante la planificación de un proyecto una hipótesis de impactos correcta y garantizar la validación de la misma. La Welthungerhilfe y/o sus organizaciones contrapartes miden el éxito de su trabajo averiguando en qué medida se ha logrado generar los efectos previamente formulados en la planificación. Es absolutamente posible que el objetivo se modifique durante el transcurso del proyecto, y por consiguiente se modifican los productos, requeridos para alcanzar dicho objetivo. El término resultados (en inglés « results ») comprende tanto los productos generados por un proyecto como también los efectos directos y los impactos (de las políticas de desarrollo, tal como fueron formulado, por ejemplo, en los Objetivos de Desarrollo del Milenio). Por orientación a efectos e impactos (DAC: « Managing for development results ») la Welthungerhilfe entiende que su desempeño, desde los conceptos y programas por país y región6 hasta los proyectos específicos, debe focalizarse en el logro de efectos e impactos. Esto significa que se debe alentar en todos los niveles mencionados la generación de efectos positivos y observar todo efecto e impacto que se da (positivo, negativo, intencional, no intencional, etc.), en el monitoreo, la documentación y el análisis de los datos. Los conocimientos adquiridos sirven para la retro-alimentación de los procesos en marcha así como para la gestión del conocimiento; la idea es que deben estar disponibles para todos los colegas y organizaciones contrapartes. En su orientación a efectos e impactos la Welthungerhilfe se destaca particularmente por trabajar cerca de y enfocada en los grupos meta. Ello se logra por la insistencia de hacer partícipe el grupo meta en la participación, la implementación, el monitoreo y la evaluación en el objetivo del proyecto, o sea a nivel de los efectos. Las hipótesis de impacto son supuestos sobre relaciones causales entre la implementación de una medida y la consiguiente generación de un efecto / impacto. Un ejemplo de una hi6 En los países priorizados de Welthungerhilfe se elaboran conceptos por país o región, válidos para un período de tres a cinco años. Basados en los conceptos por país se desarrollan programas por país que conceptualizan el trabajo concreto de proyectos durante un lapso de tres a cuatro años. Los programas por país sirven a su vez de punto de partida para la planificación marco anual.
6
Definición de términos
pótesis de impacto es: « La puesta a disposición de agua potable limpia reduce la mortalidad infantil. » El término hipótesis de impacto sirve también para describir los supuestos acerca de las relaciones causales entre diferentes niveles de una cadena de resultados (DAC: « Results chain »). Se define como cadena de resultados el entrelazamiento lógico de insumos7, actividades, productos, su buen uso y los efectos directos e impactos que ello genera. Si hay lógica en este entrelazamiento de los diferentes aspectos, se revelan las hipótesis de impacto subyacentes. Aquí un ejemplo: « Si se construyen pozos y se dispone de agua potable limpia, las familias usan esta agua para cocinar y para beber, se reducen las enfermedades, se disminuye el gasto para medicamentos y visitas médicas, se reduce la mortalidad infantil y se mejoran las condiciones de vida de la población en general. » Las cadenas de resultados son complejas y presentan múltiples interrelaciones e interdependencias, por lo que se puede hablar también por estructuras de impacto (relaciones complejas entre causas y efectos). Gráfica 2: Términos claves – Las lógicas que rigen la cadena de resultados y el Marco Lógico (según glosario CAD)
Cadena de resultados de Welthungerhilfe
Impactos «¿Cuál es el aporte del proyecto al logro de los objetivos de desarrollo (p.ej. el logro de uno o varios ODM)?»
Términos en … Monitoreo y Planificación evaluación
Marco Lógico
Ejemplo «La mortalidad infantil está reducida.»
Objetivo de desarrollo
Efectos «¿Cuál es el beneficio de los productos del proyecto sobre los grupos meta u organizaciones contrapartes?»
Buen uso de los productos «¿Qué uso hacen los diferentes grupos meta (mujeres, varones, hogares, organizaciones…) de los productos del proyecto?»
Productos «¿Qué producto debe generar el proyecto y facilitarlo al grupo meta para alcanzar el objetivo del proyecto?»
«Hay menos enfermedades.»
«Uso exclusivo de agua potable limpia para cocinar y tomar en las familias.»
«Agua potable limpia está disponible.»
Objetivo del proyecto
Productos
Actividades
«Construcción de pozos.»
Actividades
Recursos (insumos)
«Finanzas, personal etc.»
Recursos (insumos)
Supuestos, riesgos
Efectos e impactos planificados / no planificados
Cadena de resultados
En el caso de las cadenas de resultado en los proyectos de desarrollo, hay que enfocar en lo que pasa por encima del nivel de los productos generados, y allí particularmente en los efectos directos. En el Marco Lógico (ML) que utiliza la Welthungerhilfe este nivel corresponde al objetivo del proyecto. A pesar de la gran similitud estructural entre ambos instrumentos hay que ver la diferencia entre la lógica que rige las cadenas de resultado y aquella del Marco Lógico. El Marco Lógico es un instrumento de planificación para proyectos que muestra cómo los diferentes recursos, actividades y productos, contribuyen a alcanzar el 7 Por ‹ insumo › se entiende todos los ingredientes que se emplean para generar un producto (‹ output ›).
7
CAPÍTULO 2
objetivo de un proyecto o programa. La lógica que rige una cadena de resultados tiene a su vez su origen en el monitoreo y la evaluación. Si bien ésta tiene grandes similitudes con el Marco Lógico, ella también toma en cuenta los efectos e impactos no intencionados, a la par de los efectos / impactos planificados (o sea, los efectos / impactos positivos e intencionados). A manera de prevenir la confusión, en la gráfica 2 se ofrece una visión del conjunto de la terminología referida a la lógica de cadenas de resultados y al Marco Lógico. Estrechamente relacionada con la idea de las cadenas de resultados son los así llamados indicadores de efectos e impactos que se formulan para observar y luego medir los efectos e impactos deseados. Por ejemplo, si el objetivo del proyecto es reducir las enfermedades producidas por agua contaminada y bajar el gasto en medicamentos en la región del proyecto, entonces hay que reflexionar cómo se puede mostrar el efecto / impacto que la construcción de un pozo pueda tener sobre la problemática descrita. Por lo tanto la elaboración de indicadores de efectos e impactos debe corresponder directamente a los objetivos del proyecto. Para la elaboración de indicadores de efectos e impactos es importante asegurarse de la participación de las organizaciones contrapartes y/o los grupos meta y demás actores que son importantes para el éxito del proyecto. Debe haber consenso entre ellos sobre los efectos e impactos deseados. Asimismo hay que incluirlos a la evaluación para determinar si se han dado o no los efectos e impactos deseados. El monitoreo orientado a efectos e impactos (DAC: « Results oriented monitoring ») se aplica sistemática- y regularmente en el transcurso de un proyecto para observar y documentar los cambios de corto, mediano y largo plazo. El monitoreo orientado a efectos e impactos es un instrumento para la gestión de un proyecto, y a la vez un campo de aprendizaje para todos los involucrados. Sirve para comprobar a buena hora si el proyecto es capaz o no de alcanzar los objetivos definidos. A través de los indicadores de efecto / impacto se observan aquellas partes en una cadena de resultados que responden a una expectativa claramente definida con anticipación. Ciertamente, los efectos e impactos negativos y/o no planificados no se pueden verificar así nomás mediante indicadores de efectos e impactos. Para dar fe de ellos hay que atenerse a los así llamados campos de observación en la cadena de resultados. A un indicador se puede comparar con un foco que ilumina un espacio estrecho, mientras que un campo de observación es una especie de foco de alarma que obliga a concentrarse en un espacio mayor y por más largo tiempo. Contrario a los indicadores no se le puede determinar con exactitud el punto de partida de un campo de observación, simplemente por ser demasiado extendido.8 Además, el monitoreo de efectos e impactos facilita a la Welthungerhilfe importantes informaciones para tomar decisiones de gestión a nivel de la organización en su conjunto.
8 En alusión a Misereor: Leitfaden zur Antragstellung bei Misereor (2008).
8
La orientación a efectos e impactos en el ciclo del proyecto
3
La orientación a efectos e impactos se refiere al ciclo del proyecto en su conjunto. Ello significa que hay que tomarla en cuenta desde la formulación de conceptos y programas por país y ver cuáles son los efectos e impactos deseados que determinado programa por país debe generar. Desde la planificación de un proyecto deben formularse los supuestos acerca de los cambios que los productos del proyecto producirían en los grupos meta, o también en otros actores quienes están afectados por el proyecto de manera indirecta. Estos supuestos, también llamados hipótesis de impacto, son importantes herramientas, tanto para la planificación (validación de las lógicas de planificación y de efectos / impactos) como para el posterior proceso de monitoreo y la evaluación.
¿En qué tipo de proyectos la Welthungerhilfe insiste más a favor de incrementar la orientación a efectos e impactos? Es necesario que los distintos tipos de proyecto (ayuda de emergencia, rehabilitación, cooperación para el desarrollo) tomen en cuenta los efectos e impactos que causan, desde la fase de su planificación, seguido por su observación y análisis, una vez puesto en marcha los mismos. En todo tipo de proyecto, es decir: también en los proyectos de emergencia y rehabilitación, es importante evitar desde la planificación los efectos e impactos negativos, no intencionados que el proyecto pueda generar. Para lograrlo se debe recurrir a métodos de análisis adecuados. Debe ser una condición de rigor realizar en todo proyecto relevante9 un análisis « No hacer daño » o emplear otro marco analítico para identificar posibles efectos e impactos negativos, no intencionados, justamente para procurar evitarlos a tiempo. En proyectos con una duración de menos de doce meses predominará el monitoreo de los productos, en proyectos con una duración de más de doce meses (proyectos de ayuda de emergencia orientada a desarrollo, proyectos de rehabilitación y proyectos clásicos de cooperación para el desarrollo) se hará obligatorio un monitoreo orientado a efectos e impactos. También en el caso de proyectos más cortos, pero con la perspectiva de ampliarse más allá de los doce meses, debe verificarse si durante la adaptación de la planificación se observa la orientación a efectos e impactos en el ciclo del proyecto. La gráfica 3 describe cómo idealmente se dan los diferentes pasos en el ciclo del proyecto de la Welthungerhilfe, orientado a efectos e impactos.
9 Para Welthungerhilfe un « proyecto relevante » es todo proyecto que se desarrolla en un contexto altamente sensible y conflictivo. Frecuentemente el enfoque analítico « No hacer daño » se relaciona exclusivamente con guerras o situaciones de conflictos (armadas) a nivel de sociedad. Sin embargo, cuando la Welthungerhilfe habla de « contextos altamente sensibles y conflictivos » se refiere también a proyectos que se ubican en un entorno ecológico altamente sensible. También en este caso debe ser obligatorio realizar un análisis de posibles efectos e impactos negativos de un proyecto.
9
CAPÍTULO 3
¿Cuándo y cómo se da la orientación a efectos e impactos? La gráfica siguiente presenta un esquema del ciclo del proyecto que usa la Welthungerhilfe . En el texto se comentan las diferentes etapas de A hasta G, así como M (monitoreo) . Gráfica 3: Esquema del ciclo del proyecto en la Welthungerhilfe Programa país A
Diálogo entre Reacción a contrapartes catástrofe Proyecto previo Convocatoria M
«Considerar el monitoreo»
Idea del proyecto Según situación: planificación general o detallada
B Esbozo del proyecto, documento interno del proyecto, solicitud a co-financiador C
D
E
G
Primer esbozo del monitoreo
Operacionalizar el sistema de monitoreo
«Etapa inicial» más o menos larga (Duración según grado de detalle en la planificación)
Implementación - Levantamiento de datos para el sistema de monitoreo - y/o adaptación de la planificación - Auto-evaluación / reflexión interna Evaluación externa (Proyectos seleccionados) - y/o evaluación ex-post
Información, comunicación
Planificación detallada del proyecto: Sistema de objetivos obligatorio, plan operativo, sistema de monitoreo
Análisis situacional general o detallado & pre-planificación (p.ej. preparación del proyecto)
Sistema de monitoreo funcional Gestión del proyecto
M
M
M M
F
Proceso de aprendizaje compartido a) A nivel de proyecto (todos los actores) b) A nivel de organización (Welthungerhilfe, contrapartes)
Gestión del conocimiento, externa al proyecto
M
Idea del proyecto Por lo general la idea de un proyecto sale de una propuesta que hace la oficina de proyectos / la oficina regional de Welthungerhilfe y/o una de las organizaciones contrapartes actuales o potenciales . También puede ser el resultado de una convocatoria de parte de una organización donante (« call for proposals »), o surge producto de una situación de emergencia aguda . La idea de un proyecto es apenas un esbozo general y no contiene aspectos de planificación . La decisión si tal idea tendrá seguimiento o no en forma de una planificación concreta, se toma en la Sede Central en base al programa país existente .
Análisis situacional general o detallado & pre-planificación Un análisis situacional aporta la información necesaria para describir los objetivos de desarrollo y los del proyecto lo suficientemente precisos como para permitir el proceso de planificación posterior . Dependiendo del tipo del proyecto y de los recursos financieros disponibles este análisis puede ser más o menos extenso; aquí vale: más detallado el análisis de situación – mejor la base para la toma de decisiones, ya que para la selección de una estrategia de intervención pertinente es clave tener una comprensión cabal de las causas del problema .
10
La orientación a efectos e impactos en el ciclo del proyecto
Se puede realizar un análisis situacional como parte de la preparación del proyecto. La selección de los métodos responde a la situación de partida (ayuda de emergencia, rehabilitación, cooperación para el desarrollo, exigencias de la parte co-financiadora) y el perfil sectorial del proyecto en mención.
Análisis general y pre-planificación Con frecuencia se realiza una pre-planificación general previa a la aprobación por la Welthungerhilfe y la obtención del contrato de subvención de parte de un co-financiador (por ejemplo, en forma de un esbozo de proyecto). A esta se le detalla posteriormente, a más tardar al iniciarse el proyecto. Aquí hay que estar atento al hecho que en el caso de proyectos cofinanciados suele ser difícil modificar objetivos y productos del proyecto una vez iniciado el proyecto.
Análisis y planificación más detallados Si se dispone de tiempo, competencias y recursos financieros se realiza el análisis y la planificación de manera detallada. Es especialmente importante conseguir entre los actores involucrados un consenso sobre los objetivos y la manera de implementación del proyecto. Se debe analizar el proyecto con miras a la orientación a efectos e impactos deseados; para ello se dispone de diferentes métodos participativos de análisis y planificación (vea Parte II + III).
Avance del monitoreo Ya en esta etapa de análisis y planificación es importante « considerar » el monitoreo; esto significa, para dar un ejemplo, documentar los resultados de la preparación del proyecto, planificar tiempo y recursos para la realización del monitoreo, preparar un estudio línea-base etc. Dependiendo si se realizó una pre-planificación o una planificación detallada, los documentos de planificación que se obtienen son diferentes. Pueden ser desde un esbozo conceptual corto (« concept-note ») hasta una solicitud de proyecto detallada, dirigido a un co-financiador. Sin embargo, para los procedimientos internos de aprobación, la Welthungerhilfe tiene un formato obligatorio para la presentación del proyecto, el documento interno del proyecto. De ahora en adelante, a la par de los efectos e impactos positivos intencionados (objetivo del proyecto / objetivo de desarrollo) y los productos del proyecto, se debe documentar en el documento interno de proyecto la manera cómo los grupos meta van a hacer uso de los productos del proyecto puestos a su disposición (= nivel de buen uso). El Marco Lógico, un instrumento clave de planificación en la Welthungerhilfe, forma parte obligatoria de cada documento interno de proyecto y constituye, entre otros aspectos, la base para el monitoreo y la evaluación. También aquí es obligatorio documentar el nivel del buen uso. Para reflejar la manera como los grupos meta hacen uso de los productos del proyecto, se deben formular indicadores a nivel de los objetivos del proyecto, tal como: « Al finalizarse el proyecto al menos un 70 % del grupo meta dispone de al menos 15 litros de agua a diario por persona, sacado del nuevo pozo (tambien durante los tres meses más secos), sin usar adicionalmente aguas superficiales para tomar y cocinar ».
11
CAPÍTULO 3
Estructura del Marco Lógico de la Welthungerhilfe El Marco Lógico refleja los aspectos más relevantes del proyecto. En Welthungerhilfe el ML es una herramienta clave de planificación. Para promocionar la orientación a efectos e impactos en los proyectos de Welthungerhilfe, es importante poner más atención a la jerarquía de objetivos a la hora de formular los objetivos del proyecto y los objetivos de desarrollo. Hay que esmerarse para describir de manera precisa y concisa unos objetivos realistas del proyecto. La información necesaria para formular con exactitud los objetivos en los diferentes niveles se obtiene a través de un análisis situacional detallado, enriquecido por el conocimiento experto. El Marco Lógico de Welthungerhilfe se estructura acorde los siguientes niveles: Niveles
Definición
Objetivo de desarrollo
El objetivo de desarrollo define el mejoramiento de las condiciones de vida del grupo meta o de la organización contraparte que se lograrán más bien en el largo plazo y de manera indirecta. Se entiende « desarrollo » como un cambio positivo / un mejoramiento de las condiciones de vida. Se formula en forma de la situación deseada, mejorada (una vez concluido el proyecto). « ¿Cuál es el aporte del proyecto al logro de objetivos de desarrollo superiores (p.ej. el logro de uno o de varios de los ODM)? »
Objetivo del proyecto (incluyendo el buen uso de los productos)
El objetivo del proyecto formula los efectos positivos y planificados del proyecto, en el corto y mediano plazo, una vez finalizado el proyecto. Estos efectos son generados por el buen uso de los productos del proyecto por parte de los grupos meta u organizaciones contrapartes. « ¿Cuál es el beneficio directo de los productos del proyecto para los grupos meta o las organizaciones contrapartes? » Buen uso de los productos (expresado a través de indicadores) El objetivo del proyecto incluye también el uso de los productos del proyecto por el grupo meta; ello es una pre-condición necesaria para alcanzar el objetivo del proyecto. « ¿De qué manera deben hacer uso los diferentes grupos meta (mujeres, varones, hogares, organizaciones etc.) de los productos del proyecto? »
Productos
Los productos constituyen las contribuciones producidas por el proyecto que son necesarias para alcanzar el objetivo del proyecto (infraestructura creada, personas capacitadas, servicios instalados) « ¿Qué debe generar el proyecto, y luego facilitar a los grupos meta, con tanto de alcanzar el objetivo del proyecto? »
Actividades
Las actividades son las medidas necesarias para generar los productos.
Recursos (insumos)
Finanzas, personal, tiempo, aporte del grupo meta y demás actores.
Durante el análisis del Marco Lógico empleado por Welthungerhilfe se identificaron algunas dificultades / debilidades recurrentes en la formulación del mismo. En la parte III de esta guía se encuentra una lista de chequeo para revisar la calidad y la precisión de las formulaciones utilizadas en el Marco Lógico.
12
La orientación a efectos e impactos en el ciclo del proyecto
Avance del monitoreo Se concretizan las consideraciones hechas en fase B. Para la identificación de posibles efectos e impactos que el proyecto puede generar es útil apoyarse en campos de observación, como por ejemplo en los factores de subsistencia (« livelihood ») o en las dimensiones de sostenibilidad. Estos campos de observación sirven como « muletilla mental » para captar efectos e impactos posibles en espacios que no están inmediatamente en la mira de los participantes. Además son útiles para reconocer efectos e impactos no intencionales, para tenerlos bajo observación como riesgos potenciales y contrarrestarlos, en caso dado, durante la planificación del proyecto Parte III. Hay que incluir este primer esbozo de un futuro sistema de monitoreo a los documentos de planificación respectivos, señalando también los recursos financieros y técnicos que se requieren para su puesta en marcha.
Etapa inicial En la etapa inicial (« inception phase ») la tarea es especificar, revisar y, en dado caso, adaptar la planificación. Es ahora, a más tardar, que se definen los objetivos del proyecto (o sea, los efectos e impactos intencionales positivos), adquiriendo éstos el rango de obligatoriedad para todos los involucrados. La duración y el nivel de explicitación de la etapa de inicio depende del grado de elaboración de la planificación previa – más detallada la pre-planificación, menos larga la etapa inicial, y viceversa. Durante la etapa de inicio se elaboran también la planificación operativa exacta y, a la par, la puesta en marcha del sistema de monitoreo (vea también paso B).
Avance del monitoreo En esta fase, que debe haberse realizado a más tardar tres meses después del inicio del proyecto, se pone en marcha el sistema de monitoreo. Se emplean métodos e instrumentos cuantitativos y cualitativos (p.ej. indicadores) para registrar los cambios en los campos de observación (vea paso B). Esto significa que se revisan nuevamente los campos de observación / indicadores y se les vuelve a adaptar, en caso necesario. Se define la metodología para el levantamiento y la documentación de los efectos e impactos así como el perfil específico de los indicadores a usarse. Llegando a este momento, los recursos financieros y técnicos para la implementación deben estar disponibles, las responsabilidades de los involucrados definidas y las actividades respectivas reflejadas en la planificación operativa del proyecto. A más tardar ahora el estudio línea base debe haber llegado a su finalización. Un monitoreo orientado a efectos e impactos debe visualizar los cambios para la multitud de actores en los diferentes niveles; cumple por lo tanto con funciones múltiples: Instrumento de monitoreo interno del proyecto: Debe ayudar a generar procesos de aprendizaje al interior del proyecto. Un buen monitoreo indica a buena hora las fortalezas, debilidades o problemas que se dan, facilitando de esta manera una buena base para proceder a corregirlos. Aporte a la gestión del conocimiento en la Welthungerhilfe: Documentar los procesos de aprendizaje y las experiencias en los proyectos es útil para los demás proyectos y permite a Welthungerhilfe como organización modificar sus estrategias y procedimientos.
13
CAPÍTULO 3
Aporte a la rendición de cuentas: Una buena documentación de efectos e impactos sirve para informar los grupos meta, las instituciones nacionales, los donantes y co-financiadores. Es el punto de partida para la difusión de las « prácticas exitosas ». Un buen monitoreo se caracteriza por: ser sistemático (planificado, asegurando su ejecución acorde intervalos, lugares, actores
e instrumentos previamente definidos), focalizado (observación / medición / levantamiento de unos pocos indicadores y campos
de observación que son cuidadosamente seleccionados), y ser apropiado y factible (en términos técnicos y financieros y en relación al tiempo disponible). Hay que documentar los resultados de manera precisa y en forma bien organizada.
Implementación Ésta es la etapa de implementación del proyecto donde se pasa a generar, mediante el uso de los recursos, los productos para los grupos meta, alcanzando así el objetivo del proyecto. Durante esta etapa tanto el monitoreo clásico (actividades, productos del proyecto) como el monitoreo orientado a efectos e impactos asumen una importante función para la gestión del proyecto.
Avance del monitoreo Para una gestión efectiva del proyecto es necesario asegurarse de una buena información básica; la misma se obtiene mediante el monitoreo de los recursos (financieros, técnicos y físicos), de las actividades realizadas, de los productos generados y los efectos e impactos causados hasta el momento. Realizar un monitoreo a efectos e impactos significa observar continua y sistemáticamente, para averiguar en qué medida se están alcanzado los objetivos y/o efectos e impactos deseados, si se están presentando efectos e impactos adicionales no planificados, y/o negativos. Para ello se da seguimiento a las modificaciones en aquellos campos de observación críticos situados por encima del nivel de los productos en la cadena de resultados. En su monitoreo a efectos e impactos la Welthungerhilfe da énfasis al nivel del objetivo del proyecto. Es en este nivel que se observa el buen uso de un proyecto de parte del grupo meta y los efectos del mismo (vea gráfica 2). A diferencia del monitoreo de recursos, actividades y productos – enfocado en la pregunta: « ¿Hacemos lo que hacemos de manera correcta y eficiente? » – la pregunta clave del monitoreo a efectos e impactos es: « ¿Estamos o no alcanzando los objetivos del proyecto, y conduce el logro de estos objetivos a una modificación efectiva y sostenida en el comportamiento de los grupos meta y a un mejoramiento de sus condiciones de vida? » La auto-evaluación (o reflexión interna) es un instrumento interno importante para el análisis y la gestión. Está bajo la responsabilidad directa de la organización ejecutora del proyecto. Se entiende por auto-evaluación la evaluación de una intervención que se hizo a favor del desarrollo, realizada por las mismas unidades o personas responsables de la planificación e implementación del proyecto, y la información respectiva a las instancias de gestión de la organización ejecutora, contraparte o donante. La auto-evaluación facilita el aprendizaje interno y, en dado caso, la adaptación de la planificación en el ciclo del proyecto. Por otro lado, las evaluaciones externas se realizan por personas que no pertenecen ni a las instancias de ejecución ni a las entidades financieras respectivas.
14
La orientación a efectos e impactos en el ciclo del proyecto
Evaluación externa La Welthungerhilfe suele contratar a evaluadores externos para la evaluación de proyectos escogidos. Una evaluación externa estudia las relaciones entre la implementación, el logro del objetivo y demás efectos e impactos de un proyecto. Aparte de generar informaciones importantes para el proceso de aprendizaje institucional, las evaluaciones externas apuntan a la rendición de cuentas sobre el trabajo de Welthungerhilfe. Claro está, en la evaluación externa orientada a efectos e impactos se prioriza claramente el « aprender ». La evaluación externa se sirve también de los resultados que generan el monitoreo interno del proyecto y la auto-evaluación. La evaluación debe estudiar tanto los efectos e impactos intencionales como los no intencionales. Para estudiar los efectos / impactos no intencionales negativos, la evaluación puede recurrir también al análisis « No hacer daño » que se realizó durante la etapa de planificación. La Welthungerhilfe presta especial atención a los objetivos fijados en los estatutos, a los objetivos estratégicos así como a los objetivos de los organizaciones contrapartesy los grupos meta. En la evaluación externa de Welthungerhilfe, orientada a efectos e impactos, el análisis da seguimiento a dos dimensiones: a través de los indicadores se estudian las hipótesis de impacto y las cadenas de resultados, revisando si se dieron o no los efectos / impactos planificados y si los productos y las actividades fueron suficientes y pertinentes para alcanzarlos. Además se averigua, a través de métodos participativos, la perspectiva de los grupos metas y/o de terceros en relación a cuáles son los efectos e impactos y cuáles las causas (investigación de causas). Esta investigación abarca tanto los efectos e impactos intencionales como los no intencionales. De hecho, este procedimiento no será suficiente como para poder establecer relaciones causales inequívocas. Tomando en cuenta los recursos que un proyecto puede justificar para realizar una evaluación, se generan estadísticas inequívocas y sin margen de error que revelan hasta qué grado el proyecto ha contribuido o no a los efectos e impactos planificados. No obstante estas limitaciones, sí es posible sacar conclusiones sobre los efectos e impactos generados por un proyecto, p. ej. se puede cruzar los resultados de ambas investigaciones, dadas las relaciones de plausibilidad entre lo expresado por los grupos meta y los indicadores pre-formulados. Como la sostenibilidad de los efectos e impactos suele verificarse hasta después de la finalización de un proyecto, es necesario realizar evaluaciones ex-post10 para proyectos escogidos, además de las evaluaciones intermedias y finales. Una evaluación de calidad, orientada a efectos e impactos, requiere de una estrecha cooperación no solamente entre los organizaciones contrapartesy los evaluadores, sino también de éstos con el personal de la Welthungerhilfe (esto implica, en caso necesario, facilitar la capacitación requerida).
Avance del monitoreo Si se trata de una evaluación final, el monitoreo cesa en este momento. Si se trata de una evaluación intermedia, el monitoreo seguirá y se implementarán, en caso dado, los resultados de la evaluación. En ambos casos hay que documentar adecuadamente los resultados del monitoreo y procesarlos de modo tal que pueden ser usados para la evaluación externa.
10 Una evaluación ex-post se realiza después de cierto tiempo de haberse finalizado el proyecto.
15
CAPÍTULO 3
Información y comunicación La información que genera el monitoreo y la evaluación, particularmente aquella referente a los efectos e impactos del proyecto, no sólo sirve para la gestión del mismo. También tiene un gran significado para el proceso de aprendizaje institucional de Welthungerhilfe, sus organizaciones contrapartes y grupos meta, así como para su labor de divulgación. Para ello la elaboración de los informes es importante. Estos informes deben usar términos homogéneos y deben tener un estilo de redacción organizado con un lenguaje claro. Luego debe asegurarse que el informe se facilita mediante los canales de comunicación estandarizados al interior de la organización. Los resultados claves del monitoreo y la evaluación así como las demás experiencias relevantes para el conjunto de la organización deben ser comunicados a la « memoria institucional » de la Welthungerhilfe, a través del sistema de información obligatorio. (Ello incluye los informes narrativos de las organizaciones contrapartes sobre el avance del proyecto, los informes para los co-financiadores así como los informes de las oficinas regionales. La gestión del conocimiento de la Welthungerhilfe garantiza la sistematización de tal información y su puesta a disposición para todos los colegas).
Proceso de aprendizaje compartido La observación de los efectos e impactos de un proyecto no sólo proporciona los elementos para la toma de decisiones a nivel de gestión así como los insumos para el aprendizaje, orientado al objetivo y a la búsqueda de soluciones. Gracias al conocimiento de los efectos e impactos de un proyecto, la Welthungerhilfe y sus organizaciones contrapartesdisponen de un apoyo valioso para su planificación estratégica. Las evaluaciones deben contribuir a la identificación de los efectos e impactos generados por los proyectos, al aprendizaje, a la reflexión y, en última instancia, a su mejoría. Una condición clave para que la evaluación orientada a efectos e impactos genere un espacio de aprendizaje, es una actitud de apertura, de transparencia y de capacidad crítica entre los actores. Deben estar dispuestos a discutir abiertamente no solamente las fortalezas, sino también los problemas. Debe fomentarse a nivel institucional una « cultura de aprendizaje » (en vez de una « cultura de errores »). Ello presupone que se instala una mirada en los niveles de conducción, tanto de los organizaciones contrapartescomo de la Welthungerhilfe, que no identifica los problemas como defectos de los colegas, sino como elementos que facilitan un proceso de aprendizaje y de cambios positivos. Para convertir el aporte de los consultores externos en un apoyo al proceso de aprendizaje, se requiere de un posicionamiento claro: en la evaluación orientada a efectos e impactos los consultores no son controladores; más bien les toca analizar el proyecto, socializar sus percepciones y aprendizajes – adquiridos desde una mirada externa, validados por su capacidad profesional y presentados de manera tal que pueden ser asimilados por terceros. En esta dinámica es importante generar un entorno que permite discutir tanto los hallazgos positivos como los problemas observados por los consultores. Para comprender a cabalidad el contexto global es indispensable que un equipo de consultores externos esté compuesto por un consultor local (recomendado por la organización contraparte u otra organización local) y otro externo (enviado por la Sede Central de Welthungerhilfe). El aprendizaje se da en diferentes momentos del ciclo del proyecto. Adquiere relevancia especial el aprendizaje que se da a partir de los resultados de monitoreo, de la auto-evaluación así como de la evaluación externa.
16
La orientación a efectos e impactos en el ciclo del proyecto
En la evaluación externa un primer paso importante para el aprendizaje es la discusión participativa de los resultados preliminares en el lugar mismo (al final de la misión). Es el momento para discutir los hallazgos y recomendaciones y las perspectivas de su realización. Hay que fijar por escrito tanto los acuerdos como los desacuerdos y firmar los resultados de esta discusión entre consultor y responsable del proyecto. Es importante concebir al consultor como un « consejero » externo. Una vez aceptada la evaluación en la Sede Central de Welthungerhilfe, la organización contraparte y el oficial respectivo en la sección de programas deben llegar a un consenso sobre cuáles de las recomendaciones serán puestas en práctica y cuándo. Estas decisiones deben seguir a criterios comprensibles, efectuarse de manera transparente y documentarse adecuadamente. Luego, durante la implementación, debe observarse críticamente qué resultados genera la implementación (o no implementación) de las recomendaciones. También este paso hay que documentarlo a manera de experiencia que facilita el aprendizaje. Aparte de este aprendizaje relacionado netamente con el proyecto, también hay que tocar el tema del aprendizaje institucional al interior de Welthungerhilfe. En el pasado esto se dio a través de los « informes de experiencia » técnico-profesionales a la plana mayor Evaluaciones. Ahora se prevé, en el marco de la concepción de la gestión del conocimiento institucional de Welthungerhilfe, que la plana mayor Evaluaciones debe procesar los resultados de las evaluaciones (particulares y transversales) y formular aprendizajes relevantes (como p.ej. lecciones aprendidas y prácticas exitosas). Éstos deben incluir aprendizajes que van más allá de los tópicos meramente técnico-profesionales.
17
4
BIBLIOGRAFÍA
DeGEval (2008) Arbeitskreis « Entwicklungspolitik »: Verfahren der Wirkungsanalyse – eine Landkarte für die entwicklungspolitische Praxis BMZ (2005) Mehr Wirkung erzielen, Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung GTZ (2004), Wirkungsorientiertes Monitoring, Leitfaden für Vorhaben der technischen Zusammenarbeit, Mai 2004 IFAD (2002), Managing for Impacts in Rural Development, A Guide for Project M&E OECD (2002), OECD DAC Glossary of Key Terms in Evaluation and Results Based Management OECD (2006) DAC Managing for Development Results, Principles in Action, Sourcebook on Emerging Good Practices, OECD SLE (2005) Wirkungen im Fokus, Seminar für ländliche Entwicklung Welthungerhilfe (2008): Wirkungsorientierte Evaluation der Auslandsarbeit der Welthungerhilfe (Fachkonzept)
Sitios en el Web http://ngo-ideas.net/ http://www.misereor.de/themen/wirkungsorientierung.html http://www.idrc.ca/en/ev-26586–201–1-DO_TOPIC.html
18
WELTHUNGERHILFE Somos … una de las organizaciones humanitarias privadas más grandes de Alemania, fundada en 1962, sin fines de lucro, políticamente independiente y sin vínculos confesionales. Nuestra labor se financia a través de donaciones y subvenciones públicas. Queremos … apoyar a las personas en los países en vías al desarrollo a mejorar sus condiciones de vida, y hacerlo de manera tal que éstas sean crecientemente autónomas en la búsqueda del sustento de su vida. Nos guiamos por las necesidades, los intereses y los derechos de la población pobre en las regiones rurales. Ofrecemos … ayuda integral a través de una ayuda humanitaria rápida en regiones de crisis y a través de proyectos a largo plazo, en estrecha colaboración con los organizaciones contraparteslocales, en aquellos lugares donde el hambre y la pobreza predominan en la vida cotidiana de la gente. Trabajamos … a la par de organizaciones contrapartesnacionales e internacionales provenientes del mundo de la política, la educación, los medios y otros espacios, para que la palabra solidaridad no suene a cáscara hueca: el desarrollo debe generar oportunidades, debe posicionar a los miembros de una sociedad de manera tal que en el largo plazo puedan convertirse en los actores de su propio destino.
PIE DE IMPRENTA Editora: Deutsche Welthungerhilfe e. V. Friedrich-Ebert-Straße 1 53173 Bonn Dirección electrónica:
[email protected] Responsable y Coordinación: Mathias Mogge, Unidad Conocimientos, Innovación, Asesoría Grupo de trabajo: Gisela Glimmann, Robert Grassmann, Andrea Kallabis, Ute Latzke, Margrit Röhm, Ute Rössing, Dr. Normann Steinmaier, Dr. Axel Weiser, Jeannette Weller, Dr. Florian Wieneke, Martin Wolff Autores: Nathalie Demel, Markus Fiebiger, Dr. Dirk Guenther, Mathias Mogge, Harald Sterly Asesoría externa: Dra. Lioba Weingärtner, Iris Paulus, consultoras independientes Octubre 2008 Diseño: Just in Print, Bonn 100 % papel reciclado Foto de portada: Niña en la comunidad San Andrés en el altiplano ecuatoriano Fotógrafo: Thomas Lohnes Traducción: Cornelia Marschall Re-impresión previo permiso de la editora
19
Lf-Wirk.or-1-E-36/09 Lager-Nr. 460-3024/6
Welthungerhilfe, Sparkasse KölnBonn, Código bancario 370 501 98, Cuenta 1115 Deutsche Welthungerhilfe e.V., Friedrich-Ebert-Str. 1, D-53173 Bonn, Tel. +49 (0)228 2288-0, Fax +49 (0)228 2288-333, www.welthungerhilfe.de
