2005-08-17

SEGUIMIENTO Y EVALUACIÓN DE IMPACTO DE LOS PROGRAMAS DE PROTECCIÓN SOCIAL BASADOS EN ALIMENTOS EN AMÉRICA LATINA Y EL CARIBE Background Paper

ERNESTO COHEN ROLANDO FRANCO

Santiago, Junio de 2005 (revisado agosto de 2005)

ÍNDICE INTRODUCCIÓN ............................................................................................................................4 I.

TIPOLOGIA DE LOS PROGRAMAS DE PROTECCIÓN SOCIAL BASADOS EN ALIMENTOS ....................................................6 1. LOS PROGRAMAS DE ALIMENTACIÓN ESCOLAR .................................................................6 2. LOS PROGRAMAS DE ALIMENTACIÓN MATERNO-INFANTIL ............................................10 3. LOS PROGRAMAS DE ALIMENTACIÓN A GRUPOS VULNERABLES .....................................11 4. LOS PROGRAMAS DE TRANSFERENCIAS CONDICIONADAS ..............................................13 5. LOS TICKETS Y CUPONES DE ALIMENTOS .........................................................................14 6. LOS PROGRAMAS DE APOYO A LA OFERTA DE ALIMENTOS ..............................................14 DEFINICIONES Y CONCEPTOS CLAVES ......................................................................16 1. POLÍTICAS, PROGRAMAS Y PROYECTOS SOCIALES ...........................................................17 2. SEGUIMIENTO .....................................................................................................................18 a) Los destinatarios y la información.................................................................................19 b) Los indicadores ................................................................................................................19 c) Los instrumentos ..............................................................................................................20 3. EVALUACIÓN DE IMPACTO ................................................................................................20 a) Modelo experimental clásico ..........................................................................................21 b) El modelo cuasiexperimental .........................................................................................22 c) Modelos no experimentales ............................................................................................23 4. METODOLOGÍAS DE EVALUACIÓN ....................................................................................25

II.

FOCALIZACIÓN, SEGUIMIENTO, y EVALUACION DEL IMPACTO DE LOS PROGRAMAS DE ASISTENCIA ALIMENTARIA....................................................................................................................28 1. FOCALIZACIÓN ...................................................................................................................28 a) Focalización de los Programas de Alimentación Escolar ...........................................28 b) Focalización de los Programas de Alimentación Materno-Infantil ..........................30 c) Focalización de los Programas de Atención a Grupos Vulnerables..........................31 d) Focalización de los Programas de Transferencias Condicionadas ...........................33 e) Focalización de los Programas de Tickets y Cupones de Alimentos........................34 f) Focalización de los Programas de Apoyo a la Oferta ..................................................35 Problemas más frecuentes de la focalización ...................................................................36 2. SEGUIMIENTO .....................................................................................................................38 Problemas frecuentes en el seguimiento ...........................................................................43 3. EVALUACIÓN DE IMPACTO ................................................................................................45 Problemas de la evaluación de impacto ............................................................................48

2

III.

CONCLUSIONES Y RECOMENDACIONES ................................................................50 1. ¿CÓMO DISEÑAR Y GESTIONAR LOS PROGRAMAS DE PROTECCIÓN SOCIAL?..................50 2. LA NECESIDAD DE MONITOREAR Y EVALUAR ...................................................................54 3. LECCIONES DERIVADAS DE LAS BUENAS PRÁCTICAS EN FOCALIZACIÓN, SEGUIMIENTO Y EVALUACIÓN ...........................................................................................55 a. Focalización .......................................................................................................................55 b. Seguimiento.......................................................................................................................59 c. Evaluación de impacto ....................................................................................................61 4. QUÉ HACER CON EL SEGUIMIENTO ...................................................................................63 5. QUÉ HACER CON LA EVALUACIÓN DE IMPACTO ..............................................................65 6. QUÉ ESTRATEGIA UTILIZAR ...............................................................................................66

BIBLIOGRAFÍA ..............................................................................................................................68 ANEXOS Anexo I - Indicadores de Seguimiento .......................................................................................75 Anexo II - Principales características de los programas de alimentación escolar y de atención a grupos vulnerables existentes en América Latina y el Caribe……………80 Cuadro 1 Cuadro 2 Cuadro 3 Cuadro 4

Programas de Alimentación Escolar en América Latina y el Caribe .................................................................................................................80 Programas de Alimentación Escolar: Instrumentos ........................................82 Programas de Asistencia Alimentaria: Evaluaciones de Impacto………….83 Inventario de Programas de Atención a Grupos Vulnerables en América Latina y el Caribe según sus poblaciones objetivo.....................83

Anexo III - Aportes realizados por los países participantes en el Seminario realizado por el WFP en Cartagena de Indias (julio 2005) realizada en Cartagena de Indias ………………………………………………..97 A. Descripción de programas en función de tipología general………….129 B. Lecciones aprendidas …………………………………………………….129 1. Aspectos generales 2. Aspectos específicos.......…………………………………………130 SIGLAS Y ABREVIATURAS…………………………………………………………………...134

3

INTRODUCCIÓN En los últimos años, los países de América Latina y el Caribe han utilizado una amplia variedad de programas de protección social para enfrentar problemas de inseguridad alimentaria y vulnerabilidad. Ellos presentan por tanto una experiencia amplia, que muestra prácticas exitosas –y otras que no lo son tanto– en la utilización de diversas metodologías de formulación, seguimiento, evaluación y análisis de impacto. A partir de ellas es posible extraer lecciones que pueden permitir no sólo reorientar los programas en ejecución, sino también acumular un conocimiento que permitirá sustentar las opciones de gestión de los programas futuros. Sin duda, un conjunto de áreas clave para alcanzar buenos resultados con este tipo de programas tiene que ver con la focalización del seguimiento, la evaluación y el análisis del impacto, concebidos como una cadena que va desde los insumos hasta la valoración de los resultados del programa. Hasta ahora se han efectuado pocas revisiones de lo que ha sido la “práctica” de estos programas basados en alimentos, en América Latina y el Caribe. Este documento hace un análisis comparativo de las principales iniciativas de asistencia alimentaria a las poblaciones más pobres y vulnerables de la región. Pretende contribuir a aumentar el conocimiento disponible sobre lo que funciona y lo que no ha funcionado en las áreas de seguimiento, evaluación y análisis de impacto en los programas basados en alimentos. Para ello presenta una tipología de este tipo de intervenciones y revisa de manera sistemática lo que se ha hecho en seguimiento y evaluación de este tipo de programas. La revisión comparada se basa en dos ideas: una es que sólo sería posible identificar “buenas” prácticas y, a partir de ello, permite extraer lecciones. Si cada proyecto está dotado desde su diseño de instrumentos adecuados para efectuar su seguimiento y evaluación. Lo otro es que sólo lograr el impacto sobre la población objetivo justifica al programa. En las Conclusiones se presentan algunas ideas respecto a la manera de mejorar los mecanismos de focalización, seguimiento y evaluación de los programas futuros a la luz de la experiencia analizada. Avanzar en el conocimiento de las modalidades de seguimiento, evaluación y análisis de impacto es también una manera primordial de contribuir al cumplimiento del objetivo de erradicación del hambre que fue establecido por la Cumbre del Milenio de las Naciones Unidas.

4

Los autores quieren agradecer al personal de la Oficina del Programa Mundial de Alimentos para América Latina y el Caribe el apoyo que les han brindado para la elaboración de este documento, aunque cualquier responsabilidad por lo que se dice en él corresponde sólo a los autores.

5

Capítulo I TIPOLOGÍA DE LOS PROGRAMAS DE PROTECCIÓN SOCIAL BASADOS EN ALIMENTOS La tipología que se expone a continuación busca diferenciar la amplia gama de instrumentos de política utilizados en la región con propósitos de asistencia alimentaria y nutricional. Los criterios empleados consideran los objetivos de los programas, sus poblaciones-objetivo, los instrumentos utilizados, su alcance geográfico y la institucionalidad que los sustenta. De acuerdo a estos criterios, los programas de protección social basados en alimentos pueden clasificarse en programas de alimentación escolar, iniciativas de entrega de alimentos a grupos vulnerables, transferencias condicionadas (monetarias o en especie), cupones o tickets cambiables por alimentos y acciones de apoyo a la oferta (Ver Cuadro II.1).

1.

LOS PROGRAMAS DE ALIMENTACIÓN ESCOLAR

Los programas de alimentación escolar (PAE) tienen una larga data en América Latina. Los más antiguos, como el PAE de Uruguay datan de comienzos del siglo XX. Otros fueron creados en las décadas de 1950 y 1960, como Merienda Escolar de Brasil, Comedores Escolares de Argentina y el PAE en Chile. En la actualidad, suelen ser ejecutados por los Ministerios de Educación o por entidades vinculadas a éstos, teniendo alcance nacional. Sus coberturas suelen ser altas (por ejemplo Merienda Escolar atendió a 37 millones de niños en el 2001, lo que equivale al 21% de la población brasileña) (FNDE, 2004), y el Programa de Alimentación Escolar de Honduras en 1993–1994 cubrió a cerca de 50% de las escuelas públicas del país (Oficina Regional de la Organización Mundial de la Salud, 1998). En todo caso también existen iniciativas focalizadas en escuelas emplazadas en zonas vulnerables de países de Centro América y de la región andina. Estas acciones no tienen alcance nacional, y algunas han sido financiadas por el Programa Mundial de Alimentos (PMA) (PMA, 2005). El objetivo de estos programas no es exclusivamente de tipo alimentario y nutricional. La entrega de alimentos en la escuela fomenta la matrícula y la asistencia escolar, por cuanto constituye un incentivo para que las familias escolaricen a sus niños. También contribuyen al mejoramiento de los aprendizajes, dado que los niños desnutridos no tienen el mismo potencial para el aprendizaje que los niños con buena nutrición y sin problemas de salud (Miller, 1999). Los PAE pueden asimismo fomentar la participación de la comunidad, sea en la preparación

6

directa de las meriendas por parte de las madres fundamentalmente, ser en el desarrollo de otras actividades.

7

Cuadro I.1 TIPOLOGÍA DE PROGRAMAS ALIMENTARIOS

ALIMENTACION A GRUPOS VULNERABLES EN CENTROS DE SALUD PRIMARIA ALIMENTACION ESCOLAR

ALIMENTACION A GRUPOS VULNERABLES EN COMEDORES COMUNITARIOS, ONG, INSTITUCIONES

ALIMENTOS POR TRABAJO, EDUCACION Y CAPACITACION

POBLACION META NIÑOS MENORES DE 2 AÑOS, MADRES EMBARAZADAS O GESTANTES

INSTRUMENTO

NIÑOS EN EDUCACION BASICA Y MEDIA

RACIONES: DESAYUNO, MERIENDA, ALMUERZO RACIONES ALIMENTARIAS, CANASTAS, CUPONES PARA ALIMENTOS

FAMILIAS EN POBREZA, POBLACIONES CON NECESIDADES ESPECIALES, NIÑOS EN EDUCACION INICIAL FAMILIAS EN SITUACION DE INSEGURIDAD ALIMENTARIA

COMPLEMENTOS ALIMENTICIOS, LECHE

RACIONES ALIMENTARIAS CONDICIONADA S A LA PARTICIPACION EN TRABAJOS COMUNITARIOS,

INSTITUCIONALID AD MINISTERIOS DE SALUD – RED DE ATENCION EN SALUD PRIMARIA

ALCANCE

OBJETIVOS

NACIONAL

NUTRICION Y SALUD

MINISTERIO DE EDUCACION

NACIONAL

NUTRICION Y EDUCACION

FONDOS SOCIALES, PROGRAMAS ESPECIALES DE SEGURIDAD ALIMENTARIA, ORGANIZACIONES NO GUBERNAMENTAL ES, TERCER SECTOR PROGRAMA MUNDIAL DE ALIMENTOS EN ASOCIACION CON ENTIDADES PUBLICAS

NACIONAL.

SEGURIDAD ALIMENTARIA EN OCASIONES, CAPITAL SOCIAL Y ORGANIZACIÓN COMUNITARIA

NORMALMENTE REGIONAL: FOCALIZADO DE ACUERDO AL VAM

SEGURIDAD ALIMENTARIA, MANTENCION DE NIVELES BASICOS DE CONSUMO, CREACION DE

CAPACITACION O ASISTENCIA A LA ESCUELA

TRANSFERNCIAS MONETARIAS CONDICIONADAS

ASISTENCIA AL FORTALECIMIEN TO DE LA PEQUEÑA PRODUCCIÓN AGRÍCOLA SUBSIDIOS A LOS ALIMENTOS

FAMILIAS CON NIÑOS O MADRES EMBARAZADAS O GESTANTES EN SITUACION DE POBREZA CRONICA PEQUEÑOS PRODUCTORES EN SITUACION DE INSEGURIDAD ALIMENTARIA

TRANSFERENCIA CONDICIONADA A ASISTENCIA A CONTROLES NUTRICIONALES Y DE SALUD.

FAMILIAS POBRES RURALES Y URBANAS

VENTA SUBSIDIADA DE ALIMENTOS DE CANASTA BÁSICA DE LOS MAS POBRES

ENTREGA DE INSUMOS (SEMILLAS), CREDITOS, CAPACITACION

ACTIVOS COMUNITARIOS , PRESERVACION DEL MEDIO AMBIENTE NUTRICION, SALUD Y EDUCACION

MINISTERIOS DE MINISTERIO DE DESARROLLO SOCIAL, NORMALMENTE CON FINANCIAMIENTO INTERNACIONAL INSTITUCIONES PUBLICAS SECTORIALES Y ONG

PRINCIPALMENTE NACIONAL

NACIONAL Y REGIONAL

AUTOCONSUM O, GENERACION DE INGRESOS

INSTITUCIONES PUBLICAS SECTORIALES

NACIONAL

NUTRICION

Fuente: Elaboración propia

9

Los programas de alimentación escolar consideran la entrega de raciones desayuno, merienda, almuerzo, refrigerio y/o comida - a niños y adolescentes que asisten a las escuelas públicas y privadas de educación inicial, primaria y secundaria. Las raciones proporcionadas suelen cubrir parcialmente las necesidades nutricionales de los niños, oscilando entre el 11% y el 100% de las necesidades de nutrición. En algunos programas, como el PAE de Chile, se entregan raciones cuyo aporte en calorías y proteínas se diferencia de acuerdo a la vulnerabilidad de las escuelas. Sin embargo, la mayoría de las iniciativas entrega raciones que no varían según las edades y el nivel de pobreza de la familia de los niños. Estos programas muestran también diversidad de modalidades de gestión y de prestación de servicios. Se puede diferenciar entre aquellos que realizan todas las funciones requeridas para la entrega de alimentos (adquisición, distribución, almacenamiento, preparación y administración), y los que recurren a la contratación de proveedores para la realización de alguna o todas las funciones señaladas. En esta última situación se encuentra el PAE de Chile. 2.

LOS PROGRAMAS DE ALIMENTACIÓN MATERNO-INFANTIL

En este grupo se encuentran las intervenciones que realizan transferencias de alimentos a niños y a madres embarazadas y lactantes. Se trata de intervenciones que ya son tradicionales en la región, como los programas de alimentación complementaria operados desde los servicios estatales de salud (Idiart, 2004). Algunos de estos programas tienen alcance nacional y atienden a una magnitud importante de beneficiarios. Por ejemplo, el Programa Nacional de Alimentación Complementaria –PNAC- de Chile atendió a 1.050.000 niños de hasta 6 años, y cubrió al 52% de las mujeres embarazadas del país (Instituto Libertad y Desarrollo, 2003). Por su parte, el Programa alimentación complementaria materno-infantil (PAMI) de Honduras, durante los años 1990-1993 entregó asistencia alimentaria a 220.907 en 1.153 centros de alimentación y nutrición (Oficina Regional de la Organización Mundial de la Salud, 1998) En el caso de Argentina, PROMIN se orienta mejorar la situación sanitaria y nutricional de mujeres en edad fértil y embarazadas (15-49 años) y de niños entre 0 y 5 años. En todo caso, las acciones de PROMIN incluyen un amplio abanico temático, que contempla actividades relacionadas con cuidados prenatales y los controles pediátricos, la promoción del desarrollo infantil y el mejoramiento de la calidad de los servicios de salud. En este mismo país, el Programa Materno Infantil (PMI) tiene como propósitos reducir la mortalidad materno–infantil, disminuir la

10

incidencia de la anemia y mejorar la situación nutricional de las embarazadas y el desarrollo de los niños de 0 – 5 años (Jefatura de Gabinete de Ministros, 2003). El Programa Alimentario Materno Infantil (PAMI) de Venezuela, diseñado en el marco de la estrategia nacional de reducción de la pobreza, tiene como propósito mejorar la calidad de la alimentación de los niños menores de 6 años y de mujeres embarazadas o dando lactancia. Este objetivo se cumple mediante la ampliación de los servicios proporcionados en los centros ambulatorios del Ministerio de Salud, agregando a las prestaciones habituales de salud primaria, la entrega de productos alimenticios como leche (López Añez, s/a.). De este modo, se puede apreciar que los programas alimentarios madre–hijo operados desde los sistemas de salud habitualmente vinculan objetivos de promoción y prevención de salud con propósitos nutricionales.

3.

LOS PROGRAMAS DE ALIMENTACIÓN A GRUPOS VULNERABLES

Este tipo está conformado por las intervenciones que se basan en la entrega de alimentos a una amplia variedad de poblaciones altamente vulnerables, como preescolares y madres embarazadas y gestantes, alumnos de establecimientos de educación inicial, adolescentes en riesgo social, adultos mayores y discapacitados, personas que viven en la calle, poblaciones indígenas y familias en condiciones de pobreza estructural o afectadas por crisis económicas. Se trata de intervenciones que son tradicionales en América Latina y el Caribe, como los programas de alimentación complementaria operados desde los servicios estatales de salud (Idiart, 2004). También tienen una prolongada existencia los comedores comunitarios y las intervenciones de cuidado sustituto de preescolares. Los comedores han sido operados por organizaciones comunitarias y no gubernamentales, y financiados en un esquema manejado desde la demanda (como el Fondo Participativo de Inversión Social –FOPAR- de Argentina), mientras que los programas de cuidado sustituto suelen ser gestionados en asociación por entidades filantrópicas, organismos del Estado y guarderías comunitarias. Algunos de estos programas tienen alcance nacional y atienden a una magnitud importante de beneficiarios. Otras iniciativas de alcance nacional, como los Comedores de FOPAR, se constituyeron en instrumentos relevantes para enfrentar la crisis económica en Argentina. También hay programas que tienen alcance subregional, como los apoyados por el PMA. Hay también programas destinados a adultos mayores, como fue ASOMA de Argentina y otros, de creación reciente, como el Programa Nacional de Alimentación al Adulto Mayor de Colombia, que lleva a cabo operaciones de menor escala.

11

Los programas de este tipo muestran una considerable heterogeneidad desde el punto de vista de sus objetivos. Por ejemplo, las iniciativas de alimentación complementaria desarrolladas en los servicios públicos de salud suelen combinar propósitos nutricionales y de salud. En los Hogares de Cuidado Sustituto, las metas nutricionales coexisten con acciones para fomentar el desarrollo infantil y facilitar la incorporación de las mujeres al mercado laboral. En los Comedores, la alimentación suele acompañarse de acciones para promover el capital social y la organización comunitaria. También hay iniciativas que tienen propósitos exclusivamente alimentarios, especialmente las que atienden a adultos mayores, discapacitados y personas de calle. La mayoría de los programas de atención a grupos vulnerables opera mediante la entrega de complementos alimentarios, en algunos casos fortificados o enriquecidos con suplementos multivitamínicos. Desde el punto de vista del aporte a las necesidades nutricionales diarias, se aprecia un rango de variación de 20% 100%. Los valores altos se explican debido a la necesidad de compensar la baja disponibilidad de micronutrientes en algunas poblaciones en riesgo. Entre las iniciativas que proporcionan aportes bajos, se pueden mencionar los desayunos entregados por DIF de México, que cubrieron entre el 20% y el 30% de los requerimientos diarios de calorías y proteínas de los grupos beneficiados (Barquera, Rivera y Gasca García, 2001). Hay programas que condicionan la entrega de alimentos a la asistencia a controles de salud. Así sucede con el Plan Mas Vida, implementado en la provincia de Buenos Aires, Argentina. Esta iniciativa atiende a familias extremadamente pobres, con embarazadas, nodrizas y niños de 0-5 años, que proporciona intervenciones de complementación alimentaria, controles de salud, vigilancia nutricional y capacitación (Gobierno de la Provincia de Buenos Aires, 2002). Otro caso es PRODEA de Brasil, el que entrega canastas de alimentos a poblaciones afectadas por la sequía en el nordeste y el norte del estado de Minas, y que exige contrapartidas a los beneficiarios en los ámbitos de educación y salud (Lavinas y Garcia, 2003). Una tendencia creciente en los últimos años ha sido la implementación de intervenciones orientadas a cubrir las deficiencias en micronutrientes de poblaciones en riesgo o desnutridas. Por ejemplo, el Programa Nacional de Micronutrientes de Nicaragua proporciona un paquete de intervenciones que incluye la entrega de alimentos fortificados (azúcar, sal, harina de trigo) con vitamina A y hierro, los que cubren más del 80% de las necesidades de micronutrientes de la población beneficiaria. Adicionalmente, el programa presta servicios de consejería, desparasitización e inmunizaciones (Boy, 2005).

12

4.

LOS PROGRAMAS DE TRANSFERENCIAS CONDICIONADAS

Estos programas comenzaron a implementarse en la década del 90. Por medio de estas intervenciones se proporcionan transferencias en alimentos o monetarias, condicionadas a que los beneficiarios lleven a cabo acciones que se orientan a la acumulación de capital humano o a la creación de activos comunitarios o familiares. Las modalidades dominantes son la entrega de alimentos por trabajo (APT), la administración de alimentos por educación (APE) y las transferencias en efectivo, vinculadas a educación, salud y nutrición. Las iniciativas que condicionan la entrega de alimentos a la participación en proyectos de infraestructura o de preservación del medio ambiente, se han llevado a cabo principalmente en América Central (Honduras, Guatemala, El Salvador) y en la región andina (Perú y Bolivia), atendiendo a poblaciones rurales afectadas por crisis económicas o desastres naturales. Ellas operan como instrumentos contracíclicos. Igualmente se han desarrollado programas APE (alimentos pode educación) que entregan alimentos como incentivo para que las familias envíen a sus hijos a la escuela, o que se dirigen a mujeres y niños de la calle en zonas urbanas, para que asistan a actividades de alfabetización o capacitación. El principal promotor de estos programas ha sido el PMA. Los programas de transferencias monetarias condicionadas suelen tener objetivos de acumulación de capital humano en educación, nutrición y salud, y han atendido tanto a poblaciones afectadas por crisis como a familias en situación de pobreza estructural. Su forma de operación es la entrega de dinero en efectivo a familias pobres con niños, a cambio de la asistencia a la escuela y a controles nutricionales y de salud. Entre las experiencias más conocidas está el Programa Oportunidades (México), Familias en Acción (Colombia) y Red de Protección Social – RPS - (Nicaragua). En Oportunidades, la transferencia monetaria se complementa con un aporte de alimentos a las familias beneficiarias, y se desarrolla un subprograma de capacitación en temas de alimentación y salud. El aporte nutricional que entrega Oportunidades cubre el 100% de los requerimientos diarios de micronutrientes y el 20% de las necesidades calóricas (SEDESOL, 1999). En este ámbito, se debe tener en cuenta la experiencia brasileña. En este país, existían cuatro programas de transferencias monetarias condicionadas (Beca Escolar, Auxilio Gas, Beca Alimentación, Programa de Erradicación del Trabajo Infantil – PETI -) con alcance nacional y con objetivos en educación, alimentación y salud, y que eran operados desde los distintos sectores de la política social, en un esquema fuertemente descentralizado. Durante el 2004, en el marco de la estrategia nacional Hambre Cero, se estableció la Secretaría Ejecutiva del nuevo programa Beca Familia, que integra en un dispositivo de transferencias a los antiguos Beca Escuela, Beca Alimentación, y Auxilio Gas. Los objetivos de la

13

reforma consisten en reducir la fragmentación institucional y sectorial, promover la eficiencia en el uso de los recursos públicos, ampliar la cobertura del sistema de protección social, mejorar los procesos de identificación de la población objetivo, obtener sinergias de la promoción simultánea de incentivos a la educación, salud y nutrición, fortalecer los sistemas de seguimiento y evaluación y promover la integración vertical entre los programas federales y sub–nacionales (Villatoro, 2005).

5.

LOS TICKETS Y CUPONES DE ALIMENTOS

Los Cupones y Tickets de Alimentos habitualmente suplementan los ingresos de las familias más pobres y vulnerables, para que ellas puedan comprar alimentos en el mercado. Muchos de estos programas fueron creados como instrumentos temporales para sostener el consumo de alimentos en situaciones de crisis, pero algunos han sido mantenidos después de finalizada la contracción económica (Castañeda, 1998). Los programas de Tickets de Alimentos ofrecen una lista de alimentos, priorizados de acuerdo a su contenido nutricional, en cantidades no restringidas y a precios de mercado. En cambio, los Cupones sólo dan acceso a una lista más limitada de bienes, en cantidades especificadas y a precios subsidiados. Así, las tarjetas proporcionan a sus usuarios mayor libertad de elección que los cupones. Según Castañeda (1998), las transferencias entregadas a través de las tarjetas representan entre el 20% y 25% de los ingresos de las poblaciones beneficiarias. En México se han desarrollado varias experiencias de este tipo, las que reemplazaron a los subsidios universales a los alimentos. Por ejemplo, Tortibono, creado en la década de 1980, entregaba un cupón a través del cual las familias beneficiarias accedían de manera gratuita a 1 kilo diario de tortilla. En Costa Rica, el programa Superémonos entrega a hogares pobres un cupón mensual cambiable por alimentos, con la condición de que todos los niños de la familia, que tengan entre 6 y 18 años, asistan a la escuela. El cupón tiene un valor que equivale a US $ 30 dólares por mes y puede ser cambiado por alimentos en cualquier supermercado del país. Es entregado a las familias durante los diez meses del año escolar (Duryea y Morrison, 2004). 6.

LOS PROGRAMAS DE APOYO A LA OFERTA DE ALIMENTOS

Este tipo de programas busca incrementar la oferta de alimentos, disminuyendo así sus precios de venta. Las aproximaciones tradicionales procuran

14

incrementar el acceso a bienes alimentarios básicos en la canasta de las familias más pobres, mediante su venta a precios subsidiados. Las acciones más recientes van en apoyo de la pequeña producción agrícola (créditos, apoyo técnico y entrega de insumos básicos como semillas) y a la formación de unidades para la producción de alimentos para el autoconsumo. También se han desarrollado acciones para recuperar alimentos desechados por la producción comercial. Los subsidios a los alimentos, entendidos como la venta a precios menores a los de mercado de alimentos básicos en la canasta de los más pobres, no constituyen en la actualidad un instrumento muy utilizado en los países de la región, debido a los problemas de focalización y a los efectos perversos que han generado. Sin embargo, algunos países implementan este tipo de programas, como Abasto de Leche y Abasto Social Rural en México (SEDESOL, 2004, 2005). En Venezuela, el Programa Estratégico Alimentario (PROAL) fue sustituido por la Misión MERCAL, que distribuye más de 4 mil toneladas de alimentos a más de 10 millones de personas mediante una cadena de 13.392 establecimientos (ALIA 2, 2005). En Brasil, existen los Restaurantes Populares, que son establecimientos que venden raciones alimentarias a precios subsidiados a personas con bajos ingresos y que tienen dificultades para alimentarse durante sus jornadas laborales y a sujetos en situación de alta vulnerabilidad (niños y adultos de la calle, desempleados) (MESA, s/a). Por su parte, los apoyos a la oferta de bienes alimentarios tienen una larga historia en la región: por ejemplo, en México se creó en 1925 un subsidio a la producción, con propósitos de aumentar la producción agrícola y mejorar la producción ganadera. Luego, entre 1946 y 1950, se implementó un programa de Abasto Popular, que consideró un subsidio orientado a abaratar los costos de los artículos alimentarios y mejorar la producción. Posteriormente, el gobierno creó en 1980 el Sistema Alimentario Mexicano, cuyo propósito fue fomentar la producción de bienes alimentarios básicos, empleando mecanismos de crédito y mejorando los precios de garantía (Barquera, Rivera y Gasca García, 2001). En la actualidad, México desarrolla como principales estrategias para el fomento de la oferta alimentaria el acceso a crédito, la promoción de alianzas para compartir el riesgo, los precios de garantía y los subsidios a insumos (fertilizantes). También se ejecutan acciones para aumentar la eficiencia de los sistemas de producción, distribución y venta de alimentos: en este caso, se desarrollan iniciativas para ampliar la red pública de comercialización, el fomento de la organización de pequeños productores rurales, y la capacitación y asesoría en materias de innovación tecnológica En todo caso, se ha señalado que estas iniciativas presentan riesgos de pérdidas fiscales, por ejemplo en coyunturas de baja de los precios internacionales de los bienes alimentarios, y también pueden mantener a personas ocupadas en actividades que no tienen ventajas

15

comparativas, lo que las hará muy vulnerables cuando no existan los precios de garantía (Barquera, Rivera y Gasca García, 2001).

Brasil, en el marco del Plan Hambre Cero, también considera un conjunto de programas para el apoyo de la oferta alimentaria. Por ejemplo, en el ámbito del incentivo a la agricultura familiar, se ponen en juego iniciativas de adquisición de alimentos por parte del estado a pequeños productores de leche y otros alimentos, se apoya financieramente a las regiones del semiárido, se entrega asesoría y capacitación técnica a agricultores familiares y se llevan a cabo iniciativas vinculadas con la reforma agraria. En las zonas urbanas, se desarrolla el programa Bancos de Alimentos, que funciona como intermediario entre las empresas y las entidades asistenciales, almacenando y distribuyendo alimentos desechados (MESA, s/a.). Otras iniciativas que se pueden mencionar, y que constituyen instrumentos para fortalecer esquemas de producción para el auto consumo, son Pro Huerta (Argentina) (INTA, 2002) y las Granjas Comunitarias y Escolares (Ecuador) (OEI, 2003). En Cuba, el programa nacional de producción popular de arroz generó, durante el año 2003, el 83% de todo el arroz producido por Cuba. Este programa involucra a pequeños agricultores, instituciones no especializadas en materias agrícolas y familias rurales, y considera la búsqueda del autoabastecimiento de los productores y sus familias, y también la generación de excedentes que puedan ser comercializados en el mercado (República de Cuba, 2004)

DEFINICIONES Y CONCEPTOS CLAVES Este capítulo tiene por objeto presentar definiciones y analizar conceptos que resultan cruciales para las políticas, programas y proyectos de protección social y, sobre todo, para el seguimiento y la evaluación de los mismos. Comienza analizando las diferencias existentes en el seno de la comunidad académica en cuanto a lo que se entiende por programas y proyectos, lo que resulta de interés para evitar que el uso de los mismos términos sea comprendido de maneras diferentes. Sigue con una presentación de algunos aspectos relacionados con el seguimiento, que tienen que ver con sus grandes áreas y sus usuarios, y los indicadores y los instrumentos que se utilizan en su implementación.

16

En cuanto a la evaluación se presentan los diseños más corrientes (modelo experimental clásico, modelo cuasiexperimental, modelos no experimentales) y las metodologías de evaluación más usuales (costo-beneficio, mínimo-costo, costoimpacto). 1.

POLÍTICAS, PROGRAMAS Y PROYECTOS SOCIALES

En la literatura económica tradicional se ha asumido que los proyectos se definen por la existencia de inversión, esto es, porque se asignan recursos para la adquisición de bienes de capital (terreno, construcciones, equipamiento). Los programas, alternativamente, suelen caracterizarse porque sólo utilizan recursos para gastos corrientes (por ejemplo, los sueldos y salarios que se requieren para la operación). Empero, en el campo de lo social, existe acuerdo en que los proyectos son “una unidad organizada de gestión que busca solucionar un problema”. Esto tiene una consecuencia importante ya que implica que, aunque la inversión que se realiza en ellos sea inexistente o marginal, todo proyecto (social) puede y debe ser evaluado. Asimismo, un programa social se concibe como el conjunto de proyectos que persiguen los mismos objetivos, aunque difieran en otros aspectos, por ejemplo, en las diferentes poblaciones a las que están destinados, o en las estrategias de intervención que utilizan. En definitiva, entonces, la política social establece las orientaciones más generales, así por ejemplo identifica los problemas sociales que la agenda de la sociedad respectiva entiende que deben enfrentarse en ese momento, y fija prioridades de implementación, al asignar recursos para determinadas líneas de acción, que se llevarán a cabo mediante programas y proyectos. El cuadro 1.1. muestra las relaciones entre los tres conceptos analizados. Cuadro I.1. Relación entre Política, Programas y Proyectos Sociales

POLITICA SOCIAL

PROGRAMA 1

PROYECTO 1.1

PROYECTO 1.2

PROGRAMA 2

PROYECTO 2.1

PROYECTO 2.2 17

Un proyecto social está constituido por el conjunto de intervenciones que se llevan a cabo para enfrentar una situación de carencia o déficit que afecta a un grupo poblacional determinado. Con el proyecto se pretende cambiar una “situación actual” que es percibida como indeseable por quienes toman las decisiones, y alcanzar otra “situación deseada”, en la que el problema haya sido eliminado o morigerado. El éxito de un proyecto se mide por el impacto que ha alcanzado en función de los objetivos perseguidos. Por tanto, el impacto es la justificación última de la implementación del proyecto. Puede afirmarse que un proyecto social es la unidad mínima de asignación de recursos, que pretende transformar una parcela de la realidad, disminuyendo o eliminando un déficit, o solucionando un problema, mediante la realización de un conjunto integrado de procesos y actividades. 2.

SEGUIMIENTO

El seguimiento se lleva a cabo durante la operación de los programas y proyectos, con el objetivo de conocer los resultados de la gestión y definir la reprogramación requerida. Tradicionalmente, el seguimiento ha sido concebido como un análisis intraproyecto (longitudinal) centrado en la identificación de los desvíos existentes respecto a lo programado. El programa o plan de producción se toma como el patrón de comparación y el análisis se restringe al control físico y financiero de las actividades previstas. Entre las principales razones de fracaso de los proyectos conviene mencionar: 1. Errores de diseño: originados por la inexistencia o mala estimación de las metas; poca claridad o mala organización de los procesos y/o actividades; poca congruencia entre las actividades programadas y la estructura organizacional. 2. Fallas de implementación: falta de cumplimiento de lo programado (procesos, actividades, estructura) por parte de quienes están a cargo de la operación. 3. Factores externos: incumplimiento de los supuestos o surgimiento de elementos contextuales nuevos e impredecibles que modifican el escenario en que se implementa el proyecto.

18

Las actividades del seguimiento deben programarse con anterioridad a la ejecución y operación, para minimizar las dificultades prácticas y maximizar su utilidad. a)

Los destinatarios y la información

Los usuarios del seguimiento deben definir los requisitos del plan en base a sus necesidades. Se pueden identificar distintos tipos de destinatarios de la información generada por el seguimiento: i)

ii)

iii)

iv)

Los actores internos de la estructura organizacional. Los que toman las decisiones más relevantes en los procesos se deben identificar las actividades críticas, que lo son porque de presentar desvíos el resultado general del proyecto se vería fuertemente afectado. Quienes están a cargo de tales actividades son los destinatarios internos naturales. Los actores externos: son aquellos que pertenecen a las instituciones en las que está inserto el programa y a quienes se les debe rendir cuenta por razones contractuales, financieras o de dependencia jerárquica (Ministerios, Bancos, Contraloría, Fundaciones). La población objetivo: que debe ser consultada sobre la gestión del proyecto para tener una opinión informada sobre su funcionamiento y poder canalizar sus inquietudes, propuestas y necesidades y así contribuir a los objetivos perseguidos. La sociedad civil: que demanda conocer sobre la gestión de los programas sociales.

Los destinatarios tienen distintos requerimientos de información. Mientras más involucrados estén en la gestión, mayor sería el nivel de detalle necesario. Los actores externos y la sociedad civil demandan información más agregada y menos frecuente. b)

Los indicadores

La selección de indicadores es central en el seguimiento, y por ello deben elegirse estratégicamente, para disponer de un conjunto reducido, que sea fácil de medir y al mismo tiempo confiable y que garantice la información requerida para la toma de decisiones. Para ello, hay que identificar las actividades críticas de los procesos programados y las necesidades específicas de los destinatarios de la información. No obstante, siempre debe disponerse de indicadores sobre

19

cobertura, focalización, eficacia, eficiencia, calidad, y avance físico-financiero (Ver Anexo Los Indicadores del Seguimiento). c)

Los instrumentos

Para que la información sea útil, debe ser confiable y oportuna. Por ello, en la definición del plan de seguimiento hay que prestar atención a los instrumentos de recolección de información, la unidad de registro, la periodicidad y los planes de análisis de datos. Dependiendo de las características de los indicadores, de las unidades de análisis y de la existencia de registros externos deben definirse los instrumentos de recolección de datos: a)

b)

c)

Hay indicadores (proyecto, funcionarios, beneficiarios, producto, etc.) para los que se pueden utilizar entrevistas, cuestionarios, registros de observación o técnicas cualitativas. Algunos indicadores (como resistencias de materiales, composición bioquímica de alimentos u otros) requieren el uso de técnicas de laboratorio, diferenciando la toma de la muestra del registro del indicador. Cuando se recurre a información secundaria (oficiales o generadas por otros proyectos o programas), es necesario analizar previamente su validez y confiabilidad para los objetivos del proyecto.

Cualquiera sea el origen de la información, es importante identificar quién o quiénes se hacen cargo de su recolección. Un segundo elemento a establecer es qué información se requiere y cuándo debe ser recogida y estar disponible. Así se podrán definir los tiempos y el contenido del registro. Esto debe estar coordinado con los flujos de actividades de los procesos. Para cada indicador se debe establecer el tamaño muestral necesario para establecer conclusiones correctas sobre gestión e impacto. Si el error de estimación de los datos es mayor que el impacto que se espera verificar en los indicadores, no será posible determinar si dichos cambios son reales o se deben a características de la muestra. De acuerdo a los análisis que se harán con cada indicador, se deben definir los coeficientes estadísticos pertinentes y su forma de procesamiento.

20

3.

EVALUACIÓN DE IMPACTO

La evaluación se realiza comparando una “línea de base”, que aprecia el estado "inicial" de la población objetivo, con una “línea de comparación" que muestra la condición de esa población después de transcurrido un determinado tiempo de operación del proyecto, eliminando (o tratando de minimizar) la incidencia de factores externos. Existe una familia de modelos cuyo objetivo es medir el impacto. Entre ellos es necesario mencionar: a)

Modelo experimental clásico

Exige seleccionar de manera aleatoria una muestra que se divide, también aleatoriamente, en dos submuestras, que son el grupo con proyecto o población beneficiaria (grupo experimental) y el grupo sin proyecto (grupo de control). Estas submuestras se seleccionan antes de iniciarse la operación del proyecto (en la situación de línea de base) y deben diferir sólo en que la primera recibe los bienes o servicios del proyecto y la segunda no. Tomando en cuenta la selección aleatoria de ambos grupos, las diferencias iniciales entre ellos, si las hay, debieran ser mínimas. Es decir, entre X e Y no deben existir diferencias estadísticamente significativas. X - Y = diferencia no significativa Si las diferencias iniciales fueran estadísticamente significativas, será necesario realizar una nueva selección o distribución de la población en cada grupo; de lo contrario no es posible medir el impacto. El modelo compara la situación en que se encontraban los dos grupos en la línea de base (LB), con la situación en la línea de comparación (LC). A partir de ello se verifican los cambios generados por el proyecto. Se debe analizar únicamente una variable (objetivo) a la vez y mantener las otras constantes. El siguiente cuadro permite apreciar la lógica del modelo experimental y el tipo de cálculo que se efectúa al evaluar el proyecto.

21

Cuadro I.2 Modelo experimental clásico Grupos

Tiempo LB

LC

Con Proyecto (C/P)

X

X’

Sin Proyecto (S/P)

Y

Y’

X, X', Y, Y' = Valores del indicador de impacto de un objetivo La magnitud de los cambios producidos en el grupo con proyecto (X' - X), en cada objetivo de impacto, respecto a los del grupo sin proyecto (Y' - Y), será una medida del impacto del proyecto en dicho objetivo. Si, X' - X contiene cambios endógenos (resultantes del proyecto) y exógenos (debido a otras razones). Y' - Y sólo cambios exógenos (no imputables al proyecto). Entonces (X' - X) - (Y' - Y) = Impacto neto de un objetivo en la población beneficiaria, imputable al proyecto. El modelo experimental clásico constituye una forma vigorosa de identificar los cambios producidos por un proyecto. Sin embargo, su aplicación se dificulta porque requiere la selección aleatoria de los integrantes de cada uno de los grupos en la línea de base (LB). Otro obstáculo son las dificultades éticas que derivan de aplicar el proyecto a sólo una parte de la población objetivo (el grupo experimental) para poder medir el impacto, excluyendo a otros que legítimamente requieren de la atención que se brinda. b)

El modelo cuasiexperimental

La lógica de este modelo es idéntica a la del experimental clásico. Se efectúan mediciones de las líneas de base (LB) y de comparación (LC) y luego se comparan las diferencias. La distinción radica en que la pertenencia al grupo con o sin proyecto no se determina aleatoriamente. La selección se realiza en función de las variables de mayor relevancia en relación al objetivo de impacto perseguido. Dado que la selección de los grupos en la LB no es aleatoria, es posible que se presenten diferencias entre X e Y. El modelo asume que dichas diferencias son estables en el tiempo, por lo que (X' - X) - (Y' - Y) es un buen estimador del impacto neto.

22

Este modelo es útil cuando se desea evaluar un proyecto durante su operación y ya se han elegido los "beneficiarios" y los "no beneficiarios". Si se quiere evaluar un programa de alimentación escolar que está en funcionamiento, se pueden comparar los niños que asisten a los comedores escolares con los que, teniendo las mismas características de déficit nutricional y nivel socioeconómico, no asisten, sea por automarginación, sea porque en su escuela no opera el programa. c)

Modelos no experimentales

Estos modelos se aplican cuando la población objetivo no puede ser comparada con un grupo de control. Vale decir, que se considera sólo la población beneficiaria del proyecto, lo que impide controlar la incidencia de variables exógenas. Los modelos no experimentales utilizados con mayor frecuencia son: a)

Modelo antes-después (sin grupo de comparación). Se efectúa una medición "antes" que el proyecto sea implementado (LB) y se comparan los valores obtenidos con los resultados derivados de levantar una línea de comparación, "durante" la operación o "después" que el proyecto ha concluido.

Cuadro I.3 Modelo Antes-Después (sin grupo de comparación) Grupos

Con Proyecto (C/P)

Tiempo LB

LC

X

X’

Donde, X' - X = Impacto en la población beneficiaria (un objetivo) en base a la diferencia entre LB y LC Este diseño no permite eliminar el efecto del contexto y, por tanto, tampoco es posible determinar en qué medida los cambios registrados son imputables al proyecto. Es posible aumentar la confiabilidad de la estimación a través de la incorporación de variables de control. Es decir, hacer que los dos grupos sean los

23

más parecidos posibles en todas las variables externas al proyecto que pudieran incidir en el impacto. b)

Series temporales. Si se cuenta con información sobre indicadores de cambio en un conjunto de períodos previos y posteriores al proyecto, es posible hacer un análisis de series temporales, para extraer conclusiones sobre los efectos imputables al mismo. Para ello, se construyen curvas sobre la base de mediciones periódicas efectuadas "antes", "durante" y "después" de la realización del proyecto. Según las formas que éstas adopten se trata de determinar la magnitud del impacto que el proyecto produjo. La gráfica I.4 ilustra un ejemplo de las series temporales. Gráfica I.4 Series Temporales Magnitud del Impacto x (1) x

+

x x o

x o

+ + x o x o + + o x + + + x o o o x

x o o +

+

x o o (3) + (2) +

-5 -4 -3 -2 -1 0 1 2 3 4 5 6 Antes del Durante el Después del proyecto proyecto Proyecto Caso 1. Caso 2.

La función de la variable objetivo (x) es monótonamente creciente y el proyecto no la ha modificado en absoluto. La curva (+) indica que hubo cambios durante el proyecto, pero lo mismo ocurre antes y después de éste, lo que implica que el proyecto no puede ser considerado como la causa de los mismos.

24

Caso 3.

Es el único (o) donde los cambios son, en principio, atribuibles al proyecto.

En términos estrictos, este modelo no permite aislar los efectos imputables al proyecto. Es el clásico problema de establecer la causalidad sin disponer de instrumentos que controlen los diferentes tipos de variables que la afectan. En el caso 3, sin embargo, cabe asumir que el proyecto es la causa del impacto porque ni antes ni después del proyecto se produjeron cambios, pero no se prueba que el impacto no haya sido producido por una o más variables exógenas. c)

Modelo sólo después con grupo de comparación. En ocasiones, es posible definir un grupo de control, que permite la comparación de los resultados del proyecto ("después"), sin que sea posible contar con información sobre la línea de base.

Cuadro I.5 Modelo sólo Después con Grupo de Comparación Grupos

Tiempo LB

LC

Con Proyecto (C/P)

X’

Sin Proyecto (S/P)

Y’

Donde, X' - Y' = Impacto (un objetivo) en base a la diferencia de los resultados finales entre los grupos C/P y S/P. Este modelo no controla la posibilidad de que existan diferencias significativas entre los grupos en la línea de base. Este efecto puede disminuirse si se incorporan variables de control, a efectos de generar dos grupos que sólo se diferencien en su pertenencia o no al proyecto.

4.

METODOLOGÍAS DE EVALUACIÓN

La evaluación compara información para la toma de decisiones. Por tanto, requiere investigar, medir y comparar. Existen diferentes metodologías de evaluación, por lo mismo, evaluar puede significar distintas cosas y tener distintos alcances.

25

En el análisis de proyectos pueden distinguirse tres metodologías que buscan comparar los costos con el logro de objetivos de impacto. La forma de medir los costos es la misma, lo que varía es la medición del impacto. a)

Análisis Costo Beneficio (ACB): consiste en comparar los costos con los beneficios económicos del proyecto. Si los beneficios son mayores que los costos, hay una primera indicación de que el proyecto debería ser, en principio, aprobado. Un requisito básico es que los costos y beneficios estén expresados en unidades monetarias. Por lo tanto, es una metodología adecuada para el análisis de proyectos que tienen fines productivos. En el caso de los proyectos sociales, los beneficios difícilmente pueden expresarse en términos monetarios, por lo que la utilización del ACB queda severamente limitada. Esta metodología se utiliza casi exclusivamente en la etapa ex-ante, con la finalidad de tomar una decisión respecto a la aceptación, rechazo o postergación del proyecto.

b)

Análisis del Costo Mínimo (ACM): compara los costos monetarios (tanto en una evaluación ex-ante como en una ex-post), con el nivel de producción y distribución de los bienes y servicios que entrega el proyecto. El ACM se limita a garantizar la eficiencia. Supone que el impacto generado por las distintas alternativas de intervención (proyecto) será el mismo, por lo cual se dedica a asegurar que los productos necesarios sean generados a los costos mínimos.

c)

Análisis Costo-Impacto (ACI): compara, los costos (monetarios) con el logro de los objetivos de impacto. Considera la eficiencia, pero también el impacto, determinando en qué medida el proyecto alcanzará (o ha alcanzado sus objetivos), qué cambio producirá (o ha producido) en la población destinataria y cuáles pueden ser sus efectos secundarios.

El cuadro 16 muestra la relación entre las diferentes metodologías de evaluación.

26

Cuadro I.6 Comparación entre ACB, AMC, ACI Términos de Comparación Población considerada

Estado en que se aplica Criterio de decisión

ACB Costos y Beneficios (expresados en unidades monetarias) La sociedad en conjunto (sin importar quién asume los costos y quién recibe los beneficios). Evaluación ex-ante Mayor valor en la relación entre beneficios y costos monetarios

AMC Costos

ACI Costos de producción e impacto alcanzado

La sociedad en su conjunto

La población objetivo fijada según los objetivos del proyecto

Evaluación ex-ante

Evaluaciones ex-ante y ex-post Menor valor en la relación entre los costos y el impacto

Menor costo

27

Capítulo II FOCALIZACIÓN, SEGUIMIENTO Y EVALUACIÓN DEL IMPACTO DE LOS PROGRAMAS DE ASISTENCIA ALIMENTARIA 1.

FOCALIZACIÓN

La focalización constituye un instrumento fundamental para cumplir con el propósito de mejorar la situación alimentaria de las poblaciones que tienen problemas alimentario-nutricionales. Esto presenta problemas complejos debido a que: a) la inseguridad alimentaria es inobservable y, por tanto, hay que utilizar indicadores imperfectos para identificar a las poblaciones que requieren asistencia, y b) el transporte y la distribución de alimentos son procesos lentos y costosos que pueden crear problemas de logística, que suelen conducir a errores de focalización (Barrett, 2002). Para enfrentar estas dificultades, se han utilizado procedimientos de selección geográfica de regiones y municipios sobre la base de mapas de pobreza o información censal, de comprobación de medios, de autoselección, de focalización comunitaria, o alguna combinación que incluya dos o más de las estrategias mencionadas.

a)

Focalización de los Programas de Alimentación Escolar

Desde el punto de vista de las poblaciones objetivo, algunos programas de alimentación escolar, como PAE de Chile, Merienda Escolar de Brasil, PAE de Venezuela y Desayunos Escolares de Bolivia no definen explícitamente como sujetos de atención a alumnos en situación de inseguridad alimentaria o déficit nutricional. Estos programas priorizan a poblaciones atendidas en escuelas públicas que están en situación de pobreza y vulnerabilidad. También hay programas orientados a estudiantes que están en situación de inseguridad alimentaria o riesgo/retraso nutricional (por ejemplo, el Programa de Alimentación Escolar de Colombia, los Almuerzos y Desayunos Escolares del PRONAA y el PINE Nicaragua) o en grupos que muestran un rendimiento escolar deficitario. Los programas de alimentación escolar han focalizado basados en indicadores económicos, geográficos y nutricionales, a los que se han incorporado variables propias del sistema escolar (matrícula, ausentismo, desempeño). Dentro

28

de las escuelas, se ha utilizado una amplia variedad de mecanismos, como la selección de los alumnos por los profesores y, en algunos casos, la comprobación de ingresos de las familias. El Programa de Alimentación Escolar – PAE – de Chile utiliza una focalización bietápica, de escuelas y de estudiantes. Los establecimientos educacionales son seleccionados de acuerdo a sus puntajes en el Índice de Vulnerabilidad Escolar (IVE), que se utiliza para asignar los apoyos alimentarios que la Junta Nacional de Auxilio Escolar y Becas – JUNAEB - otorga a cada establecimiento. El monto de la ayuda proporcionada por el PAE se establece considerando el puntaje IVE y la matrícula del establecimiento (JUNAEB, s/a.). La información se obtiene de un censo anual a todos los establecimientos escolares municipalizados y particulares subvencionados de Chile. Los indicadores (factores de riesgo) empleados en el IVE son: a) porcentaje de alumnos con necesidad de PAE declarada por el profesor, b) ubicación espacial, c) proporción de alumnos con caries dentales, d) años promedio de educación de la madre y el padre, e) ocupación del jefe de hogar, f) porcentaje de alumnos que recibe SUF, g) porcentaje de alumnos con sistema FONASA grupo A, h) proporción de alumnos con agua/llave fuera de la casa, i) porcentaje de alumnos con sistema de eliminación de excretas sin red ni pozo y, j) porcentaje de alumnos en situación de hacinamiento (Marshall y Correa, 2001). Desde el 2004, la JUNAEB está implementando un sistema de selección individual de beneficiarios –comprobación de medios-, que permite identificar, dentro de las escuelas focalizadas, a los sujetos que más necesitan apoyo alimentario. Este sistema integra en una base de datos información proveniente de la ficha CAS, de Chile Solidario y del Registro de Estudiantes de Chile. Contiene información de 3 millones de estudiantes de las escuelas que postulan al PAE, y facilita la evaluación individual de los alumnos y su clasificación según los niveles de prioridad o urgencia de apoyo alimentario (JUNAEB, s/a.) Por su parte, el Programa Integral de Nutrición Escolar – PINE- de Nicaragua utilizan criterios de focalización geográfica para la selección de las escuelas. A partir de mapas de pobreza, selecciona los municipios que presentan las mayores prevalencias de pobreza severa y alta. El PAE Uruguay usa variables como el hacinamiento, el nivel educativo de la madre, la desocupación del jefe de hogar y datos antropométricos provenientes del censo nacional de talla. En de las escuelas, los niños beneficiarios del PAE Uruguay son seleccionados por los profesores, bajo el supuesto de que éstos conocen la situación existente alimentaria en las familias de sus alumnos (Cohen et al., 1997).

29

Merienda Escolar de Brasil transfiere recursos financieros a las Entidades Ejecutoras del programa. El monto de las transferencias se fija teniendo en cuenta el número de alumnos, el número de días de entrega de las prestaciones y el valor per cápita. En este último caso, se introducen factores de ponderación por mayor riesgo alimentario. Así, se consideran valores per–cápita de 0.34 para los alumnos que cursan enseñanza indígena y de 0.18 para los niños que viven en instituciones. Estos ponderadores son mayores que el utilizado para la educación preescolar, básica y media (0.13) (Instituto de Desarrollo Educacional de Paraná, 1997). La evidencia sobre el desempeño en focalización de los programas de alimentación escolar no es concluyente, y además, ha sido obtenida con indicadores no comparables. Por ejemplo, de acuerdo a Cornejo et al. (2003), el PAE – Chile alcanza una buena focalización, debido a que 93% de los alumnos beneficiarios del programa presenta al menos un factor de riesgo. Adicionalmente, en la CASEN 2003, se observó que los programas de la JUNAEB (incluyendo transferencias alimentarias, entrega de útiles escolares y salud) asignan un 50,4% de su gasto al 20% de los hogares más pobres (MIDEPLAN, 2003). b)

Focalización de los Programas de Alimentación Materno Infantil

Los programas de atención alimentaria a mujeres embarazadas o en fase de lactancia y a niños menores de 5 años han utilizado preferentemente criterios de focalización basados en el ciclo de vida, utilizando en algunos casos la condición de pobreza como una segunda prioridad de asignación. En ocasiones, algunas iniciativas, entregan cobertura universal, lo que implica en la práctica autoselección, que se fortalece cuando se requiere la asistencia a controles en los servicios de salud. El supuesto es que la imposición de una contraprestación incrementa los costos de oportunidad de uso del servicio, generando incentivos solamente para los grupos más vulnerables. Por ejemplo, aunque el Programa Nacional Materno Infantil – PMI - de Argentina no es focalizado, en la práctica atiende fundamentalmente a mujeres y niños que acuden voluntariamente a servicios de salud del sector público y que no cuentan con una cobertura adecuada de salud (Britos, 2003). En esta misma situación se encuentra el PNAC de Chile, que atiende mujeres que manifiesten interés en los alimentos proporcionados por el programa, con la condición de asistir a controles preventivos de salud primaria (Instituto Libertad y Desarrollo, 2003). Los pocos datos disponibles indican que estos programas tienen una focalización aceptable. Por ejemplo, los Programas de Alimentación Complementaria y Suplementaria de Brasil atendieron respectivamente a

30

beneficiarios pertenecientes al 72% y 82% de las familias del 40% más pobre (Banco Mundial, 1996), mientras que en el PNAC de Chile este porcentaje llegó al 69.9% (MIDEPLAN, 2003). En el PMI Argentina, el 94% de la leche en polvo llega a niños pertenecientes a los dos primeros quintiles de la distribución de ingresos; sin embargo, la cobertura del programa no excede el 40 % (Encuesta de Desarrollo Social, 1999, citada en Britos, 2003) c)

Focalización de los Programas de Atención a Grupos Vulnerables

Los programas de atención alimentaria a grupos vulnerables han considerado una amplia gama de poblaciones-meta, siendo mayoritarias las intervenciones orientadas a las mujeres embarazadas y en lactancia, los preescolares y los adultos mayores. También se han desarrollado programas para atender a familias y poblaciones afectadas por situaciones de emergencia alimentaria y por pobreza estructural. En menor medida, han habido iniciativas dirigidas a adolescentes en riesgo social y a niños de la calle, discapacitados, enfermos, indígenas y afrodescendientes e hijos de madres con trabajos agrícolas de temporada. Para la focalización también han sido variados y se han utilizado estrategias de selección geográfica, de comprobación de medios, de autoselección y de focalización comunitaria. Un ejemplo de uso de una de focalización por etapas es el Plan Nacional de Emergencia Alimentaria – PEA – de Argentina, implementado como respuesta a la severa crisis económica y social que afectó al país. Se comienza utilizando indicadores de necesidades básicas insatisfechas (NBI), línea de pobreza y mortalidad infantil, entre otros. Específicamente, la asignación de recursos a las provincias según una ponderación que otorga 55% por NBI, 35% por la línea de indigencia y 10% por mortalidad infantil (Oficina Regional de la FAO para América Latina y el Caribe, s/a.). Luego, la selección individual se realiza en el nivel local, considerando el ciclo de vida (niños, adultos mayores) y la condición (embarazadas, jefas de hogar y discapacitados). Otras iniciativas de focalización geográfica son el Programa de Prestaciones Alimentarias Comunitarias del FOPAR (Argentina), el PRODEA de Brasil y las acciones impulsadas por el PMA. Todas responden a situaciones de crisis o emergencia social. En FOPAR, los criterios utilizados refieren a la vulnerabilidad y al riesgo alimentario, mientras que PRODEA usa el mapa del hambre elaborado por el Instituto de Investigación Económica Aplicada (IPEA). Por su parte, los programas financiados por el PMA han utilizado como herramienta de focalización el VAM (PMA, 2002d).

31

La focalización mediante el VAM busca la identificación geográfica de las áreas y grupos sociales más vulnerables la inseguridad alimentaria. Por ejemplo, en Honduras se seleccionaron municipios mediante indicadores tales como las tasas de malnutrición, la disponibilidad de bienes alimentarios básicos, la degradación de los suelos, la disponibilidad de tierra y la distribución de los problemas de inseguridad alimentaria según género. Por su parte, en programas de asistencia a mujeres y niños vulnerables, la selección de beneficiarios se lleva a cabo mediante criterios de pobreza y déficit alimentario (PMA, 2001a) La selección directa de los beneficiarios y el uso de mecanismos de focalización comunitaria han sido más frecuentes en países más descentralizados, o en intervenciones manejadas desde la demanda. Por ejemplo, el Programa Nacional de Leche de Brasil y las iniciativas de alimentación desarrolladas por el Fondo Nacional de Compensación y Desarrollo Social – FONCODES - en Perú recurrieron a la focalización comunitaria, mientras que en PRODEA, el catastro de los postulantes y la selección de los beneficiarios son realizados por comisiones municipales, en las que participan representantes de las organizaciones de la sociedad civil y de CONAB. Además, las comisiones municipales organizan la distribución de las canastas de alimentos (Lavinas y García, 2003). La comprobación de medios, en el Programa Nacional de Alimentación al Adulto Mayor de Colombia, se utilizado con datos del SISBEN (Sistema de Identificación de Beneficiarios), sobre la base de una tipología que emplea como factores críticos la situación socioeconómica, la presencia de discapacidad, la edad y la falta de cobertura del régimen subsidiado de salud (CONPES, 2004). Por su parte, el CEN–CINAI de Costa Rica utiliza un puntaje para clasificar a los hogares e incluye una evaluación antropométrica. Recurren a la condición o en el ciclo de vida, para la focalización los programas nacionales de alimentación complementaria, las iniciativas de atención en salud materno-infantil y algunos programas de atención preescolar en guarderías u hogares de cuidado diario. También existen iniciativas que emplean procedimientos de autoselección. Por ejemplo, el Programa Nacional Materno Infantil – PMI - de Argentina, no es un programa focalizado, en la práctica lo utilizan fundamentalmente mujeres y niños que acuden voluntariamente a los servicios de salud del sector público y que no cuentan con una cobertura adecuada de salud (Britos, 2003). En el PACFO de Perú se empleó inicialmente un procedimiento de focalización geográfica que tomaba en cuenta la desnutrición crónica a nivel de departamentos, y luego, en cada conglomerado seleccionado, se estableció la universalidad del servicio para los niños de entre 6 y 36 meses, lo que equivale al uso de procedimientos de autoselección (Consorcio Maximime e Instituto Cuanto, 2003).

32

Los programas de alimentación complementaria y suplementaria, muestran una focalización aceptable. Los Programas de Alimentación Complementaria y Suplementaria de Brasil el 72% y 82% de los beneficiarios provenían del 40% de las familias más pobres (Banco Mundial, 1996). En el PNAC de Chile este porcentaje llegó al 69.9% (MIDEPLAN, 2003). En el PMI Argentina, el 94% de la leche en polvo llega a niños pertenecientes a los dos primeros quintiles de la distribución de ingresos (Encuesta de Desarrollo Social, 1999, citada en Britos, 2003). En lo relativo a la evidencia sobre los programas de atención a preescolares en Hogares de Cuidado Diario, en el caso de Guatemala se ha indicado que el programa parece estar alcanzando a su población objetivo (familias pobres con madres que trabajan) (Ruel et.al., 2002)

d)

Focalización de los Programas de Transferencias Condicionadas

Los programas de transferencias condicionadas utilizan para su focalización, un procedimiento en general multietápico. Las mayores diferencias se encuentran en los mecanismos empleados para seleccionar familias o beneficiarios individuales dentro de las comunidades elegidas. Para ello se emplean procedimientos de comprobación de medios, autoselección y, en menor medida, focalización comunitaria. La mayoría de estos programas efectúa la selección geográfica de los municipios según sus niveles de pobreza. Se recurre a índices de marginalidad y a los riesgos para el capital humano. En ocasiones, se especifican requerimientos de elegibilidad, como la disponibilidad de servicios sociales y financieros (RPS Nicaragua). Una vez seleccionadas las comunidades, donde operará el programa, en algunos casos se realiza la comprobación de medios (Oportunidades y Familias en Acción) y ponen en juego una fase de validación y depuración final de la lista de hogares beneficiarios, mediante asambleas comunitarias (Oportunidades). En otras iniciativas, se imponen restricciones adicionales a la elegibilidad: así, RPS Nicaragua solamente selecciona a familias rurales que tengan menos de 14.1 hectáreas y no dispongan de vehículo (Rawlings, 2004). Por su parte, los programas que transfieren alimentos a cambio de la participación en actividades de creación de infraestructura o preservación del medio ambiente habitualmente combinan mecanismos de focalización geográfica con procedimientos de autoselección, que no imponen restricciones administrativas a la participación. Plantean un requerimiento de trabajo que incrementa el costo de oportunidad de participar en el programa, de modo que

33

sólo tengan incentivos para participar los más pobres o los grupos que se encuentren en una mayor inseguridad alimentaria. Los programas de transferencias en efectivo han mostrado un desempeño adecuado en focalización.. Por ejemplo, un 71% de las familias que ingresaron a Familias en Acción estaba en situación de indigencia al momento de iniciarse la intervención (Attanasio et.al., 2004). En Oportunidades, el 62.4% de las familias beneficiarias se ubicó en los dos primeros quintiles de ingreso, mientras que en PRAF y RPS Nicaragua, estos porcentajes alcanzaron al 79.5% y al 80.9% respectivamente. En RPS Nicaragua, el error de inclusión fue de 15% (IFPRI, 2002) De acuerdo a Skoufias, Davis y De la Vega (1999), la estrategia de focalización de Oportunidades permite la identificación de los extremadamente pobres, pero es menos eficaz para alcanzar a los hogares situados cerca de la línea de pobreza. Al mismo tiempo, deben tenerse en cuenta los costos generados por la inclusión de algunos hogares y la exclusión de otros, lo que se traducen en conflictos y resentimientos dentro de la comunidad (Adato, 2000; González de la Rocha, 2003). Adicionalmente, se han verificado errores de exclusión en Familias en Acción: el programa no seleccionó áreas rurales que carecen de servicios sociales y financieros, lo que implicó una alta probabilidad de dejar afuera a las familias extremadamente pobres (Rawlings, 2002). No hay evidencia sistemática sobre el desempeño en focalización de los programas de entrega de alimentos condicionados a la educación o al trabajo en base a mecanismos de autoselección. Los datos disponibles se limitan a las intervenciones que condicionan transferencias monetarias a la participación en empleos de emergencia. En este ámbito, se han observado peores resultados en los países que implementaron programas de empleos temporales con transferencias superiores a los salarios de mercado para trabajadores no calificados (Pichihua, 2002) La evidencia obtenida en otros continentes sobre la eficiencia en la focalización de los programas de alimentos por trabajo indica que si bien algunas intervenciones han alcanzado un buen desempeño, otras han incurrido en significativos errores de inclusión. e)

Focalización de los Programas de Tickets y Cupones de Alimentos

Las poblaciones-objetivo de los programas de tarjetas y cupones de alimentos han sido principalmente las familias en situación de pobreza, privilegiándose a grupos especialmente vulnerables, como las mujeres embarazadas o en lactancia, niños menores de 6 años, adultos mayores, y

34

discapacitados. Los mecanismos de focalización empleados han sido principalmente la autoselección, ya sea en los centros de salud o en las escuelas (Castañeda, 1998), aunque también se han implementado dispositivos de comprobación de medios un ejemplo es el programa Superémonos de Costa Rica. Los postulantes deben contestar un cuestionario, que se ingresa a la base de datos del Sistema de Información sobre la Población Objetivo – SIPO – que contiene información sobre aproximadamente 250.000 familias. El cumplimiento de los criterios de elegibilidad se establece en base a un puntaje, que resulta de la combinación de variables como el nivel educacional y la ocupación del jefe del hogar, los ingresos monetarios de la familia, la calidad del equipamiento del hogar y el acceso a servicios, entre otros (Duryea y Morrison, 2004).

f)

Focalización de los Programas de Apoyo a la Oferta

Los grupos meta privilegiados por los programas de apoyo a la producción y el autoconsumo de alimentos han sido poblaciones de zonas rurales afectadas por crisis económicas, o desastres climáticos o ambientales, pequeños productores minifundistas, trabajadores agrícolas temporales, niños en escuelas socialmente críticas y familias pauperizadas. Por su parte, los subsidios a los alimentos se han estado centrado en pobres rurales y urbanos, niños en edad preescolar y mujeres embarazadas o en lactancia, familias en riesgo nutricional y vulnerabilidad alimentaria, trabajadores urbanos y desempleados. Los subsidios alimentarios han empleado procedimientos de focalización geográfica, de selección por la condición, de autofocalización y de comprobación de medios. Por ejemplo, Abasto Social de Leche de México prioriza a grupos según la etapa en el ciclo de vida (adultos mayores, mujeres en etapa de gestación o lactancia, niños lactantes y preescolares) y su condición (enfermos crónicos y discapacitados). Adicionalmente, el programa utiliza un sistema de comprobación de medios para establecer si la familia se encuentra en situación de pobreza. En este mismo país, el programa de Abasto Social Rural emplea procedimientos de focalización geográfica que permiten la selección de áreas con problemas en indicadores nutricionales y con alta marginación social (SEDESOL, 2004, 2005) No se cuenta con evidencia sobre el desempeño en focalización de los programas de apoyo a la pequeña producción rural y de fomento a la autoproducción de alimentos. Solamente existen datos sistemáticos sobre la eficiencia en la focalización de los subsidios a los alimentos. Un estudio comparado de una muestra de programas sociales de América Latina, Asia, África y Europa Oriental encontró que estos programas, junto con los Fondos Sociales, muestran un desempeño significativamente peor que las intervenciones que proporcionan transferencias monetarias directas a las poblaciones más pobres, con

35

independencia de los mecanismos de selección utilizados (Grosh, Hoddinott y Coady, 2004).

Problemas más frecuentes de la focalización La revisión de los programas de asistencia alimentaria analizados ha permitido identificar diversas dificultades que dichos programas enfrentan en el área de la focalización. Ellos reflejan problemas que suelen ser recurrentes y por lo mismo conviene analizar. En ocasiones, se imponen criterios de selección a las escuelas que buscan garantizar el cumplimiento de ciertas condiciones mínimas para la prestación del servicio. Sin embargo, esos requerimientos pueden excluir a los niños con mayor vulnerabilidad nutricional, dado que asisten a las escuelas que no cumplen con los requisitos para formar parte del programa. Por ejemplo, el PAE de Venezuela exige: a) infraestructura del área de la cocina adecuada para la elaboración de los alimentos, b) dotación completa de equipo pesado (cocina, neveras, congeladores) y liviano (utensilios de cocina y comedor), c) madres procesadoras capacitadas en manipulación e higiene de alimentos y, d) comedor escolar (Ministerio de Educación de Venezuela, s/a.) De manera análoga hay casos, que exigen requisitos difícilmente cumplibles que generan errores de exclusión. Así, el Programa Nacional de Alimentación al Adulto Mayor de Colombia exige que los municipios dispongan de una base de datos actualizada de SISBEN (CONPES, 2004). Es muy probable que sean los municipios más pobres podrían quedar fuera del programa. Una evaluación del PAE de Uruguay encontró que buena parte de la población objetivo no se beneficiaba del programa, y que se entregaban alimentos a alumnos que no formaban parte de la población objetivo. El programa alcanzó una focalización relativamente eficaz en los estratos de alta criticidad (0.38 NBI y 0.42 línea de pobreza), pero los resultados antropométricos fueron más bien negativos: por ejemplo, en el grupo de alta criticidad se obtuvo un E = 0.03, y en el estrato de baja criticidad, se apreció una E = - 0.27. Desde el punto de vista antropométrico, la mayor dificultad para el programa era el error de exclusión, mientras que en términos socioeconómicos, el problema principal era el error de inclusión (Cohen et al., 1997). En otros casos se ha establecido como requisito para la continuidad en el programa, el que el niño sea promovido al curso superior. Este requisito genera una presión sobre el maestro, que es de solución difícil, que tendría que optar entre promover a un niño cuyas calificaciones no lo merecen o, alternativamente, convertirse en el responsable de la pérdida de la asistencia alimentaria.

36

En el caso del programa de Desayunos Escolares de Perú, que empleó una focalización bietápica, mediante una primera selección geográfica basada en indicadores de peso/talla, seguida por una focalización con participación comunitaria, se apreció una alta tasa de beneficiarios no pobres (30.2%). Adicionalmente, se observó que la subcobertura (error de exclusión) era mayor en las áreas con mayores déficit nutricionales. Según MINSAL y PRISMA (2001), si la filtración fuera reducida en un 20%, los recursos entregados al programa bastarían para alcanzar a toda la población objetivo, y se lograría bajar el costo anual por niño en 40%. Asimismo, algunos estudios indican que en los programas con focalización comunitaria basados en la demanda o que adjudican poderes discrecionales a los municipios no han funcionado bien. Por ejemplo, en algún caso se ha observado una alta filtración y errores de exclusión. Los Programas Comedores de PRONAA y Vaso de Leche de FONCODES mostraron tasas de filtración de 45.3% y 35.8% respectivamente, siendo estos valores mucho más altos en zonas urbanas (Tanaka y Trivelli, 2002). Asimismo, en el caso del Programa Nacional de Leche de Brasil, que otorgó una alta discrecionalidad a los gobiernos locales, se encontró que sólo 43.9% de los beneficiarios pertenecía al 40% más pobre de las familias (Banco Mundial, 1996). Los problemas de focalización de algunos programas alimentarios han sido atribuidos, en ocasiones, a factores de clientelismo político, en muchos programas en que se fomentó la participación con un enfoque basado en la demanda y otorgando un fuerte rol a las organizaciones de mujeres (comedores y núcleos ejecutores) en la selección de los beneficiarios y en la distribución de los alimentos. Estas organizaciones eran, en realidad, grupos de interés, y había escasa fiscalización de sus dirigentes, las que permanecían mucho tiempo en sus cargos y además tenían responsabilidades en otras organizaciones (Cotler, 2001, citado en Tanaka y Trivelli, 2002). Los problemas de focalización se traducen en errores de inclusión. Por ejemplo, el Subsidio Único Familiar de Venezuela que estaba dirigido a las familias pobres con niños en edad escolar, tuvo cobertura casi universal. La selección de los beneficiarios estuvo a cargo de los profesores en las escuelas. En el programa de Cupones de Alimentos de Jamaica, que utilizó procedimientos de autoselección en los centros de salud, sólo una proporción muy baja de niños mal nutridos (6.8%) participó en el programa. Además, hubo altos costos de transacción para los adultos mayores y sólo 31% de los beneficiarios pertenecía al quintil más pobre (Castañeda, 1998). Las duplicaciones también suelen ser frecuentes. Así un estudio concluye que aproximadamente 50% de los niños de PANFAR era beneficiario de otras iniciativas gubernamentales de asistencia alimentaria (Segura y Haustein, s/a). En

37

el caso de PACFO, este porcentaje alcanzó al 26%. Estas duplicaciones fueron atribuidas a la excesiva fragmentación de los programas, lo que dificultaba la coordinación (Consorcio Maximime e Instituto Cuanto, 2003). También se pueden verificar problemas cuando las contraprestaciones no resultan suficientes para desincentivar la asistencia de los menos pobres, sobre todo en situaciones de pobreza masiva. Este fue el caso del Programa de Alimentación Materno Infantil de World Vision en Haití, donde los puntos de distribución de alimentos enfrentaron una alta sobredemanda. También los beneficiarios debieron soportar tiempos de espera significativos y dificultades de acceso a los puntos de distribución, por caminos en malas condiciones, escasez de transporte, etc. (Loechl et.al., 2005). 2.

SEGUIMIENTO

Una buena parte de los programas de apoyo alimentario desarrollados en América Latina y el Caribe ha implementado alguna modalidad de seguimiento aunque debe hacerse notar, el concepto detrás de dicha expresión no es homogéneo. Designa actividades tan diversas como la vigilancia nutricional, el control y la supervisión administrativa, el análisis de la eficiencia, los sistemas de información de beneficiarios e inclusive el seguimiento de los efectos de corto plazo de las intervenciones en las poblaciones atendidas. Así, los sistemas de seguimiento evidencian diferencias sustanciales con relación a sus objetivos, marco conceptual, métodos de recolección, procesamiento y análisis de datos, modalidades de implementación (centralizada o descentralizada) y productos. Entre los sistemas de seguimiento de alcance nacional, y que informan las decisiones de políticas y programas, se pueden mencionar los Sistemas de Vigilancia Nutricional (SISVAN) (Jiménez y Morón, s/a.). En Cuba, se estableció el primer SISVAN durante 1977, que incluía como componentes del sistema: a) la vigilancia alimentaria en entidades educacionales, mediante la realización de encuestas que consideraron el pesaje de alimentos y la determinación de los territorios y centros escolares cuyas poblaciones presentan consumo insuficiente de bienes alimentarios, b) el monitoreo en centros de atención en salud, por medio de la cuantificación de la oferta y disponibilidad de alimentos y las mediciones de la situación nutricional de los beneficiarios y, c) los sitios centinela (Trentmann y Hernández, 2004). Por su parte, el SISVAN de Perú recoge diferentes indicadores alimentarios, nutricionales, socioeconómicos y demográficos. En el ámbito de alimentación y nutrición, se presentan datos nacionales, regionales y locales sobre: a) el consumo de macronutrientes y de micronutrientes, b) la disponibilidad, producción,

38

importación, exportación y donación de alimentos, c) el IPC alimentario, d) la proporción de gastos en alimentos según quintales de ingreso, e) la proporción de niños con retardo de crecimiento, f) las tasas de desnutrición global, crónica y de malnutrición, g) la anemia en mujeres y niños y, h) la proporción de hogares que consume adecuadamente sal yodada. Las fuentes de información del SISVAN de Perú son los censos y las encuestas nacionales de hogares (niveles de vida, ingresos y gastos) (Sistema de Información para la Vigilancia Alimentaria y Nutricional, 2004). En el marco del SISVAN, el Perú creó en 1996 un Sistema de Seguimiento y Evaluación de Nutrición, Salud y Programas de Alimentación Complementaria, con el propósito de medir los cambios nutricionales causados por las iniciativas de asistencia alimentaria. El sistema identifica variaciones temporales, estacionales y geográficas en indicadores antropométricos, de consumo de alimentos, y en las prevalencias de las enfermedades vinculadas con la malnutrición en menores de 5 años, en las prácticas de alimentación infantil , de lactancia materna y en el acceso a los programas de complementación alimentaria. La periodicidad del sistema es semestral, y considera la realización de encuestas de hogares con mujeres de 15-49 años y niños menores de 14 años. Se emplea un diseño de muestreo por conglomerados bietápico (Sistema de Información para la Vigilancia Alimentaria y Nutricional, 2004) Los sistemas de este tipo implementados en la región han presentado un conjunto de problemas operativos, entre los que destacan: a) la planificación insuficiente de las acciones de diagnóstico y vigilancia, b) la carencia de programación en la recolección y el procesamiento de la información, c) la divulgación insuficiente, d) la escasa participación de la comunidad y de los distintos actores sectoriales involucrados y, e) la escasez de recursos humanos y financieros (Jiménez y Morón, s/a.). Por otra parte, algunos programas han desarrollado instrumentos para el seguimiento técnico y administrativo, como sucede en el Programa Nacional de Alimentación al Adulto Mayor de Colombia y PRONAA en Perú. Según Musgrove (1993), los programas de asistencia alimentaria habitualmente entregan poca información sobre sus beneficiarios y costos y, consecuentemente, sobre la eficiencia del programa. Sus datos suelen ser incompletos, o presentar problemas de confiabilidad y ser escasamente comparables, debido a la variabilidad en la cantidad y calidad de las raciones y el número de días en que éstas se entregan (Miller, 1999). Un estudio realizado por el Banco Mundial (1991) proporcionó una estimación de los costos estandarizados de 16 PAE implementados en América Latina, que mostraba la gran variabilidad existente en la administración de 1000 calorías diarias que tenía costos de entre US$ 0.03-0.84. Por su parte, la entrega de 100 gramos de proteínas presentaba costos entre $ US 0.04-2.07.

39

Cuadro 1. Costos estandarizados de programas de alimentación escolar en América Latina PAIS

BOLIVIA CHILE COLOMBIA COSTA RICA REPUBLICA DOMINICANA ECUADOR (PMA) ECUADOR EL SALVADOR GUATEMALA HONDURAS JAMAICA PANAMA PARAGUAY PERU (PMA) URUGUAY VENEZUELA1 VENEZUELA2 VENEZUELA3

RACION NUMERO DE (anualizada) DIAS DE ALIMENTACION 572 200 700 > 200 248 130-170 216 150 382 180

COSTO POR 1000 NUMERO DE KILOCALORÍAS BENEFICIARIO S 0.22 (solo comida) 21100 0.59 459241 0.24 1559477 0.35 384578 0.24 88000

252

190

0.13

300000

144 237 163 88 242 111 43 484 375 851 (almuerzo) 304 149 (leche)

150 160 180 160 180 180 180 180 312 260

0.21 0.36 0.12 0.26 0.79 0.02 (solo comida) 0.84 0.03 0.41 (solo comida) 0.12

400000 224804 1239520 558749 80000 58860 82500 300000 126000 310576

260 260

0.11 0.33

483452 1819643

Fuente: Musgrove (1991).

La amplia variabilidad de los costos por 1000 kilocalorías podría atribuirse a una multiplicidad de factores, como las diferencias de precios de los alimentos entre y dentro de los países o la utilización de alimentos de diferentes costos, que cumplan con los requerimientos calóricos, pero que al mismo tengan menor dotación de micronutrientes y vitaminas. Este mecanismo de disminución de los costos permitiría aumentar las coberturas de los programas, si éstos tienen un presupuesto fijo (Musgrove, 1993). En el estudio de Musgrove (1991) también se observó una amplia variación en los costos por beneficiario de los programas de asistencia alimentaria, lo que puede atribuirse a las diferencias en las cantidades de alimentos entregadas y no a los costos de administración.

40

Una de las preguntas relevantes para los PAE tiene que ver con la eficiencia de los distintos modelos de gestión empleados. En este ámbito destacan las experiencias de externalización de los servicios alimentarios, como la del PAE de Chile (JUNAEB, s/a.), y las que consideran la compra de alimentos a oferentes de la agricultura familiar, como es el caso de Merienda Escolar de Brasil (Grupo de Trabajo para la Alimentación Escolar, 2004) y que, en teoría, permitirían incentivar la producción alimentaria en zonas rurales. Otro tema es la aceptabilidad de la entrega de alimentos fortificados con micronutrientes. Se ha observado que se han presentado dificultades de aceptación por parte de la población (Barquera, Rivera y Gasca -García, 2001). En los programas de transferencias monetarias condicionadas, Caldés, Coady y Maluccio (2004) estimaron el costo de entregar una unidad de transferencia a un beneficiario (razón de costo-transferencia, RCT), eliminando los gastos vinculados con la instalación del programa (identificación de beneficiarios y evaluación externa). Esta investigación arrojó una RCT anual de 0.041 - 0.047, 0.068 - 0.161 y 0.212 - 0.245 para Oportunidades, PRAF Honduras y RPS Nicaragua, respectivamente. Los costos más bajos de Oportunidades se explican por economías de escala (su cobertura es mucho mayor). Adicionalmente, presenta una RCT muy baja si se compara con los valores estimados para los subsidios a los alimentos implementados en México por LICONSA y DICONSA, los que muestran costos de 40 y 14 pesos por cada 100 pesos entregados. Así, los programas de transferencias condicionadas pueden alcanzar adecuados niveles de eficiencia. Pero una RCT demasiado baja puede comprometer la efectividad de la intervención, como sucedió con el PRAF de Honduras que tuvo efectos bastante menores que RPS y Oportunidades, lo que puede atribuirse a los bajos montos de las transferencias entregadas y a los menores costos de administración (Caldés, Coady y Maluccio, 2004) Un uso de distintas fuentes y procedimientos en la construcción de sistemas de seguimiento lo constituye el programa Oportunidades. En el seguimiento se utilizan indicadores de resultados y la complementación de los padrones de beneficiarios, la verificación de la entrega de las transferencias, el seguimiento de la calidad y la eficiencia de la prestación de servicios a los beneficiarios, permiten identificar las áreas de mejoramiento. Esta información se complementa con datos secundarios, como las encuestas de hogares y niveles de vida y los censos de población (SEDESOL, 2003). Los sistemas de seguimiento de los programas apoyados por el PMA consideran la información obtenida por el VAM como línea base, y combinan métodos cuantitativos y cualitativos de recolección de información con el análisis

41

de datos secundarios para el control de la implementación y el seguimiento de los resultados de las intervenciones. Mediante estos sistemas se busca tanto controlar la eficiencia interna de las intervenciones como establecer sus efectos en las condiciones de vida de las poblaciones beneficiarias. A través de métodos participativos se trata de generar procesos de aprendizaje en colaboración entre los grupos beneficiarios y los operadores de los proyectos. Cuadro 2. Sistemas de Seguimiento de los programas financiados por el PMA PROGRAMA APOYO NUTRICIONAL A GRUPOS VULNERABLES EN PROVINCIAS ORIENTALES (CUBA)

METODO -Sistemas de seguimiento existentes – (SISVAN)

ALIMENTACIÓN ESCOLAR (REPUBLICA DOMINICANA) PROGRAMA NICARAGUA PROGRAMA HONDURAS

-Estudio de línea base (VAM)

PROGRAMA GUATEMALA

PROGRAMA BOLIVIA

-Estudio de línea base (VAM) -Estudios de línea base (VAM) en las distintas áreas de intervención del programa Seguimiento a cargo de monitores comunitarios en salud -Línea base: encuesta de hogares VAM Seguimiento participativo (métodos de evaluación rural participativa - ERP) -Línea base (VAM) -Encuesta de seguimiento SIMEVDA: Sistema

INDICADORES -Prevalencia de anemia en menores de 2 años y en estudiantes de 6-12 años -Ingesta de alimentos en semi- internados de educación primaria y en círculos infantiles -Oferta de alimentos en instituciones (hogares de ancianos, internados y hogares maternos) -Estado nutricional materno -A ser definidos en función de los resultados de la línea base

-A ser definidos en función de los resultados de línea base -% de niños con bajo peso -Prevalencia de anemia en madres embarazadas -Prácticas intrafamiliares de alimentación de los niños -Prácticas de alimentación de los niños en las escuelas -Consumo de micronutrientes por los niños (hierro) -% matrícula escolar -% de asistencia escolar -% de deserción escolar Desagregaciones por género

Indicadores de implementación: -Cantidad de alimentos distribuidos por tipo de proyecto -Número de beneficiarios por tipo de proyecto y género -Participantes en las

42

Integrado para el Seguimiento y Evaluación de la Distribución de los Alimentos.

ALIMENTOS POR TRABAJO EN LA REGION DE LOS ANDES (PERU)

-Seguimiento participativo con enfoque de género Línea base y seguimiento

actividades de alimentos por trabajo y alimentos por capacitación -Número y porcentaje de mujeres que participan en los Comités que distribuyen alimentos -Número y tipo de actividades realizadas. Indicadores de resultados: -Número y porcentaje de familias que necesitaron vender sus bienes en el transcurso de la intervención -Número de comidas diarias antes / durante la intervención -Diversidad de la dieta antes y durante la intervención -Asistencia a la escuela -Número de familias que mejoraron sus servicios básicos de agua. -Indicadores en temas de alfabetismo funcional, nutrición y salud. -Indicadores de meta definidos en el marco lógico del programa.

Fuente: Elaborado sobre la base de PMA (2000, 2001a, 2001b, 2001c, 2001d, 2002a, 2004, 2005) y Trentmann y Hernández (2004)

Los sistemas de seguimiento de los programas de asistencia alimentaria pueden ser centralizados y descentralizados. Un caso de implementación descentralizada es el Programa Nacional de Seguridad Alimentaria de Argentina, que entrega amplia discrecionalidad a las instancias provinciales en la elección de la modalidad de seguimiento y en la ejecución (Oficina Regional de la FAO para América Latina y el Caribe, s/a.) Problemas frecuentes en el seguimiento Varios programas de asistencia alimentaria no cuentan con instrumentos de seguimiento, o disponen de sistemas deficientes, lo cual puede repercutir sobre los estándares nutricionales, o traducirse en aumentos de los costos, en los errores de focalización, y en la falta de información para definir estrategias de egreso de participantes que ya no cumplen con los criterios de elegibilidad. En el PMI de Argentina se verificaron deficiencias en la regularidad y cobertura del seguimiento de indicadores antropométricos. En el caso del PRANI, del mismo país, la información sobre la implementación se encuentra muy desagregada entre los distintos subprogramas, lo que ha generado problemas en la consolidación de datos. Una situación similar ocurrió en el PANFAR de Perú, en el cual se observó que la recolección de información sobre el número de beneficiarios, los alimentos entregados y la situación nutricional de los niños se efectúa de modo 43

dispar, y que su consolidación a nivel nacional es tardía e incompleta. Adicionalmente, los resultados de las supervisiones no son de fácil acceso, y los funcionarios del programa reportan que usan muy poco la información del sistema de seguimiento (Segura y Haustein, s/a). La carencia de sistemas de información sobre las poblaciones beneficiarias puede provocar dificultades para el seguimiento de la focalización, para la definición de egresos de beneficiarios que cumplan con las metas de los programas y para evitar duplicaciones e ineficiencias administrativas. Por ejemplo, Vaso de Leche de Perú no monitoreó el funcionamiento de los Comités de Beneficiarios en la selección de las familias y en la entrega de leche (Suárez, 2003). El Programa Nacional de Leche de Brasil no tuvo información para establecer si las familias cumplían con los criterios de admisión (Banco Mundial, 1996), y el programa de cupones de alimentos de Jamaica no efectuó un seguimiento adecuado de las prestaciones y no dispuso de información para definir egresos de las familias que habían dejado de cumplir con los criterios de elegibilidad (Castañeda, 1998). Existen programas que cuentan con normas nutricionales, pero no disponen de sistemas de seguimiento que permitan descubrir problemas de implementación a efectos de realizar modificaciones oportunas. En el PROMIN de Argentina, en ocasiones la entrega de alimentos no tuvo lugar de acuerdo a los criterios antropométricos previamente establecidos (Britos, 2003). En el PANFAR de Perú, sólo 19% de los beneficiarios recibió los apoyos alimentarios en la cantidad definida por el programa (Segura y Haustein, s/a). En el Programa Desayuno Escolar, el aporte en calorías y micronutrientes fue menor al planificado, debido a la excesiva dilución del componente líquido de la ración y por un consumo de galletas menor al previsto (MINSAL Y PRISMA, 2001). De igual modo, Vaso de Leche de Perú casi no controló la calidad de los servicios entregados por los proveedores y tampoco supervisó adecuadamente la distribución, adquisición y almacenamiento de la leche (Suárez, 2003). Cuando los programas no cuentan con información sobre variables estacionales que inciden en la disponibilidad y el consumo de alimentos, se pueden generar desperdicios de alimentos. Estos costos fueron muy elevados en el caso de Comedores Escolares de Argentina, alcanzando valores que fluctuaron entre 15% y 30% de los costos totales por cada mil kilocalorías según las jurisdicciones (Cohen y Franco, 1996). En otras situaciones, la falta de sistema de control puede hacer que la ayuda alimentaria a los beneficiarios sea muy cara tomando en cuenta el aporte nutricional que proporcionan, como se observó en el Programa Nacional de Leche de Brasil (Banco Mundial, 1996). La descentralización del seguimiento puede generar riesgos de que las autoridades locales no efectúen controles de la eficiencia de las prestaciones, o que

44

estos mecanismos sean de una calidad precaria, debido a la falta de recursos o a la escasa prioridad política que suele otorgarse a las actividades de seguimiento, o simplemente a la corrupción. La falta de información impide corregir los efectos perversos creados por las reglas de operación de los programas. En la fase piloto del RPS Nicaragua, se impuso como requerimiento para mantener la transferencia monetaria que los niños no presentaran pérdidas de peso. Ante ello, las familias desarrollaron cursos de acción como la sobrealimentación de los niños antes de la visita a los centros de salud, conductas que indicaron altos niveles de estrés entre los beneficiarios que procuraban no perder los apoyos del programa. Como resultado, el requerimiento fue eliminado en 2003. Sin embargo, muchos beneficiarios no estuvieron al tanto de los cambios y continuaron desarrollando este tipo de conductas. Adicionalmente, la carencia de sistema de seguimiento puede impedir la detección temprana de abusos: por ejemplo, en RPS Nicaragua, alguna promotoras solicitaron a los beneficiarios que entregaran comprobantes de las compras que habían realizado con el dinero proporcionado por el programa, a pesar de que las reglas de RPS no estipulaban ninguna condición semejante (IFPRI, 2005).

3.

EVALUACIÓN DE IMPACTO

Son limitados los casos en los que se han implementado diseños de evaluación experimental y cuasiexperimental, que cumplan con los requerimientos básicos de control, de validez interna y externa y de calidad de la información recogida. Por ello no se presentan solamente los resultados de investigaciones que den cumplimiento estricto a los criterios de calidad de los diseños evaluativos, sino que también se aportan datos obtenidos mediante métodos menos rigurosos. En lo relativo a las iniciativas de alimentación en las escuelas, se cuenta con datos sobre el impacto de los PAE de Uruguay, Honduras y Jamaica, de Comedores Escolares de Argentina y Perú y de Merienda Escolar de Brasil. Dall´Aqua (1991) y Rogers et al. (1995) encontraron que Merienda Escolar de Brasil y PAE Honduras tuvieron resultados positivos en el consumo de calorías y en el ingreso de nutrientes de los niños beneficiarios. En Desayunos Escolares de Perú, se observaron “indicios” de efectos favorables del consumo habitual del complemento alimentario sobre la hemoglobina y el índice peso/talla (Ministerio de Salud y PRISMA, 2001) Dall´Aqua (1991) encontró un aumento de la matrícula ocasionado por Merienda Escolar de Brasil, e indica que para un 60% de los apoderados, la entrega de alimentos sirvió como incentivo para mandar a los niños a la escuela. Por su parte, Rogers et al. (1995) observaron impactos positivos del PAE Honduras en las tasas de asistencia y

45

promoción de grado. En el caso del PAE de Chile, los datos de CASEN 2000 muestran un impacto positivo del programa sobre las tasas de deserción escolar, situación que fue más importante en los primeros dos quintiles de ingreso: los niños con PAE del 20% más pobre mostraron una tasa de deserción de 12.2%, inferior al 18% observado entre los menores sin PAE, pertenecientes al mismo quintil (Atalah, 2005). En lo relativo a los efectos de la alimentación en el aprendizaje, Chandler et al. (1995) apreciaron efectos favorables de una iniciativa de desayuno escolar en el funcionamiento cognitivo de los niños con problemas de desnutrición que recibieron la merienda. Adicionalmente, en Desayunos Escolares de Perú, se constató una relación positiva entre el consumo del desayuno y el rendimiento escolar (Ministerio de Salud y PRISMA, 2001) En Hogares Comunitarios de Guatemala, se apreció que los niños participantes consumen un 50% más de vitamina A y un 20% más de proteínas, energía y hierro que los niños del grupo de comparación (Ruel et al. 2002). Una variable que puede generar una diferencia importante en el impacto de los programas de alimentación complementaria es la prevalencia de problemas nutricionales existentes con anterioridad a la intervención. Una evaluación realizada en la década de los 80 del PNAC de Chile, mostró altas tasas de retorno, en un escenario de alta incidencia de problemas nutricionales. Sin embargo, durante la década de los 90, con los indicadores de deficiencias nutricionales en valores bajos, se estimó que el PNAC tuvo impacto positivo solamente entre los niños y las pertenecientes a los dos quintiles más pobres (Atalah, 2005). En el ámbito micro, la evidencia tiende a ser prometedora. Por ejemplo, en Chile, un programa de fortificación de la leche en polvo redujo la incidencia de la anemia en niños menores de 2 años, de una tasa preintervención de 28.8% a un 8.8% después de la fortificación. En este mismo país, una iniciativa de fortificación de harina de trigo con ácido fólico para mujeres en edad reproductiva mostró resultados positivos, disminuyendo la incidencia de ETD en 41% (Boy, 2005). También se debe recordar el Plan Más Vida de la provincia de Buenos Aires, Argentina, que cubre el 100% de los requerimientos de micro nutrientes de mujeres embarazadas o que dan lactancia y de niños de 1 y 2 años. Una evaluación de los efectos de corto plazo del programa encontró una reducción significativa de las deficiencias de folato, un incremento sustancial en la ingesta de nutrientes y una caída importante en las tasas de anemia en los niños de 1 a 2 años (Comisión de Investigaciones Científicas, 2005). Los programas de transferencias monetarias condicionadas constituyen una excepción en América Latina y el Caribe, debido a que muchos de ellos han sido sometidos a evaluaciones de impacto rigurosas. En Oportunidades en México, se

46

utilizó un diseño experimental, que contempló la asignación aleatoria de 506 comunidades a grupos de intervención y de control. Los 24077 hogares existentes en las comunidades de control e intervención fueron censados antes del comienzo del programa. Posteriormente, se realizaron mediciones de seguimiento a intervalos de 6 meses, que permitieron estimar los efectos de corto y mediano plazo de la intervención en nutrición, salud y educación (Villatoro, 2004) En el ámbito nutricional, la evaluación de Oportunidades mostró ganancias significativas en el indicador peso/edad en los niños beneficiarios (Berhman y Hoddinott, 2000). En el caso de RPS Nicaragua, se estimó que la intervención generó una disminución de 39% en las tasas de desnutrición (Atalah, 2005). En el estudio nacional de Beca Alimentación de Brasil, la situación nutricional de los niños participantes era peor que la de los no beneficiarios, pero durante el desarrollo del programa mostraron mayores progresos, lo que permitió que, en la segunda medición, igualaran a los del grupo de comparación (Ministerio de Salud de Brasil, s/a.). Sin embargo, en un estudio realizado en cuatro municipios del nordeste de Brasil, se encontró un efecto perverso: los niños beneficiarios obtuvieron puntajes peso / edad significativamente menores a los sujetos no participantes de Beca Alimentación. Este fracaso se explicó por la percepción de las madres beneficiarias de que los beneficios serían suspendidos si los niños comenzaban a mejorar sus niveles de crecimiento (Morris et al., 2004). De acuerdo a los datos proporcionados por IFPRI (2005), el poder adquisitivo de las familias en situación de extrema pobreza que se beneficiaron de RPS Nicaragua se incrementó en un 40%. En lo relativo al gasto de las familias, el estudio nacional de Beca Alimentación observó, a los 6 meses de implementado el programa, una propensión marginal al consumo de alimentos de 60%-70%, porcentajes que se sitúan por sobre los apreciados en los programas de Tickets de Alimentos de los Estados Unidos (30%-42%) y en el APE Bangladesh (34%-41%) (Ministerio de Salud de Brasil, s/a.). Este último resultado no deja de ser importante, si se toma en cuenta que la evidencia empírica sugiere que la propensión marginal a consumir alimentos es mayor cuando el ingreso es recibido en la forma de alimentos que en efectivo (Barrett, 2002). Adicionalmente, en Oportunidades, no se observaron desviaciones de la transferencia hacia el consumo de bienes como cigarrillos, alcohol u otros (SEDESOL, 1999). El RPS Nicaragua logró efectos significativos en la matrícula y en la promoción de grado, mientras que PRAF - programa que proporciona los montos más bajos de transferencias -, tuvo poco impacto en la matrícula. Respecto a la situación socioeconómica, RPS Nicaragua tuvo mejores resultados con niños de las familias más pobres. Con respecto a la edad, los efectos de RPS fueron más importantes entre los niños de 7 - 9 años que para los sujetos de 12 - 13 años (Caldéz, Coady y Maluccio, 2004: Maluccio y Flores, 2004: Morley y Coady, 2003).

47

En lo relativo al impacto de los programas de tickets de alimentos en la asistencia a la escuela, en una evaluación de Superémonos de Costa Rica encontró que los beneficiarios presentan una probabilidad de asistencia a la escuela entre 2.9 y 8.7 puntos porcentuales mayor a la de los sujetos sin intervención. Sin embargo, el programa no tuvo impacto en las tasas de promoción de grado, y sus efectos en la asistencia, aunque significativos, fueron menores a los observados para intervenciones mediante transferencias monetarias condicionadas, como Oportunidades de México y RPS Nicaragua.

Problemas de la evaluación de impacto La revisión de las evaluaciones en ALC muestra gran diversidad de resultados. Ello puede deberse a la heterogeneidad de situaciones que existen en la región, pero también se explican porque no todos los estudios de los cuales proviene esa información tienen igual validez y confiabilidad, dado que los tamaños de sus muestras son disímiles y también lo son los errores muestrales aceptados. Asimismo, muchas muestras no han sido obtenidas siguiendo procedimientos estadísticamente correctos, etc. En varias evaluaciones no se observaron efectos positivos en indicadores de matrícula, asistencia, reprobación y deserción de la escuela. Por ejemplo, Comedores Escolares de Argentina y PAE Honduras no tuvieron impacto en los niveles de matrícula (Cohen et al., 1990; Rogers et.al., 1995), lo que en el caso argentino se atribuyó a las altas tasas de matrícula existentes con anterioridad a la implementación del programa. En PAE Uruguay se apreció que la intervención no influye en la asistencia (CEPAL/OEA, ANEP/FAS, 1997), situación que se replicó en PAE Jamaica (Chambers, 1991) y en Comedores Escolares de Argentina. Adicionalmente, PAE Uruguay no obtuvo efectos en las tasas de repeticiones de grado (la probabilidad de reprobar fue 2.5 veces mayor entre los beneficiarios que en los no beneficiarios), y Comedores Escolares de Argentina no disminuyó el abandono de la escuela, que era muy bajo antes de la instalación del programa. La evaluación del PAE de Uruguay (Cohen, 1997) concluyó que la intervención no tuvo efectos significativos en la situación nutricional de los niños, tanto en el indicador de retraso de talla como en el peso/edad. En rigor, se comprobó más bien una tendencia al empeoramiento de la situación nutricional de los beneficiarios, lo que podría atribuirse a un efecto perverso de sustitución de la alimentación en las familias por las meriendas escolares, o bien a la precariedad nutricional de las raciones entregadas.

48

En el caso de los programas de alimentación a grupos vulnerables, la evidencia muestra resultados poco convergentes, siendo dominante la ausencia de impactos o la constatación de efectos pequeños. Entre los resultados negativos, el Programa Nacional de Leche de Brasil no logró resultados en la relación talla edad de los menores participantes, situación que se repitió en el PNAC del mismo país (Banco Mundial, 1996). Vaso de Leche de Perú no tuvo efectos en los niveles nutricionales de los niños beneficiarios (Suárez, 2003; Gajate e Inurritegui -Grade, 2003), la entrega de alimentos no generó cambios en la relación peso - talla entre los beneficiarios de PANFAR Perú (Segura y Haustein, s/a.), y un Programa de Tratamiento Nutricional de Chile tuvo un bajo efecto en los niveles de recuperación nutricional (Fernández y Atalah, 2001). La precariedad de los aportes alimentarios que efectúan algunos programas de atención a grupos vulnerables se puede visualizar al analizar el costo de los alimentos que entregan PRANI, PROMIN y PMI de Argentina. Según Britos (2003), la ayuda brindada por estos programas no supera el equivalente al 9% del costo de la canasta básica alimentaria, y alcanza al 7.5% de los ingresos de los hogares pertenecientes al 20% más pobre. La intervención de los programas alimentarios argentinos solo permitiría que la mitad de las personas situadas bajo la línea de indigencia pudieran superar esta barrera, siempre y cuando los alimentos entregados fueran efectivamente ingeridos por los miembros de la familia y no se produjeran desplazamientos en los gastos alimentarios realizados dentro del hogar. No puede dejar de mencionarse por la importante tradición e influencia que sigue teniendo la evaluación costo-beneficio, que se traduce en el cálculo de la rentabilidad por unidad de inversión. Esta metodología parte del supuesto de que es posible traducir los beneficios derivados de las inversiones realizadas en nutrición, salud y educación un unidades monetarias. Si bien esto es viable, debe reconocerse que involucra una cantidad de supuestos para poder llevar a cabo las proyecciones que se realizan en las situaciones “con y sin intervención”, hacen que los resultados sean poco confiables. Ello porque exigen, por ejemplo, determinar cuánto va a ganar una persona que ha recibido los beneficios de un programa durante el resto de su vida laboral. Un problema adicional, pero de naturaleza diferente, es la determinación de la tasa de descuento que se va a utilizar para compararlo con los beneficios del proyecto. Si ésta fuera la que se utiliza como norma en los países de la región, implicaría, muy probablemente, que se deben rechazarse aquellos programas que se orientan a satisfacer las necesidades de las poblaciones más carenciadas.

49

Capítulo III CONCLUSIONES Y RECOMENDACIONES 1.

¿CÓMO DISEÑAR Y GESTIONAR LOS PROGRAMAS DE PROTECCIÓN SOCIAL?

Analíticamente, es posible diferenciar entre organización y gestión. En realidad, ambos conceptos son interdependientes y conviven integrados, pero es útil distinguirlos para identificar posibles incongruencias entre los aspectos estáticos (de la organización) y los dinámicos (de la gestión). El análisis organizacional permite diagnosticar el grado de adecuación de los modelos de cualquier organización para alcanzar sus fines, elaborar estrategias para su reconfiguración y generar procesos de aprendizaje e innovación que permitan su adaptación continua. Los modelos de organización y gestión están en permanente interacción y se influencian mutuamente. La forma de la estructura, por ejemplo, determina en buena medida el comportamiento de los individuos en la organización y viceversa. El modelo de organización define la estructura del programa con todos los elementos que involucra: niveles de decisión, actores, sus tipos de relación, tramos de control, mecanismos de coordinación, normas y procedimientos, y otros. La gestión, por su parte, da cuenta del hacer y la dinámica organizacional; incluye la cultura y el clima organizacionales, las políticas de recursos humanos, el liderazgo, los estilos de dirección y de toma de decisiones, la resolución de conflictos y la participación del personal. Se relaciona, también, con el funcionamiento de la organización, el diseño del trabajo, las comunicaciones y el control. Tradicionalmente se suele asumir una relación determinística entre productos e impacto. Por ello, sus preocupaciones centrales son la cobertura y los costos del programa, y no prestan la atención que corresponde al impacto sobre sus destinatarios. Suponen que éste será satisfactorio en la medida en que se cumplan las metas de ejecución presupuestal, los objetivos de producción y la entrega de bienes o servicios a los niveles de cobertura prefijados. Esta concepción hace que el análisis de la gestión se centre en la eficacia y en la eficiencia de la generación de los productos (bienes o servicios) y no en el impacto. Lo anterior se plasma en dos pautas recurrentes: la adopción de un modelo monolítico de organización y gestión para los programas sociales y la utilización como criterio para monitorear y evaluar el rendimiento al medir a cuánta gente se sirve, con qué velocidad, qué porcentaje de solicitudes se llenan en un periodo de tiempo y cuánto cuesta cada unidad de producto.

50

El “esquema tradicional” sigue la siguiente lógica: Modelo de Organización

Modelo de Gestión

ProcesosActividades

Productos

Esta estructura secuencial destaca que los programas y proyectos se insertan en un marco institucional —generalmente un ministerio social— que tiene previamente definidos sus modelos de organización y gestión. En este marco se configuran los procesos y actividades destinados a transformar los recursos en bienes o servicios (productos) que se entregarán a la población destinataria, asumiendo que producirán el impacto propuesto. Pero en la práctica no sucede así. Las evaluaciones efectuadas sobre programas sociales en América Latina muestran que es un error suponer que habrá impacto. Para saber si realmente lo hubo, hay que efectuar un análisis específico utilizando los modelos elaborados para tal finalidad (experimentales, cuasi experimentales, y otros). En definitiva, la mera entrega de productos nunca garantiza el logro del impacto perseguido. A continuación se presenta un enfoque más complejo de la gestión social, a la que se interpreta como la función de producción global del programa, que procura transformar los insumos de la organización en productos, con arreglo a criterios de eficiencia interna e impacto externo sobre la población destinataria. Gráficamente, tal “esquema innovador” implica una inversión copernicana con respecto al tradicional.

IMPACTO

Productos

ProcesosActividades

Modelo de Gestión y Organización

El punto de partida es el impacto. Éste determina la cantidad y la calidad de los productos que se requieren para lograrlo. Se exige una rigurosa justificación de la conexión causal postulada entre productos e impactos. Consecuentemente, se asume que los programas sociales requieren modelos de organización y gestión acordes con sus requerimientos específicos. Pero además es necesario que la gestión innove respecto de sí misma, adapte las tecnologías a las circunstancias enfrentadas y redefina aquellos parámetros de los programas y proyectos que no hayan sido debidamente precisados. Como ya se dijo, todo programa social se implementa para alcanzar sus objetivos de impacto y para ello se lleva a cabo una serie de procesos en los que se

51

utilizan los insumos, esto es, recursos de todo tipo (humanos, materiales, equipos y servicios) medidos en unidades físicas (cantidad y calificación del personal, metros cuadrados y calidad de la infraestructura, y otros) que posteriormente son traducidos en valores monetarios (costos del proyecto). Los procesos organizan los insumos por medio de actividades, incluyendo procedimientos, normas y reglas que regulan y viabilizan su realización para alcanzar un fin determinado. Las actividades son articuladas entre sí a través de los procesos y permiten, de manera directa o indirecta, transformar los insumos en productos. Son, por lo tanto, una producción intermedia, dado que constituyen una condición para la generación de los productos finales. La relación insumo-producto es la combinación de cantidades y calidades de insumos que se requieren para obtener un determinado producto. Dicha relación refleja la tecnología de producción utilizada por el proceso de gestión. Los productos son los bienes y servicios finales que se entregan a la población destinataria. El impacto son los cambios atribuibles al proyecto registrados en su población objetivo, o que alteran otros aspectos de la realidad, no previstos en el diseño del proyecto. Cuando la característica del producto entregado requiere de un cambio de conducta en la población, es necesario considerar los efectos que corresponden al grado de uso de los productos y a las conductas que éstos generan en los usuarios que influyen en el impacto del proyecto. La relación entre productos e impacto es una estimación que debe ser explicitada en la evaluación ex ante y verificada durante la evaluación ex post. La gestión debe asegurar que estos productos, efectos e impactos sean coherentes con los objetivos del programa y que todos sus componentes, así como la conducta de los actores y las organizaciones externas vinculadas —que están participando en actividades de producción o distribución, o en ambas— se orienten y contribuyan a dicha misión. En la gráfica siguiente se presenta el proceso productivo de la gestión social y su relación con el impacto.

52

El proceso productivo de la gestión social

Insumos + Actividades/Procesos = Productos

Impactos

Efectos ¿QUÉ ES IMPACTO? 1. Cobertura no es impacto. Por ejemplo, cobertura es la cantidad de personas que recibe las raciones alimentarias de cierto programa. Impacto es la disminución de la tasa de desnutrición que se logra mediante ese programa. Aumentar el número de beneficiarios (cobertura) puede ser un objetivo erróneo si no se identifica adecuadamente la población objetivo, por ejemplo, si se entregan raciones a quienes no tienen necesidades calórico-proteicas insatisfechas. 2. Inversión en infraestructura social no es impacto. Por ejemplo, construir o mejorar edificios escolares es inversión, mientras que el impacto de programas educacionales es que los niños aprendan. 3. Gasto corriente no es impacto. Lo que se destina al pago de sueldos o a insumos para el funcionamiento del servicio es gasto corriente. Impacto es el grado de satisfacción que los destinatarios obtienen de las prestaciones. En realidad, los enunciados son medios para la obtención de los fines de las políticas sociales. El impacto es, justamente, la medición de si se han alcanzado esos fines. Impacto es la magnitud del beneficio que reciben los destinatarios de los programas, de acuerdo con los objetivos buscados. Las metodologías de análisis costo-impacto (ACI) permiten analizar tanto la eficiencia como el impacto de los programas y proyectos. a) En las evaluaciones ex ante, el ACI permite escoger la mejor alternativa de proyecto, o seleccionar uno entre proyectos diferentes que tengan los mismos objetivos. Se estiman tanto los costos como los productos y el impacto. Dentro del margen de incertidumbre que supone toda estimación, existe un nivel de conocimiento y estandarización mucho mayor en los costos que en el impacto. Éste debe estimarse sobre la base de las evaluaciones ex post de proyectos análogos y del juicio de expertos. b) En las evaluaciones ex post, el ACI permite determinar la alternativa que presenta la mejor relación costo/impacto, así como las causas que la producen, aprendiendo de la experiencia de la implementación. Fuente: E. Cohen y R. Franco, Evaluación de proyectos sociales, México, D.F., Siglo Veintiuno, 1992.

53

2.

LA NECESIDAD DE MONITOREAR Y EVALUAR

Los proyectos de protección social persiguen, por definición el logro de dos tipos de objetivos: de producto y de impacto. Tal como previamente se definió, los objetivos de producto son los bienes y servicios que se entregan a la población destinataria. Por consiguiente, podría calificárselos de objetivos intermedios. El impacto es, por el contrario, el objetivo final que persiguen los proyectos. Ahora bien, el impacto sólo puede ser detectado mediante la utilización de los modelos disponibles para tales efectos. Sus resultados principales son, en primer lugar, determinar el grado en que se ha alcanzado el propósito perseguido en un periodo de tiempo dado. Esto es, cuáles son los resultados finales buscados. Pero, al mismo tiempo, existen resultados no buscados, que pueden ser positivos, tales como el incremento de la participación comunitaria como consecuencia de la implementación de un programa de alimentación escolar, o negativos, como que se incremente la malnutrición (obesidad) como resultado del mismo programa. La evaluación de impacto permite entonces saber cuál es el grado de éxito relativo del programa y, al mismo tiempo, reformularlo, internalizando los resultados no buscados y positivos y tratando de minimizar aquellos que sean negativos. La característica central del análisis de impacto es que permite determinar no sólo resultados sino, sobre todo, las estructuras causales que los producen. De esta manera se constituye en el resorte más importante para la reprogramación. Por otro lado, el seguimiento considera indicadores tales como la cobertura, la focalización, la eficacia, la eficiencia, etc. (definidos en el Capítulo I), entregando, en el modelo tradicional, la relación existente entre lo programado y lo logrado. En definitiva, el seguimiento sólo describe y no explica. Así puede decirse que seguimiento y evaluación son las dos caras de una moneda que permiten aprender de la experiencia y discernir entre lo que constituyen buenas y malas prácticas en los programas de protección social.

54

3.

LECCIONES

DERIVADAS DE LAS BUENAS PRÁCTICAS EN FOCALIZACIÓN,

SEGUIMIENTO Y EVALUACIÓN

La determinación de cuáles sistemas de focalización, monitoreo y evaluación de impacto constituyen buenas prácticas dependerá fundamentalmente de la medida en que permitan cumplir con los objetivos para los que fueron creados, de su eficiencia y del grado de adecuación a los contextos institucionales en los cuales operan. Esto se aplica en todos los tipos de programas de asistencia alimentaria: por ejemplo, una evaluación de impacto con alta validez interna siempre será una buena práctica, con independencia del tipo de programa que evalúe. En ese contexto, lo más conveniente es mencionar las ventajas y desventajas de las diferentes metodologías utilizadas para la focalización, monitoreo y evaluación, e indicar, de manera preliminar, algunos ejemplos de buen funcionamiento.

a)

Focalización

La focalización puede justificarse aduciendo que los recursos destinados a la protección social siempre son escasos para las necesidades que pretenden satisfacer. Pero también debe tener en cuenta que, para aumentar el impacto, es necesario adecuar la oferta a las características específicas de las necesidades de la población objetivo. Hay sólo dos situaciones en las cuales no resulta recomendable focalizar. Ellas son: a) cuando la probabilidad de impacto sobre el problema depende de la incorporación como beneficiarios, de otros sectores. Por ejemplo, no sería factible combatir el VIH/SIDA si no se sensibiliza a toda la sociedad, divulgando al mismo tiempo las formas de evitar el contagio; b) cuando focalizar resulta más caro que distribuir los productos universalmente, con los mismos resultados. Cuadro III.1. Ventajas y desventajas de los distintos tipos de focalización TIPO DE FOCALIZACION Focalización geográfica

VENTAJAS

INCONVENIENTES

- Permite seleccionar a comunidades vulnerables a bajo costo. - Utilización de criterios objetivos que hacen transparente el proceso de asignación

- Exclusión de poblaciones que no residen en las zonas seleccionadas - Inclusión de unidades de intervención, dentro de las áreas seleccionadas, que no integran la población objetivo.

55

Comprobación de medios

- Mayor objetividad en los criterios de selección (reduce la arbitrariedad) - Mayor confiabilidad de las estimaciones

Focalización participativa

- Incorporación de las perspectivas de las poblaciones afectadas - Mayor flexibilidad - Externalidades positivas que se expresan en aprendizajes y colaboración de la comunidad - Bajo costo - Adecuación en situaciones de crisis y cuando hay baja capacidad institucional de respuesta

Auto – focalización

- Correlación por definición imperfecta entre los indicadores típicos de pobreza (NBI, línea de pobreza) y la inseguridad alimentaria - Altos costos de administración - Requerimientos de competencias técnicas difíciles de abordar - Error de exclusión de localidades que no cuentan con sistemas de información actualizados - Ponderaciones no diferenciadas (relacionadas normalmente con la medición de la pobreza), que se derivan del hecho de que no son sistemas concebidos para programas que combaten la inseguridad alimentaria - Problemas de calidad y credibilidad de los datos - Problemas de conciliación y agregación de la información - Sesgos en la selección derivados de corrupción y clientelismo político. - Trade off con el impacto - No funciona adecuadamente cuando hay un exceso de demanda

En rigor, los mecanismos de focalización deben ser evaluados en función de la medida en que permiten minimizar los errores de inclusión y exclusión, al menor costo.

56

La eficacia de los sistemas de focalización geográfica dependerá de la adecuación de los indicadores empleados a la problemática de la seguridad alimentaria. Aquellos sistemas que usen las prevalencias de pobreza o de necesidades básicas insatisfechas, enfrentan el riesgo de cometer errores debido a la correlación imperfecta entre pobreza e inseguridad alimentaria. Se sabe que no hay una correlación unívoca entre, por ejemplo, indigencia y hambre. Así, si en los casos de Honduras y Guatemala se hubiera recurrido a la indigencia como criterio para seleccionar a los beneficiarios de los programas de desnutrición se habría dejado fuera a 50-60% de la población con carencias alimentarias. En este ámbito, resulta de interés la aproximación del VAM, en tanto emplea indicadores más directos de la seguridad y vulnerabilidad alimentaria. En el caso de la focalización geográfica por etapas, se comienza por seleccionar regiones, provincias, microrregiones, municipios, o comunidades, mediante la utilización de algún indicador que permita establecer un ordenamiento jerárquico de los mismos. Para dar ese paso debe recurrirse a una información que esté disponible y sistematizada. En algunos casos se recurre a medidas sintéticas, como el Índice de Desarrollo Humano (Engel, 2004). Conviene recordar que el IDH resulta de la combinación de tres indicadores: ingreso per capita, esperanza de vida, y nivel de analfabetismo, vale decir, no tiene ningún componente que caracterice la situación nutricional. Tampoco existen altas correlaciones entre cada uno de los componentes del IDH y la desnutrición. Por tanto, se trata de una selección de indicadores que puede conducir a que el programa alimentario-nutricional enfrente serios problemas de inclusión y de exclusión. La segunda etapa consiste en identificar, dentro de los ámbitos geográficos seleccionados anteriormente, la población-objetivo del programa (individuos, familias, o comunidades). Para ello se recurre a diversos criterios, entre ellos en muchos casos, la focalización comunitaria, o el criterio de las autoridades locales. Con ello se cumple con principios como la participación de la comunidad, y la transferencia de responsabilidades a los niveles subnacionales. Una aproximación alternativa es la empleada por el PAE de Chile, que prioriza escuelas en alta vulnerabilidad en lugar de zonas geográficas. Este procedimiento presenta ventajas como la minimización de los errores que puedan originarse en la heterogeneidad de los conglomerados seleccionados, y además, tiene el beneficio adicional de disminuir los errores de inclusión que puedan derivarse de la selección de todos los alumnos de las escuelas elegidas para participar en el programa, debido a que utiliza un mecanismo de comprobación de

57

medios. De este modo, mientras más cercana esté la unidad de análisis de la que se reciba información, menor será la probabilidad de cometer errores de focalización. En el caso de los sistemas de comprobación de medios, su eficacia dependerá de la proximidad de los indicadores utilizados tengan con el problema de la seguridad alimentaria. Sin embargo, presentan el riesgo de errores de exclusión, debido a que algunos municipios pobres no cuentan con bases de datos actualizadas, y también corren el riesgo de errores de inclusión, dado que no consideran ponderaciones específicamente establecidas para focalizar el problema central. En relación a los procedimientos de focalización participativa, aunque si son bien implementados permiten incorporar las perspectivas de las comunidades y generar externalidades positivas, presentan riesgos como las posibilidades de apropiación de los beneficios por parte de las elites locales en entornos caracterizados por corrupción, clientelismo político y una distribución muy asimétrica del poder. La autofocalización, facilita eliminar costos administrativos asociados a la instalación de sistemas de comprobación de medios, y permite una implementación rápida de los programas ante las crisis. Sin embargo, estos mecanismos enfrentan un trade – off entre la equidad y el impacto, debido a que requieren de la entrega de transferencias de un valor bajo para incentivar la participación de los más pobres en los programas, y además, pueden no funcionar bien en situaciones de pobreza masiva. Un ejemplo de buen funcionamiento en este plano es el Programa Trabajar, de Argentina (el 80% de los beneficiarios pertenecieron al 20% más pobre de la población) b)

Seguimiento

Aun cuando la evaluación ex-post y el seguimiento se realizan durante la operación del proyecto, debe recordarse que el segundo se preocupa del análisis de los distintos componentes de la gestión interna (terminando en los productos), mientras que la evaluación atiende a la relación entre los productos y los objetivos. En el seguimiento, el centro del análisis está en la eficacia, la eficiencia y la focalización (lo interno a la gestión del proyecto), en la evaluación ex-post se incorporan los efectos y el impacto (lo externo, que es la población objetivo).

58

Cuadro III.2. Sistemas de Seguimiento: Ventajas e Inconvenientes SISTEMAS Sistemas de Control de gestión

Sistemas de Seguimiento Orientados a Resultados verificados en la población

Sistemas de Vigilancia Alimentario Nutricional

VENTAJAS - Mayor objetividad, estandarización y adecuación a los sistemas contables más comunes - Permiten verificar las desviaciones con respecto a la programación - Posibilitan la asignación de responsabilidades a distintos actores - Permiten identificar errores de diseño, implementación y de control - Facilidad de agregación - Permiten establecer cambios en la población beneficiaria en el corto plazo (constituyen sistemas de alerta temprana) - Permite establecer relaciones entre insumos, actividades, procesos y productos del programa - Viabiliza la reprogramación

INCONVENIENTES - Problemas para la utilización en la gestión en el ámbito local - Proporcionan una visión estática de los problemas - No corrigen los errores de programación - Se restringen al procesamiento administrativo, sin vincular a los actores con el resultado de sus acciones

- Tienen una mayor especificidad - Presentan información estandarizada (comparable) - Ponen a disposición información desagregada en distintos niveles (local, regional, nacional) - Proporcionan información global sobre políticas (nutrición y salud) - Son útiles para la focalización, en tanto

- Si descansan exclusivamente sobre datos secundarios de fuentes oficiales, pueden tener problemas de oportunidad (datos obsoletos, desfases) - Escasa participación de la comunidad - Poca flexibilidad

- Analizan los cambios solamente en el grupo “con proyecto”, sin controlar las variables contextuales - No captan los efectos no previstos, debido a que se construye sobre indicadores predeterminados.

59

emplean indicadores cercanos a la seguridad alimentaria Sistemas de Monitoreo Participativo

- Generación de capacidades y aprendizajes en las comunidades - Proporciona una visión dinámica de los procesos operados por las intervenciones - Incorporación de la perspectiva de los usuarios - Permiten detectar efectos no previstos - Mayor flexibilidad - Existen numerosas pruebas de que aumentan la eficiencia y el impacto

- Baja calidad de la información - Escasa comparabilidad de los datos - Dificultades para la agregación de la información recolectada - La necesidad de capacitación hace que los costos de su implementación no sean marginales - Deben tomarse con precaución los juicios valorativos de la comunidad - Eventualmente pueden generar expectativas entre los usuarios que el programa no está en condiciones de cumplir

Bajo el título de seguimiento se tratan asuntos diferentes, que van desde sistemas de vigilancia alimentario nutricional hasta el cálculo del costo de las kilocalorías por unidad de población objetivo beneficiaria. Los sistemas de monitoreo deben ser evaluados en tanto permiten establecer la eficiencia de las operaciones del programa, así como recoger información sobre la implementación y tomar decisiones de reprogramación. Más allá de los sistemas de control físico – financiero que deben existir en todos los programas, se deben destacar las iniciativas que han agregado al monitoreo de la eficiencia la recolección de información sobre los resultados de sus acciones. En este ámbito, se puede mencionar el caso del Plan Más Vida en Argentina, que ocupa la metodología de los Sitios Centinela para el seguimiento de indicadores antropométricos, el establecimiento de tendencias, a modo de un sistema de alertas tempranas. Este esquema se puede implementar a bajo costo, debido a que emplea muestras por conglomerados, lo que evita la necesidad de recoger información en todas las unidades o centros que realizan prestaciones de servicios.

60

Los sistemas de monitoreo participativo son muy útiles en el ámbito local y tienen las ventajas de una mayor flexibilidad y riqueza potencial, en tanto facilitan una visión más profunda sobre los procesos operados por las intervenciones, pero presentan complejidades de manejo en espacios regionales y nacionales, por las dificultades para conciliar y agregar la información y los problemas de calidad que tienen los datos recogidos. En cuanto al rol comunitario existen dos lecturas disímiles sobre la participación. Por un lado, existe evidencia empírica respecto a que la participación comunitaria contribuye a incrementar la eficiencia en la utilización de los recursos y el impacto que los proyectos pretenden alcanzar. Sin embargo, por otro lado, especialmente en los programas de protección social alimentaria se han verificado algunos efectos perversos de la participación, como el clientelismo, la captura de los beneficios de los proyectos, vía selección inadecuada de los beneficiarios, sin excluir la corrupción. Corresponde también mencionar aquí las debilidades que tienen las encuestas que miden el grado de satisfacción de los beneficiarios. En este sentido, hay que recordar que la valoración que se realiza respecto a los beneficios recibidos del programa tienen como instancia mediadora las expectativas que previamente el individuo tenía sobre el mismo.

c)

Evaluación de impacto

Los sistemas de evaluación orientados al impacto tienen como finalidad analizar la magnitud de los cambios, previstos o no, en las poblaciones destinatarias y que son atribuibles al programa. Algunas evaluaciones de impacto se han orientado principalmente a establecer los cambios a nivel micro en las condiciones de vida de las poblaciones beneficiarias. En cambio, otras han tratado de determinar modificaciones macro, en las tasas nacionales de desnutrición, o en indicadores de desempeño global del sistema educacional (matrícula, asistencia, rendimiento escolar). Para el primer tipo de evaluaciones, habitualmente se han utilizado datos primarios, mientras que en el segundo se recurrió a fuentes de datos secundarias, como las encuestas de hogares, los Sistemas de Vigilancia epidemiológica de los servicios de salud, los censos de población y las mediciones nacionales de los resultados del sistema escolar, entre otras.

61

Cuadro III.3. Evaluación de Impacto TIPOS Modelo experimental clásico con componentes cualitativos

VENTAJAS - Robustez (mayor validez y confiabilidad). - Se puede medir el grado de incertidumbre de las estimaciones - Permite la incorporación de variables de naturaleza cualitativa - Cuando se implementa en un medio controlado, tiene la mayor validez interna - Control de observables (validez interna). - Estimaciones del impacto con modelos alternativos - Menor costo que los modelos experimentales - Uso de bases de datos preexistentes para construir grupos de control

INCONVENIENTES - Sus altos costos (recolección de datos, procesamiento y análisis) la hacen difícil de implementar en los países más vulnerables - Problemas éticos - Cuando se implementa en un medio controlado, no tiene validez externa.

No experimental solo antes-después

- Permite establecer tendencias - Se pueden usar datos pre – existentes en los distintos sectores - Costo relativamente bajo

No experimental solo después, sin línea de base

- Se puede realizar en cualquier momento - Costo bajo en comparación a los modelos experimentales y cuasiexperimentales

- No controla la “situación sin proyecto” (variables de contexto) - No permite establecer con precisión los efectos netos del proyecto - No permite la determinación de impacto, solo correlaciones.

Cuasi experimental

- No controla los inobservables - Complejidad de las metodologías a utilizar

Se deben mencionar especialmente las evaluaciones de impacto realizadas por el IFPRI sobre los programas Oportunidades de México y Red de Protección Social en Nicaragua. En ambos casos, se emplearon procedimientos de asignación al azar de comunidades y se efectuaron mediciones de seguimiento, para establecer los impactos de corto y mediano plazo de las intervenciones con indicadores comparables. Además, estas evaluaciones incluyeron componentes cualitativos, que permitieron profundizar en los efectos no previstos y dinámicas registradas en las familias beneficiarias.

62

4.

QUÉ HACER CON EL SEGUIMIENTO

Siguiendo las tradiciones vigentes, el seguimiento se restringe a la comparación entre lo programado y lo efectivamente logrado, utilizando indicadores específicos para esta función (cobertura, eficacia, eficiencia, etc.). Si bien este enfoque está ampliamente difundido existen problemas que cuestionan fuertemente la conveniencia de su utilización. En la formulación de los proyectos se pueden cometer errores de programación de dos tipos: sobreestimación de las metas (de cobertura, eficiencia, impacto, etc.), o subestimación de las mismas. Como consecuencia del error de tipo I puede resultar que existan programas muy bien diseñados y mejor implementados en que se hayan establecido metas excesivamente ambiciosas para los tiempos de operación previstos. Si el seguimiento se restringe a la comparación entre lo programado y lo logrado, ese tipo de proyectos serían consignados como fracasos. En el caso de error de tipo II bastaría que las personas que tienen a su cargo la programación fueran lo suficientemente cautas en el establecimiento de metas de productos, y tiempos, como para que éstas –independientemente del desempeño del proyecto– siempre sean alcanzadas. En esta situación, los resultados de la aplicación de la valoración anterior serían siempre positivos, aunque no se corresponderían con la realidad. De ahí que el problema central del método convencional de seguimiento es que se acepta como norma la programación realizada, independientemente de que ella haya sido el resultado de un riguroso análisis o de los buenos deseos del programador. Por lo mismo, su grado de validez es discutible. Se propone que el seguimiento permita la comparación de los resultados que en los indicadores relevantes1 tienen los diferentes proyectos que integran un programa. De esta manera la programación realizada se convierte en un elemento de juicio adicional, y no la base única para juzgar el desempeño del proyecto. Una forma en la que esto podría graficarse es la que sigue a continuación.

1

Ver Anexo Los Indicadores de Seguimiento

63

El ejemplo presentado muestra una función normal que sirve para ver la forma en que se distribuyen los proyectos que forman un programa, en relación al indicador que se analiza. Se requiere elaborar un histograma con la frecuencia de los resultados de los diferentes proyectos y ajustar una distribución de probabilidad. Los resultados obtenidos se pueden clasificar en tres grupos: a) éxito, implica que se han obtenido resultados significativamente mejores que el promedio, por lo cual se trata de buenas prácticas de las que se debe aprender y difundir entre los demás; b) fracaso, cuando los resultados alcanzados son mucho peores que el promedio, lo que exige identificar las causas de los errores para efectuar las correcciones pertinentes o, en última instancia, abandonar el proyecto; c) promedio, donde se agrupan los proyectos cuyos resultados se agrupan en torno a la media, respecto a los cuales hay que utilizar las buenas y evitar las malas prácticas de los demás, para mejorar su desempeño. Cuando se analizan variables cuyo óptimo es la minimización (como ocurre con los costos) el éxito se ubica en el extremo izquierdo de la curva, y el fracaso, en el derecho. Cuando el óptimo consiste en la maximización (como es el impacto) la ubicación del éxito o el fracaso, se invierte. 64

Es altamente recomendable la elaboración de un sistema flexible de seguimiento que proporcione información precisa sobre los diferentes capítulos que lo deben integrar, así como sobre su contenido sustantivo. De esta manera, se lograría comparar no sólo entre diferentes proyectos de un programa, sino entre diferentes programas que constituyen una política, o que son financiados por una misma institución. Para ello se requeriría adicionalmente la estandarización del uso de los indicadores prioritarios. El seguimiento es fundamental para conformar un sistema de alerta (cuanto más temprano, mejor), pero no proporciona per se el conocimiento necesario para introducir las modificaciones correctivas, dado que tal tarea es inherente, por definición, al análisis de impacto. En este ámbito, Trentmann y Hernández (2004) señalan que aunque las líneas base y los sistemas de vigilancia son sumamente importantes, éstos deben reforzarse con el uso de grupos de comparación, de manera de permitir evaluar con mayor validez los efectos nutricionales. 5.

QUÉ HACER CON LA EVALUACIÓN DE IMPACTO

Algunos países han establecido normas legales que han hecho obligatoria la presentación de evaluaciones de los programas de protección social como requisito para aprobar sus presupuestos. Ante todo, debe recordarse que bajo el título de evaluación de impacto, en algunos casos, se incluyen procesos muy variados. Algunos tienen un marco metodológico riguroso, mientras que otros que están basados solamente en la opinión de personas calificadas, denominadas jueces, tienen sobre el éxito o fracaso del respectivo proyecto. En segundo lugar, la lógica subyacente a esta norma legal, independientemente de la metodología que se utilice, es mejorar sólo el proyecto que ha sido evaluado. Esto es legítimo, pero al mismo tiempo resulta insuficiente. La evaluación de impacto tiene frutos potenciales que sólo pueden cosecharse en la medida en que se uniformen las metodologías y unidades de análisis a utilizar por tipos de programas, de forma tal que sea posible la comparación entre los resultados – previsiblemente diferentes – de cada uno de ellos. Esto todavía está ausente en la práctica de la evaluación en América Latina y el Caribe.

65

6.

QUÉ ESTRATEGIA UTILIZAR

No necesariamente es necesario recurrir a modelos sofisticados de seguimiento y evaluación. Hay limitaciones de recursos financieros que impiden en muchos casos aplicar esos modelos, que son caros. Y, sobre todo, esos modelos tienen requisitos de información que impiden su aplicación en muchos países de la región. Esa información existe en los países con mayor desarrollo relativo, pero está ausente en aquellos otros que más necesidad tienen de utilizar adecuadamente sus recursos escasos en programas alimentarios. Por ello lo que se necesita es encontrar un punto de equilibrio que cumpla con los requisitos intrínsecos a los modelos de evaluación de impacto a un costo que sea razonable y afrontable por los países. Es básico que se tenga una metodología común y unidades de análisis también comunes. A continuación se presentan algunos elementos para la elaboración de una estrategia que permitiría viabilizar la implementación de sistemas de seguimiento y evaluación para los programas de protección social alimentaria, que satisfacen los requisitos de accesibilidad en términos de costos, capacidad de adaptación de los sistemas de información a utilizar, e información relevante sobre las variables estratégicas que hacen al impacto y la eficiencia de la implementación de estos programas. a)

Tipología de las intervenciones en función del grado de vulnerabilidad de las poblaciones destinatarias, con la correspondiente localización espacial.

b)

Sensores y trazadores. Los sensores y trazadores permiten aprender de los procesos de implementación respecto de las variables clave. Para hacer la evaluación más factible, pueden seleccionarse subconjuntos estratégicos (de programas y proyectos), para lo cual sería necesario establecer sensores y trazadores. Los “sensores” serían subgrupos representativos de las unidades de análisis (destinatarios del proyecto, p. e. individuos o familias). Los trazadores” son funciones que conectan en el tiempo la evolución de los sensores y muestran, por tanto, la evolución de los mismos.

c)

Sistemas de alerta temprana: sitios centinela. Desde los servicios de salud se han desarrollado los llamados Sitios Centinela, que cumplen funciones de vigilancia epidemiológica y nutricional, complementarias a las desarrolladas por los sistemas rutinarios de recolección de datos. Esta metodología se originó para responder a problemas de subregistro y retraso en la entrega de información, de las poblaciones que no utilizan los programas de salud, así como para eludir los altos costos generados por los métodos tradicionales de vigilancia epidemiológica (Terry, 1997).

66

La estrategia metodológica consiste en seleccionar, mediante muestras por conglomerados, un conjunto de localidades que sean representativas de la incidencia de los diferentes problemas de salud y nutrición. En los puntos elegidos se realizan ciclos cortos de recolección de información sobre los costos, cobertura e impacto de las intervenciones de nutrición y salud. Las ventajas son bajos costos, rapidez de la recolección de información y la posibilidad de triangulación, debido a que emplea de manera combinada procedimientos cuantitativos y cualitativos. Hasta ahora, los Sitios Centinelas, ampliamente utilizados con fines de intervención en salud, han sido poco aprovechados en la vigilancia de la seguridad alimentaria (Jiménez y Morón, s/a.). En el caso del Plan Más Vida de Argentina, constituyen uno de los componentes del Sistema de Vigilancia Nutricional. Ellos permiten el seguimiento de indicadores alimentarios y nutricionales de la red familiar y de la gestión de la intervención. Los otros elementos del sistema son: a) un registro de beneficiarios para construir un índice de calidad de vida, en base a indicadores de vivienda, aspectos demográficos, educativos, de salud y ocupación de las familias, b) una planilla mensual que registra la situación de los beneficiarios, incluyendo anotaciones sobre eventos de alerta social o de salud. Este registro es procesado computacionalmente, permitiendo la elaboración de reportes periódicos sobre la situación de salud de la población beneficiaria (Gobierno de la Provincia de Buenos Aires, 2002). Los sitios centinela pueden constituir la base de una estrategia viable en términos de costos y entregue información relevante sobre el desempeño de los programas alimentario-nutricionales.

67

BIBLIOGRAFÍA Adato, Michelle (2000). The impact of PROGRESA on community social relationships. Washington D.C. IFPRI. Ahmed, A y K. Billah (1994). Food for education program in Bangladesh: An early assessment. Internacional Food Policy Research Institute, Bangladesh Food Policy Project, Dhaka. Ahmed, A. y C. del Ninno (2002). The food for Education Program in Bangladesh. An Evaluation of its impact on Educational Attainment anf Food Security. Washington D.C. IPRI. Atalah, Eduardo (2005). Actividades en América Latina y el Caribe para reducir la desnutrición crónica. Ponencia presentada en el “Taller Elementos Técnicos para la formulación del Plan Nacional para la erradicación de la desnutrición crónica en la población más vulnerable en Guatemala”, Guatemala 23 y 24 de mayo, 2005. Attanasio, Orazio et.al. (2004). Baseline Report on the Evaluation of Familias en Acción. En: www.ifs.org.uk/edepo/wps/familias_accion.pdf Attanasio, Orazio, Erich Battistin, Emla Fitzsimons, Alice Mesnard y Marcos Vera Hernández (2005). How effective are conditional cash transfers?. Evidence from Colombia. Briefing Notes 54. The institute for fiscal studies. Banco Mundial (1996). Addressing nutritional problems in Brazil. En:

http://www.obancomundial.org/index.php/content/view_folder/88.html Barquera, Simón, Juan Rivera y Alejandra Gasca – García (2001). Políticas y programas de alimentación y nutrición en México. Salud Pública Mex, 43: 464-477 Barrett, Christopher (2002). Food aid effectiveness: It´s the targeting, stupid¡. Applied Economics and Management Working Paper No. 2002-43. Universidad de Cornell. Behrman, Jere y John Hoddinott (2000). An evaluation of the impact of PROGRESA on pre-school children height. Washington D.C.: IFPRI. Bernal, María Elisa (2005). La experiencia de los Hogares Comunitarios del Instituto Colombiano de Bienestar Familiar – ICBF. Ponencia presentada en el Seminario “Derecho a la Educación Inicial”, organizado por Hogar de Cristo y UNICEF, Santiago de Chile, 17-18 de abril del 2005. Bertrand, Jane (2005). Figure 1. Overlap in terminology used in Programme Evaluation. En:http://www.comminit.com/pdf/BertrandProgrammeEvaluation

Terminology May2005.pdf Boy, Erick (2005). Intervenciones Exitosas para el Control de las Deficiencias en Micronutrientes. Ponencia presentada en el “Taller Elementos Técnicos para la formulación del Plan Nacional para la erradicación de la desnutrición crónica en la población más vulnerable en Guatemala”, Guatemala 23 y 24 de mayo, 2005. Britos, Sergio (2003). Programas alimentarios en Argentina: Situación actual y desafíos pendientes. Ed. Electrónica, CESNI. 2003 Caldéz, Natalia, David Coady y John Maluccio (2004). The cost of poverty alleviation transfer programs: A comparative análisis of three programs in Latin America. Economic and Sector Study Series RE2-04-012. En: http://www.iadb.org/regions/re2/The Cost_ofPovertyAlleviation.pdf Campbell y Stanley: "Diseños experimentales y cuasiexperimentales en la investigación social", Amorrortu editores, Buenos Aires, 1991.

68

Castañeda, Tarsicio (1998). The design, implementation and impact of Food Stamps Programs in Developing Countries. Manuscrito no publicado. Washington D.C.: Banco Mundial. Chambers, C.M. (1991). An evaluation of the World Food Program (WFP)/Jamaica 2727 School Feeding Program. Cajunas (24)2: 91-102 Chandler, Ann Marie, S.P. Walker, K. Connolly y S.M. Grantham –McGregor (1995). School breakfast improves verbal fluency in Undernourished Jamaican Children. American Institute of Nutrition, 894, 900 Coady, David, Margaret Grosh y John Hoddinott (2004). Targeting of transfers in developing countries: review of lessons and experience. Washington D.C.: Banco Mundial. Cohen, Ernesto y otros (1990). Evaluación de un Programa de Alimentación Escolar. El caso Argentino. Buenos Aires: OPS-OEA. Cohen, Ernesto et al. (1997) Programa de Alimentación Escolar de Uruguay. Su impacto nutricional y educacional. Montevideo, Uruguay, CEPAL/OEA, ANEP/FAS). Cohen, Ernesto y Rolando Franco (1996). Evaluación de proyectos sociales. Madrid: Siglo XXI. Tercera edición. Cohen, Ernesto y Rolando Franco (2005) Gestión Social. ¿Cómo amentar eficiencia e impacto? México D. F.: Siglo XXI Editores. Comisión de Investigaciones Científicas (2005). Evaluación de impacto del Plan Más Vida. En: http://www.cic.gba.gov.ar/novedades01.htm Consejo Nacional de Política Económica Social – CONPES - (2004). Lineamientos para la operación del programa nacional de alimentación para el adulto mayor “JUAN LUIS LONDOÑO DE LA CUESTA” y la selección y priorización de sus beneficiaries. Documentos Conpes Social N. 86. Consorcio Maximime e Instituto Cuanto (2003). Evaluación de Impacto del Programa de Complementación Alimentaria para Grupos de Mayor Riesgo. Informe Final. En:

http://www.ins.gob.pe/Vignut.asp Cornejo, Amalia, Diego Escobar, Rodrigo Núñez, Gonzalo Reyes y Karina Rojas (2003). Evaluación de impacto del programa de alimentación escolar de JUNAEB. En:

http://www.junaeb.cl/impactoprogramas.htm Dall’ Acqua, F.M. (1991). Economic ajustement and nutrition policies: Evaluation of a School Lunch Program in Brazil. Food and nutrition Bulletin 13(3): 202-209. Duryea, Suzanne y Andrew Morrison (2004). The effect of condicional transfers on school perfomance and child labor: evidence from and ex – post impact evaluation in Costa Rica. En: http://www.iadb.org/res/publications/ pubfiles/pubWP-

505.pdf Engel, Wanda (2004) Políticas integrales de reducción de la pobreza: El desafío de la efectividad. Washington D. C., Banco Interamericano de Desarrollo, Unidad de Pobreza y Desigualdad. Fernández, Margarita y Eduardo Atalah (2001). Evaluación del programa de tratamiento de lactantes en riesgo nutricional en la región metropolitana. Revista Chilena de Pediatría, 72(4), 328-333. Fondo Nacional de Desarrollo de la Educación – FNDE – de Brasil (2004). Alimentacao escolar. En:

69

http://www.fnde.gov.br/home/index.jsp?arquivo=/alimentacao_escolar/ alimentacao_esc.html Gajate, Giselle y Marisol Inurritegui – Grade (2003). El impacto del Vaso de Leche sobre el nivel de nutrición infantil. Economía y Sociedad 50, CIES. Gobierno de la Provincia de Buenos Aires (2002). Estrategia integral de Cuidado Familiar y mejoramiento de las condiciones de educabilidad. Plan Más Vida. En:

http://www.femeba.org.ar/fundacion/quienessomos/Novedades/planma svida.pdf González de la Rocha, Mercedes (2003). “México: Oportunidades y Capital Social, documento presentado al Seminario de la CEPAL “Capital Social y Programas de Superación de la Pobreza: lineamientos para la acción”, en Santiago de Chile, 10 y 11 de noviembre González de la Rocha, Mercedes y Agustín Escobar (2002). Evaluación cualitativa del Programa de Desarrollo Humano Oportunidades. Disponible en:

http://www.progresa.gob.mx/e_oportunidades/evaluacion_impacto/2002 /Evaluaci%F3n%20Cualitativa%20Final%20-%20dic02.pdf Grupo de Trabajo para la Alimentación Escolar de la Cámara Temática 3 (2004). Políticas de Segurança Alimentar e Nutricional para Grupos Populacionais Específicos Relatório de Apresentação de Propostas. Período de Outubro de 2004 a Abril de 2005. En: https://www.planalto.gov.br/consea/static/documentos/ Alim_Ecolar.ppt Hardy, Clarisa (1986). Hambre + dignidad = ollas comunes. Colección Experiencias Populares n° 3. Santiago; PET Academia de Humanismo Cristiano. Hoddinot, John y Emmanuel Skoufias (2003). The impact of Progresa on Food Consumption. FCND Discussion Paper nº 150. Disponible en:

http://www.ifpri.org/divs/fcnd/dp/papers/fcndp150.pdf Idiart, Alma (2004). Institucional factors and neo-liberal trends: maternal child health and nutrition programs in Argentina and Chile in the Past two decades. En: IFPRI (Instituto Internacional de Investigación de las Políticas Alimentarias) (2000). Informe 3 Proyecto PRAF / BID. En: http://www.ifpri.org/themes/praf/

praf_3.pdf ____ (2002). Nicaragua Social Protection Network. Pilot phase evaluation system: Impact Evaluation. En: http://www.ifpri.org/themes/mp18/Nicaraguarps/

informe_ eval_RPS_ finalEnglish.PDF _____(2005). Nicaragua. Red de Protección Social – Mi Familia -. Rompiendo el ciclo de pobreza. En: www.ifpri.org/spanish/pubs/ib/ib34sp.pdf Instituto de Desarrollo Educacional de Paraná (1997). Programa Nacional de Alimentacao Escolar – PNAE. En: http://www.pr.gov.br/fundepar/pnae.shtml Instituto Libertad y Desarrollo (2003). Programa Nacional de Alimentación Complementaria. La necesidad de rediseñar un programa rancio. En:

http://www.lyd.com/noticias/alimentacion.html Instituto Nacional de Tecnología Agropecuaria (2002). Programa Pro – Huerta INTA. En:

http://www.guiasolidaria.pccp.net.ar/pro-huerta/ Jefatura de Gabinete de Ministros (2003). Programas Sociales Nacionales. En:

http://www.jgm.gov.ar/Paginas/Parlamentarias/agendafederal/Publicaci ones/Programassociales.pdf 70

Jiménez, Santa y Cecilio Morón (s/a.). Evolución de la Vigilancia Alimentaria y Nutricional en América Latina y el Caribe. En: http://www.rlc.fao.org/foro/sisvan/sisvan.pdf Junta Nacional de Auxilio Escolar y Becas – JUNAEB - (s.a.). ¿Quiénes somos?. En:

http://www.junaeb.cl/quienessomos.htm#FOCALIZACIÓN%20DE%20ES TABLECIMIENTOS%20EDUCACIONALES ______ (2003). Evaluación de Impacto Programa de alimentación Escolar; Santiago. En:

www.junaeb.cl/impactoprogramas.htm Lavinas, Lena y Eduardo Enrique Garcia (2003). Programas Sociais de Combate a Fome. Rio de Janeiro: UFRJ / IPEA Lefevre, Pierre, Patrick Kolsteren, Marie Paul de Wael, Francis Byekwaso e Ivan Beghin (2000). CPPE Comprehensive Participatory Planning and Evaluation. En:

http://www.ifad.org/pub/bsf/cppe/cppe.pdf Loechl, Cornelia, Marie T.Ruel, Gretel Pelto y Pumima Menon (2005). The Use of Operations Research as a Tool for Monitoring and Managing Food-assisted Maternal/child Health and Nutrition (MCHN) Programs: an Example from Haiti. FCND Discussion Paper 187. En:

www.ifpri.org/divs/fcnd/dp/papers/fcndp187.pdf López

Añez,

Hernán

(s/a.).

Problemas

económicos

de

Venezuela.

En:

http://iies.faces.ula.ve/investiga/HLopezA/Problemas/Inflacion/Pobreza /POBREZA.ppt. Maluccio, John y Rafael Flores (2004). Impact evaluation of a conditional cash transfer program. The Nicaraguan Red de Protección Social. Discusión Paper Briefs. En:

http://www.ifpri.org/divs/fcnd/dp/papers/fcnbr184.pdf Marshall, Guillermo y Lorena Correa (2001). Focalización de becas del Programa Liceo para Todos: un estudio ecológico. En: http://www.mat.puc.cl/~gm/files/mineducEcologico2001.pdf MIDEPLAN, Gobierno de Chile (2003). Encuesta de caracterización socioeconómica nacional CASEN 2003: Principales resultados en educación. Santiago. Miller, Joy (1999). School Feeding Programs: improving effectiveness and increasing the Benefit to education. A guide for Program Managers. Oxford: Parternship for Child Development. En:

http://www.schoolsandhealth.org/download%20docs/School%20Feeding %20Del%20Rosso%20June%2099.pdf Ministerio de Seguridad Alimentaria y Combate al Hambre (MESA), Gobierno de Brasil (s/a.). Fome Zero. En: http://www.fomezero.gov.br/Miller, Joy (1999). School Feeding Programs: improving effectiveness and increasing the Benefit to education. A guide for Program Managers. Oxford: Parternship for Child Development. En:

http://www.schoolsandhealth.org/download%20docs/School%20Feeding %20Del%20Rosso%20June%2099.pdf Ministerio de Educación de Venezuela (s/a.). Programa de Alimentación Escolar. En: www.me.gov.ve/ modules.php?name=Content&pa=showpage&pid=96 Ministerio de Salud de Brasil (s/a.). Avaliaçao final de impacto do programa BolsaAlimentaçao. En:

http://www.fomezero.gov.br/download/estudo2_ministeriodasaude.pdf 71

Ministerio de Salud de Perú y PRISMA (2001). Evaluación de impacto del Programa Desayunos Escolares sobre la educación y nutrición de niños escolares. En:

http://www.ins.gob.pe/Vignut.asp Morley, Samuel A. and David Coady (2003) From Social Assistance to Social Development: Targeted Education Subsidies in Developing Countries. Washington, DC: International Food Policy Research Institute. Morris, Saul, Pedro Olinto, Rafael Flores, Eduardo Nilson y Ana Figueiro (2004). Conditional cash transfers are associated with a small reduction in the rate of weigth gain of the preschool children in Northeast Brazil. The Journal of Nutrition, 134, 2336-2341. Musgrove, Philip (1991). Feeding Latin America's Children: An Analytical Survey of Food Programs. World Bank Report No. 9526-LAC. _______________ (1993). Feeding Latin America’s Children. World Bank Report No.14285. Oficina Regional de la FAO para América Latina y el Caribe (s.a.). Proyecto en Argentina sobre Evaluación del Plan Nacional de Seguridad Alimentaria. En:

http://www.fao.org/Regional/LAmerica/prior/segalim/pnsa.htm Oficina Regional de la Organización Mundial de la Salud (OMS) (1998). Resumen de análisis de situación y tendencias de Salud. Honduras. En: http://www.paho.org/spanish/sha/prflhon.htm Pichihua, Juan (2002). Evaluación del salario pagado a brigadistas del PESP rural. En:

http://www.mef.gob.pe/propuesta/ESPEC/foncodes.pdf Programa Mundial de Alimentos (2000). Promotion of sustainable development of Andean micro-watersheds. En: www.wfp.org/eb_public/EB_Home.html ______________________________ (2001a). Country programme- Honduras 2002-2006. En:

www.wfp.org/eb_public/EB_Home.html ________________________________ (2001b) Country programme- Nicaragua 2002-2006. En: www.wfp.org/eb_public/EB_Home.html _________________________________ (2001c) Country programme- Guatemala 2002-2004. En: www.wfp.org/eb_public/EB_Home.html _________________________________ (2001d) Development project-Cuba 6258.00, Nutritional support to vulnerable groups in the five eastern provinces. En: www.wfp.org/eb_public/EB_Home.html __________________________________ (2002a) Country programme- Bolivia 2003-2007; May 2002; www.wfp.org/eb_public/EB_Home.html ______ (2002b). Country programme- El Salvador 2003-2007. En: www.wfp.org/eb ______ (2002c). Country programme- Haiti 2003-2006. En: www.wfp.org/eb ______ (2002d). Marco analítico estándar del VAM. Rol y objetivos de las actividades del VAM para apoyar las intervenciones orientadas a la alimentación del PMA. ______ (2002e). Protracted relief and recovery operations- Central America 10212.0, Targeted food assistance for people affected by shock and the recovery of livelihoods. En: www.wfp.org/eb ______ (2004). WFP Emergency operation No. 10393.0. Assistance to Vulnerable Families due to extreme cold weather damage in highland areas of Southern Peru. En:

http://www.wfp.org/operations/current_operations/project_docs/103930 .pdf

72

______ (2005). School feeding programme with community participation in socially and economically depressed areas, Dominican Republic. En:

www.wfp.org/operations/current_operations/project_docs/052761.pdf Ravallion, Martin y Quentin Wodon (2000) Does child labor displace schooling? Evidence on behavioral responses to an enrollment study. The economic journal 110: 158-175 Rawlings, Laura (2004). A new approach to social asistance: Latin America ´ s experience with Conditional Cash Transfer Programs. Social Protection Discussion Paper Series. en: http://www1.worldbank.org/sp/safetynets/ Conditional%20 Cash%20Transfer.asp ________________ (2002) Colombia Social Safety Net Assessment. En:

http://wbln0018.worldbank.org/lac/lacinfoclient.nsf/Category/By+Categ ory/2B3ABAE19CFF38EE85256BA3007AB827?OpenDocument República de Cuba (2004). Informe Nacional sobre los progresos en la aplicación del Plan de Acción de la Cumbre Mundial de la Alimentación. La Habana. Rogers, B.L., T.G. Sangvi, P. Tatian, P., J. Berhman, M. Calderon, S. Crelia y M. Garcia (1995). Food and income subsidies and primary schooling in rural Honduras: an Evaluation of the impact of the Bonos (BMJF) and PL480 title II School Feeding Programs. Washington D.C.: USAID. Ruel, Marie, Benedicte de la Briere, Agnes Quisumbing y Nora Coj (2002). Does subsidized child care help poor working women in urban areas? Evaluation of a governmentsponsored program in Guatemala City. FCND Discusión Paper n 131. En:

www.ifpri.org/divs/fcnd/dp/papers/fcndp131.pdf Secretaría de Desarrollo Social – SEDESOL – de México (2003). Programa Institucional Oportunidades 2002-2006. México D.F. _____(2004). Manual Micro Regiones. Programa de Abasto Rural DICONSA. En: www.diconsa.gob.mx;2004. _____(2005). Programa de Abasto Social de Leche. En:

http://www.liconsa.gob.mx/leche.htm Segura, José y Delia Haustein (s/a.). Evaluación de Impacto Nutricional-PANFAR. En:

http://www.ins.gob.pe/Vignut.asp Sistema de Información para la Vigilancia Alimentaria y Nutricional Perú (2004). SISVAN. En: http://www.sisvan.gob.pe/main.htm Skoufias, Emmanuel, Benjamin Davis y Sergio De la Vega, S. (1999). Suplemento al reporte definitivo: Evaluación de la selección de hogares beneficiados por el Programa de Educación, Salud y Alimentación (PROGRESA) de México. Disponible en:

http://www.ifpri.org/themes/progresa/pdf/Skoufias_seleccionb.pdf Suárez, Miguel (2003). Caracterización del programa Vaso de Leche. Lima: Ministerio de Economía y Finanzas Tanaka, Martín y Carolina Trivelli (2002). Las trampas de la focalización y la participación. Pobreza y políticas sociales en el Perú durante la década de Fujimori. Documento de Trabajo n 121. Lima: Instituto de Estudios Peruanos. Terry, Blanca (1997). Metodología de sitios centinela en la planificación de salud. Revista Cubana de Alimentación y Nutrición, 1997,11,2, 117-122 Trentmann, Claudia y Moisés Hernández (2004). Evaluación temática de las intervenciones nutricionales del PMA en Cuba. “Apoyo Nutricional a los grupos

73

Vulnerables en las cinco provincias orientales” (Cuba 10032). La Habana/Berlin: PMA. United Nations Development Programme (UNDP) (2001). Managing for results: monitoring and evaluation in UNDP. A results – oriented handbook. En: stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/documents/ full_draft.pdf United Nations Population Fund (UNFPA) (2004). Conjunto de herramientas de planificación, seguimiento y evaluación del administrador de programas. En: www.unfpa.org/monitoring/ toolkit/spanish/tool3-spanish.pdf Villatoro, Pablo (2004). Programas de reducción de la pobreza en América Latina. Un análisis de cinco experiencias. Serie Políticas Sociales n 87,LCL.2133-P/E. En:

http://www.eclac.cl/cgibin/getProd.asp?xml=/publicaciones/xml/2/14932/P14932.xml&xsl=/dds /tpl/p9f.xsl&base=/tpl/top-bottom.xslt ____(2005). Los programas de asistencia mediante transferencias condicionadas en América Latina y el Caribe. Background paper para el Documento a ser presentado en el período de Sesiones de la Comisión Económica para América Latina y el Caribe, CEPAL. Manuscrito no publicado.

74

ANEXOS

ANEXO I: Indicadores de Seguimiento a)

Cobertura: proporción de la población objetivo atendida por el programa o proyecto . Cantidad de personas atendidas Cobertura = * 100 Tamaño de la población objetivo

Cuando se considera a todos los beneficiarios, se obtiene la cobertura bruta (Cb), pudiendo alcanzar valores entre 0 y n, donde: 0 significa ausencia de beneficiarios, valores menores a 100 indican déficit de cobertura (se atiende a una población menor a la objetivo – error de exclusión -), 100 indica que la cobertura es igual al tamaño de la población objetivo y valores superiores 100 indican sobrecobertura (se atiende a una población mayor al tamaño de la objetivo – error de inclusión -). Al considerar sólo a los beneficiarios de la P.O., se obtiene la cobertura neta (Cn). Este es un indicador más confiable porque no considera los errores de inclusión. Tiene un recorrido de 0 a 100%, donde 100% equivale a total acierto de inclusión. b)

Focalización: el grado de focalización (F), es la proporción de la población beneficiaria que forma parte de la población objetivo. F=

Población objetivo beneficiaria * 100 Población beneficiaria total

F tiene un recorrido entre 0 y 100, donde 0 significa que ningún beneficiario es de la P.O. (total error de inclusión) y 100 indica que todos los beneficiarios forman parte de ésta (total acierto de inclusión). El complemento de F corresponde al error de inclusión, que indica la proporción de población atendida que no forma parte de la población objetivo. c)

Eficacia: Tradicionalmente se la ha definido como “el grado de logro de las metas de producción (bienes o servicios) de un proyecto independiente de los costos” (Cohen, Franco 1992). Es decir, la relación entre la cantidad de bienes o servicios que produce y distribuye el proyecto durante su operación y lo estimado en la programación.

75

La eficacia (A), compara las metas de productos y actividades programadas con la cantidad efectivamente realizada dentro del tiempo originalmente planificado. Cuando:

A = 1, la cantidad de productos programados es igual a la producida (producción eficaz); A > 1, el proyecto es más eficaz que lo programado; A < 1, el proyecto es menos eficaz que lo programado.

El problema de este enfoque de la eficacia, es que asume que las metas propuestas en la formulación y programación son patrones válidos de comparación, sin considerar que los resultados de A pueden derivar de una inadecuada estimación de las metas. d)

Eficiencia: Es la relación entre los productos generados y los recursos utilizados en la producción.

En la perspectiva tradicional, la eficiencia (B) se traduce operacionalmente como la relación entre los costos programados (Cp), los costos reales (Cr), el volumen de producción y el tiempo (reales y programados). Es la comparación entre los costos medios programados y los reales.2 Cuando:

B = 1, la producción es eficiente (costos por producto reales iguales a los programados), B > 1, el proyecto es más eficiente que lo programado, B < 1, el proyecto es menos eficiente que lo programado.

Al igual que en A el problema de B, es que la comparación sólo se hace respecto a las metas de la formulación. La eficiencia entre proyectos se puede analizar comparando sus costos medios y sus relaciones entre volúmenes de producción y distintos tipos de recursos: físicos (m2, horas de uso de equipamiento) y humanos (horas/funcionario, horas/profesional). La eficiencia y la eficacia, no son sólo analizables desde el punto de vista de los productos, sino que se puede y debe aplicar a la implementación de cada una de las actividades críticas del proceso productivo.3

Es importante recordar que los costos reales incluyen la inversión, la depreciación y los valores residuales estimados, no sólo los gastos corrientes. 3 Ver anexo 10 2

76

e)

Calidad: Indica el grado en que se está alcanzando el estándar previsto para los productos.

La calidad de cualquier producto es una relación entre el producto real en un período o proyecto determinado y el estándar establecido la calidad de otro proyecto o el promedio de los proyectos. Los resultados son proporciones. Cuando el resultado es 1, la calidad observada es igual al estándar o a la media; cuando es mayor a 1, la calidad del producto del proyecto es superior y cuando es menor a 1, es inferior. Complementariamente, debe analizarse la calidad percibida por los beneficiarios. Un producto de buena calidad que no se percibe como tal, genera rechazo y baja su probabilidad de uso. Por otra parte, uno de mala calidad pero percibido favorablemente generará adhesión al proyecto. La percepción depende de las expectativas de los beneficiarios: a menores expectativas la percepción es más positiva. f)

Indicadores de avance físico - financiero: Son comúnmente utilizados para analizar el grado de cumplimiento de la programación.

g)

Retraso: muestra el grado en que se han cumplido los tiempos programados en el proyecto, comparando el tiempo programado para la realización de una actividad con el realmente utilizado.  Tiempo real - Tiempo programado  * 100 Retraso =  Tiempo programado  

Cuando R < 0, se ha trabajado más rápido que lo programado, R = 0, se ha trabajado conforme a la programación, R > 0, hay retraso respecto a lo programado. ii)

Índice de Comparación: relaciona la cantidad de actividades críticas atrasadas con las adelantadas.

En caso de retraso de las actividades críticas (las centrales para la implementación del proyecto y que determinan los tiempos totales de operación) se dificulta el logro de los objetivos dentro del horizonte planificado. Estas son fácilmente identificables si se ha programado utilizando el método del camino crítico.

Indice de comparación =

Actividades críticas adelantadas * 100 Actividades críticas retrasadas

77

Cuando: IC > 1, las actividades críticas del proyecto están adelantadas, IC = 1, las actividades críticas se realizan según lo programado, IC < 1, hay retraso en la realización de las actividades críticas. El problema de este indicador es que no contempla la duración ni el grado de adelanto o retraso de las actividades, otorgando la misma importancia a actividades que tienen distinto peso en el logro de las metas programadas. iii)

Índice de Avance Físico o de Resultado: mide la eficiencia de la gestión al momento de control. Compara los productos (o actividades) realizados con los programados en relación con los costos previstos y reales.  Pr oductos realizados Costos programados   Indice de avance =  * Pr oductos programado s Costos reales  

Cuando IA > 1, la relación entre el avance físico y costos reales es mejor que lo programado (mayor r avance y/o menores costos), IA = 1, la relación real es igual a lo programado (existe una compensación entre el avance y los costos), IA < 1, la relación real es peor que lo programado (menor avance y/o mayores costos). iv)

Índice de Situación: analiza el grado de ejecución del presupuesto al momento de control.

Indice de situación =

Costo real Tiempo programado * Costo programado Tiempo real

Cuando: IS > 1, se han ejecutado menos recursos que los programados, IS = 1, se ha ejecutado la misma cantidad de recursos que se programaron, IS < 1, se han ejecutado más recursos que los programados. Al considerar el proyecto en su conjunto, se asume que hay linealidad en la utilización de los recursos a él destinados, lo que no siempre cierto, sobre todo cuando hay una fase inicial que requiere de inversión física. Existen dos indicadores que permiten superar dicho problema.

•

Índice de avance financiero: estima los desembolsos realizados como proporción de los planificados a la fecha de control. Indice de Avance Financiero =

Desembolsos Realizados * 100 Presupuesto Programado

78

•

Desfase presupuestal: Mide la diferencia relativa entre los costos generados a la fecha de control (desembolsos más compromisos) y el presupuesto original.

Desfase Presupuestal =

Presupuesto Actualizado * 100 Presupuesto Programado

79

ANEXO II: PRINCIPALES CARACTERÍSTICAS DE LOS PROGRAMAS DE ALIMENTACIÓN ESCOLAR Y DE ATENCIÓN A GRUPOS VULNERABLES EXISTENTES EN AMÉRICA LATINA Y EL CARIBE Cuadro 1. Programas de Alimentación Escolar en América Latina y el Caribe. Objetivos, Población Meta, Presupuesto y Población Atendida PROGRAMA

INSTITUCION –AÑO JUNAEB 1964

OBJETIVOS

POBLACION META Alumnos de Educación Inicial, Básica y Media en establecimientos municipales y particulares subvencionados, en condiciones de vulnerabilidad

Programa Alimentación Escolar – PAE – Ecuador

Ministerio Educación 1995

Programa Nacional de Alimentación Escolar – Uruguay Programa Desayunos y

ANEP, Consejo de Educación Primaria

Cobertura parcial de las necesidades nutricionales, incremento de la matrícula y asistencia a la escuela, reducción de la deserción escolar Cobertura del 15% de las necesidades nutricionales, disminuir la deserción y mejorar el rendimiento Nutrición y educación de los niños y adolescentes pertenecientes a los grupos más pobres Complemento alimenticio, mejoramiento de la calidad y eficiencia del sistema escolar Complementación y auxilio de la nutrición escolar

PRONAA Programa

Complementar alimentación escolar,

Programa de Alimentación Escolar – PAE – Chile

Programa Merienda Escolar – Brasil

Fondo Nacional de Desarrollo de la Educación 1954

Programa Alimentación Escolar Colombia

Instituto Colombiano de Bienestar Familiar – ICBF

–

de

–

PRESUPUESTO

Alumnos de educación inicial y de la enseñanza fundamental de la Red Pública, de hogares y entidades filantrópicas

$ 903.000.000 (1999)

Alumnos de educación inicial, básica y media, pertenecientes a los estratos 1 y 2 SISBEN de las zonas urbanas y rurales.

POBLACION ATENDIDA

reales

37.000.000 (2001)

niños

$ 154.114.000 pesos colombianos (2004)

2.601.901 (2004)

niños

Escolares de jardines y escuelas fiscales, municipales y especiales más pobres del país. Edades: 5 - 14 años

US $ 0.38 por alumno día

1295428 niños

Alumnos de escuelas en criticidad socioeconómica

alta

US $ 9.35 millones (1994)

207.673 niños.

Escolares de zonas con alta tasa de desnutrición infantil y extrema

US $ 53 millones (sólo desayunos)

Almuerzos Escolares – Perú Programa Integral de Nutrición Escolar – PINE – Nicaragua Programa de Alimentación Escolar – PAE – Venezuela Programa de Alimentación Escolar en Áreas Deprimidas (República Dominicana) Programa de Alimentación Escolar Nicaragua Programa de Alimentación Escolar Guatemala Programa Comedores Escolares (Argentina)

Nacional de Asistencia Alimentaria Ministerio de Educación

reducir deserción ausentismo

y

pobreza

Nutrición, educación

y

Alumnos de preescolar y primaria en escuelas de los Municipios de pobreza severa, alta y media

Ministerio Educación

de

Niños y adolescentes en educación Inicial, Básica, Media Diversificada, Profesional y Especial

278.000 millones bolívares (2002)

Ministerio Educación Programa Mundial Alimentos

de –

Cobertura del 75% de las necesidades nutricionales, educación Incrementar el consumo de micronutrientes, educación

Alumnos de educación inicial y básica que asisten a las escuelas más pobres y pequeñas en las 10 provincias fronterizas con Haití

US $ 7.658.540

Suplemento nutricional, educación

Niños vulnerables y en riesgo social en educación inicial y primaria

US $ 17.4 millones (todo el programa del PMA)

Suplemento nutricional, educación

Niños vulnerables y en riesgo social en educación inicial y primaria

US $ 14.28 millones (todo el programa)

Suplemento nutricional, educación

Niños vulnerables

US $ 200 millones en 1995

de

Ministerio de Educación – Programa Mundial de Alimentos Ministerio de Educación – Programa Mundial de Alimentos Programa Social Nutricional 1960

salud

230.000 niños

de

2.300.000 (2002)

niños

95.000 niños en el primer año

52% PMA

Del 90% al 100% de los niños en las escuelas públicas en las distintas regiones de Argentina

81

Cuadro 2. Instrumentos de los Programas de Alimentación Escolar PROGRAMA (nombre y fecha) PROGRAMA DE ALIMENTACION ESCOLAR (Chile)

PROGRAMA NACIONAL DE ALIMENTACION ESCOLAR – MERENDA ESCOLAR (Brasil) PROGRAMA DE ALIMENTACION ESCOLAR (Colombia) PROGRAMA DE ALIMENTACION ESCOLAR – PAE – (Ecuador) PROGRAMA DE ALIMENTACION ESCOLAR – PAE – (Uruguay) PROGRAMA DESAYUNOS Y ALMUERZOS ESCOLARES – 4 5

INSTRUMENTO - Desayuno de 250 calorías para enseñanza básica urbana de mediana Vulnerabilidad (11.44%) -Ración de desayuno/once y almuerzo de 700 calorías enseñanza básica Urbana alta vulnerabilidad (32%) -Ración de desayuno/once y almuerzo de 1000 enseñanza básica rural y semi-rural alta vulnerabilidad (46%) -Ración desayuno/almuerzo/once y comida de 2400 calorías para alumnos que residen en internados y hogares estudiantiles (109%)4 Una ración diaria con aproximadamente 350 kilocalorías (Kcal) y 9 gramos de proteínas, que cubre como mínimo el 15% de las necesidades diarias de los alumnos. Se entrega durante 200 días al año.

Un aporte nutricional diario, para compensar deficiencias en micronutrientes (vitaminas y minerales). Se entrega durante 120 días en el año. - 1 Desayuno diario. Suple hasta el 12.44% de la necesidad nutricional de los escolares (272 calorías día) - 1 Almuerzo (600 calorías día). -En 1995, se planteó la meta de aumentar la cantidad de calorías de 375 (17% de las necesidades nutricionales de los niños5) a 750 en escuelas con alta carencialidad. - 1 Desayuno: cubre 26% calorías y 45% proteínas por 138 días - 1 Almuerzo de 190 gramos por 138 días. Cubre el 35% calorías y el 83% proteínas.

Estimado sobre la base de una necesidad diaria de 2185 kilocalorías. Supone 2200 kilocalorías como necesidad diaria de alimentación.

82

PRONAA – Perú PROGRAMA INTEGRAL DE NUTRICION ESCOLAR – PINE – Nicaragua PROGRAMA DE ALIMENTACION ESCOLAR – PAE – Venezuela PROGRAMA DE ALIMENTACION ESCOLAR EN AREAS DEPRIMIDAS – República Dominicana

- 1 ración diaria de leche de 250 ml. Durante 100 días hábiles escolares. - 1 ración de 3 galletas 28 gr. como complemento nutricional.

- Raciones que aportan el 75% de las necesidades nutricionales de los niños

- Raciones fortificadas con micronutrientes, con 560.5 kilocalorías (25% de las necesidades diarias) y 18.5 proteínas. La ración se entregará durante 160 días del año escolar, en 5 años.

83

Cuadro 3. Programas de Asistencia Alimentaria: Evaluaciones de Impacto PROGRAMA

METODO

PROGRAMA MERIENDA ESCOLAR (BRASIL)

-Dall’Aqua (1991).

PROGRAMA COMEDORES ESCOLARES (ARGENTINA)

Diseño cuasi experimental, con grupo de comparación y con mediciones antes – después. Cohen y Franco (1992)

PROGRAMA ALIMENTACIÓ N ESCOLAR (URUGUAY)

-Diseño cuasi – experimental, con un grupo experimental y otro de comparación, en dos mediciones (2 años y algo después la 2° medición). Los dos grupos fueron estratificados en sub poblaciones de acuerdo a criterios de pobreza e indicadores antropométricos (CEPAL, 1997)

NUTRICION/

-Retraso de talla: el PAE no produce ningún impacto en la situación nutricional de los menores. -Peso / edad: el PAE no consigue disminuir el grupo de alumnos con menor peso al esperado.

CONSUMO Y GASTOS EN ALIMENTOS El consumo de calorías mejoró durante el curso del programa

EDUCACION Y SALUD

EFECTOS PERVERSOS

-Aumento de la matrícula escolar. Para el 60% de los padres, el programa sirvió como un incentivo para enviar sus niños a la escuela -No hubo impacto en la matrícula, la cual era muy alta pre-programa -No hubo impacto en la deserción, la cual era muy baja preprograma. -No se observó impacto sobre el ausentismo, excepto en los grupos socioeconómicos más bajos -Entre los beneficiarios del PAE, la probabilidad de repetir es 2.5 veces más alta que entre los no PAE -Los sujetos PAE tienen 3 días más de inasistencia al año. El programa no influye demasiado en los niveles de rendimiento académico y asistencia,

Talla / edad y peso / edad: se aprecia que la brecha inicial, más que disminuir, está aumentando: en la segunda medición, los participantes del programa presentan una situación peor o igual a la que

84

más bien lo hace el tipo de escuela (alta y baja criticidad) PROGRAMA ALIMENTACIÓ N ESCOLAR (JAMAICA)

-Chambers, C.M. (1991)

PROGRAMA DESAYUNOS ESCOLARES (Perú)

Estudio cuantitativo – cualitativo seccional, con mediciones sólo después y grupo de control. Los grupos experimental y de control fueron construidos en base a las apreciaciones de los profesores (MINSAL y PRISMA, 2001)

-Chandler et.al. (1995). Experimento con asignación aleatoria y factorización

Indicios de efecto positivo del consumo regular del desayuno sobre el índice de peso talla y la hemoglobina.

tuvieron en 1994 con respecto a los beneficiarios.

-El programa no tuvo efectos significativos en la asistencia a la escuela (Chambers, 1991) -Después del desayuno, los niños desnutridos se desempeñaron significativamente mejor en la prueba de fluencia verbal (Chandler et.al., 1995) - No se observaron efectos en las conductas dentro de la sala de clases, y el desempeño cognitivo de los niños con una situación nutricional normal no mejoró (Chandler et.al., 1995). -Asociación positiva entre el consumo de desayuno y rendimiento escolar (asociación positiva. -Los escolares que consumen habitualmente el desayuno presentan mayores tasas de inasistencias y repitencias

85

PROGRAMA DE ALIMENTACIÓ N ESCOLAR (HONDURAS)

-Rogers et.al. (año)

VASO DE LECHE (PERU)

-Medición sólo después, comparando con no beneficiarios, con control estadístico de terceras variables (Suárez, 2003) -Diseño cuasi experimental, con grupo de comparación contruido mediante propensity score matching: variables de pareo multinivel: individuos, hogares, distritales y geográficas (Gajate e Inurritegui-Grade, 2003).

PROGRAMA NACIONAL DE LECHE (BRASIL)

-Estudio Araujo, 1989, cit. En Banco Mundial, 1996)

-Mejoramiento de los ingresos nutricionales de los niños.

-Efectos positivos en las tasas de asistencia y de promoción. -No se apreciaron efectos en la matrícula

-No se observaron impactos en la situación nutricional de los niños menores de 5 años (Suárez, 2003: Gajate e Inurritegui-Grade, 2003): el programa aporta un bajo contenido energético y proteico, tanto en energía (15%) como en proteínas (15%). Esto se compara con programas como Wawawasi, que entrega un 70% de los requerimientos energéticos y un 100% de los proteicos (Gajate e Inurritegui – Grade, 2003) -No hubo efectos significativos del programa en la relación talla – edad de los niños

-Algunos de los impactos nutricionales se diluyeron porque

86

participantes -Pequeña reducción de deficiencias de vitamina A

PROGRAMA DE SUPLEMENTA CION NUTRICIONAL (BRASIL)

PROGRAMA NACIONAL DE ALIMENTACIO N COMPLEMENT ARIA Y SUPLEMENTA RIA (BRASIL)

-Estudio correlacional sobre 469 niños malnutridos atendidos por el programa en la ciudad de Guarida(estado de Sao Paulo), subdivididos de acuerdo a su tiempo de permanencia en 4 grupos: 1) 012 meses, 2) 12-24 meses, 3) 24 – 36 meses y, 4) 35 meses y más (Romeu, Bettiol y Barbieri, año)

-Estudio Musgrove (1989)

otros miembros de la familia consumieron la leche.

El programa minimizó temporalmente deficiencias nutricionales severas, pero no fue suficiente para recuperar y mantener el peso. -Grupos 1 y 2 recuperación de peso y ganancias en peso / talla entre los niños con mayores niveles de desnutrición. -Grupo 3: la razón peso / talla se mantuvo y hubo una leve tendencia hacia la recuperación de peso. -Grupo 4: el peso fue bajo en relación a la talla. -Efecto leve en el peso/ edad de los niños participantes. -No hubo efectos en la talla.

-Un grupo significativo de enrolados sufrió un deterioro nutricional. Esto pudo deberse a disminuciones en los ingresos

87

familiares o a problemas de salud. PROGRAMA DE COMPLEMENT ACION ALIMENTARIA PARA GRUPOS DE RIESGO PACFO (PERU)

PANFAR (PERU)

Estudio descriptivo con análisis multivariado, estudio de series de tiempo en los departamentos atendidos por PACFO, estudio caso – control con mediciones después). No se contó con línea basal. Para estimar el impacto se empleó un análisis multivariado, colocando al grupo PACFO en la situación de no haber recibido el programa y el estudio caso – control – localidad sin PACFO, localidad con PACFO (Consorcio Maximime e Instituto Cuanto, 2003) Estudio longitudinal retrospectivo sobre una muestra probabilística por conglomerados multi etápica de ex – beneficiarios de PANFAR. Mediciones antes después, sin grupo de control (Sergura y Haustein, año)

-Reducción de la tasa de desnutrición en un 2%, por encima de la tendencia natural en las poblaciones intervenidas

-La entrega de alimentos no se asoció a cambios en el índice peso talla, lo que probablemente se debe a que más del 75% de los beneficiarios no recibió la alimentación prevista -La solvencia técnica del responsable del programa y la calidad del programa se asocian con un mejor resultado, siendo más importante la primera variable. -Al nivel del niño,

88

fueron determinantes el estado nutricional inicial y la edad. PLAN MAS VIDA (ARGENTINA)

Estudio longitudinal, antes / durante. Medición de línea base sobre una población de 1516 beneficiarios. En la fase de Impacto Temprano (IT) se realizaron mediciones sobre una población 722 de beneficiarios: Se desestimó el grupo etáreo de 6 a 12 meses por considerarse que no habría variaciones antropométricas

PROGRAMA TRATAMIENT O RIESGO NUTRICIONAL (CHILE)

Estudio retrospectivo de una cohorte de 174 lactantes de 6 a 18 meses de edad intervenidos en 6 Consultorios de Santiago. A partir de los registros clínicos

HOGARES

-Estudio caso control, con una

-Disminución sustantiva de la deficiencia de folato en todos los grupos. -No se encontraron cambios en la dimensión antropométrica. El tiempo de intervención fue muy corto (9 a 12 meses). Estos cambios son esperables en un período mínimo de 2 años. El 42,47% de los niños en riesgo por peso/edad recuperó el estado nutricional, mientras que el 15,9% lo deterioró, sin diferencias en función de la relación peso/talla. -El programa tiene un bajo efecto en la recuperación nutricional; es necesario mejorar la calidad nutricional del suplemento utilizado.

-Aumento significativo de la ingesta de nutrientes en todos los grupos

-Disminución significativa de la anemia en niños de 1 a 2 años. Estos cambios no eran esperados, debido a que la normalización de la hemoglobina estaba prevista en el mediano plazo.

-Los niños del

89

COMUNITARI OS (GUATEMALA)

muestra de 250 niños beneficiarios y con un grupo de comparación pareado (niños de las mismas edades y vecindario, y con madres que trabajan fuera del hogar). También se tomó una muestra aleatoria de 1700 hogares con niños de 0-7 años de edad (Ruel et.al., 2002)

PROGRAMA OPORTUNIDA DES (MEXICO)

-Diseño experimental, consideró la asignación aleatoria de 506 comunidades elegibles de 7 estados a grupos de intervención y de control. Los 24077 hogares existentes en las localidades de control e intervención fueron censados con anterioridad al inicio del programa, medición que constituyó la línea basal. Posteriormente, comenzaron a efectuarse encuestas de seguimiento a intervalos de 6 meses.

FAMILIAS EN ACCION (COLOMBIA)

-Diseño cuasi experimental con tres grupos: a) familias con tres meses de intervención, b) familias por intervenir y, c)

programa consumen un 20% más de proteínas, energía y hierro y un 50% más de vitamina A que los niños del grupo de control. -Ganancias significativas de peso / edad en los niños beneficiarios (Berhman y Hoddinott, 2001)

-Mayor ingestión de alimentos ricos en calorías y proteínas y una dieta más diversa entre los beneficiarios (Skoufias y McClafferty, 2001). -Las pláticas de salud aumentaron la diversidad de la dieta y la ingesta de alimentos con más calorías -Aumento sustantivo del consumo de alimentos,

-Incremento de la matrícula escolar, especialmente entre los adolescentes. -Reducción del trabajo infantil -Aumento del uso de los servicios de salud

-Aumento de la matrícula y la asistencia a la escuela, especialmente entre los

90

familias con las cuales no hay una intervención planificada. Mediciones repetidas de seguimiento a los tres grupos seleccionados (Departamento Nacional de Planeación, 2003)

RED DE PROTECCION SOCIAL (NICARAGUA) PROGRAMA BECA ALIMENTACIO N (BRASIL)

-Diseño cuasi experimental, con grupo BA y de comparación, y mediciones de línea base, 6 meses y 24 meses (Ministerio de Salud de Brasil, 2004) -Evaluación del programa en 4 municipios del nordeste de Brasil. Diseño cuasi experimental, con grupo BA (1387 niños) y grupo control (502 no beneficiarios, seleccionados para recibir el programa pero excluidos por errores administrativos) y mediciones antes y 6 meses después (Morris et.al., 2004)

En los niños beneficiarios, se apreció un mayor diferencial de crecimiento (b =0.008, p = 0.000) y una mayor recuperación nutricional (partieron peor y después igualaron a los no beneficiarios) (MINSAL, IFPRI, 2004)

especialmente en las zonas rurales. -Mayor ingestión de alimentos ricos en calorías y proteínas y una dieta más diversa entre los beneficiarios (Attanasio et.al., 2005).

adolescentes -Incremento del uso de los servicios de salud

-A los 6 meses, se observó un PMCA = 60% – 70%. En los 2 años, fue superior al 100%. Estos valores son mejores que los de Food Stamps de Estados Unidos (30%42%) y del programa APE Bangladesh

-No se observó impacto en la utilización de servicios de salud materna (las tasas fueron altas en ambos grupos) (IFPRI, MINSAL, 2004)

Los niños beneficiarios obtuvieron puntajes Z (peso / edad) menores en 0.13 a los niños no incluidos (p = 0.024). Cada mes adicional de programa se asoció con ganancias de peso 31 gramos menores a las del grupo de comparación (p < 0.001). Este fracaso

91

(34%-41%). (IFPRI, MINSAL, 2004)

pudo deberse a la percepción que los beneficios podrían ser suspendidos si los niños comenzaban a crecer bien.

-Las familias beneficiarias gastan más en alimentos, las dietas de los niños beneficiarios presentan una mayor cantidad de calorías y proteínas y existen pequeñas diferencias positivas en algunos micronutrient es (IFPRI, MINSAL, 2004) PROGRAMA DE CUPONES DE ALIMENTOS (HONDURAS) PROGRAMA SUPEREMONO S (COSTA RICA)

-Buscar referencia

-Incremento de la matrícula en educación primaria en un 12%.

Diseño cuasi experimental, con mediciones de línea base y seguimiento y grupo de control, integrado por postulantes al programa pero

-Los beneficiarios del programa tienen una probabilidad entre 2.9 y 8.7 puntos porcentuales superior a los no

92

PROGRAMA APE (BANGLADESH )

que no participaron. Los impactos se estimaron en base a tres modelos: a) comparación de medias (intra sujetos), b) regresión múltiple tipo probit y, c) puntajes de la propensión a participar (PSM) (Duryea y Morrison, 2004)

beneficiarios de asistir a la escuela.

-Diseño cuasi experimental, con grupo APE y de comparación. Mediciones repetidas (Ahmed y del Ninno (2002) y Ahmed y Billah (1994)

-La matrícula se incrementó en un 20% en el grupo APE, mientras que disminuyó en un 2% en el grupo sin APE. -Las tasas de asistencia aumentaron entre niños y niñas, y fueron mayores en las escuelas APE que en las escuelas sin APE -La intervención del APE explicó solo una pequeña proporción del aumento en las tasas de matrícula (Ravallion y Wodon, 2000)

-Los beneficiarios tienen la misma probabilidad de pasar de grado que los sujetos no participantes

93

Cuadro 4. Inventario de Programas de Atención Materno Infantil y a Grupos Vulnerables en América Latina y el Caribe según sus poblaciones meta. PROGRAMA PROGRAMA EMERGENCIA ALIMENTARIA (Argentina) PRESTACIONES ALIMENTARIAS COMUNITARIAS (FOPAR) (Argentina) PROGRAMA ALIMENTACION HIJOS DE MADRES TEMPORERAS (Chile) PROGRAMA NACIONAL DE ALIMENTACION COMPLEMENTARIA (Chile) PROGRAMA DE ALIMENTACION COMPLEMENTARIA AL ADULTO MAYOR (Chile) PROGRAMA DE DESAYUNOS INFANTILES (Colombia)

ME L X

NP

NC

HT

PRE

X

X

X

X

X

AR

X

AM

DIS

X

X

X

X

EN F

IA

VN X

FP

FC X

X

X

X

X

X

X

X

94

PROGRAMA HOGARES COMUNITARIOS (Colombia) PROGRAMA NACIONAL DE ALIMENTACION PARA EL ADULTO MAYOR (Colombia) PROGRAMA NUTRICION Y DESARROLLO INFANTIL CEN – CINAI (Costa Rica) COMEDORES COMUNITARIOS (Ecuador) PROGRAMA DE SALUD Y NUTRICION PARA LOS PUEBLOS INDIGENAS (México) PROGRAMA NACIONAL DE ASISTENCIA ALIMENTARIA – PRONAA – (Perú) PROGRAMA TERCERA EDAD (Nicaragua) PROGRAMAS

X

X

X

X

X

X X

X

X

X

X

X

X

X X

X

X

X

X

X

X X

X

X

95

APOYADOS POR EL PMA (Cuba, Nicaragua, Guatemala, Honduras, Bolivia) PROGRAMA NACIONAL DE ALIMENTACION Y NUTRICION PANN 2000 (Ecuador) DISTRIBUCION DE CANASTAS ALIMENTARIAS (Brasil) PROGRAMA NACIONAL DE ALIMENTACION COMPLEMENTARIA Y SUPLEMENTARIA (Brasil PROGRAMA MATERNO INFANTIL WORLD VISION (Haití)

X

X

X

X

X

X

X

X

X

Fuente: Elaborado por el autor. NOTA: MEL = madres embarazadas o dando lactancia; NP = niños preescolares; NC = niños de la calle; PRE = preadolescentes; HT = hijos de temporeras; AR = adolescentes en riesgo social; AM = adultos Mayores; DS = discapacitados; ENF = enfermos; VN = vulnerabilidad nutricional; IA = indígenas y afrodescendientes; FP = familias pobres; FC = familias afectadas por crisis.

96

ANEXO III APORTES REALIZADOS POR LOS PAÍSES PARTICIPANTES EN EL SEMINARIO DEL WFP REALIZADO EN CARTAGENA DE INDIAS (julio, 2005) A) DESCRIPCIÓN DE LOS PROGRAMAS EN FUNCIÓN DE LA TIPOLOGÍA GENERAL I. PROGRAMAS DE SUPLEMENTACION ALIMENTARIA MATERNO-INFANTIL Cuadro 1. Programas de Suplementación Alimentaria Materno–Infantil: Objetivos, indicadores clave y línea base

PROGRAMA

OBJETIVOS

INDICADORES

PROGRAMA DE SUPLEMENTACION ALIMENTARIA MATERNO INFANTIL (ANTIGUA) PROGRAMA DE SUPLEMENTACION ALIMENTARIA MATERNO INFANTIL (HONDURAS)

Reducir la prevalencia de anemia en madres embarazadas y en niños de 0 a 5 años

-% de mujeres embarazadas con Hb menor a 11mg/dl -% de niños de 0 – 5 años con Hb menor a 11 mg/dl

Contribuir para que las condiciones de los niños menores de cinco años de edad, las mujeres gestantes y madres lactantes satisfagan sus necesidades nutricionales especiales y necesidades sanitarias.

-% de niños menores de cinco años con adecuado peso/talla -% de niños beneficiarios con 8 o mas controles de peso anualmente en el centro de salud. -Reducción de desnutrición aguda en niños menores de cinco anos atendidos en los centros de salud. -Madres embarazadas recibiendo mas de cinco controles prenatales -% de mujeres embrazadas captadas y con primer control antes de las 20 semanas. -% de mujeres capacitadas en aspectos de salud sexual y reproductiva, salud, nutrición y saneamiento. -% de madres beneficiarias que reciben 3 o mas capacitaciones en preparación de alimentos. -% de madres de los niños atendidos que participan en los comités de

EXISTENCIA DE LINEA BASE No

Para la mayoría de los indicadores se cuenta con línea base

97

ayuda alimentaría.

PROGRAMA CENCINAI (COSTA RICA)

PROGRAMA “CRECIENDO BIEN” (GUATEMALA)

Lograr condiciones óptimas de nutrición y desarrollo en forma prioritaria para la población menor de siete años, su familia y comunidad, mujeres gestantes y en período de lactancia que vive en situación de pobreza a nivel nacional. -Capacitar a las madres para mejorar las prácticas para la adecuada selección, preparación y consumo de los alimentos. -Educar a las madres de la comunidad sobre salud preventiva y acciones sostenibles para mejorar la condición de seguridad alimentaria en la familia y la comunidad. -Fortalecer la organización comunitaria para asegurar procesos de autogestión y sostenibilidad en torno a la seguridad alimentaria y nutricional

Sí No menciona

-N° mujeres capacitadas en temas de alimentación, salud, nutrición, higiene -N° de mujeres que han mejorado sus prácticas alimentarias. -N° de niños(as) con monitoreo de crecimiento -N° de mujeres con aplicación de seguridad alimentaria nutricional. -N°. de niños(as) menores de seis meses con lactancia materna exclusiva. -N° de niños con alimentación complementaria adecuada y oportuna. -N° de unidades de vigilancia nutricional implementadas -N° de comunidades iniciadas en procesos de autogestión y sostenibilidad -N° de mujeres que promueven la participación comunitaria e inmersa en procesos productivos. -N° de mujeres que participan en comités

Sí, elaborada por el programa

98

Cuadro 2. Programas de Suplementación Alimentaria Materno–Infantil: Diseño y Gestión del Sistema de Monitoreo (Seguimiento) PROGRAMA

TIPO DE SISTEMA

INDICADORES DE INSUMO Y PROCESO

INDICADORES DE PRODUCTO

DESAGREGA CIONES

CONTROL DE CALIDAD

PROGRAMA DE SUPLEMENTA CION ALIMENTARIA MATERNO INFANTIL (ANTIGUA)

Interno, Implementación: medición de controles de hemoglobina (Hb)

No menciona

-% de mujeres embarazadas con controles de Hb -% de niños de 0-5 años con controles de Hb

-En el caso de los niños, por edad y por comunidad.

PROGRAMA DE SUPLEMENTA CION ALIMENTARIA MATERNO INFANTIL (HONDURAS)

Monitoreo interno de insumos y procesos

-Numero de raciones de alimentos distribuida mensualmente -Numero de controles de peso mensualmente en población menor de cinco años. -Numero de mujeres embrazadas y madres lactantes que reciben suplemento de hierro. -Numero de voluntarios capacitados

-Se indica como garantías de calidad el uso de procedimientos estandarizados de recolección de datos y puntos de corte estándar para la definición de anemia. -Se aplican programas de control de calidad identificando inconsistencias de las variables o de relación con otras comparaciones por tiempo de medición.

Por departamento, municipio, Unidad de Salud, comunidad, sexo y edad

COSTOS ANUALES DEL SISTEMA -No disponible

500,000.00 Lps.

99

PROGRAMA CEN-CINAI (COSTA RICA)

Monitoreo interno; insumo, proceso, producto.

en AIN-C. -Numero de niños que reciben papilla mensualmente. -Numero de mujeres capacitadas en tema de salud, nutrición y saneamiento básico -Numero de mujeres embarazadas captadas antes de las 20 semanas -Numero de mujeres embarazadas que reciben mas de 5 controles -Correspondencia entre actividades programadas / funciones y tiempo contratado para cada funcionario. Porcentaje de beneficiarios (as) con expediente completo y actualizado Porcentaje de niños (as) con evaluación de desarrollo por modalidad -Cumplimiento de las diferentes tareas administrativas -Porcentaje de niños

-Gráficas de Crecimiento según el indicador P/E, T/E y P/T. -Escala de Evaluación del Desarrollo EDIN Simplificada. -Niños con dificultades de lenguaje. -% de beneficiarios (as) correctamente seleccionados por modalidad (focalización) - % de niños (as) con problemas de crecimiento -% de niños (as) en

No menciona

-Uso de diferentes fuentes y procedimientos de recolección de datos

No menciona

100

correctamente evaluados

PROGRAMA “CRECIENDO BIEN” (GUATEMALA)

Línea base y seguimiento

-Puede elegir qué comprar entre los alimentos. - Existe una mejor selección y preparación de los alimentos - Existe mayor responsabilidad de los padres en otorgar una buena alimentación a su familia - Se cambian patrones culturales en el consumo de alimentos. - Alianzas estratégicas con el Ministerio de educación. -Se proporciona una adecuada lactancia. - Se preparan dietas saludables y balanceadas

seguimiento -% de beneficiarios (as) de Comidas Servidas, Atención Integral y Leche -Número de carné entregados según la cuota -Número de beneficiarios atendidos en relación a los inscritos -Resultados por -No. mujeres Departamentocapacitadas Municipio, - No de grupos de comunidadmujeres formados grupo-edad-No. mujeres con sexo hábitos modificados - No. de monitoras ejerciendo su rol. -No. de visitas domiciliarias realizadas -% de niños menores de seis meses con lactancia materna exclusiva -% de niños mayores de seis meses con adecuada alimentación complementaria -% de familias con cambio de hábitos y buenas prácticas. -% de niños menores de cinco años con

-La base de datos permite verificar inconsistencias y manejar una bitácora de errores. -La información de la Base de Datos se verifica a nivel de campo.

$10,823.58 anual por digitación de datos de campo (peso/talla, encuestas de línea basal y otro tipo de evaluaciones de 12 municipios y 122 comunidades)

101

- Talleres participativos y demostrativos - Mejoran las condiciones sanitarias. - Se facilita el acceso a los servicios de atención. - Unidades de vigilancia nutricional implementadas para el seguimiento antropométrico de los niños(as) - Alianzas estratégicas con el Ministerio de Salud 4. Se puede comprar mayor variedad de alimentos -Existe mayor capacidad de adquisición -Mejoran los ingresos económicos -Las personas tienen mayores posibilidades de empleo -Hay una mayor comercialización de los alimentos -Existe una mayor producción de alimentos. -Puede producir sus

vigilancia nutricional - % de niños menores de cinco años con adecuado estado nutricional - % de niños menores de cinco años identificados con desnutrición leve, moderado y severo - % de niños menores de cinco años con desnutrición severa referidos a salud -No. Familias con proyectos productivos por comunidad - No de mujeres que participan en proyectos productivos. -No. De comunidades iniciados en proceso de autogestión y sostenibilidad

102

propios alimentos para autoconsumo. -Mejora la distribución intrafamiliar de los alimentos -Se practican hábitos higiénicos. - Alianza estratégica con Ministerio de agricultura

COMENTARIOS: 1. En el caso del programa de CEN –CINAI, el responsable de contestar el cuestionario entendió que debía definir indicadores de insumos, procesos y productos del sistema de monitoreo y no del programa. Por esta razón, hubo que reclasificar algunos indicadores en función del programa, y no del sistema de monitoreo. Se debe notar que todos los demás respondientes entendieron la pregunta como referida al programa y no al sistema de monitoreo; en estos casos, se reproducen las respuestas tal cual.

103

Cuadro 3. Programas de Suplementación Alimentaria Materno–Infantil: Diseño y Gestión del Sistema de Evaluación

PROGRAMA

CARACTERISTICAS DE LAS EVALUACIONES REALIZADAS

TEMPORALIDAD

PROGRAMA DE SUPLEMENTACION ALIMENTARIA MATERNO INFANTIL (ANTIGUA) PROGRAMA DE SUPLEMENTACION ALIMENTARIA MATERNO –INFANTIL (HONDURAS)

-No queda claro. Se menciona el sistema de seguimiento como evaluación.

-Mensual y anual (corresponde al sistema de seguimiento)

Se han realizado evaluaciones externas de medio término, las que han estado orientada a evaluar procesos con información de carácter cualitativo.

PROGRAMA MATERNO – INFANTIL DE WORLD VISION (HAITI)

-Investigación operativa: análisis del proceso de implementación, identificación de barreras y propuesta de acciones correctivas para mejorar el desempeño Estudio de línea base y seguimiento sobre: -Indicadores antropométricos -Conocimiento sobre prácticas de alimentación y nutrición -Hábitos de higiene -Participación de la mujer -Niños y mujeres con problemas de salud referidos a los servicios de salud -Niños sin esquema completo de inmunización y/o suplementación de

PROGRAMA CRECIENDO BIEN (GUATEMALA)

ANÁLISIS COSTO – EFECTIVIDAD DEL PROGRAMA -No disponible.

COSTOS DE LA EVALUACION -No disponible

Cada 2 años

- No considera

-$40,000.00

- No lineal –secuencial (esquema de investigación cualitativa)

-No incluye

- No disponible

-Al inicio, durante la implementación y al término (las comunidades permanecen dos años en el programa)

-No

-El costo será entre $10,000 a $ 15,000.

104

micronutrientes -Mujeres embarazadas sin control prenatal o suplementación de micronutrientes.

COMENTARIOS: 1. 2.

Los informantes tienden a confundir los sistemas de monitoreo con la evaluación. Predominan las evaluaciones cualitativas intermedias y las investigaciones de línea base y seguimiento. No hay estudios con grupo de comparación, no se considera el análisis de costo efectividad, y las nociones de costos de las evaluaciones son vagas.

Cuadro 4. Programas de Suplementación Alimentaria Materno–Infantil: Presentación y uso de la información (incluye seguimiento y evaluación) PROGRAMA

PRESENTACION

PROGRAMA DE SUPLEMENTACION ALIMENTARIA MATERNO INFANTIL (ANTIGUA)

-Informes mensuales y anuales. El Informe Anual es publicado

PROGRAMA DE SUPLEMENTACION

MONITOREO:

USO DE LA INFORMACION -Toma de decisiones clínicas -Selección de beneficiarios / focalización ( el screening de Hb es usado para la determinación de quienes reciben el suplemento de hierro. -Planificación de Sesiones de Educación Nutricional

RETROALIMENTACION

ACCOUNTABILITY

-No se menciona

-Usuarios de la información: PMA y la

Talleres a diferentes niveles (Instituciones del sector y

-Determinación de quienes son los responsables del trabajo realizado. -Análisis del proceso seguido para alcanzar los objetivos -Establecimiento de desviaciones de la norma buscada. -Análisis comparativo del

105

ALIMENTARIA MATERNO INFANTIL (HONDURAS)

-Informes trimestrales y anuales para las contrapartes (PMA, SETCO y Secretaria de Salud) -Se esta trabajando para la difusión de las experiencias obtenidas, mediante talleres a nivel regional e interinstitucional a nivel central

Secretaria de Salud a nivel municipal y local.

ONGS) publicación periódica, portal por Internet.

cumplimiento de los responsables que trabajan en el proyecto a diferentes niveles (gerencial, mandos intermedios y inferiores)

-Validación de las comunidades identificadas por SEGEPLAN para ser incluidas en la estrategia de Guate Solidaria Rural. -Mejorar y promover la seguridad alimentaria nutricional basada en el consumo, la disponibilidad y utilización biológica. -Realizar modificaciones en el

-No queda claro. Se describe el procedimiento que usa el programa para formar grupos de mujeres y seleccionar monitoras.

-Se esta fomentando el uso de los datos para la toma de decisiones en el Municipio, así como para la retroalimentación con otras instituciones con acciones en la zona

EVALUACION:

PROGRAMA CRECIENDO BIEN (GUATEMALA)

-Informes trimestrales, semestrales y anuales. -Reuniones a nivel regional y departamental con las agencias de cooperación, instituciones gubernamentales, ONGS y municipios -Presentación en una mesa técnica (Ministerio de salud pública y asistencia social, Ministerio de agricultura, Ministerio de educación, SEGEPLAN, OPS, UNICEF y PMA. -Boletines informativos de logros y avances trimestrales. -Publicación en medios de

-Ministerio de Salud: incremento de cobertura y brindar servicios básicos de salud a familias donde no hay servicios básicos en salud y alimentación. -SEGEPLAN utiliza la información como parte de los avances de la estrategia de Guate Solidaria Rural.

106

comunicación. -Presentación de los resultados a los consejos de desarrollo municipal y comunitario.

-Ministerio de agricultura: identificación de las comunidades que necesitan desarrollar proyectos productivos. -Personal técnico de campo toma acciones inmediatas en relación a los resultados locales e involucra a la comunidad.

proceso de ejecución del programa, tomando en cuenta los factores culturales y sociales. -Orientación de las intervenciones de salud hacia aquellas comunidades con bajas cobertura de servicios básicos en salud. -Incorporación de actividades productivas para mejorar el consumo y la disponibilidad de alimentos en comunidades que no tienen producción familiar de alimentos.

COMENTARIOS: 1. 2. 3.

El concepto de “accountability” tiende a ser usado para identificar situaciones relativas sólo al establecimiento de responsabilidades individuales. La toma de decisiones se expresa en las siguientes dimensiones: a) focalización, b) de “tratamiento” y, c) de expansión de cobertura. En algunos casos, no se describe el mecanismo de retroalimentación, sino sus productos.

107

II. PROGRAMAS DE ALIMENTACION ESCOLAR Cuadro 5. Programas de Alimentación Escolar: Objetivos, indicadores clave y línea base

IDENTIFICACIÓN PROGRAMA PROGRAMA NACIONAL DE RACIONES ESCOLARES (ANTIGUA)

PROGRAMA ALIMENTACION ESCOLAR (SANTA LUCIA)

OBJETIVOS

INDICADORES CLAVE

-Mejorar la capacidad de aprendizaje de los niños de escuelas primarias -Mejorar la situación nutricional -Fomentar el consumo de productos vegetales -Disminuir el consumo de alimentos dulces y grasos -Mantener una mejor relación entre peso y altura -Monitorear los niveles de Hb. e incrementarlos cuando sea necesario -Incrementar el consumo de productos agrícolas locales Reducir la inseguridad alimentaria en hogares pobres, mediante la entrega de una ración regular diaria a los beneficiarios en escuelas primarias y vocacionales

- Mejoramiento en los niveles de Hb. -Logros en peso /talla

-Los alimentos están disponibles en las escuelas -Las escuelas están adecuadamente equipadas -Todos los niños necesitados serán identificados para asistencia adicional -Los preparadores de alimentos serán capacitados en técnicas de manejo de alimentos -Reducción de los costos de operación del programa, mediante una mantención oportuna -Circulares a todos los involucrados para mejorar la comunicación -El apoyo a los estudiantes contribuirá a mejorar el ambiente de aprendizaje -La orientación y asistencia mejorará las actividades de alimentación escolar -Mejoramiento de las condiciones sanitarias en las cocinas

EXISTENCIA DE LINEA BASE Sí (encuesta previa a la implementación)

-No queda claro. Al parecer no existe.

108

PROGRAMA MERIENDA ESCOLAR (HONDURAS)

-Aumentar la matricula y la asistencia en las escuelas -Retener a los alumnos en el aula (corto plazo) disminuyendo la tasa de abandono escolar y mejorar su rendimiento en el mediano y largo plazo. -Disminuir la disparidad de genero para acceder a la educación -Prevenir la malnutrición grave y crónica que afecta las habilidades de concentración y aprendizaje de los estudiantes.

PROGRAMA INTEGRAL DE NUTRICION ESCOLAR – PINE(NICARAGUA)

Mejorar las condiciones de educación, salud y nutrición de los niños y niñas en situación de pobreza extrema e inseguridad alimentaría, que permita incrementar los indicadores educativos, nutricionales y de participación de la comunidad educativa en sus comunidades de origen.

-Mejoramiento en la preparación, presentación y valor nutricional de los alimentos -La producción local será usada en la producción de alimentos -Se proporcionará información a los profesores sobre tecnologías de invernadero -Mejoramiento en el desempeño de las actividades agrícolas desarrolladas en las escuelas -Matricula en escuelas apoyadas -Asistencia Media en escuelas apoyadas -Tasa neta de matricula en escuelas apoyadas por el PMA -Número de días efectivos asistiendo dentro del calendario escolar las escuelas con apoyo del PMA -Tasa de deserción en escuelas apoyadas -Percepción por el maestro de la capacidad de los estudiantes para concentrarse y aprender en las escuelas apoyadas -Rendimiento educativo /prueba estandarizadas en escuelas apoyadas -Los anteriores desagregados por sexo -Prevalencia de la malnutrición aguda entre los menores de 5 años por sexo (valorada mediante la relación peso/ estatura) -No. de Beneficiarios que mejoran sus condiciones de Educación, Nutrición. y Salud x 100 / No. de beneficiarios matriculados en el 2,005 -# de niños/as matriculados a centros educativos x 100 / Matricula actual de niños -# de CAE organizados y Capacitados en 2005 x 100 / # de CAE programados para organizarse. y capacitarse. en 2005 -No de Madres y Padres previstos a Participar x 100 / No de Madres y Padres integrados voluntariamente al Programa

Se tiene para algunos indicadores.La línea de base está integrada por las bases de datos monitoreadas por la sede del PMA para 2002 - 2004 y en actualización 2005.

Sí. Línea Basal PMA, Auditoria Social y Guía de Evaluación de Centros

-Cantidad de producto entregado en TM x 100 / Cantidad de producto planificado a los beneficiarios -Cantidad de k calorías entregadas x 100 / Cantidad de k calorías planificadas a los beneficiarios

109

-% de Retención Escolar= MI x 100 / MA -% de Asistencia = A / MA x 100 (A= Asistencia del día; MI= Matrícula Inicial; MA= Matrícula Actual)

PROGRAMA ALIMENTACION ESCOLAR (ECUADOR)

PROGRAMA DE ALIMENTACION ESCOLAR (BARBADOS)

PROGRAMA DE

-Contribuir a aliviar el hambre inmediata en niñas y niños de 5 a 14 años -Contribuir al mejoramiento de la capacidad de aprendizaje de los escolares (atención, concentración y retención) -Contribuir a mejorar el nivel de nutrición de las niñas y niños atendidos por el Programa Contribuir al mejoramiento de la asistencia a las escuelas en zonas afectadas por la pobreza -Contribuir a disminuir las tasas de repetición y deserción escolar en las escuelas beneficiarias del Programa -Consolidar la organización y participación responsable de la comunidad en el proceso educativo -Proveer una ración que permita a los niños en edad escolar cubrir al menos 1/3 de sus necesidades nutricionales recomendadas. -Entregar una ración nutritiva, de buen sabor y atractiva. -Utilizar una amplia variedad de alimentos y emplear distintos métodos de preparación para motivar a los niños a ingerir una dieta balanceada -Proveer un mejor servicio a los jóvenes

-No. de raciones distribuidas por grupo x 100 / No. de raciones planificadas. -No. de beneficiarios atendidos por grupo x 100 /No. de beneficiarios planificados. -Raciones diarias definidas -Índices de concentración y atención -Nivel de nutrición -Tasa de asistencia -Tasa de Repitencia -Tasa de Deserción -Comisiones de Alimentación Escolar organizadas

No existe.

No se mencionan

No se menciona

-Asistencia escolar

-No queda claro.

110

ALIMENTACIÓN ESCOLAR (DOMINICA)

PROGRAMA DE ALIMENTACION ESCOLAR (BELICE)

mediante la entrega de alimentación suplementaria -Asegurar que los estudiantes asistan a la escuela, en especial durante el período post – almuerzo -Asistir en el desarrollo de recursos humanos, con énfasis en la situación socioeconómica de madres solas y sus hijos. -Proporcionar alimentación y apoyo nutricional al menos al 80% de los niños que asisten a las escuelas primarias y a los centros de atención preescolar que más lo necesitan -Aliviar el hambre en el corto plazo en la población mencionada -Afianzar el involucramiento de la comunidad en las escuelas

-Desempeño escolar

Se confunde con los indicadores. Al parecer, existe una.

-Perfil escolar de necesidades -Informes escolares -Situación nutricional de los participantes -Manuales de Capacitación -Incremento en el número de escuelas que inician programas de alimentación escolar -Establecimiento de Comités Distritales

Sí, Censo de Peso y Talla Escolar (1996)

COMENTARIOS: 1. El vaciado de información se efectuó considerando los datos y la clasificación realizada por los informantes, sin realizar correcciones de ninguna clase.

111

Cuadro 6. Programas de Alimentación Escolar: Diseño y Gestión del Sistema de Monitoreo. PROGRAMA

TIPO DE SISTEMA DE MONITOREO

INDICADORES DE INSUMO Y PROCESO

INDICADORES DE PRODUCTO

DESAGREGACIO NES

CONTROL DE CALIDAD

PROGRAMA NACIONAL DE RACIONES ESCOLARES (ANTIGUA)

Vigilancia nutricional. Estudio longitudinal (a ser realizado)

-Oportunidad en la entrega de las raciones -Costo de las raciones

No menciona

Se menciona el uso de procedimientos estandarizados

PROGRAMA DE ALIMENTACION ESCOLAR (ECUADOR)

-Subsistema de evaluación y seguimiento basado en indicadores cuantitativos determinados a partir del ciclo de vida del PAE

-Recepción de Productos -Organización de la Comisión de Alimentación Escolar -Infraestructura Básica del PAE -Utilización del sitio asignado para el almacenamiento del producto. -Utilización del sitio asignado para cocina, -Preparación de alimentos

-Aceptación de las raciones -Mejoramiento en los niveles de Hb. (no mencionado como indicador de producto) -Logros en peso /talla (no mencionado como indicador de producto) -No se mencionan

Provincia, Cantón, Parroquia, Régimen escolar, Jurisdicción, Escuela, Sexo, Zona, Modalidad de Atención y Región Geográfica (Costa, Sierra, Oriente y Región Insular).

-Controles de consistencia de información programados en el SIPAE -Controles nativos del benk - end, base de datos.

COSTOS ANUALES DEL SISTEMA A ser determinado

-US$ 180.000

112

PROGRAMA MERIENDA ESCOLAR (HONDURAS)

Monitoreo de insumos, procesos y productos

-Servicio de alimentos y Acciones complementarias -Número absoluto de centros escolares (C.E) apoyados -Número absoluto de cantidades de alimentos -Ración promedio entre los estudiantes en los C.E -Días promedios en colocar las entregas en bodegas intermedias municipales -Número de bodegas intermedias que reciben entregas a tiempo -Número de C.E que reciben entregas a tiempo -No. de C.E con Comités de Merienda Funcionando -No. de docentes en los C.E -No. de Directores Municipales de Educación -No. de Bodegas Intermedias Municipales acondicionadas según requerimientos PMA

Los mencionados en los indicadores clave

-A nivel de Centro Escolar: por grado, sexo, área geográfica -A Nivel Municipal: por conglomerados de Centro escolar, sexo, área geográfica y tipos de bodega -A nivel Departamental: por sexo, área geográfica (municipio)

-Control cruzado de las bases de datos del PMA con las de la Secretaria de Educación -Chequeo de códigos de la información fuente -Visitas por parte de los Monitores del PMA -Registro auxiliar del control de los alimentos aplicado por los padres

15,000 - 20,000 US dólares por año

113

PINE (NICARAGUA)

Línea base y seguimiento

-No. de Comités de Merienda aplicando controles de alimentos -% de cantidades de alimentos movilizados v/s cantidades efectivamente recibidas en los C.E -Perdidas durante el periodo en los C.E (libras y Toneladas) -% de perdidas contra manejado (libras y Toneladas) No menciona

Los mencionados en indicadores clave

-Permite desagregaciones por sexo, escuelas, municipios y departamentos. Respecto a la edad, “nuestra población meta es una sola entre los 3 y los doce años de edad”.

-Sistema de control cruzado de la asignación de los alimentos a nivel nacional. Se chequea el registro previo de matrícula con los datos actualizados provenientes del trabajo de campo. Este sistema también se ocupa en los indicadores educativos.

No definido

114

PROGRAMA DE ALIMENTACION ESCOLAR (BARBADOS)

Monitoreo de la implementación, en las escuelas y en las cocinas. Incluye el monitoreo de insumos alimentarios y no alimentarios, producción de alimentos y aspectos de salud y seguridad

Insumos alimentarios y no alimentarios: -Cumplimiento de las especificaciones para los productos -Ordenes de compra y control de inventario

-Preferencias de los niños con relación al menú

Escuelas y zonas geográficas.

Uso de distintos procedimientos de recolección de datos; observaciones, encuestas y registros administrativos .

No se mencionan

Por área geográfica

Ninguno

Aproximadam ente $5000 anual (no

-Participación de los niños en los programas de leche y de raciones

Producción y suministro de alimentos: -Datos censales de producción de alimentos -Cumplimiento de las instrucciones de preparación -Calendarios de entrega Temas de salud y seguridad

PROGRAMA DE ALIMENTACION ESCOLAR (BELICE)

-Manual de políticas y procedimientos -Procedimientos para la limpieza y el uso de insumos no alimentarios -Mantención de equipos -Almacenamiento de alimentos -Distribución de los

-Seguridad alimentaria -Incremento en el

115

PROGRAMA DE ALIMENTACIÓN ESCOLAR (MINISTERIO DE SALUD, DOMINICA)

Mediciones antes – durante (registros y observaciones de los profesores)

bienes recibidos -Prácticas seguras de manejo de los alimentos

acceso a los alimentos -Mejoramiento de la situación de salud de la población

-Reacciones de los jóvenes ante los alimentos, alergias

-Tasas de Asistencia de los jóvenes -Nivel de consumo de los alimentos entregados -Relación costo calidad de las raciones

Se menciona la disponibilidad de otras fuentes de datos (Censos, datos del Ministerio). No se responde directamente la pregunta.

No se mencionan

queda claro a que refiere este costo, ya que se indica que no existe un sistema formal de monitoreo) US$ 4600

COMENTARIOS: 1.

2. 3. 4.

En muy pocas ocasiones los informantes siguieron la distinción entre indicadores de insumos, procesos y resultados. Al parecer, existe una escasa comprensión de las diferencias entre los indicadores. En los casos en los que se efectuó la diferencia, pareciera que se hizo un intento de adaptar los indicadores disponibles en el programa a la clasificación propuesta por el PMA. En muchos casos, los indicadores no están operacionalizados. Las desagregaciones de datos que permiten los sistemas son limitadas Pocos programas emplean procedimientos sistemáticos de control de calidad de los datos

116

Cuadro 7. Programas de Alimentación Escolar. Diseño y Gestión del Sistema de Evaluación

PROGRAMA

CARACTERISTICAS DE LAS EVALUACIONES REALIZADAS -No queda claro. Se menciona el sistema de seguimiento (monitoreo) como evaluación.

TEMPORALIDAD

PROGRAMA MERIENDA ESCOLAR (HONDURAS)

Evaluaciones Bi y anuales externas. Se prevé evaluación de medio término para varios de los proyectos vigentes

Cada seis meses y anual por el equipo interno, quienes verifican la dirección de los proyectos en función de sus Planes Operativos Anuales (POA) aprobados. La misma es participativa y extensiva a las contrapartes y aliados estratégicos del PMA.

-No menciona

PINE (NICARAGUA)

--Se ejecutó una evaluación externa de Medio Termino del Programa, para valorar los aspectos sustanciales de la actividad sobre el terreno. -Evaluaciones internas periódicas.

Evaluación semanal, trimestral, anual.

No menciona

PROGRAMA DE ALIMENTACION ESCOLAR (BARBADOS)

Evaluación Intermedia Interna, de implementación y de resultados

Recolección de datos semanal (Formulario de Control de la Unidad,

PROGRAMA NACIONAL DE RACIONES ESCOLARES (ANTIGUA)

-Pre- implementación, mediados del año escolar, fin de año escolar

interna: mensual, semestral y

ANÁLISIS COSTO – EFECTIVIDAD DEL PROGRAMA -No considera

COSTOS DE LA EVALUACION -No determinados

-Evaluaciones internas: 3,500.00 dólares aprox. -Evaluaciones externas: 5,000.00 dólares aprox.)

-No considera

117

PROGRAMA DE ALIMENTACIÓN ESCOLAR (MINISTERIO DE SALUD, DOMINICA)

Evaluaciones internas cualitativas anuales, que sirven para determinar los beneficios de la intervención en zonas rurales, el involucramiento de los padres y la medida en que se logra aliviar el hambre y superar la pobreza.

llenado por el supervisor) No se menciona

-No disponible.

Adicionalmente, se han realizado las siguientes evaluaciones:

PROGRAMA DE ALIMENTACION ESCOLAR (BELICE)

-Estudio de línea base y seguimiento del peso / talla -Análisis costo – beneficio (realizado por el Ministerio de Educación Evaluaciones cualitativas internas

Una cada fin de período escolar

No considera

No se menciona

COMENTARIOS: 1.

2.

Algunos informantes confunden las evaluaciones sistemáticas con las actividades rutinarias de monitoreo, supervisión y control de gestión interna. Por ejemplo, en el PINE Nicaragua se indica que “las evaluaciones semanales sirven de insumo para las evaluaciones mensuales, las mensuales para realizar las evaluaciones trimestrales y semestrales y por ultimo las evaluaciones finales anuales del Plan Operativo Anual”. No se reporta el uso de metodologías robustas de evaluación (diseños cuasi – experimentales u otros) y tampoco se informa de realización de análisis de costo – efectividad. Predominan las evaluaciones internas, intermedias y de enfoque cualitativo.

118

Cuadro 8. Programas de Alimentación Escolar. Presentación y uso de la información (incluye monitoreo y evaluación) PROGRAMA

PRESENTACION

PROGRAMA NACIONAL DE RACIONES ESCOLARES (ANTIGUA)

-A ser determinado (experiencia piloto)

PROGRAMA DE ALIMENTACION ESCOLAR (BARBADOS)

No se menciona

PROGRAMA DE ALIMENTACION ESCOLAR (ECUADOR)

-Página web del Programa de Alimentación Escolar: www.pae.org.ec. Contiene información actualizada en base de la automatización

USO DE LA INFORMACION -Orientación para la expansión del programa (experiencia piloto)

RETROALIMENTACION

ACCOUNTABILITY

No menciona

- Determinación de los montos de los insumos alimentarios y no alimentarios a ser enviados a las escuelas, la cantidad de raciones a ser enviadas y distribuidas en las escuelas, los ítems alimentarios a ser agregados o sacados del menú y la capacitación del equipo.

No se menciona

-Desarrollo más eficiente de las tareas asignadas -Informa de problemas y dificultades -Incrementa la responsabilidad -Permite establecer si los resultados esperados se logran o no. No se menciona

Ministerio de Educación y Cultura, Programa Mundial de Alimentos (PMA), Programa de las Naciones Unidas para e Desarrollo (PNUD)

119

,Coordinación Nacional, Coordinaciones Provinciales, Escuelas, Comisiones de Alimentación Escolar y Comunidad

de la base de datos gestionada por el Sistema de Información del PAE – SIPAE

PINE (NICARAGUA)

PROGRAMA MERIENDA ESCOLAR (HONDURAS)

-Informes periódicos al Ministerio de Educación y las agencias donantes -Presentaciones del programa ante organismos interesados la alimentación escolar y ante diferentes donantes.

Los datos del movimiento de alimentos se procesan en períodos bimensuales

-Toma de decisiones en los ámbitos central y territorial, en materias de recepción, adquisición y traslado de los alimentos, entrega y retiro por los centros educativos. -Actualmente hay problemas para establecer un mecanismo que permita agilizar estos procesos desde el nivel territorial y el nivel central del Programa.

-Mostrar resultados concretos de la capacidad de la unidad ejecutora para desarrollar proyectos y de esta manera solicitar mayor cantidad de fondos -Las evaluaciones han servido para hacer propuestas al Estado Nicaragüense, como el anteproyecto de ley que busca que el gobierno integre al presupuesto nacional una partida permanente de recursos financieros que aseguren alimentación a niños y niñas escolares

-La evaluación es fundamental para demostrar capacidad de gestión y ejecución de los recursos donados y de contrapartida.

La información se utiliza para programaciones del Programa Mundial de

El Gobierno ha reconocido la importancia de la alimentación suplementaria a los escolares y

Actualmente no cumple esta función, pero la

-El programa implementó un mecanismo de Auditoria Social, con el objetivo de establecer una Rendición de Cuentas hasta el nivel de los centros escolares y de la comunidad educativa de cada centro y comunidad.

120

(después de la entrega de cada remesa de alimentos. Se elabora una Publicación anual en el “Stándar Project Report (SPR)”. Previsto se tiene preparar publicaciones para el público y audiencias generales y especializadas

Alimentos, la Secretaría de Educación, El Programa de Escuela Saludable, la Presidencia de la Republica y otros programas /proyectos de interés económico y social.

PROGRAMA DE ALIMENTACION ESCOLAR (BELICE)

-Informes inter – Ministeriales mensuales -Reportes al fin del período escolar Los Informes no se publican

PROGRAMA DE ALIMENTACIÓN ESCOLAR (MINISTERIO DE SALUD, DOMINICA)

-Se presentan Informes Trimestrales.

-Sólo se usan en las escuelas y en los Comités Distritales. No informan al nivel de políticas -La evaluación sería muy relevante si es que permitiera establecer el alcance y el impacto del programa, así como determinar de modo confiable su costo. -Toma de decisiones sobre la composición del menú (reacciones de los estudiantes, relación costo – calidad nutricional)

-Las experiencias del programa de merienda escolar han permitido ir mejorando aspectos de logística y de focalización de los centros escolares a atender.

se prevé ampliación de mecanismos, audiencias y modalidades de retroalimentación al constituirse en una de las líneas de acción más visibles de la política de Estado con relación a la reducción a la pobreza y universalización de la educación primaria en el país.

expansión del programa está obligando a los Oficiales de Programa a tomar medidas para entregar información a los actores locales y sociedad civil, además de los aliados del PMA.

- No hay retroalimentación de políticas

-No se responde directamente la pregunta

121

-Retroalimentación de los profesores sobre aspectos relacionados a la preparación de los alimentos, oportunidad de la entrega, almacenamiento, disponibilidad local de los alimentos y efectividad general del programa -Toma de decisiones por parte de la Asociación de Profesores y Apoderados

COMENTARIOS: 1.

2. 3. 4.

La información de los sistemas de monitoreo se usa principalmente para decisiones de diseño (programación, focalización, expansión) e implementación (determinación de la cantidad de insumos alimentarios, compra, distribución y entrega a las escuelas, composición del menú) a distintos niveles (central, regional, local). En general, los informantes no se refieren a los mecanismos de retroalimentación, sino más bien a sus resultados (por ejemplo, mayor presencia en la agenda del tema de la alimentación escolar) La accountability se vincula a la asignación de responsabilidades individuales y fundamentalmente a la transparencia, rendición de cuentas y demostración de la capacidad de gestión del programa ante la opinión pública. No se menciona el uso de evaluaciones de impacto para toma de decisiones de continuidad o cierre de las operaciones.

122

III. OTROS PROGRAMAS Cuadro 9. Otros programas: Objetivos, indicadores clave y línea base TIPO DE PROGRAMA

PROGRAMA

OBJETIVOS

PROGRAMA DE ALIMENTACION A GRUPOS VULNERABLES

PROYECTO FEDERAL COMER EN FAMILIA PROVINCIA DE MISIONES (ARGENTINA)

Posibilitar el acceso de la población vulnerable a una alimentación adecuada, suficiente y acorde a las particularidades y costumbres de cada región del país.

PROGRAMA DE TICKETS DE ALIMENTOS

PROYECTO TICKETS DE ALIMENTOS PROVINCIA DE SAN JUAN (ARGENTINA) RED SOLIDARIA DE RESTAURANTES POPULARES (BRASIL)

PROGRAMAS DE VENTA SUBSIDIADA DE ALIMENTOS

Posibilitar el acceso de la población vulnerable a una alimentación adecuada y suficiente

Apoyar la implementación y modernización de restaurantes públicos para ampliar la oferta de comidas saludables a precios accesibles para trabajadores y población de baja renta, reduciendo la situación de inseguridad alimentar.

No se mencionan

EXISTENCIA DE LINEA BASE No se menciona

No se mencionan

No se menciona

De insumos, procesos y resultados

Está siendo construida en base a dos estudios: El primero caracteriza los insumos, procesos y resultados del programa. El segundo se aboca al perfil y la satisfacción de los usuarios, contemplando edad, género, instrucción, ingreso, frecuencia de uso, nivel de satisfacción, hábitos alimentarios

INDICADORES

123

Cuadro 10. Otros programas: Diseño y Gestión del Sistema de Monitoreo (Seguimiento)

PROGRAM A OBSERVAT ORIO NACIONAL DE LA SEGURIDA D ALIMENTA RIA (Haití)

TIPO DE SISTEMA DE MONITOREO Sistema de Vigilancia de la Seguridad Alimentaria

INDICADORES DE INSUMO Y PROCESO

INDICADORES DE PRODUCTO

DESAGREG ACIONES

CONTROL DE CALIDAD

No se mencionan

Macroeconómicos : inflación general, inflación sector alimentario, transferencias públicas y privadas, precios del transporte público, precios del petróleo, importaciones de productos alimentarios

Geográficas y demográficas

No se menciona

COSTOS ANUALES DEL SISTEMA 336,000.00 Euros por dos años

Indicadores de acceso y consumo de alimentos; precios de alimentos, gastos en alimentos, producción agrícola, stocks, ayuda alimentaria, demografía.

PROYECTO FEDERAL COMER EN FAMILIA PROVINCI A DE MISIONES (ARGENTI NA)

Monitoreo cuantitativo – cualitativo de la implementación

-Gestión de los equipos locales -Modo de organización interna de los comedores comunitarios y cocinas centralizadas

Indicadores de uso y de aspectos biológicos : estado nutricional. - Utilización y satisfacción con las prestaciones (módulos y tickets) por parte de los beneficiarios

Triangulación; uso de distintas fuentes y procedimientos de recolección de datos

124

PROYECTO TICKETS DE ALIMENTO S PROVINCI A DE SAN JUAN (ARGENTI NA)

Monitoreo cuantitativo – cualitativo de la implementación

-Detección, registro y seguimiento de los desnutridos

-Evaluación de gestión desde la perspectiva de los beneficiarios

-Selección de Alimentos

-Ajuste de la focalización

RED DE RESTAURA NTES POPULARE S (BRASIL)

Monitoreo de insumos, procesos y productos

Indicadores de Insumos:

-Numero de usuarios atendidos -Numero de municipios atendidos -% de Usuarios que corresponde a la población objetivo -% de usuarios satisfechos

-Gastos por restaurante -Recursos humanos por restaurante -% de restaurantes con nutricionistas -% de restaurantes con equipo adecuado para limpieza y esterilización de utensilios.

-Perfil de los hogares beneficiarios

Edad, género, educación, ingreso, frecuencia de uso, hábitos alimentarios, etc

Triangulación; uso de distintas estrategias metodológicas y fuentes de datos: entrevistas semiestructuradas a responsables de la detección y seguimiento de los desnutridos, encuesta a los beneficiarios, análisis documental No se mencionan

No se menciona

No se mencionan

Indicadores de proceso: -% de restaurantes según forma de gestión -% de restaurantes con actividades de educación alimentaria

125

-% de restaurantes con actividades culturales -% de restaurantes según volumen de comidas ofrecidas

Cuadro 11. Otros programas: diseño y gestión Sistemas de Evaluación TIPO E IDENTIFICACION DEL PROGRAMA RED DE RESTAURANTES POPULARES (BRASIL)

CARACTERISTICAS DE LAS EVALUACIONES REALIZADAS Evaluación intermedia externa de insumos, procesos y productos (se menciona el sistema de monitoreo como evaluación)

TEMPORALIDAD

No responde claramente

ANÁLISIS COSTO – EFECTIVIDAD DEL PROGRAMA No considera

COSTOS DE LA EVALUACION US$ 85000

126

Cuadro 12. Otros programas: presentación y uso de la información

TIPO E IDENTIFICACION DEL PROGRAMA OBSERVATORIO NACIONAL DE LA SEGURIDAD ALIMENTARIA (Haití)

RED DE RESTAURANTES POPULARES (Brasil)

PRESENTACION

USO DE LA INFORMACION

RETROALIMENTACION

ACCOUNTABILITY

Se entregan Informes a la entidad encargada del programa (Secretaría Nacional de Seguridad Alimentaria y Nutricional del MESA), como apoyo a la gestión y toma de decisiones

.

Las evaluaciones son realizadas por instituciones externas. Los resultados son discutidos y divulgados, garantizando transparencia y sirviendo de base para analizar la efectividad de los gastos.

Tres publicaciones regulares: a) boletín mensual de alertas tempranas, b) boletín trimestral que analiza el estado y la coyuntura de la seguridad alimentaria y, c) una publicación analítica bi anual. Los documentos están disponibles en el sitio web de CNSA : www.cnsahaiti.com

127

128

B) SÍNTESIS DE LAS LECCIONES APRENDIDAS 1. ASPECTOS GENERALES a)

Concepción y diseño de los sistemas de monitoreo y evaluación

Los consultados destacan la necesidad de diseños de monitoreo y evaluación multidimensionales, que den cuenta de los aspectos macro (contexto) y micro (propios del programa) y que al mismo tiempo se aboquen al análisis de los diferentes aspectos involucrados en la intervención (administrativos, sustantivos, etc.). Al mismo tiempo, se enfatiza el diseño de sistemas que incluyan metodologías cuantitativas y cualitativas, y que consideren en su implementación equipos multidisciplinarios, los que permiten alcanzar una visión más holística de la situación. También se plantea la necesidad de que exista consistencia entre objetivos, instrumentación e informes de resultado, y exista preocupación especial por la coherencia entre la información que se recoge en el ámbito local y la que se procesa y se transforma en producto en el nivel central. En cuanto a la información que se considera crítica para los sistemas se destaca la relacionada al seguimiento de la situación nutricional de las poblaciones atendidas. b)

Institucionalidad

Se plantea la importancia de mejorar la coordinación entre los diferentes sectores y actores involucrados en el monitoreo y la evaluación de la seguridad alimentaria, y la relevancia de construir mejores encadenamientos metodológicos entre las distintas iniciativas de vigilancia nutricional. En este marco, puede ser importante que exista una política nacional de evaluación. También resultan esenciales para una implantación exitosa de los sistemas de monitoreo la aceptación, compromiso y desarrollo de esfuerzos colaborativos por parte de los actores implicados. Para ello deben desarrollarse iniciativas de difusión de los sistemas de monitoreo y evaluación. Se destaca también la necesidad de que existan disciplina y responsabilidad en la implementación, en la transformación de la información obtenida en medidas correctivas y en la centralidad que debe asignarse a los mecanismos de difusión y retroalimentación oportunos de la información generada por los sistemas. Al mismo tiempo, se indica que el monitoreo y la evaluación son herramientas centrales para el logro una mayor transparencia en la gestión y para la educación y capacitación de los operadores de los programas. Finalmente, los consultados destacan que hay limitaciones de recursos humanos y financieros para implementar adecuadamente los sistemas de monitoreo en un escenario de incremento de la demanda por información en el ámbito de la seguridad alimentaria.

129

B. LECCIONES ESPECÍFICAS B.1. LOS PROGRAMAS DE ALIMENTACIÓN ESCOLAR (PAE) •

Barbados: Programa de Alimentación Escolar

Los responsables de este programa mencionan la necesidad de que el monitoreo y la evaluación sean implementadas de manera continua, en orden a que permita dar cuenta de los cambios globales y locales que resultan de las condiciones socioeconómicas, de las tendencias del mercado y de temas ambientales. •

Belice: Programa de Alimentación Escolar

El informante señala que existe la necesidad de contar con sistemas de monitoreo y evaluación, que incluyan, como mínimo, indicadores sobre las tasas de asistencia, deserción y aprobación, y el desempeño en los exámenes nacionales. •

Dominica: Programa de Alimentación Escolar

Se resulta que los programas que se llevan a cabo en la isla necesitan de sistemas de monitoreo para medir su impacto. Sin embargo, la inadecuación de los recursos humanos y la falta de recursos financieros para contratar personal adecuado para la vigilancia del impacto nutricional han contribuido a la carencia de sistemas de monitoreo y evaluación que sean efectivos. Se destaca también la falta de colaboración con el Programa, de la Escuela de Salud, que es la instancia que realiza la vigilancia de la situación nutricional y de salud. Se indica además que las evaluaciones cualitativas realizadas no han tenido un formato adecuado para los objetivos efectivos de monitoreo, o para la redacción de informes sobre la marcha del programa. •

Honduras: Programa Merienda Escolar

En cuanto al enfoque del sistema de monitoreo y evaluación se sugiere el diseño de una aproximación que equilibre las distintas dimensiones implicadas en la intervención, la educativa y la administrativa-logística. En lo relativo a la implementación, se destaca como factor crítico para el éxito del monitoreo que exista un compromiso formal de las Autoridades Educativas para el levantamiento periódico y sistemático de la información del contexto educativo. También se plantea la necesidad de difundir el sistema de recolección de la información entre los diferentes actores involucrados en el proceso. Adicionalmente, se indica que la incorporación de los padres de familia en la preparación, distribución y manejo de registros auxiliares sobre el movimiento de alimentos, permitió una ventana de contraloría social. •

Nicaragua: PINE

Se resalta la importancia del seguimiento para alcanzar los objetivos de la intervención y, al respecto, se plantea que para que el mismo funcione adecuadamente, los actores

130

involucrados deben tener disciplina y responsabilidad respecto de las tareas requeridas por el sistema y cumplir con los periodos establecidos (generación de la información que solicitan las entidades rectoras del programa y las agencias donantes). También sugieren que sería útil para la implementación que los sistemas sean implementados dentro de un cronograma que permita la creación de condiciones adecuadas (físicas, financieras, de recursos humanos) para su instrumentación. Asimismo, mencionan que las fuentes de datos deben ser confiables, y la información debe estar estrechamente vinculada con los objetivos, indicadores, metas y resultados esperados del programa. Al mismo tiempo, indican la necesidad de consistencia entre la información que se genera en el territorio y la información que se procesa/produce en el nivel central. En lo referido a los contenidos del sistema, se sugiere la conveniencia de realizar acciones de seguimiento de la situación nutricional de los escolares. La priorización de la dimensión nutricional permitiría avanzar en la construcción de un perfil más adecuado del programa. En cuanto al uso de la información, se plantea que los sistemas de monitoreo y evaluación son un mecanismo adecuado para la rendición de cuentas y para el análisis de los resultados y el cumplimiento de las metas e indicadores del programa. En todo caso, la difusión de información tiene que acompañarse de medidas correctivas, si es que se verifican problemas. Por el contrario, si las experiencias evaluadas son positivas, es importante tratar de reproducirlas con otras áreas o sectores.

B.2. LOS PROGRAMAS DE SUPLEMENTACION ALIMENTARIA MATERNO – INFANTIL Los informantes plantean pocas recomendaciones relativas al diseño e implementación de los sistemas de monitoreo y evaluación. Los comentarios se refieren a la necesidad de que exista consistencia entre objetivos, instrumentación e informes de resultado, a la importancia de los Sistemas de Vigilancia Nutricional, al rol que debe tener una política nacional de evaluación y a la centralidad de mecanismos de difusión y retroalimentación oportunos. La mayoría de las recomendaciones aluden a factores que obstaculizan o potencian el impacto de los programas. Entre éstos, destaca la importancia de la participación comunitaria (en especial de la mujer), se subraya la necesidad de intervenciones integrales, sustentables y coordinadas que no generen dependencia (asistencia alimentaria temporal) y se plantea la relevancia de una gestión transparente y que ponga énfasis en la educación y capacitación de los operadores y beneficiarios. •

Antigua: Programa de Suplementación Alimentaria Materno – Infantil

En materias relativas al seguimiento y control social, se plantea la necesidad de mayor transparencia y rendición de cuentas en la entrega de los suplementos, y la importancia de un sistema más efectivo de retroalimentación y de mecanismos oportunos para la generación de recomendaciones. Adicionalmente, se propone la puesta en juego de políticas nacionales que orienten el proceso de evaluación y que asignen responsabilidades específicas. En lo referido al

131

funcionamiento del programa, se destaca como aspecto crítico la educación nutricional permanente del equipo y de las poblaciones beneficiarias. •

Costa Rica: Programa CEN – CINAI

Se enfatiza la necesidad de que la asistencia alimentaria se implemente en la modalidad de programas nacionales sostenibles, porque la atomización de la política en proyectos de alimentación no permite el logro de impactos importantes en las tasas de desnutrición. También se plantea la inclusión de un paquete de salud básico, ya que la alimentación aislada no es suficiente para obtener los impactos esperados. •

Guatemala: Programa Creciendo Bien

Se plantea que la asistencia alimentaria debe ser temporal y priorizar la atención en casos que requieran de recuperación nutricional. Se agrega que los periodos prolongados de asistencia alimentaria crean dependencia en las poblaciones atendidas, a un punto tal que las personas reaccionan únicamente si está el incentivo del alimento. En cuanto al monitoreo y evaluación, se propone que los informes de resultado deben orientarse al análisis de los objetivos del programa. •

Honduras: Programa de Suplementación Alimentaria Materno–Infantil

Las lecciones aprendidas relacionadas con el funcionamiento del programa se refieren a: i) la necesidad de evitar la creación de dependencia de la ayuda alimentaria en las poblaciones beneficiarias y, ii) la importancia de que exista una mayor participación comunitaria, y especialmente de la mujer, en las fases de análisis y toma de decisiones del programa. En cuanto al seguimiento, se destaca el aporte que realizan las monitoras en la vigilancia nutricional de la población menor de edad; se subraya la relevancia de los sistemas de vigilancia nutricional con enfoque de alerta temprana, y se menciona el papel de los sistemas de seguimiento como incentivos para el siguiente ciclo del proyecto.

B.3. OTROS PROGRAMAS Los consultados se pronunciaron a favor del diseño de sistemas de monitoreo que incluyan metodologías cuantitativas y cualitativas y con equipos multidisciplinarios. Esto facilitaría la construcción de una visión más holística de la situación en terreno. En todo caso, se destaca la necesidad de poner énfasis en la integración de las diferentes perspectivas involucradas en equipos conformados por profesionales de distintas disciplinas. En el ámbito institucional, se plantea la importancia de mejorar la coordinación entre los diferentes sectores y actores que se relacionan con el monitoreo de la seguridad alimentaria y, en especial, el fomento de mejores encadenamientos metodológicos entre las distintas iniciativas de vigilancia alimentaria y nutricional. Para que el sistema de monitoreo sea implantado con éxito, los actores implicados tienen que tomar conciencia de la necesidad del monitoreo y la evaluación. También se requiere superar las limitaciones de recursos humanos y financieros, en un escenario de incremento de la demanda por información en el ámbito de la seguridad

132

alimentaria. Adicionalmente, la carencia de información secundaria sobre poblaciones de beneficiarios ha generado dificultades para la construcción de marcos de muestreo apropiados. •

Argentina: Proyecto Tickets de Alimentos Provincia de San Juan

Se indica que el diseño de monitoreo con estrategias cuantitativas y cualitativas logra una visión más completa y compleja de la situación del programa. Con relación a los aspectos prácticos se plantea la necesidad de contar con listados depurados de beneficiarios, efectores y establecimientos escolares, entre otros, para poder obtener muestras representativas que permitan generalizar los resultados. •

Argentina: Proyecto Comer en Familia de la Provincia de Misiones

Los tiempos y recursos destinados al monitoreo no permitieron la realización de una prueba piloto para poner a prueba los cuestionarios. También se verificaron problemas de articulación de las diferentes perspectivas de los integrantes del equipo multidisciplinario de monitoreo, y se enfrentaron dificultades para obtener muestras representativas por la carencia de información adecuada para la elaboración de marcos de muestreo. •

Brasil: Red de Restaurantes Populares

Para que la implementación de un sistema de monitoreo sea exitosa, se requiere que los diversos actores involucrados acepten que es necesario contar con un sistema de seguimiento y evaluación. Se existe asimismo que se dé prioridad a la construcción de un sistema que integre adecuadamente datos provenientes de distintas entidades y que contemple una regularidad definida. •

Haití: Observatorio Nacional de la Seguridad Alimentaria

El Proyecto ha debido adaptarse a una realidad que ha cambiado drásticamente, y que ha implicado una demanda mayor de información de mejor calidad sobre la seguridad alimentaria, en especial la relacionada con el impacto de eventuales desastres. El Observatorio debe enfrentar estas demandas crecientes con escasos recursos financieros y de personal. Al mismo tiempo, se observa una descentralización insuficiente de las actividades del Observatorio (lo cual podría “aliviar la carga” de trabajo para la entidad), y el encadenamiento metodológico entre las diferentes encuestas transversales dista del óptimo.

133

SIGLAS Y ABREVIATURAS ALIA 2: Agencia Latinoamericana de Información y Análisis 2 ANEP: Administración Nacional de Educación Pública (Uruguay) APE: Programa Alimentos por Educación APT: Programa Alimentos por Trabajo BID: Banco Interamericano de Desarrollo CAS: Ficha de Caracterización Socioeconómica (Chile) CASEN: Encuesta de Caracterización Socioeconómica Nacional (Chile) CEN: Centros de Educación y Nutrición (Costa Rica) CINAI: Centros Infantiles de Atención Integral (Costa Rica) CONAB: Comisión Nacional de Abastecimiento (Brasil) CONPES: Comisión Nacional de Política Económica Social (Colombia) DICONSA: Distribuidora e Impulsora Comercial CONASUPO (México) DIF : Sistema Nacional para el Desarrollo Integral de las Familias (México) ERP: Evaluación Rural Participativa ETD: Enfermedades de Transmisión Digestiva FAO: Organización de las Naciones Unidas para la Agricultura y la Alimentación FAS: Fortalecimiento del Área Social FNDE: Fondo Nacional de Desarrollo de la Educación (Brasil) FONASA: Fondo Nacional de Salud (Chile) FONCODES: Fondo Nacional de Compensación y Desarrollo Social (Perú) FOPAR: Fondo Participativo de Inversión Social (Argentina) ICBF: Instituto Colombiano de Bienestar Familiar IFPRI: Instituto Internacional de Investigación de las Políticas Alimentarias (International Food Policy Research Institute) INEP: Instituto Nacional de Investigaciones y Estudios Educacionales Anisio Texeira (Brasil) INTA: Instituto Nacional de Tecnología Agropecuaria (Argentina) INTRAGOB: Sistema Institucional de Gestión de Calidad (México) IPC: Índice de Precios al Consumidor IPEA: Instituto de Investigación Económica Aplicada (Brasil) IVE: Índice de Vulnerabilidad Escolar (Chile) JUNAEB: Junta Nacional de Auxilio Escolar y Becas (Chile) LICONSA: Leche Industrializada Conasupo, S.A. (México) MESA: Ministerio de Seguridad Alimentaria y Combate al Hambre (Brasil) MIDEPLAN: Ministerio de Planificación y Cooperación Nacional (Chile) MINEDUC: Ministerio de Educación (Chile) MINSAL: Ministerio de Salud (Chile, Perú) NBI: Necesidades Básicas Insatisfechas OEI: Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura OMS: Organización Mundial de la Salud OPS: Organización Panamericana de la Salud PACFO: Programa de Complementación Alimentaria para Grupos de Mayor Riesgo (Perú) PAE: Programa de Alimentación Escolar

134

PAMI: Programa Alimentación Complementaria Materno-Infantil (Honduras) PAMI: Programa Alimentario Materno Infantil (Venezuela) PANFAR: Programa de Alimentación y Nutrición para Familias en Alto Riesgo (Perú) PEA: Plan Nacional de Emergencia Alimentaria (Argentina) PETI: Programa de Erradicación del Trabajo Infantil (Brasil) PINE: Programa Integral de Nutrición Escolar (Nicaragua) PMA: Programa Mundial de Alimentos PMI: Programa Materno Infantil (Argentina) PNAC: Programa Nacional de Alimentación Complementaria (Brasil, Chile) PRAF: Programa de Asignación Familiar (Honduras) PRANI: Programa Alimentario Nutricional Infantil (Argentina) PRISMA: Proyectos en Informática, Salud, Medicina, y Agricultura (Perú) PROAL: Programa Estratégico Alimentario (Venezuela) PRODEA: Programa Federal de Distribución de Alimentos (Brasil) PROMIN: Programa Materno Infantil y Nutrición (Argentina) PRONAA: Programa Nacional de Asistencia Alimentaria (Perú) RCT: Razón de Costo Transferencia RPS: Red de Protección Social (Nicaragua) SEDESOL: Secretaría de Desarrollo Social (México) SIDA: Síndrome de Inmuno Deficiencia Adquirida SIMEVDA: Sistema Integrado para el Monitoreo y Evaluación de la Distribución de los Alimentos SIPO: Sistema de Información sobre la Población Objetivo (Costa Rica) SISBEN: Sistema de Identificación de Beneficiarios (Colombia) SISVAN: Sistema de Vigilancia Alimentaria y Nutricional SUF: Subsidio Único Familiar (Chile) UNDP: Programa de las Naciones Unidas para el Desarrollo UNFPA: Fondo de Naciones Unidas para la Población VAM: Análisis y cartografía de la vulnerabilidad

135