Evaluación de Impacto de un Centro Educativo Gratuito y Auto-gestionado en un Barrio de Contexto Socio-Económico Desfavorable de Montevideo Ana Inés Balsa a Alejandro Cid b Departamento de Economía y Centro de Investigaciones Aplicadas: Pobreza, Familia y Educación Universidad de Montevideo 13 de mayo de 2011 Resumen Esta investigación evalúa el impacto socio-académico de una de las pocas experiencias de liceos gratuitos y auto-gestionados en una zona de alta pobreza en Uruguay: el Liceo Jubilar. La metodología de evaluación es experimental aleatoria. El estudio explota el hecho de que el Liceo Jubilar tiene una lista de aspirantes mayor a la de los cupos que puede cubrir y define la selección por sorteo. El estudio realiza un seguimiento y compara a lo largo del tiempo a los jóvenes que fueron sorteados para ingresar al centro educativo y a aquellos que no ingresaron. A un año de haberse iniciado la intervención, encontramos amplias diferencias a favor de Jubilar en las tasas de promoción y permanencia en el sistema educativo. La intervención tiene un marcado efecto positivo, además, sobre las expectativas de los jóvenes de alcanzar estudios terciarios. Los alumnos de Jubilar están más horas en el centro educativo, faltan menos y viven más cerca del liceo. Las percepciones de los estudiantes sobre el clima del centro educativo (seguridad, actitud de los educadores, clima entre los estudiantes) son favorables a Jubilar y lo mismo sucede con las percepciones de los padres; resalta el resultado de que dos de cada tres padres con hijos en liceos públicos enviaría a su hijo a otro centro educativo si tuviera la posibilidad de elegir.

a

[email protected]; [email protected]

Agradecemos a Giorgina Piani y María Noel Domínguez, por su incondicional apoyo técnico y coordinación del trabajo de campo; a Nicolás González, un gran soporte como asistente de investigación; al equipo técnico del Liceo Jubilar (Gonzalo Aemilius, Florencia Sienra y Dolores Buján) que hizo posible la investigación y colaboró sustancialmente en el proceso; y a Valeria Angenscheidt, Eugenia Rivas y María Eugenia Roca por sus aportes en distintas instancias. Agradecemos al Centro de Investigaciones Aplicadas de la Universidad de Montevideo por financiar el proyecto y a los participantes de la investigación por su buena disposición a realizar las pruebas y a contestar las encuestas. Los autores son los únicos responsables de las opiniones vertidas en el documento.

1

1. Introducción La educación pública en Uruguay sufre una crisis profunda. El porcentaje de jóvenes que culmina la educación secundaria se encuentra entre los más bajos de América Latina (CEPAL 2005): solo uno de cada tres uruguayos de 22 años logra completar 12 años de educación, muy por debajo de los estándares en Chile, Argentina y Brasil. Las tasas de repetición son alarmantes, llegando a promediar el 40% en ciclo básico en los liceos públicos de Montevideo. La mitad de la población de 15 años no alcanza los niveles de suficiencia mínima en lectura y matemática, comportamiento que se extiende a tres de cada cuatro adolescentes en el caso de jóvenes en el quintil más bajo de ingresos (Ministerio de Educación, 2009). El Liceo Jubilar es el único centro educativo secundario gratuito de gestión autónoma en Uruguay. Se encuentra ubicado en la cuenca de Casavalle, Montevideo, y ofrece educación media básica (1 º, 2 º y 3er año de liceo) a 175 estudiantes. Casavalle es uno de los barrios más pobres de Montevideo, con una tasa de pobreza de casi 75% entre los adolescentes (Encuesta Continua de Hogares, 2009). A la edad de 18 años solo el 40% de los jóvenes en el barrio ha logrado culminar el ciclo básico de educación media y a la edad de 22 años sólo el 8% ha terminado la educación secundaria. Jubilar es un centro educativo de tiempo completo. Además de los cursos reglamentarios exigidos por la Administración Nacional de Educación Pública (ANEP), los estudiantes están obligados a elegir entre varios talleres educativos y recreativos. Los estudiantes pasan en promedio 9 horas por día en el centro educativo y el año escolar es de 44 semanas, 6 semanas más largo que en la educación pública. El modelo educativo es altamente personalizado y centrado en la disciplina. La institución realiza además un trabajo estrecho con las familias y la comunidad. Además de comprometer a los padres a participar en actividades del centro educativo (limpieza del liceo, ayuda con las comidas, acompañamiento en actividades o paseos), el liceo ofrece cursos de informática, cocina y deportes para adultos en la comunidad. Jubilar se financia casi exclusivamente con donaciones privadas. Los padres están obligados a contribuir económicamente dentro de sus posibilidades, pero estos aportes son poco significativos. En los últimos años no han habido deserciones del sistema educativo 2

entre los alumnos de Jubilar y las tasas de repetición no alcanzan al 2% de los estudiantes, cifras destacables cuando se analizan en el contexto de una tasa de repetición de casi 40% en el ciclo básico en los liceos de Montevideo y tasas de abandono del 18% (MEC 2009). El objetivo de esta investigación es evaluar el impacto socio-académico del Liceo Jubilar sobre los adolescentes que ingresaron a 1ero de liceo en la institución en los años 2010 y 2011. En particular, se evalúan resultados académicos (deserción escolar y calificaciones en matemáticas y lenguaje), se indaga acerca de los recursos invertidos en los jóvenes y sobre el modelo de enseñanza-aprendizaje, y se analizan las expectativas y percepciones de los estudiantes y sus padres sobre el centro educativo. Nuestra evaluación de impacto se basa en la asignación al azar de dos cohortes de jóvenes de 12 años de edad (N = 241) que se postularon para ingresar al Liceo Jubilar al finalizar sexto grado de primaria en 2009 y 2010. La investigación explota el excedente de aspirantes sobre los cupos disponibles y la consecuente selección de tipo aleatoria. La primer cohorte (N = 101) fue entrevistada en octubre de 2009 y sometida a una selección aleatoria en diciembre, tres meses antes de comenzar el año lectivo. La segunda cohorte (N=140) fue entrevistada en noviembre de 2010 y sometida a una selección al azar en diciembre del mismo año. El grupo de seleccionados de la segunda cohorte ingresó a Jubilar en marzo de 2011. La investigación plantea hacer un seguimiento anual de las dos cohortes hasta que los estudiantes completen el ciclo básico de educación media. El presente informe reporta los resultados del primer año de seguimiento a la cohorte 1. Esta es una de las primeras investigaciones en el ramo de la educación en Uruguay que mide el impacto de un centro educativo mediante un experimento aleatorio, lo que permite identificar efectos causales del tratamiento, libres de sesgos metodológicos. A través de esta investigación se busca contribuir al debate nacional sobre estrategias educativas que mejoren las oportunidades y los resultados académicos de los adolescentes en zonas socioeconómicas desfavorecidas. El estudio tiene particular relevancia en el actual contexto de cuestionamiento de la estructura centralizada y relativamente poco flexible de la educación pública tradicional en nuestro país. Muchas de las iniciativas bajo discusión en este momento, que revitalizan el concepto de centros educativos autónomos con mayor capacidad de adaptación a los cambios y a las realidades sociales, se materializan en este 3

liceo. En este sentido, el caso bajo estudio ejemplifica y muestra resultados concretos de una combinación de políticas educativas basadas en la autonomía de gestión, la intervención con el medio (familia y comunidad), la focalización en el estudiante como eje del sistema y la disciplina. Creemos que la investigación va a proporcionar a políticos y tomadores de decisiones información valiosa que contribuya al proceso de mejora de los centros educativos de nuestro país y que permita expandir las oportunidades de un amplio sector de nuestra población.

2. Metodología Como señalamos en la introducción, la deserción promedio y la tasa de repetición son más bajas en el Liceo Jubilar que en los liceos públicos de Montevideo. Esta simple comparación de medias captura no solo el efecto de tratamiento de Jubilar, sino también las diferencias en las características de base de las poblaciones comparadas (sesgo de selección). Por ejemplo, si en los liceos públicos se inscriben estudiantes de mayor nivel socioeconómico que en Jubilar, el no tomar en cuenta estas diferencias de base impregnaría de un sesgo negativo las estimaciones de impacto del liceo. Por otra parte, los estudiantes que se postulan para ingresar a Jubilar probablemente superen a otros jóvenes de la zona en términos de su motivación, la percepción del valor de la educación, y el apoyo familiar. Estas últimas características podrían sesgar las estimaciones de impacto hacia arriba (sesgo positivo) si el sesgo de selección no se trata adecuadamente. Mientras que algunas de las variables que caracterizan a cada grupo pueden observarse con relativa facilidad (es decir, el contexto socio-económico, estructura familiar, el nivel educativo de la familia y la ocupación), otras características tales como el compromiso de los padres con la educación o la motivación de los estudiantes son más difíciles de observar. En este sentido, la comparación de medias ajustada por características observables, basadas en el análisis de regresión o “propensity score” no soluciona totalmente el problema de sesgo de selección. Para evitar este problema, la presente investigación explota el hecho de que la lista de espera para ingresar al Liceo Jubilar supera en número la de los cupos disponibles y la selección se realiza por sorteo. Esta regla de asignación asegura que el grupo de jóvenes que ingresa a Jubilar (el grupo bajo tratamiento) es similar en múltiples características al 4

momento de la asignación al grupo que no sale sorteado para ingresar al liceo (grupo de control). En ausencia de selección, el impacto de Jubilar se estima comparando directamente los resultados del grupo de tratamiento y del grupo de control a lo largo del tiempo. Para alcanzar un tamaño de muestra suficiente, el proyecto sigue a dos cohortes consecutivas de solicitantes: aquellos que se postularon para entrar a Jubilar en el 2010 y los que se postularon para ingresar en el 2011. a) Recolección de datos Respecto de la primera cohorte, en setiembre de 2009 el liceo Jubilar hizo un llamado a inscripciones para cursar 1er año de enseñanza media básica en el liceo durante el siguiente año. El liceo contaba con 70 plazas (dos clases de 35 alumnos). Se recibieron solicitudes de 172 estudiantes, de las cuales 43 fueron rechazadas porque no cumplían con criterios básicos fijados por la institución. Estos criterios incluían no superar la edad apropiada para el curso en más de 1 año, vivir en el barrio Casavalle y que el ingreso familiar se encontrara por debajo de la línea de la pobreza. De las restantes 129 solicitudes, 28 fueron automáticamente seleccionadas para entrar en el liceo, en su mayoría porque eran hermanos de estudiantes o exalumnos del liceo. Esto dejó una lista de espera de 101 candidatos, los cuales fueron sorteados en diciembre de 2009 para cubrir la cuota de 43 lugares. Este grupo de 101 candidatos constituye nuestra primer cohorte. El segundo grupo fue seleccionado entre el conjunto de estudiantes que aplicaron para ingresar a 1er año de enseñanza media en Jubilar en el 2011. Se anotaron 247 jóvenes, de los cuales 25 fueron aceptados directamente por ser hermanos de alumnos o exalumnos y 82 fueron excluidos del proceso de selección por exceso de edad, ingresos familiares por encima del umbral de pobreza o no residencia en Casavalle. De los 140 estudiantes restantes se seleccionaron 45 al azar para cubrir las plazas disponibles. La combinación de los dos grupos aumentó el tamaño de la muestra a 88 tratados y 153 controles, y de este modo mejora la probabilidad de detectar estadísticamente los efectos de interés. En ambos casos el sorteo consistió en una aleatorización estratificada por género, por nivel de ingreso del hogar (alto o bajo) y por resultado de la prueba de ingreso a Jubilar (aceptable o no aceptable). Antes de llevar a cabo las loterías, el equipo de investigación de la Universidad de Montevideo encuestó a los solicitantes. Las encuestas se realizaron en el Liceo Jubilar 5

durante tres sábados consecutivos en noviembre de 2009 y en tres turnos de un solo sábado en noviembre de 2010. La modalidad de la encuesta fue de auto-administración con la supervisión del personal del equipo de investigación. El cuestionario indagaba acerca de aspectos demográficos, rendimiento académico, expectativas académicas, conductas riesgosas y hábitos. Se administró además una encuesta a los padres o referentes familiares, en la cual se realizaron preguntas acerca de la estructura familiar, educación, ingresos y ocupación de los padres, entre otras características socioeconómicas. Esta encuesta fue implementada por el personal del equipo de Jubilar durante las entrevistas de pre-ingreso a las familias. Los datos que presentamos a continuación, así como el análisis que se presenta en este trabajo, se circunscriben al seguimiento de la primera cohorte, la única para la cual tenemos datos de seguimiento a la fecha. Si bien el tamaño de la muestra es pequeño, como veremos a continuación, permite identificar efectos del tratamiento con significación estadística suficiente. La Tabla 1 muestra, para la línea de base (2009), las características principales del grupo de jóvenes en quien se enfoca esta investigación (los sometidos a sorteo), las de los jóvenes excluidos del proceso de selección por no reunir prerrequisitos básicos, y las de los estudiantes que ingresaron directamente a Jubilar sin pasar por un sorteo (por ser hermanos de alumnos o ex-alumnos). Además de analizar las diferencias observables entre estos grupos, se comparan las características de contexto del hogar de los postulantes con datos representativos de los hogares del país con hijos menores de 18 años obtenidos de la Encuesta Continua de Hogares del INE de 2009. La columna (1) muestra que la edad promedio de los estudiantes que participaron en la selección aleatoria era de 12 años en diciembre de 2009. La fracción de las niñas supera ligeramente la de los niños. El setenta por ciento asistía a la escuela pública mientras que el resto estaba matriculado en escuelas privadas, en la mayoría de los casos altamente subvencionados o directamente gratis. Casi el 40% mostró resultados académicos pobres en las pruebas de ingreso realizadas por Jubilar. La mitad de los niños dicen ser católicos; un 7% manifiesta ser de otras religiones y el resto reporta no profesar ninguna religión. Más del 50% de los niños vivían con su madre y su padre al momento de la encuesta inicial, 6

cerca del 20% vivía solo con la madre, y el resto con madre y padrastro o con otros parientes. Solo un 5% de los jefes de familia reporta no trabajar. El ingreso promedio anual del hogar es de $ 12,100 pesos uruguayos (precios corrientes del 2010), lo que representa unos US$ 600. Una alta proporción de los hogares eran receptores de beneficios sociales tales como la Tarjeta Alimentaria del MIDES. La columna (2) muestra los valores promedio para los jóvenes que quedaron excluidos del proceso de selección y la columna (5) muestra las diferencias entre este grupo y los que fueron sujetos a sorteo. Cabe señalar que no disponemos de encuestas para todos los jóvenes descalificados a priori, por lo que los datos que comparamos en esta tabla corresponden a una sub-muestra para la que sí hay datos (34 encuestas de 43 jóvenes en esta categoría). La tabla muestra que los excluidos del proceso de selección eran en promedio medio año mayores que los que participaron de la lotería, tenían menos probabilidades de ser alumnos buenos o excelentes en la escuela de acuerdo a la nota de promoción auto-reportada para 5to año, su probabilidad de haber repetido algún año era 5 veces más alta que la del grupo sujeto a la lotería y el resultado en la prueba de pre-ingreso a Jubilar fue en promedio 10% inferior. Se observa también una menor probabilidad de profesar la fe católica, aunque esta diferencia no surge en principio de los criterios de exclusión. Además, estos jóvenes muestran ingresos medios familiares más altos. La columna (3) presenta las mismas variables para aquellos que ingresaron al liceo sin pasar por la selección aleatoria. Cuando se los compara con el grupo sujeto a la lotería (ver diferencias en columna (6)), estos alumnos muestran un mejor desempeño en la prueba de ingreso a Jubilar pero no se ven diferencias estadísticamente significativas en el resto de las variables. 1 La columna (4) muestra valores promedio de las variables de contexto del hogar para los hogares con hijos menores de 18 años relevados en la Encuesta Continua de Hogares (ECH) del Instituto Nacional de Estadísticas del año 2009. Observamos que las familias cuyos hijos participan en el sorteo de Jubilar tienen menos educación e ingreso que el promedio de las familias uruguayas con hijos menores. El porcentaje de jefes de hogar que no terminó primaria es de 30% en Jubilar frente a 6% en la ECH. El ingreso del hogar, 1

Hay que tener en cuenta que estos estudiantes ya tienen o han tenido hermanos o hermanas en el liceo, por lo que el efecto del tratamiento puede haber empezado a tener efecto en sus familias previamente.

7

por su parte, es menos de la mitad entre las familias de Jubilar: éstas reportan en promedio un ingreso de $12,000 mensual, frente a una media de $31,000 para los hogares con hijos menores en Uruguay. Estos niveles de ingreso ubican a las familias de Jubilar en el 15% inferior de la distribución del ingreso del país. También se verifica en los hogares de los aspirantes a Jubilar un menor acceso a activos de consumo fijo. Por otra parte, el porcentaje de jefes del hogar que declara trabajar es mayor para las familias de Jubilar que en la Encuesta de Hogares (95% versus 81%). La Tabla 2 compara las medias de variables clave para el grupo de tratamiento y control. Teniendo en cuenta que la selección se realizó en base a un sorteo, no deberíamos encontrar diferencias estadísticamente significativas entre ambos grupos. Esto se verifica en la columna (4), donde se reportan los resultados de las pruebas-t y pruebas-z que comparan las medias entre ambos grupos. Las pruebas demuestran que los dos grupos bajo estudio, los jóvenes que ingresaron a Jubilar en marzo de 2010 (el grupo de tratamiento) y los solicitantes que no fueron seleccionados (el grupo de control), no difieren significativamente en las características de base. Hay una leve diferencia en el indicador de bienes duraderos del hogar a favor del grupo de tratamiento, aunque la diferencia es estadísticamente significativa al 10% solamente.2 El seguimiento posterior al 1er año de tratamiento de la cohorte 1 se llevó a cabo en noviembre-diciembre de 2010. Se realizaron visitas a los hogares de los jóvenes de Jubilar y del grupo de control y se le realizó a cada joven una encuesta, en parte administrada por el encuestador y en parte en modalidad de auto-administración en el caso de algunas preguntas sensibles. El cuestionario incluía preguntas sobre los logros académicos del joven, sus percepciones acerca del centro educativo, el uso del tiempo, valores, satisfacción personal, expectativas, estado de salud y comportamientos riesgosos. Además, se realizó un breve cuestionario a los padres que indagaba sobre sus percepciones acerca del clima del centro educativo de su hijo/hija y sobre aspectos socio-demográficos. Para fomentar la participación y garantizar la fidelidad futura de los participantes, a cada sujeto se le ofreció una tarjeta de recarga de celular por un monto equivalente a 5 dólares. Para minimizar el riesgo de futura pérdida de observaciones en la muestra, se actualizó en esta instancia la información de contacto del adolescente, sus familiares más cercanos y algún vecino. 2

De todas formas controlamos por esta variable al estimar los efectos del tratamiento.

8

Además de la entrevista, los participantes fueron sometidos a una prueba estandarizada de matemáticas e idioma español. Estas pruebas fueron adaptadas por las autoridades de educación pública en el Uruguay de las pruebas PISA (Programa Internacional de Evaluación de Estudiantes) y aplicadas a un subconjunto de los estudiantes de 1er año de secundaria en los liceos públicos en 2009. Los estudiantes de Jubilar realizaron la prueba en las propias instalaciones, mientras que a los estudiantes en el grupo de control se les administró la prueba en un sitio proporcionado por el equipo de investigación en la zona de Casavalle. Se ofrecieron cuatro fechas diferentes a los sujetos de control entre noviembre y diciembre de 2010 para completar las pruebas. Como forma de incentivar la asistencia a la prueba, a estos jóvenes se les otorgó una recarga de teléfono celular equivalente a $ 100 pesos uruguayos de 2010 (US$ 5) y se les brindó transporte desde sus domicilios. Todas las pruebas fueron calificadas por maestros independientes. Dos adolecentes no pudieron asistir a estas sesiones de evaluación y se les administró la prueba en sus casas. Seis adolescentes del grupo de control rechazaron realizar la prueba y tres de estos mismos adolescentes rechazaron también las encuestas. Adicionalmente, la primera cohorte de adolescentes fue contactada por teléfono a fines de marzo de 2011 para indagar sobre el rendimiento académico final (aprobación o deserción) del estudiante para el año 2010. El cronograma completo de la intervención durante los primeros dos años de seguimiento se resume en el siguiente cuadro. La intervención prevé encuestar a los jóvenes participantes en sus hogares y aplicarles pruebas de matemática e Idioma Español al culminar el primer año y tercer año de la intervención. En el segundo año se prevé realizar llamadas telefónicas breves de actualización.

9

Figura 1. Cronograma de la medición de impacto Seguimiento 1er año Cohorte 1. Entrevista en el hogar. Pruebas académicas Encuesta línea de base Cohorte 1 y entrevistas a los padres

Nov 2009

Seguimiento 1er año Cohorte 2.Entrevista en el hogar. Pruebas académicas

Seguimiento 3er año C1. Entrevista en el hogar. Pruebas académicas.

Nov/Dec 2011

Marzo 2013

Seguimiento 3er año C2. Entrevista en el hogar. Pruebas académicas.

Encuesta línea de base Cohorte 2 y entrevistas a los padres

Nov/Dec 2010

Marzo 2014

Marzo 2012. Llamadas actualización Cohorte 2.

Marzo 2011. Llamadas actualización Cohorte 1

b) Tamaño de la muestra. Como se ha mencionado anteriormente, la primera cohorte en el estudio se compone de 101 participantes, 43 seleccionados al azar para entrar al liceo Jubilar y 58 en el grupo control. La segunda cohorte consta de 45 individuos en el grupo de tratamiento y 95 en el grupo de control, un total de 140 individuos. Previo a la implementación del estudio, realizamos algunos cálculos sobre el poder estadístico del tamaño muestral. Por ejemplo, supongamos que el resultado de interés es la tasa de promoción y los individuos del grupo de control alcanzan una tasa de promoción del 70% (el promedio de la tasa de promoción en los liceos públicos), mientras que la promoción en Jubilar es del 99% (la tasa promedio actual). Dada una muestra de 101 sujetos (Cohorte 1), podríamos detectar esta diferencia con un poder estadístico del 99%. Si la tasa de promoción en el grupo de control fuera del 80%, el poder estadístico de la muestra sería del 87%. Esto significa que dentro de cada cohorte hay alta probabilidad de detectar efectos causales cuando las diferencias entre los dos grupos son de una magnitud importante; la probabilidad disminuye cuando las diferencias son pequeñas. Con la agrupación de las dos cohortes (n = 241, 88 en el grupo de tratamiento y 153 en el grupo control) las probabilidades de detectar diferencias estadísticamente significativas aumentan. Por ejemplo, una diferencia de 15 puntos porcentuales en las tasas de promoción

10

entre los dos grupos (99% y 85% en Jubilar y el grupo control, respectivamente) se puede detectar con un poder estadístico de 99,2%. c) Evaluación de Impacto Como ya señalamos, el análisis en este trabajo compara los resultados a fines del primer año de ciclo básico de enseñanza media para los individuos tratados versus los individuos en el grupo de control de la Cohorte 1. Esperamos contar a principios del 2012 con datos para la Cohorte 2, lo que permitiría una evaluación más completa del impacto del 1er año de tratamiento. Los principales resultados académicos a ser comparados entre los grupos de tratamiento y control son la tasa de deserción escolar, la tasa de repetición y los resultados de la prueba de matemática e idioma español. Un conjunto adicional de resultados de interés son las expectativas académicas de los jóvenes, sus percepciones sobre el centro educativo, el uso del tiempo, sus valores, así como las percepciones de los padres sobre el centro educativo. Para estimar el efecto promedio del tratamiento lo más simple es realizar una regresión de cada resultado de interés en una variable dicotómica indicativa del estado de tratamiento, es decir una variable que toma el valor 1 en caso de que el joven recibe el tratamiento y 0 en caso contrario. En la primera cohorte, uno de los postulantes inicialmente seleccionados para entrar a Jubilar desistió de asistir al centro educativo y dos jóvenes del grupo de control que no habían salido seleccionados en el sorteo terminaron asistiendo. De este modo, el grupo de los individuos que finalmente fue tratado difiere ligeramente de los inicialmente seleccionados para ser tratados (grupo bajo intención de tratamiento). En este contexto, una regresión simple estimada por mínimos cuadrados ordinarios como la que se plantea arriba puede introducir un sesgo en la estimación de impacto si la diferencia entre la intención de tratamiento y el tratamiento no es aleatoria. Para evitar este problema, realizamos una estimación por variables instrumentales, utilizando la intención de tratamiento como instrumento de la participación efectiva en el tratamiento. El estadístico F de la primera etapa es mayor a 700, cumpliendo ampliamente los requisitos de precisión de un buen instrumento. Además, ajustamos las regresiones por género del joven, un índice de bienes duraderos del hogar y la educación de los padres

11

medidos antes del comienzo de la intervención.3 Aunque estas características están equilibradas entre ambos grupos (es decir, no están relacionados de forma sistemática con el tratamiento), su inclusión ayuda a reducir la varianza residual y por lo tanto a mejorar la precisión de la estimación del efecto del tratamiento. Calculamos errores estándar heteroscedásticos y, debido al tamaño reducido de la muestra, ajustamos los errores por un factor de corrección de muestras finitas. Finalmente, para analizar la sensibilidad de los resultados a variaciones en la metodología comparamos los resultados anteriores con estimaciones por variables instrumentales sin ajustar por variables en la línea base y con estimaciones por mínimos cuadrados ordinarios. Una de las preocupaciones que surge al realizar experimentos aleatorios es la posibilidad de contaminación entre los individuos en el grupo de tratamiento y control. El hecho de que los jóvenes de ambos grupos vivan en el mismo barrio justifica preguntarse si Jubilar no tiene también un efecto indirecto sobre los jóvenes del control a través de lazos de amistad con sus estudiantes. Si bien un efecto de este tipo jugaría a favor de la investigación (las diferencias encontradas serían menores a las que se encontrarían en la ausencias de contaminación), creemos que es poco probable que se de este efecto. Debido al horario extendido del liceo y su cultura diferente, la mayoría de los estudiantes de Jubilar se termina vinculando entre sus pares del liceo. Uno podría preguntarse también si los que ingresan a Jubilar no vienen ya con algún efecto de derrame positivo previo debido a la participación de hermanos mayores en el liceo. Con respecto a este tema, los alumnos con hermanos en Jubilar fueron aceptados automáticamente en el liceo y por lo tanto no participaron en la aleatorización y en el grupo sujeto a medición en este análisis. Esta estrategia minimiza los riesgos de contaminación al asegurar que ningún individuo en el grupo de tratamiento experimentaba efectos de derrame a través de sus hermanos. En el primer año de seguimiento nuestra investigación solo se concentra en resultados a nivel de los postulantes y no mide potenciales efectos de derrame sobre su familia y la comunidad. El potencial efecto del liceo Jubilar sobre los padres y familiares de los involucrados, a través de cambios en su situación laboral, educación, embarazos 3

Para uno de los estudiantes carecemos de información sobre la educación de los padres, por lo que la regresión omite esta observación. De todas maneras, repetimos la regresión sin controles y los resultados difieren muy levemente. También corrimos variaciones incluyendo datos de la prueba de preingreso a Jubilar, pero la inclusión de esta variable no cambiaba en forma importante la precisión y reducía el número de observaciones disponibles.

12

precoces y conductas riesgosas, se evaluará durante el seguimiento que se realizará en el 3er año del proyecto, a través de un cuestionario aplicado a un adulto referente en el hogar. d) Costo-efectividad El análisis de costo-efectividad del programa facilita la comparación de los costos de oportunidad incrementales asociados con el impacto del programa. El costo de oportunidad de Jubilar incluye todos los costos en recursos humanos comprados y donados, el costo de la infraestructura, el costo de suministros y materiales, y otros gastos diversos (como la electricidad, agua, internet, seguros). Además de asignar un valor al trabajo voluntario y los recursos donados, la estimación requiere distinguir el porcentaje de recursos en Jubilar dedicados exclusivamente al programa de enseñanza media, ya que hay otros programas en marcha en la institución, como el liceo para adultos, el espacio de acompañamiento y permanencia a egresados, talleres comunitarios, etc. Con estas consideraciones, las autoridades del liceo pusieron a disposición nuestra una estimación de costo por estudiante y año académico, la cual se compara con el mismo costo unitario de enseñanza pública de Ciclo Básico que reporta ANEP.

3. Resultados La Tabla 3 muestra los resultados de haber cursado 1er año en el Liceo Jubilar sobre los resultados académicos de los jóvenes que participaron del estudio. La estimación es por variables instrumentales utilizando como instrumento la intención de tratamiento, y ajustando por sexo, índice de bienes duraderos del hogar y educación de los padres. Cada columna representa un resultado académico diferente. Las primeras dos filas muestran los valores promedios de cada una de esas variables de desempeño académico para el grupo de control y para el grupo de tratamiento respectivamente luego de ajustar por sexo, bienes duraderos y educación de los padres. La tercer fila muestra la diferencia entre los dos grupos o el efecto promedio del tratamiento y la cuarta fila reporta los errores estándar de dicha diferencia, cuya estimación toma en cuenta la potencial heteroscedasticidad de los errores y el hecho de que estamos trabajando con una muestra chica. La última fila indica el número de observaciones con el que se contó para la estimación. De las 101 observaciones originales, una se perdió desde el inicio por rechazo de los padres a participar de la 13

investigación. Para las 100 restantes tenemos el 100% de datos de promoción, 4 datos faltantes de deserción (por rechazos a realizar las encuestas) y 9 datos faltantes de las pruebas (también por rechazo o imposibilidad de realizarlas).4 Adicionalmente, una observación se pierde en las regresiones al faltar el dato sobre educación de los padres. Estos primeros resultados muestran que la intervención redujo el riesgo de deserción del primer año de ciclo básico en 10 puntos porcentuales, una disminución de 100% con respecto al grupo control. En otros términos, 1 de cada 10 adolecentes del grupo de control había abandonado 1er año a fines del 2010, mientras que la tasa de abandono fue cero en Jubilar. Al indagar sobre los motivos de deserción, la mayoría de los desertores contestó que se debía a razones de inseguridad dentro del centro educativo o durante el traslado hacia o desde el centro educativo. La mayor parte de los desertores fueron mujeres. Pero la diferencia más importante en el desempeño académico se verificó en las tasas de repetición. El 21% de los jóvenes en el grupo de control no pasó a 2do año de ciclo básico frente al 3% en el Liceo Jubilar. La diferencia de 19 puntos porcentuales es estadísticamente significativa a un p