Revisiones de la OCDE sobre la Evaluación en Educación

MÉXICO Paulo Santiago, Isobel McGregor, Deborah Nusche, Pedro Ravela y Diana Toledo

Revisiones de la OCDE sobre la Evaluación en Educación México 2012 Paulo Santiago, Isobel McGregor, Deborah Nusche, Pedro Ravela y Diana Toledo

La calidad de la traducción y su correspondencia con la lengua original de la obra son responsabilidad de la Secretaría de Educación Pública. En caso de discrepancias entre esta traducción al español y la versión original en inglés, sólo la versión original se considerará válida.

Esta obra se publica bajo la responsabilidad del Secretario General de la ocde. Las opiniones expresadas y las conclusiones formuladas en esta publicación no reflejan necesariamente el parecer oficial de la ocde o de los gobiernos de sus países miembros. Tanto este documento como cualquier mapa que se incluya en él no conllevan perjuicio alguno respecto al estatus o la soberanía de cualquier territorio, a la delimitación de fronteras y límites internacionales, ni al nombre de cualquier territorio, ciudad o área.

ISBN (I): 978-607-7675-59-4 ISBN (E): 978-607-7675-60-0

Los datos estadísticos para Israel son suministrados por y bajo la responsabilidad de las autoridades israelíes competentes. El uso de estos datos por la ocde es sin perjuicio del estatuto de los Altos del Golán, Jerusalén Este y los asentamientos israelíes en Cisjordania bajo los términos del derecho internacional.

Imagen de portada: © iQoncept - Fotolia.com, © AKS - Fotolia.com, © Sergej Khackimullin - Fotolia.com Traducción: Complete Language Services, Lorraine Cunningham Revisión de la traducción: lic. Florencia Martínez, como asesora de la anterior Unidad de Planeación y Evaluación de Políticas Educativas, sep Coordinación editorial: Instituto Nacional para la Evaluación de la Educación y Centro de la ocde en México para América Latina

Publicado originalmente por la ocde en inglés con el título: ocde Reviews of Evaluation and Assessment in Education: Mexico 2012 © 2012 ocde Todos los derechos reservados. © 2014 Secretaría de Educación Pública para esta traducción en español Publicado por el Instituto Nacional para la Evaluación de la Educación Publicado por acuerdo con la ocde, París

Usted puede copiar, descargar o imprimir los contenidos de la ocde para su propio uso y puede incluir extractos de publicaciones, bases de datos y productos de multimedia en sus propios documentos, presentaciones, blogs, sitios web y materiales docentes, siempre y cuando se dé el adecuado reconocimiento a la ocde, a la sep y al inee como fuentes y se les reconozca como propietarios del derecho de autor. Queda prohibida la reproducción total o parcial para uso público o comercial sin la autorización escrita del editor.

PRÓLOGO – 3

Prólogo El presente informe para México forma parte de las Revisiones de la OCDE sobre los Marcos de Evaluación para Mejorar los Resultados Escolares (para mayor información, consulte el anexo A). El propósito de la serie es explorar cómo pueden utilizarse los sistemas de evaluación para mejorar la calidad, equidad y eficiencia de la educación escolar. Las Revisiones examinan los diversos componentes de los marcos de evaluación que utilizan los países para mejorar los resultados de los alumnos. Dichos componentes incluyen la evaluación de todo el ámbito educativo: estudiantes, maestros, escuelas y sistema. México fue una de las naciones que decidieron participar en los estudios de país y recibir la visita de un Equipo de Revisión externo. Los miembros de la OCDE de dicho equipo fueron Paulo Santiago (Secretaría de la OCDE ), coordinador de la revisión; Isobel McGregor (consultora educativa, quien anteriormente trabajó en el Her Majesty’s Inspectorate en Escocia, Reino Unido); Deborah Nusche (Secretaría de la OCDE ); Pedro Ravela (director del Instituto de Evaluación Educativa de la Universidad Católica de Uruguay), y Diana Toledo (Secretaría de la OCDE ). Este documento, que es el informe del Equipo de Revisión, ofrece, desde una perspectiva internacional, un análisis independiente de los asuntos más importantes que afronta el marco de evaluación en México, las actuales iniciativas de política pública y los posibles enfoques en el futuro. El informe tiene tres propósitos: (1) proporcionar perspectivas y asesoría a las autoridades educativas mexicanas; (2) ayudar a otros países de la OCDE a entender el enfoque de México y; (3) aportar datos para el informe final comparativo del proyecto. La participación de México en la Revisión de la OCDE fue supervisada desde abril de 2010 hasta diciembre de 2011 por Alejandro Ramírez Torres, entonces coordinador de Asesores de la Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE ) de la Secretaría de Educación Pública (SEP ); y, a partir de enero de 2012, por Florencia Martínez Becerra, coordinadora de Proyectos Estratégicos, Análisis e Integración de Políticas Educativas en la Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE ) de la SEP . Una parte importante de la participación de México fue la preparación de un Informe de Antecedentes del País (CBR , Country Background Report 1) sobre las políticas de evaluación, como un esfuerzo conjunto entre el Instituto Nacional para la Evaluación de la Educación (INEE ) y la SEP . El Equipo de Revisión de la OCDE está muy agradecido con la autora principal del CBR (Valentina Jiménez Franco, jefa de proyecto en el INEE ) y con todos aquellos que la ayudaron a elaborar un documento informativo de alta calidad. El CBR es un producto importante del proyecto de la OCDE por méritos propios y una fuente primaria para el Equipo de Revisión de la Organización. A menos que se indique lo contrario, los datos de este documento fueron tomados del CBR de México. El CBR sigue los lineamientos preparados por la Secretaría de la OCDE y proporciona información, análisis y debate sobre el contexto nacional, la organización del sistema educativo, las características principales del marco de evaluación y las opiniones de los actores clave. En este sentido, el CBR y el presente informe se complementan entre sí y deben ser leídos en conjunto para obtener una visión más completa de la evaluación en México. La visita de revisión a México se llevó a cabo del 7 al 15 de febrero de 2012. El itinerario se presenta en el anexo B. La visita fue planeada por la OCDE en colaboración con las autoridades

1

N. del T. También se conoce como “Informe de las prácticas de la Evaluación de la Educación Básica en México, 2010”.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4 – PRÓLOGO

mexicanas. Las biografías de los miembros del Equipo de Revisión de la OCDE pueden consultarse en el anexo C. Cabe hacer notar que el alcance de la visita de revisión se limitó a la educación básica primaria y secundaria de México. Durante la visita, el equipo sostuvo conversaciones con una amplia gama de autoridades federales y estatales; funcionarios de educación y organismos pertinentes que se ocupan de la evaluación (a nivel federal y estatal); representantes de maestros; organizaciones de padres de familia; representantes de escuelas; representantes de educación indígena; representantes de alumnos con necesidades especiales; formadores de docentes; organizaciones de la sociedad civil, e investigadores interesados en los temas de evaluación. El equipo también visitó diversas escuelas, interactuando con los supervisores escolares, el personal de gestión escolar, profesores y estudiantes, en el Distrito Federal, el Estado de México y Puebla. La intención era ofrecer una amplia muestra representativa de información y opiniones sobre las políticas de evaluación y cómo mejorar su eficacia. En general, el Equipo de Revisión de la OCDE llevó a cabo 45 reuniones (con 55 horas de análisis) y entrevistó a cerca de 200 personas. El Equipo de Revisión de la OCDE desea dejar constancia de su profundo agradecimiento a las muchas personas que brindaron su valioso tiempo para aportar sus puntos de vista, experiencias y conocimientos. Las reuniones abiertas proporcionaron un caudal de ideas. Agradecemos especialmente al titular de la Unidad de Planeación y Evaluación de Políticas Educativas, Bernardo Rojas Nájera, y a la coordinadora nacional durante la visita, Florencia Martínez Becerra, por sus enormes esfuerzos para responder a las preguntas y necesidades del equipo. Quedamos impresionados con su eficiencia y experiencia, y disfrutamos de su grata compañía. Este agradecimiento se extiende a su equipo por el invaluable apoyo brindado, en particular a Lourdes Cobos Gutiérrez y Marcela Gallardo González, asesoras de la UPEPE . También damos las gracias a Alejandro Ramírez Torres, primer coordinador nacional, por preparar la participación de México en la Revisión de la OCDE . La cortesía y hospitalidad que nos brindaron durante toda nuestra estancia en México hizo que nuestra tarea como Equipo de Revisión fuera, al mismo tiempo, placentera y agradable, estimulante y desafiante. El Equipo de Revisión también agradece a sus colegas de la OCDE , en especial a Thomas Radinger, por preparar el anexo estadístico del presente informe (anexo D) y a Heike-Daniela Herzog por su apoyo editorial. Este informe está organizado en seis capítulos. El capítulo 1 presenta el contexto nacional, con la información sobre el sistema educativo mexicano, sus principales tendencias y preocupaciones y los últimos avances. El capítulo 2 examina el marco general de evaluación y analiza la manera en que sus diferentes componentes se combinan y pueden ser más coherentes para mejorar efectivamente el aprendizaje de los alumnos. Más adelante, los capítulos 3 al 6 presentan, de forma más detallada, cada uno de los componentes del marco de evaluación: la evaluación de los alumnos, la evaluación de los maestros, la evaluación de las escuelas y la evaluación del sistema; además, abordan las fortalezas, los retos y las políticas recomendadas. Las políticas recomendadas buscan aprovechar y fortalecer las reformas que ya están en marcha en México y el compromiso firme de mejora que se hizo patente entre los que nos reunimos. Las sugerencias deben tener en cuenta las dificultades que enfrenta cualquier grupo de visitantes, sin importar qué tan bien informados estén, para captar la complejidad de México y comprender plenamente todos los temas del ámbito educativo. Evidentemente este informe es responsabilidad del Equipo de Revisión de la OCDE . Si bien el CBR de México y otros documentos, al igual que las muchas discusiones con innumerables actores del sector educativo, han sido sumamente útiles, todos los errores o mala interpretación de este informe son nuestra responsabilidad.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ÍNDICE – 5

Índice Siglas y abreviaturas Capítulo 1  La educación en México

8 15

Características principales Principales tendencias y preocupaciones Avances principales Bibliografía

16 30 33 37

Capítulo 2  El marco de evaluación en México

39

Contexto y características Fortalezas Retos Recomendaciones de política educativa Bibliografía

40 47 52 59 68

Capítulo 3  La evaluación de los alumnos

69

Contexto y características Fortalezas Retos Recomendaciones de política educativa Bibliografía

70 78 82 90 100

Capítulo 4  La evaluación de los maestros Contexto y características Fortalezas Retos Recomendaciones de política educativa Bibliografía Capítulo 5  La evaluación de centros escolares Contexto y características Fortalezas

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

103 104 113 119 130 144 147 148 153

6 – ÍNDICE

Retos Recomendaciones de política educativa Bibliografía Capítulo 6  La evaluación del sistema educativo Contexto y características Fortalezas Retos Recomendaciones de política educativa Bibliografía Conclusiones y recomendaciones

156 162 172 175 176 181 185 191 198 201

El contexto del sistema educativo Fortalezas y retos Recomendaciones de política educativa

Anexo A. La revisión de la OCDE sobre los Marcos de Evaluación para Mejorar los Resultados Escolares Anexo B. Programa de la visita Anexo C. Integrantes del Equipo de Revisión Anexo D. Indicadores comparativos sobre evaluación Anexo E. Instrumentos para la evaluación de los maestros

201 202 211

219 220 223 225 244

Cuadros Cuadro 1.1 Matriculación de alumnos por nivel educativo, tipo y modalidad, año escolar 2010-2011 Cuadro 1.2 Matrícula de alumnos por nivel de educación y tipo de proveedor, año escolar 2010-2011 Cuadro 4.1 Factores considerados por el sistema de promoción vertical (Escalafón) Cuadro 4.2 Factores considerados en el Programa Nacional de Carrera Magisterial (2011) Cuadro 4.3 Evolución de los factores y ponderaciones en el Programa Nacional de Carrera Magisterial Cuadro 4.4 Factores considerados para la Evaluación Universal Cuadro 4.5 Un marco para la evaluación de los maestros de México Cuadro 6.1 Ciclos de evaluación de EXCALE Cuadro 6.2 Evaluaciones del INEE sobre los recursos y procesos de la educación

18 20 108 110 111 113 132 177 179

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ÍNDICE – 7

Gráficas Gráfica 1.1 El sistema educativo mexicano Gráfica 4.1 El sistema de promoción vertical (Escalafón) y el Programa Nacional de Carrera Magisterial Gráfica 4.2 Fuentes de la retroalimentación recibida al menos dos veces al año por los maestros de secundaria

17 109 118

Recuadros Recuadro 1.1 Programas educativos seleccionados: características principales Recuadro 4.1 La profesión docente en México: características principales Recuadro 4.2 Propuesta de la OCDE para un sistema de evaluación para los maestros en servicio Recuadro 5.1 Sistema para la autoevaluación de las escuelas para una Gestión de Calidad Recuadro 5.2 Resultados del proyecto de Autoevaluación de escuelas eficientes del SICI Recuadro 6.1 Informes nacionales de evaluación de la educación en Nueva Zelanda

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

35 105 114 151 165 195

8 – SIGLAS Y ABREVIATURAS

Siglas y abreviaturas ACE

Alianza por la Calidad de la Educación

ANMEB

Acuerdo Nacional para la Modernización de la Educación Básica

ATP

Asesor Técnico Pedagógico

CAM

Centro de Atención Múltiple

CBR

Informe de antecedentes del país. Informe de las prácticas de la Evaluación de la Educación Básica en México

CEDE

Centro de Desarrollo Educativo

CENEVAL

Centro Nacional de Evaluación para la Educación Superior

CEP

Coordinación de la Evaluación del Programa

CET

Centro de Estudios Tecnológicos

CNCM

Coordinación Nacional del Programa de Carrera Magisterial

CONAEDU

Consejo Nacional de Autoridades Educativas

CONAFE

Consejo Nacional de Fomento Educativo

CONALEP

Colegio Nacional de Educación Profesional Técnica

CONAPASE

Consejo Nacional de Participación Social en la Educación

CONAPO

Consejo Nacional de Población

CONAPRED

Consejo Nacional para Prevenir la Discriminación

CONEVAL

Consejo Nacional de Evaluación de la Política de Desarrollo Social

DG

Dirección General

DGAIR

Dirección General de Acreditación, Incorporación y Revalidación

DGDC

Dirección General de Desarrollo Curricular

DGDGIE

Dirección General de Desarrollo de la Gestión e Innovación Educativa

DGEI

Dirección General de Educación Indígena

DGEP

Dirección General de Evaluación de Políticas

DGESPE

Dirección General de Educación Superior para Profesionales de la Educación

DGFCMS

Dirección General de Formación Continua de Maestros en Servicio

DGME

Dirección General de Materiales Educativos

DGP

Dirección General de Planeación

EBSEN

Estadística Básica del Sistema Educativo Nacional

EGEL

Examen General para Egresados de Licenciatura

ENAMS

Examen Nacional para la Actualización de los Maestros en Servicio

ENCHD

Examen Nacional de Conocimientos y Habilidades Docentes

ENLACE

Evaluación Nacional del Logro Académico en Centros Escolares

EXANI I

Examen Nacional de Ingreso a la Educación Media Superior

EXANI II

Examen Nacional de Ingreso a la Educación Superior

EXCALE

Examen de Calidad y Logro Educativo

FAEB

Fondo de Aportaciones para la Educación Básica y Normal

FAM

Fondo de Aportaciones Múltiples

IDANIS

Instrumento para el Diagnóstico de Alumnos de Nuevo Ingreso a Secundaria

IDCIEN

Instrumento de Diagnóstico y Clasificación para el Ingreso a Educación Normal

IEA

Asociación Internacional para la Evaluación del Logro Educativo

INEE

Instituto Nacional para la Evaluación de la Educación

INEGI

Instituto Nacional de Estadística y Geografía

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

SIGLAS Y ABREVIATURAS – 9

LGE

Ley General de Educación

LLECE

Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación

OCDE

Organización para la Cooperación y el Desarrollo Económicos

OEIF

Órgano de Evaluación Independiente con Carácter Federalista

OREALC

Oficina Regional de Educación para América Latina y el Caribe

PAE

Programa Anual de Evaluación

PAT

Plan Anual de Trabajo

PEC

Programa Escuelas de Calidad

PEMLE

Programa Emergente para la Mejora del Logro Educativo

PETC

Programa Escuelas de Tiempo Completo

PETE

Plan Estratégico de Transformación Escolar

PISA

Programa para la Evaluación Internacional de Alumnos

PNCM

Programa Nacional de Carrera Magisterial

PROSEDU

Programa Sectorial de Educación

PSNFCSP

Programa del Sistema Nacional de Formación Continua y Superación Profesional

RENAME

Registro Nacional de Alumnos, Maestros y Escuelas

RGEB

Regiones para Ia Gestión de la Educación Básica

RIEB

Reforma Integral para la Educación Básica

SEB

Subsecretaría de Educación Básica

SEMS

Subsecretaría de Educación Media Superior

SEP

Secretaría de Educación Pública

SES

Subsecretaría de Educación Superior

SIE

Sistema de Indicadores Educativos

SIEEB

Sistema de Información Estadística de Educación Básica

SININDE

Sistema Nacional de Indicadores Educativos

SISTESEP

Sistema para el Análisis de la Estadística Educativa

SNACEEB

Sistema Nacional de Acreditación para Centros Escolares de Educación Básica

SNEE

Sistema Nacional de Evaluación Educativa

SNIE

Sistema Nacional de Información Educativa

SNTE

Sindicato Nacional de Trabajadores de la Educación

TALIS

Estudio Internacional sobre Docencia y Aprendizaje

TIMSS

Estudio Internacional de Tendencias en Matemática y Ciencias

UPEPE

Unidad de Planeación y Evaluación de Políticas Educativas

USAER

Unidad de Servicios de Apoyo a la Educación Regular

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

10 – RESUMEN EJECUTIVO

Resumen ejecutivo Los resultados del aprendizaje de los alumnos en México están considerablemente por debajo del promedio de la OCDE . Sin embargo, los análisis de los resultados de las tendencias de PISA (Programa para la Evaluación Internacional de Alumnos) han mostrado cierta mejora alentadora, particularmente en matemáticas. A pesar de la impresionante expansión del sistema educativo en las últimas décadas, el nivel del logro educativo sigue siendo un reto. Asimismo, el alto porcentaje de alumnos que abandonan el sistema educativo de forma temprana y con habilidades deficientes sigue siendo un problema importante. Además, hay indicios de que el logro académico está fuertemente influido por factores socioculturales. El papel de la evaluación como instrumento clave para lograr la calidad y la equidad en la educación se ve reforzado por una serie de iniciativas de política pública. México presentó recientemente una amplia reforma curricular para mejorar la coherencia del sistema y su enfoque en el desempeño de los alumnos: la Reforma Integral de la Educación Básica (RIEB ). Por otro lado, el gobierno federal financia parcialmente la educación pública a través de programas educativos especiales que suelen incluir un componente de evaluación importante. Si bien existen disposiciones para la evaluación a nivel de alumnos, docentes, escuelas y del sistema, aún hay desafíos para fortalecer algunos de los componentes del marco de evaluación, de manera que aseguren su articulación, coherencia y complementariedad, y establezcan prácticas de evaluación con miras a la mejora. Para el desarrollo de políticas de evaluación en México fueron identificadas las siguientes prioridades: Mantener los esfuerzos para fortalecer la evaluación, y poner mayor énfasis en su función de mejora México ha logrado un notable progreso en el desarrollo de las bases para un marco de evaluación. A principios de la década del 2000, la política educativa confirió un papel estratégico fundamental a la evaluación como herramienta imprescindible para la planeación, la rendición de cuentas y la elaboración de políticas. Sin embargo, en la actualidad no existe un marco integral que se perciba como una unidad coherente que conecte claramente todos sus componentes. Además, es evidente que las iniciativas de política en materia de evaluación de los últimos años han hecho hincapié en la rendición de cuentas más que en la mejora. El primer paso importante para la elaboración de políticas es el desarrollo de un plan estratégico o un documento que conceptualice un marco sistémico de evaluación y articule los medios para alcanzar la coherencia entre sus diferentes componentes. Una de las prioridades es reforzar la función de la evaluación y sus procedimientos para mejorar el aprendizaje de los alumnos. Aprovechar el potencial del marco de evaluación requiere del establecimiento de estrategias que fortalezcan los vínculos con la práctica en el aula, donde se lleva a cabo la mejora del aprendizaje del alumno. Esto implica reforzar el papel de las autoridades educativas estatales en el desarrollo de estructuras para manejar los procedimientos de evaluación y proporcionar el apoyo necesario para el seguimiento de la mejora escolar. Un elemento vital para que el marco de evaluación sea eficaz es su alineación correcta con la RIEB . Un reto adicional lo constituyen las limitadas competencias de evaluación de todo el sistema educativo, a pesar de los considerables esfuerzos nacionales para estimular una cultura de la evaluación y para REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

RESUMEN EJECUTIVO – 11

proporcionar oportunidades de formación de competencias. Por lo tanto, un área de prioridad de política pública es consolidar los esfuerzos para mejorar la capacidad para evaluar. Aprovechar la implementación de la reforma curricular para ampliar los enfoques de la evaluación de los alumnos Los maestros juegan un importante papel en la evaluación de los alumnos en México, ya que la evaluación continua, tanto formativa como sumativa, es una parte esencial de sus responsabilidades profesionales. Sin embargo, la enseñanza, el aprendizaje y la evaluación se siguen llevando a cabo de manera “tradicional”: por lo general, el maestro expone la lección al frente de su clase, los alumnos no participan en la planeación y organización de sus aprendizajes y la evaluación se concentra en calificaciones sumativas. Por ello, México necesita un compromiso más fuerte para mejorar el desempeño de los alumnos a través del uso de la evaluación formativa. En este contexto, la aplicación de la RIEB es una oportunidad, ya que ofrece una propuesta sólida para una evaluación dentro del aula. La RIEB amplía el significado de la evaluación, concibiéndolo como una parte esencial del proceso de enseñanza-aprendizaje. Además, propone el uso de una amplia gama de instrumentos de evaluación, destaca la finalidad formativa de la evaluación dentro del aula e introduce un cambio fundamental al dar un nuevo significado a las calificaciones. Otra preocupación es el predominio de ENLACE (Evaluación Nacional del Logro Académico en Centros Escolares, una prueba censal y estandarizada de los alumnos). Si bien ENLACE era originalmente un instrumento de evaluación diagnóstica y formativa, los nuevos objetivos y las consecuencias que se agregaron después dieron lugar a ciertos efectos no deseados como “enseñar para aprobar la prueba”. De aquí que una de las principales prioridades de política pública debe ser el desarrollo de estrategias que eliminen o al menos reduzcan los efectos negativos actuales de ENLACE . Algunas estrategias podrían ser reducir las consecuencias de alto impacto de esta prueba o convertirla en una herramienta para la evaluación sumativa externa de los alumnos, es decir, en un sistema de exámenes externos. Asimismo, si se pretende alinear la calificación de los alumnos con los estándares y resultados de aprendizaje esperados por la RIEB , de una manera consistente en todo el país, una de las prioridades debe ser establecer mecanismos para la ponderación de las calificaciones, tanto dentro como entre las escuelas. Desarrollar estándares de enseñanza, fortalecer la evaluación de los docentes con miras a la mejora y establecer su certificación La evaluación de los maestros es reconocida como una importante herramienta para mejorar el aprendizaje de los alumnos y es fundamental en la evaluación global y el marco de evaluación. Esto se refleja en el enfoque exhaustivo con el que cuenta México para la evaluación docente, que incluye una multitud de esquemas y programas. A pesar de que la evaluación tiene un consenso general positivo como un componente normal de la trayectoria docente, da la impresión de ser compleja y fragmentada. El sistema global de evaluación de los maestros es el resultado de la acumulación de iniciativas y programas aislados que evolucionaron de forma independiente en el tiempo y no forman un todo coherente. Además, tal como está concebida, no enfatiza la promoción de la mejora docente. Funciona primordialmente como un mecanismo para otorgar premios a los maestros, basado en ​​ instrumentos que miden de manera indirecta la calidad de la enseñanza (resultados de ENLACE y los exámenes estandarizados del profesorado). El uso de los resultados duros de ENLACE para la evaluación docente también plantea importantes cuestiones de equidad y puede generar efectos perjudiciales REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

12 – RESUMEN EJECUTIVO

para las prácticas en el aula. Para hacer frente a estos retos, se propone el desarrollo de un modelo basado en dos componentes principales: (i) La evaluación de los maestros para la mejora que introduzca un componente dedicado predominantemente a una evaluación para el desarrollo profesional, que sea exclusivo del plantel, cuyo responsable sea el director de la escuela, que se utilice para la gestión interna del rendimiento y para proporcionar una evaluación de carácter cualitativo (únicamente) a fin de orientar los planes de desarrollo profesional; y (ii) La evaluación de los maestros para su avance profesional como modelo de certificación de competencias para la práctica dentro y entre trayectorias docentes, asociada a la promoción profesional y basada en una mayor variedad de instrumentos. Esto obliga a México a establecer un conjunto claro de estándares de enseñanza coherentes que indiquen a los maestros y a la sociedad en general, los conocimientos, habilidades y actitudes esenciales, asociados con la enseñanza eficaz en las diferentes etapas de la trayectoria profesional docente. Implantar un sistema integral y objetivo para evaluar a las escuelas El concepto de evaluación de las escuelas no está bien integrado en los principios y prácticas de la educación mexicana. En general, los componentes fundamentales del desarrollo y aplicación de una política exitosa para la evaluación y mejora de las escuelas no se encuentran en los enfoques adoptados actualmente en México. Falta un sistema continuo y significativo de evaluación externa de las escuelas. El monitoreo externo de los centros escolares se lleva a cabo por el sistema de supervisión existente en los diferentes estados del país. Sin embargo, en general, la capacidad de los supervisores para participar en las evaluaciones de las escuelas de manera que impulsen su mejora y produzcan una estimación precisa de la calidad del trabajo del plantel, es limitada en las condiciones actuales. El sistema no incluye aspectos cualitativos que sean confiables y válidos, que entreguen una radiografía completa de la escuela. Los esfuerzos a nivel federal han priorizado el desarrollo de materiales para la autoevaluación. Estos incluyen asesoramiento, instrumentos y opciones para la autoevaluación y para la construcción e implementación de un plan de mejoramiento escolar efectivo como uno de los resultados del proceso de autoevaluación. Sin embargo, la realidad es que este trabajo no produjo ningún enfoque sostenido y consistente para la autoevaluación en todo el país. A largo plazo, México debe desarrollar un sistema integral de evaluación de centros escolares. Dicho sistema incluiría por lo menos los siguientes elementos: garantizar que la recomendación nacional de autoevaluación penetre en todo el sistema, reforzando la conciencia del rigor necesario para lograr que la autoevaluación conduzca a la mejora; asegurar que todos los estados recomienden o exijan a las escuelas participar en la autoevaluación; fomentar y alentar que las entidades federativas cuenten con mecanismos a través de los cuales puedan participar en la evaluación externa de las escuelas; fortalecer y ampliar el papel de los supervisores como posibles evaluadores externos. Otra de las prioridades es garantizar que los directores escolares tengan o desarrollen las capacidades para ejercer el liderazgo educativo en sus escuelas. Fortalecer el uso de información al nivel del sistema y llenar algunos vacíos de información en el sistema nacional de monitoreo El monitoreo de la calidad del sistema educativo es un componente consolidado en el enfoque mexicano para la evaluación. Los responsables de la política pública y la sociedad civil han puesto mucha atención en el desarrollo de indicadores nacionales y estatales que midan la calidad y el progreso del sistema educativo en su conjunto. Este enfoque clave REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

RESUMEN EJECUTIVO – 13

en la evaluación del sistema se refleja en el establecimiento de sistemas de información integrales y evaluaciones nacionales basadas en muestras que se han perfeccionado continuamente durante la última década. Sin embargo, el reto principal es asegurarse de que las partes interesadas utilicen adecuadamente los datos disponibles. Los datos del sistema no se aprovechan bien para informar sobre el desarrollo de las políticas. Parece haber una capacidad limitada o poco interés a nivel estatal y nacional para participar en un análisis e interpretación más profunda de los resultados. Otro reto es facilitar el uso de los datos a los profesionales de los centros escolares. Esto requiere el desarrollo de estrategias para optimizar el uso de los datos del sistema por las partes interesadas. Además, debe mejorarse la recopilación de datos en algunas áreas, a saber: las trayectorias individuales de docentes y alumnos en el sistema educativo; el monitoreo de las inequidades en los resultados de aprendizaje entre grupos de alumnos específicos; los antecedentes socioeconómicos y demográficos de los educandos; y las percepciones de los actores ​​sobre el ámbito de la enseñanza y el aprendizaje. Por último, los EXCALE (Exámenes de Calidad y Logro Educativos, basados en muestras de evaluaciones estandarizadas de los alumnos para el monitoreo nacional) deben revisarse continuamente para garantizar su adecuación a los objetivos nacionales de la educación.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 15

Capítulo 1 La educación en México

La administración y operación de las escuelas está descentralizada y los estados son responsables de la prestación de servicios escolares. Esto se desprende del Acuerdo Nacional para la Modernización de la Educación Básica de 1992, firmado entre el gobierno federal, los gobiernos estatales y el Sindicato Nacional de Trabajadores de la Educación, que transfirió la operación de la educación básica federal a los gobiernos estatales. Sin embargo, el gobierno federal a través de la Secretaría de Educación Pública (SEP ) es responsable de la política educativa nacional y de la estrategia general para el sistema educativo. La SEP regula áreas como el financiamiento, la evaluación y la administración del personal. Conserva la autoridad normativa para asegurar la uniformidad de los servicios educativos en todo el país y garantizar su carácter nacional. Otros actores importantes son el Consejo Nacional de Autoridades Educativas (CONAEDU ), que asume las responsabilidades de la planeación educativa y la coordinación de la toma de decisiones entre el gobierno federal y los estados, el Instituto Nacional para la Evaluación de la Educación (INEE ), el Centro Nacional de Evaluación para la Educación Superior (CENEVAL ), el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL ) y el Sindicato Nacional de Trabajadores de la Educación (SNTE ). Las principales características del sistema educativo mexicano son: el predominio de la jornada escolar de medio tiempo, los difíciles contextos sociales que enfrentan las escuelas, una infraestructura escolar deficiente, los numerosos retos a los que se enfrenta la profesión docente; la limitada autonomía escolar y las considerables desigualdades de financiamiento. Los resultados del aprendizaje de los alumnos en México están muy por debajo del promedio de la OCDE , a pesar de que se han logrado algunos avances en la última década. También existe preocupación por las grandes desigualdades sociales en el sistema educativo. En los últimos años se pusieron en marcha importantes reformas, que incluyeron la Reforma Integral de la Educación Básica (RIEB ), la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE ) y una serie de programas educativos federales con objetivos específicos.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

16 – 1. LA EDUCACIÓN EN MÉXICO

Características principales Contexto México tiene alrededor de 112 millones de habitantes, ocupa el lugar 11 entre los países más poblados del mundo y el 14 por la extensión de su territorio. Es una república democrática federal formada por 31 estados y un Distrito Federal (D.F.), que es la capital política y administrativa. Las entidades federativas más pobladas son Estado de México (15.2 millones de habitantes), el Distrito Federal (8.9 millones), Veracruz (7.6 millones), Jalisco (7.5 millones), Puebla (5.8 millones) y Guanajuato (5.5 millones). Alrededor de un tercio de la población del país está en el rango de edad de 0 a 14 años (datos del censo de 2010 del INEGI , Instituto Nacional de Estadística y Geografía, www.inegi.org.mx). Cerca de 78% de la población total vive en zonas urbanas, siendo las más grandes, la Ciudad de México (con cerca de 20 millones de habitantes), Guadalajara y Monterrey aunque en la última década las ciudades medianas también han presentado un importante crecimiento. Las grandes ciudades de México muestran problemas propios de cualquier otra metrópoli. Por otro lado, las zonas rurales tienen problemas principalmente con los servicios y están muy fragmentadas. El 22% de su población vive en localidades con menos de 250 habitantes. Esta dispersión está estrechamente vinculada a la pobreza, la que a su vez está relacionada con las condiciones geográficas. Como consecuencia, la oferta de servicios y el desarrollo comunitario son muy escasos. La economía de México ocupa el lugar 13 entre las más grandes del mundo en términos nominales y el 11 por paridad de poder adquisitivo. En 2010, su PIB per cápita fue de 9 123 dólares estadounidenses, situándolo en el lugar 54 del mundo (datos en línea del Banco Mundial). Los bajos niveles de educación a menudo son señalados como uno de los principales inhibidores de la prosperidad y el crecimiento económico (consulte, por ejemplo, Arias et al., 2010). En 2008, 50.6 millones de mexicanos (47.4%) eran pobres, ya que carecían de ingresos suficientes para satisfacer sus necesidades de servicios de salud, educación, alimentación, vivienda y transporte público, a pesar de que dedicaban todos sus recursos económicos para esos fines. Además, 19.5 millones (18.2%) tenían pobreza alimentaria, por carecer de ingresos suficientes para adquirir alimentos básicos. Seis de cada diez pobres en alimentos viven en las zonas rurales del país (CONEVAL , 2009). La diversidad cultural es muy amplia. La población indígena rebasa los 8 millones de habitantes, provenientes de 62 grupos etnolingüísticos que hablan una de las 68 lenguas indígenas y 364 variantes dialectales. Estas comunidades muestran grados altos y muy altos de desventaja social, hecho que se debe, en parte, a su ubicación remota que dificulta el acceso a los servicios educativos.

La estructura del sistema educativo El sistema educativo mexicano es grande. En el año escolar 2011-2012, se inscribieron 30 115 977 alumnos y se emplearon 1 472 738 maestros, en un total de 242 621 escuelas (datos proporcionados por la SEP ), para todos los niveles de educación básica y media superior. El sistema educativo está organizado en dos niveles secuenciales: la educación básica (edades típicas de 3 a 14 años) y educación media superior (edades típicas de 15 a 17 años). La educación básica está formada: educación preescolar (de 3 a 5 años), educación primaria (grados 1-6) y educación secundaria (grados 7-9) (consulte la gráfica 1.1).1 La educación es obligatoria REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 17

durante 15 años, que incluyen tres años de educación preescolar (de 3 a 5 años de edad), seis de educación primaria, tres de secundaria (de 6 a 15 años de edad) y, a partir de 2012, tres de educación media superior (grados 10 a 12). En la educación primaria, la enseñanza suele estar a cargo de un maestro normalista general, mientras que a partir de la educación secundaria, las clases son impartidas por profesores especializados en las distintas materias. Gráfica 1.1 El sistema educativo mexicano Edad

3

4

Grado

5

6

7

8

9

10

11

12

13

14

15

1º

2º

3º

4º

5º

6º

7º

8º

9º

10º

Educación básica Preescolar

Nivel / tipo / modalidad

16

17

11º

12º

Educación media superior

Primaria

Secundaria

Bachillerato

Modalidades:

Modalidades:

Modalidades:

Modalidades:

General

General

General

Comunitaria

Comunitaria

Técnica

General, tecnológica, telebachillerato, Colegio de Bachilleres

Indígen

Indígena

Telesecundaria

Modalidades:

Comunitaria

Colegio Nacional de Educación Profesional Técnica (CONALEP ); Centro de Estudios Tecnológicos (CET ); otras.

Para trabajadores

Educación profesional técnica

Fuente: SEP (2011).

La educación preescolar y la primaria se ofrecen en tres modalidades distintas, cada una asociada normalmente con un tipo de escuela: general, comunitaria e indígena. Cada tipo trata de adaptar el aprendizaje a sus circunstancias: necesidades lingüísticas y culturales, lugares remotos y grupos de migrantes. Las escuelas generales son más típicas de las zonas urbanas y rurales e inscriben a la gran mayoría de los alumnos de estos niveles educativos (consulte el cuadro 1.1). Las escuelas indígenas se caracterizan por el bilingüismo y biculturalismo: una escuela donde se enseña al menos una lengua indígena y elementos de la cultura indígena se encuentran inmersos en las actividades escolares. Esto no quiere decir necesariamente que la mayoría de los alumnos sean de origen indígena. Los cursos comunitarios están dirigidos a pequeñas comunidades y son ofrecidos por un organismo gubernamental que fue creado en 1971, CONAFE (Consejo Nacional de Fomento Educativo), con el objetivo de fomentar la educación entre las poblaciones rurales y urbanas con alta marginación. La mitad de las escuelas primarias indígenas y al menos tres cuartas partes de los cursos comunitarios se encuentran en zonas rurales. Del total de las escuelas primarias, 44% son multigrado (los maestros enseñan dos o más grados al mismo tiempo), incluyendo todos los cursos comunitarios (INEE , 2009). La educación secundaria se ofrece en cinco modalidades distintas, cada una asociada normalmente con algún tipo de escuela: general, técnica, telesecundaria, comunitaria y para los trabajadores. En este nivel de educación, las escuelas generales atienden a cerca de la mitad de la matrícula de alumnos, mientras que cerca de 28% del alumnado asiste a una escuela técnica (una escuela que, además de la educación general, ofrece una amplia gama de materias “técnicas”, como tecnología de la información y la comunicación o electrónica, y que permite el acceso a cualquier tipo de educación media superior) (consulte el cuadro 1.1). El sistema de telesecundarias —al que asiste uno de cada cinco alumnos— fue creado en la década de 1960 para proporcionar educación obligatoria en las zonas rurales o de difícil acceso en México; aunque actualmente muchas telesecundarias también se encuentran en las zonas urbanas. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

18 – 1. LA EDUCACIÓN EN MÉXICO

La instrucción se ofrece a través de programas de televisión especializados y materiales impresos y digitales, que son complementados con la enseñanza de los maestros. Los docentes son considerados facilitadores y están especialmente capacitados para esta modalidad educativa. A diferencia de las escuelas secundarias típicas, donde hay un maestro por asignatura, el sistema de telesecundarias permite tener un solo docente por grado o escuela. En el año escolar 2008-2009, alrededor de 20% de las telesecundarias tenía uno o dos profesores a cargo de los tres grados (INEE , 2009). Una pequeña proporción de los alumnos (0.4%) asiste a los cursos comunitarios de CONAFE . Además, se proporcionan cursos específicos de secundaria para los trabajadores (0.5% de la matrícula). Los alumnos reciben un certificado oficial al terminar la educación secundaria (Certificado de Educación Básica), el cual se requiere para inscribirse en la educación media superior. La educación media superior es de dos tipos: • Programas generales (Bachillerato). Incluye programas de 2 a 4 años, en cuatro modalidades: general (42.8% de la matrícula), tecnológico (33.8%), telebachillerato (4.6%) y Colegio de bachilleres (18.8%). Estos programas están orientados principalmente a la vida laboral o a la continuación de estudios de educación superior. El Colegio de bachilleres es un subsistema de naturaleza más vocacional, con una preparación adicional. Los programas que otorgan el “bachillerato tecnológico” incluyen 60% de asignaturas generales y 40% de materias vocacionales (Kis et al., 2009). • Programas profesionales técnicos: Tienen una duración típica de tres años y son ofrecidos por varios subsistemas. El subsistema C ONALEP abarca más de 70% de los alumnos (Kis et al., 2009). El programa incluye 35% de materias generales y 65% de asignaturas vocacionales. Los alumnos deben completar 360 horas de capacitación práctica (Kis et al., 2009). El objetivo de estos programas es otorgar una formación inicial a los alumnos para que se incorporen al mercado laboral y, al mismo tiempo, permitirles continuar con sus estudios.

Cuadro 1.1 Matriculación de alumnos por nivel educativo, tipo y modalidad, año escolar 2010-2011 Nivel/tipo

Matrícula total

Proporción de la matrícula (%)

Matrícula por modalidad (proporción en el nivel y tipo de educación) (%)

Sistema escolar total

29 853 979

100

Educación básica

25 666 451

86.0 General

Comunitaria

Indígena

4 641 060

15.5

88.2

3.4

8.4

14 887 845

49.9

93.6

0.8

5.7

General

Técnica

Telesecundaria

Para los trabajadores

Comunitaria

50.3

28.2

20.6

0.5

0.4

General

Tecnológica

Telesecundaria

Colegio de Bachilleres 18.8

Preescolar Primaria

Secundaria

6 137 546

20.6

Educación media superior

4 187 528

14.0

Programas generales Programas técnicos profesionales

3 811 473 376 055

12.8 1.3

42.8

33.8

4.6

CONALEP

CET

Otra

76.6

1.1

22.4

Fuente: SEP (2011).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 19

La educación también cuenta con inscripciones para servicio no escolarizado y modos mixtos. Estos se refieren a las opciones de aprendizaje abiertas o a distancia, sin que se requiera la presencia física de tiempo completo en una institución de aprendizaje. Abarcan educación inicial (antes de preescolar), educación de adultos (para aquellos que no completaron su educación básica), educación especial (ver más abajo) y formación para los trabajadores (para personas con habilidades básicas). Estas opciones se adaptan a las necesidades y funciones de los usuarios, con el apoyo de asesores. En 2008-2009, los servicios no escolarizados atendieron a cerca de 5 millones de personas (INEE , 2009). Los alumnos con necesidades especiales (discapacitados y superdotados) asisten a los centros escolares básicos o reciben su educación en Centros de Atención Múltiple, CAM ). Los CAM atienden desde preescolar hasta educación media superior y ofrecen formación para el mercado laboral a los alumnos de hasta 22 años de edad. La Secretaría de Educación Pública (SEP ), a través del Programa de Fortalecimiento de la Educación Especial y de la Integración Educativa, administra los programas de educación especial y apoya los servicios de educación especial de las 32 entidades federativas. Las escuelas básicas reciben asistencia para los alumnos con necesidades especiales a través de las unidades creadas para apoyar este tipo de educación en las escuelas regulares la Unidad de Servicios de Apoyo a la Educación Regular (USAER ). Estas unidades fomentan el uso de métodos, técnicas y materiales específicos para apoyar el aprendizaje de los alumnos con necesidades especiales en las escuelas regulares, y suministran los recursos necesarios. En todo el país existen 1 519 CAM y 3 858 USAER . Asimismo, se cuenta con una estructura que proporciona información y orientación a maestros y familias acerca de las opciones y estrategias para la educación de los alumnos con necesidades especiales, por lo general, a través de los Centros de Recursos e Información para la Integración Educativa (CRIE ) y las Unidades de Orientación al Público (UOP ).

La administración y operación del sistema educativo La descentralización educativa La gran mayoría de los alumnos asisten a escuelas públicas. En el año escolar 2010-2011, la proporción de estudiantes que asistió a las escuelas públicas fue 90.8% en la educación básica y 82.5% en la educación media superior (consulte el cuadro 1.2). Las escuelas privadas no tienen subsidio público y obtienen sus recursos de las colegiaturas. Las escuelas privadas que ofrecen educación básica necesitan obtener la aprobación de las autoridades educativas estatales para poder operar. Además, están obligadas a seguir el plan de estudios nacional establecido por la SEP . Sin embargo, tienen autonomía para administrar sus recursos humanos y elegir sus métodos de enseñanza y aprendizaje. La administración y operación de las escuelas está descentralizada y los estados son responsables de la prestación de servicios escolares. Cerca de 84% de los alumnos inscritos en la educación básica están en escuelas responsabilidad de las entidades federativas, alrededor de 9% estudian en escuelas privadas y menos de 7% asiste a escuelas bajo la jurisdicción directa del gobierno federal (consulte el cuadro 1.2). La distribución de la matrícula estudiantil es diferente en el nivel medio superior: 45% está en centros escolares regidos por los gobiernos estatales, 25% en planteles bajo la jurisdicción del gobierno federal, 18% en colegios privados y 12% en escuelas administradas por organismos autónomos (como las universidades autónomas).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

20 – 1. LA EDUCACIÓN EN MÉXICO

Cuadro 1.2 Matrícula de alumnos por nivel de educación y tipo de proveedor, año escolar 2010-2011 Proporción de matrícula por tipo de proveedor Nivel/tipo

Matrícula total

Provisión pública (%) Total

Federal

estatal

Autónoma

Provisión privada (%)

Sistema escolar total

29 853 979

89.7

9.2

78.7

1.8

10.3

Educación básica

25 666 451

90.8

6.6

84.3

0.02

9.2

Preescolar

4 641 060

86.0

8.4

77.6

0.04

14.0

14 887 845

91.7

5.9

85.8

0.00

8.3

Secundaria

6 137 546

92.3

6.8

85.4

0.03

7.7

Educación media superior

4 187 528

82.5

25.2

44.8

12.4

17.5

Programas generales

3 811 473

82.2

26.3

42.8

13.1

17.8

376 055

85.3

14.9

65.1

5.4

14.7

Primaria

Programas técnicos profesionales Fuente: SEP (2011).

La educación se descentralizó en 1992 a través del Acuerdo Nacional para la Modernización de la Educación Básica (ANMEB ), firmado por el gobierno federal, los gobiernos estatales y el Sindicato Nacional de Trabajadores de la Educación (SNTE ). Este acuerdo político transfirió la operación de la educación básica federal a los gobiernos estatales, creando subsistemas de educación para cada estado. Dichos subsistemas comprenden preescolar, primaria y secundaria, formación inicial de profesores (en las universidades para docentes o en el subsistema de Escuelas Normales), y en la educación de maestros en servicio (además de las ofertas de educación media superior y superior). Los servicios educativos en el Distrito Federal permanecieron bajo la administración federal de la SEP a través de un organismo llamado Administración Federal de Servicios Educativos en el Distrito Federal. La distribución de las responsabilidades en materia de educación, resultado del ANMEB , fue formalizado por la Ley General de Educación (LGE ), establecida en 1993, que sigue siendo el principal marco legal que regula la educación en México, con revisiones en 2002, 2004, 2006 y 2009 (consulte el capítulo 2 para más detalles). Los analistas destacan que el ANMEB es, en esencia, un pacto entre los poderes reales que coexisten en la educación —la SEP y el SNTE — para transferir la operación de los servicios educativos federales a los estados, conservando el carácter nacional del sistema educativo. El acuerdo se realizó de manera que la autoridad central mantuviera las principales áreas de decisión (véase más adelante), incluyendo el control de la mayoría del financiamiento. El SNTE mantuvo el control de las negociaciones laborales en el sistema y los estados asumieron los aspectos operativos de los servicios educativos transferidos (Fierro et al., 2009). Como lo explica Ornelas (1998): “En otras palabras, el poder está centralizado y la administración está descentralizada”. Cabe señalar que en el momento en que se firmó el ANMEB , los estados ya estaban ofreciendo —en distintos grados— sus propios servicios de educación básica. Por ejemplo, en tres estados la prestación de servicios de educación básica estaba equilibrada entre el gobierno estatal y el federal: Estado de México (alrededor de 57% de las escuelas de educación básica eran operadas por el estado), Baja California (47%) y Nuevo León (44%). En otros 17 estados, el porcentaje de escuelas básicas con gestión estatal estuvo entre 20 y 35%; mientras que en los 11 estados restantes, el porcentaje era inferior a 15% (cuadro 1.1 en Fierro et al., 2009). Sin embargo, tras el ANMEB , la integración de servicios de educación básica, federales y estatales quedó incompleta. Desde 2009, sólo 21 estados están gobernados por una autoridad educativa común (una Secretaría de Educación estatal en 18 estados y un Instituto descentralizado del gobierno local en 3 estados) que regula los servicios federales transferidos y los servicios estatales previos a 1992. En los otros 10 estados coexisten una Secretaría de Educación estatal REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 21

y un Instituto descentralizado (a cargo de los servicios federales transferidos). En estos estados, existen dos situaciones distintas: en ocho estados el Instituto descentralizado estaba bajo el liderazgo de la SEP , mientras que en los otros dos estados (Estado de México y Nayarit), el Instituto descentralizado estaba bajo un liderazgo diferente al de la SEP (cuadro 1.3 en Fierro et al., 2009).

La Secretaría de Educación Pública Además de su papel como proveedora de educación, la SEP es responsable de la política educativa nacional y de la estrategia global para el sistema educativo. A través del ANMEB , la SEP ha fortalecido su papel como reguladora en áreas como el financiamiento, la evaluación y la administración del personal. Conservó su autoridad normativa para asegurar la uniformidad de los servicios educativos en todo el país y garantizar su carácter nacional. Las responsabilidades de la SEP incluyen la supervisión, la evaluación, el desarrollo del sistema educativo, el establecimiento de objetivos de aprendizaje de los alumnos (incluyendo un plan de estudios nacional plasmado en los planes y programas de estudio) y la evaluación de su cumplimiento, la autorización de los libros de texto que se utilizan en las escuelas, la definición de los niveles y principios para el financiamiento federal, el establecimiento de los requisitos para la competencia profesional y pedagógica del personal docente (que incluyen los planes de estudio para la formación inicial docente y los requisitos para entrar a la profesión), la negociación de los salarios de los maestros, la regulación de un sistema nacional de educación continua para los profesores de educación básica, el mantenimiento de un registro de las instituciones que forman parte del sistema educativo nacional y la definición del calendario escolar. Además, el gobierno federal conserva la función primordial de garantizar la equidad de la oferta educativa en todo el país. Con este objetivo, desarrolla “programas compensatorios” que suponen la asignación de recursos a los estados de acuerdo con sus carencias educativas (consulte SEP e INEE , de próxima aparición; UNESCO-IBE , 2010). A nivel federal, la Secretaría de Educación Pública (SEP ) establece la política en la materia. Su organización prevé la existencia de cuatro áreas principales: la Subsecretaría de Educación Básica (SEB ), la Subsecretaría de Educación Media Superior (SEMS ), la Subsecretaría de Educación Superior (SES ) y la Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE ). La SEP también maneja algunos organismos descentralizados, como el Instituto Politécnico Nacional y la Universidad Pedagógica Nacional (una institución pública de educación superior con más de 300 unidades en todo el país, que participa en la formación docente, sobre todo a nivel de postgrado, que tuvo un papel crucial para mejorar la preparación profesional de los maestros, especialmente los que entraron al sistema sin una licenciatura). Por otro lado, la Administración Federal de Servicios Educativos en el Distrito Federal reporta directamente al Secretario de Educación Pública. El gobierno federal administra la educación básica a través de cinco Direcciones Generales (DG ) que dependen de la Subsecretaría de Educación Básica (SEB ): la Dirección General de Desarrollo Curricular (DGDC ), la Dirección General de Desarrollo de la Gestión e Innovación Educativa, (DGDGIE ), la Dirección General de Educación Indígena (DGEI ), la Dirección General de Formación Continua de Maestros en Servicio (DGFCMS ) y la Dirección General de Materiales e Informática Educativa (DGMIE ) que produce libros de texto y materiales didácticos multimedia, por ejemplo. La UPEPE asume la responsabilidad federal del desarrollo y coordinación de la evaluación en el sistema educativo, que incluye al Sistema Nacional de Evaluación Educativa (SNEE ). También es responsable de la recopilación y difusión de la información necesaria para la planeación REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

22 – 1. LA EDUCACIÓN EN MÉXICO

y la evaluación del sector educativo, así como del desarrollo de programas estratégicos. Su organización incluye las siguientes unidades: la Dirección General de Evaluación de Políticas (DGEP ), responsable de las políticas globales para evaluar el sistema educativo; la Dirección General de Acreditación, Incorporación y Revalidación (DGAIR ), que se ocupa de la certificación del aprendizaje; la Dirección General de Planeación y Estadística Educativa (DGPEE ), encargada de la elaboración de estadísticas e indicadores y del Registro Nacional de Alumnos Maestros y Escuelas (RNAME ); la Coordinación Nacional de Carrera Magisterial (CNCM ); y la Dirección General de Televisión Educativa (DGTV ). Una unidad importante dentro de la Subsecretaría de Educación Superior es la Dirección General de Educación Superior para Profesionales de la Educación (DGESPE ), que se encarga de la formación inicial docente.

El papel de las autoridades educativas estatales Como ya se señaló, la administración y operación de la educación básica en los estados es responsabilidad de una Secretaría de Educación estatal y/o un Instituto descentralizado del gobierno estatal creado para dirigir los servicios federales transferidos. Las autoridades estatales de educación son responsables de la operación de las escuelas básicas (incluyendo las indígenas) y especiales, gestionan las escuelas normales donde se lleva a cabo la formación inicial docente, ofrecen desarrollo profesional para los maestros de educación básica y autorizan la operación de los proveedores privados de educación básica. Dentro de su subsistema de educación básica, los estados son completamente responsables de la calidad de la educación, de la administración financiera, del nombramiento y despido de los maestros, y de las relaciones con la comunidad escolar y el público en general. Los estados también pueden presentar algún contenido regional en el currículo nacional (planes y programas de estudio) tras la consulta y orientación de la SEP . También pueden desarrollar actividades de evaluación para complementar las organizadas por la SEP . El papel de los estados en la educación media superior también se reforzó a través de la transferencia de los servicios educativos de la SEP a los estados, como sucedió con el CONALEP y el Colegio de Bachilleres. Después del ANMEB en 1992, los estados también heredaron las estructuras de poder profundamente arraigadas en las escuelas transferidas, en particular la influencia que la SEP concedió en los últimos años al SNTE en la gestión de una serie de aspectos como la contratación de maestros, directivos y supervisores escolares (Fierro et al., 2009).

El papel de los municipios Su papel en la educación sigue siendo limitado y, por lo general, consiste en la construcción y mantenimiento de la infraestructura escolar, el equipamiento de las escuelas y la participación en algunos programas de educación específicos. Su labor puede ser más influyente en las zonas rurales y aisladas. Una oportunidad más reciente para su participación es a través de los Consejos de Participación Social de las escuelas (véase más adelante) (OCDE , 2010a).

La coordinación de la política educativa El Consejo Nacional de Autoridades Educativas (CONAEDU ) es responsable de planificar la educación y coordinar la toma de decisiones entre el gobierno federal y los estados. Fue constituido en 2004 por el gobierno federal, los representantes de los 31 estados y las autoridades educativas estatales. CONAEDU es presidido por el Secretario de Educación y actualmente REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 23

ejerce una función más de asesoramiento para la federación ya que su influencia no parece estar relacionada con la elaboración de políticas, sino más bien se limita a los aspectos de su aplicación (OCDE , 2010a). En el cumplimiento de sus responsabilidades como reguladora de la integración del sistema nacional de educación, la SEP promueve reuniones periódicas nacionales y regionales entre las autoridades educativas estatales y el gobierno federal. Estas reuniones buscan articular acciones y programas, difundir las regulaciones federales y apoyar a las autoridades educativas estatales en la implementación de programas educativos.

Otros actores importantes a nivel nacional Un actor importante es el Instituto Nacional para la Evaluación de la Educación (INEE ), que fue creado en 2002 por decreto presidencial como un organismo público, descentralizado con el objetivo de proporcionar instrumentos de evaluación a las autoridades federales, estatales y privadas para las actividades educativas en los niveles de educación básica y educación media superior. Este organismo cuenta con altos estándares técnicos y comparte la responsabilidad de evaluar el sistema educativo mexicano con la Dirección General de Evaluación de Políticas (DGEP ). Las actividades del INEE incluyen el diseño y desarrollo de evaluaciones nacionales para los alumnos; los indicadores educativos sobre la calidad del sistema educativo nacional y los subsistemas estatales de educación; los instrumentos y lineamientos para la evaluación (por ejemplo, para los elementos de la evaluación de las escuelas y la evaluación formativa de los alumnos); la gestión de las evaluaciones internacionales del alumnado; el apoyo a las autoridades estatales en sus actividades de evaluación educativa; el fomento de una cultura de evaluación en el sistema educativo mexicano; y los estudios e investigaciones sobre evaluación educativa. A raíz de la reciente reforma al Decreto presidencial del 2002 que crea al INEE (el 16 de mayo de 2012, después de la visita del Equipo de Revisión de la OCDE ), la administración y operación del INEE se compone de las siguientes unidades: el Órgano de Gobierno (consejo de administración), la Junta Técnica, la Presidencia, los Consejos Técnicos Especializados, el Consejo Social de Evaluación de la Educación, el Consejo de Vinculación con las Entidades Federativas y las unidades administrativas responsables del funcionamiento y operación del Instituto. Otro actor importante en la evaluación educativa es el Centro Nacional de Evaluación para la Educación Superior (C ENEVAL ) que es una asociación civil, sin fines de lucro, creada en 1994, cuya actividad principal es el diseño y aplicación de instrumentos de evaluación de conocimientos, habilidades y competencias, así como el análisis y la difusión de resultados de las pruebas en los diferentes niveles del sistema educativo. Además, implementa una serie de evaluaciones para alumnos y docentes en el país. La educación también es evaluada por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL ), organismo público descentralizado de la Administración Pública Federal, creado en 2005, que cuenta con la autonomía y la capacidad técnica para evaluar la situación política y social, y medir los niveles de pobreza en México. Desde 2007, evalúa los programas federales de desarrollo social, incluidos los relativos a la educación básica. Otros actores importantes son las Comisiones de Educación del Senado y de la Cámara de Diputados del Congreso de la Unión.

El Sindicato Nacional de Trabajadores de la Educación (SNTE ) El Sindicato Nacional de Trabajadores de la Educación (SNTE ) es el sindicato más grande de México y uno de los sindicatos de maestros más grandes del mundo. Cuenta con 1.3 a 1.5 millones REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

24 – 1. LA EDUCACIÓN EN MÉXICO

de afiliados e incluye a docentes de educación básica, directivos escolares y personal técnico y administrativo de todos los niveles (como los supervisores, véase más adelante). También incluye al personal de centros de formación inicial (como las escuelas normales), al personal a cargo de la formación de los maestros en servicio, al personal que trabaja en la SEP y a las autoridades educativas estatales (OCDE , 2010a). Para los docentes de las escuelas básicas, la afiliación al SNTE es obligatoria conforme a lo estipulado por el Decreto Presidencial del 15 de marzo de 1944, que reconoció al SNTE como la única organización representante de los maestros con el derecho a cobrar cuotas de los salarios (Benavides y Velasco, 1992). En la práctica, el gobierno transfiere el 1% del salario de cada docente y personal administrativo directamente al SNTE (Barrera y Myers, 2011). La influencia del SNTE en el sistema educativo no se limita a las relaciones laborales con las autoridades, como en la mayoría de los países. Históricamente, desde su creación en 1943, ha desarrollado una relación corporativista con el Estado (o los gobiernos en turno) y ha tenido un papel político a través de su representatividad en el Senado y la Cámara de Diputados (Góngora y Leyva, 2008; Barrera y Myers, 2011). Según algunos analistas, esto ha conferido un importante papel al SNTE en la administración del sistema educativo. Como lo expresa Tapia (2004), en el marco del Acuerdo ANMEB de 1992, “Las entidades federativas recibieron el conjunto de pactos, acuerdos, usos y costumbres de la relación entre el gobierno federal y el SNTE , que implican la co-administración de facto del sistema, con lo que los directores, supervisores y otros miembros del sindicato participan en decisiones sobre infinidad de cuestiones, como el nombramiento, permanencia o cambio de adscripción de los docentes; el nombramiento de funcionarios de la administración educativa…”. Según Elizondo MayerSerra (2009), “el SNTE controla la estructura de la Secretaría de Educación que supervisa el trabajo de los maestros. Esta situación significa efectivamente que la dirección de la escuela tiene poco control sobre lo que sucede en su centro escolar”.

La administración y operación de las escuelas En México, el director escolar es el responsable del funcionamiento, la organización y la gestión de la escuela. Sus principales tareas son: definir los objetivos, estrategias y políticas de operación escolares; analizar y resolver los problemas pedagógicos que surjan; y revisar y aprobar los planes de trabajo elaborados por los docentes (OCDE , 2010a). El director no es necesariamente la única persona que se espera asuma un papel de liderazgo. A nivel de secundaria, también hay un subdirector. Las grandes escuelas de primaria y secundaria también pueden tener asesores técnicos pedagógicos, conocidos como ATP . La mayoría de los ATP tienen una plaza docente, pero realizan “funciones de ATP ”, cualesquiera que sean. No tienen horas frente a grupo, pero se supone deben dar apoyo a diferentes niveles, por ejemplo, liderazgo pedagógico, funciones administrativas, delegados escolares u otras capacidades. Los ATP constituyen una vertiente particular en el Programa Nacional de Carrera Magisterial, además de las categorías de docente (Vertiente I) y directivo (Vertiente II ) (consulte la gráfica 4.1 en el capítulo 4). Es común que los ATP apoyen a varias escuelas. Algunas de las funciones administrativas escolares también son realizadas por maestros, aunque no tengan la responsabilidad formal de estas funciones (OCDE , 2010a). El Consejo Técnico Escolar es otro órgano consultivo creado en las escuelas, formado por al menos cuatro o cinco maestros. Sus funciones incluyen formular recomendaciones sobre la implementación de los planes de estudio, los métodos de enseñanza, la metodología y criterios de evaluación, la capacitación para los maestros en servicio, el uso y elaboración de materiales didácticos, entre otros. Estos consejos están presididos por el director e incluyen, según el caso, REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 25

a los subdirectores, jefes de clase o materia, ATP , presidentes de consejos estudiantiles y representantes de la asociación de padres de familia (OCDE , 2010a y UNESCO -IBE , 2010). Asimismo, en las escuelas secundarias básicas se acostumbra establecer academias que reúnen a todos los docentes que pertenecen a una determinada área académica o especialidad. Estas academias se enfocan a cuestiones técnico-pedagógicas dentro del área respectiva de especialización (UNESCO-IBE , 2010). La participación de la comunidad en las actividades escolares es el objetivo del Consejo Escolar de Participación Social, en cada escuela básica. Este Consejo —integrado por representantes de la asociación de padres de familia, docentes, representantes del sindicato de maestros, directivos y miembros de la comunidad de la que la escuela forma parte— tiene funciones administrativas, pedagógicas y relacionales (UNESCO-IBE , 2010 y OCDE , 2010a). La Ley General de Educación otorga a estos consejos algunas responsabilidades, pero éstas no se aplican plenamente porque no se cuenta con otros instrumentos. Las asociaciones de padres participan principalmente apoyando a las autoridades escolares en la recaudación de fondos y la organización del trabajo voluntario para las tareas relacionadas con el mantenimiento de las escuelas (OCDE , 2010a). Los Consejos de Participación Social también existen a nivel municipal, estatal y nacional, y funcionan principalmente como órganos consultivos. Cada estado tiene un sistema de supervisión escolar, estructurado en dos niveles, de acuerdo a las zonas geográficas: sectores y zonas. Cada sector tienen varias zonas (alrededor de 10) y cada zona tiene varias escuelas (por lo general, entre 8 y 20). Los supervisores (o inspectores, como se les llama comúnmente a nivel de secundaria) son responsables de cada zona (y sus respectivas escuelas) e informan a los jefes de sector (también llamados supervisores generales o inspectores generales). Los supervisores son el vínculo directo entre las escuelas y las autoridades educativas (UNESCO -IBE , 2010). Otra de sus funciones a nivel de secundaria, con carácter más instruccional, es el de jefe de enseñanza, para apoyar la labor del supervisor en determinadas áreas disciplinarias (consulte el capítulo 5 para más detalles). El nombramiento de los maestros, directores de escuela, jefes de enseñanza, supervisores y jefes de sector se lleva a cabo de acuerdo a un sistema de promoción vertical, el Escalafón vertical o tradicional, que ha estado en vigor desde 1973 (consulte el capítulo 4 para más detalles) (Los ATP no están reconocidos formalmente por este sistema). Todos los anteriores constituyen puestos específicos en el Escalafón vertical; por lo tanto, sólo los antiguos docentes pueden convertirse en directores de escuela, sólo los ex directores escolares son elegibles para el cargo de supervisor y así sucesivamente. Los nombramientos son permanentes. Las solicitudes son evaluadas y las plazas son asignadas en cada estado por una comisión mixta integrada por representantes de la SEP y del SNTE (Comisión Nacional Mixta de Escalafón). Estas comisiones evalúan a los candidatos de acuerdo con varios criterios, según lo especificado en el Reglamento de Escalafón vertical, tales como: tiempo de servicio, estudios académicos, participación en proyectos de educación y de apoyo a la comunidad, publicaciones, participación en actividades de formación docente y reconocimiento previo del desempeño. Sin embargo, se sabe que los directivos escolares a menudo son propuestos por el SNTE o por la Comisión Mixta de Escalafón SEP -SNTE , a través de procedimientos y criterios que no son transparentes. En la actualidad, se está tratando de cambiar este proceso para hacerlo más transparente. Por ejemplo, como parte de la Alianza por la Calidad de la Educación (véase más adelante) se anunció que en 2009 se introduciría una evaluación para la selección de los directores escolares de educación básica, aunque esto todavía no se ha llevado a cabo (OCDE , 2010a).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

26 – 1. LA EDUCACIÓN EN MÉXICO

El financiamiento de la educación México dedica una proporción considerable de sus recursos a la educación. El gasto público en educación preescolar a terciaria como porcentaje del gasto público total alcanzó 13.6% en 2008, el mayor porcentaje en la zona de la OCDE (en comparación con el promedio de la OCDE de 8.7%). El gasto total en educación básica y media superior como porcentaje del PIB fue 3.7% en 2008, el mismo que en 1995, el cual se acerca al promedio de la OCDE de 3.8% (consulte el anexo D). Sin embargo, en 2008, el gasto anual por alumno (ajustado por diferencias en paridades de poder adquisitivo) se mantuvo por debajo de los estándares de la OCDE : 2 246 dólares estadounidenses en la educación primaria (la cifra más baja en la zona de la OCDE , contra un promedio de 7 153 dólares estadounidenses) y 1 853 dólares estadounidenses en secundaria (la cifra más baja en la zona de la OCDE , frente a un promedio de 8 498 dólares estadounidenses) (consulte el anexo D). El gasto por estudiante en la educación básica y media superior aumentó en términos reales 17% entre 2000 y 2008 (por debajo del incremento medio de 34% en la zona de la OCDE ) (consulte el anexo D). El financiamiento general de las escuelas en México, en comparación con otros países, se caracteriza por tres factores distintivos: la remuneración del personal absorbe una proporción muy elevada del gasto en los niveles de educación básica y media superior (92.9% en 2008), el segundo más alto en la zona de la OCDE (comparado con un promedio de 79.0%) (consulte el anexo D); el porcentaje del gasto corriente total en educación básica y media superior asignado a los gastos de capital, 2.9% en 2008, fue bajo para los estándares de la OCDE (la cuarta cifra más baja, comparada con un promedio de 7.9%) (OCDE , 2011a); y la brecha en el gasto por alumno entre la educación superior y la educación básica-media superior es el más grande en la zona de la OCDE (Brunner et al., 2008). En el año 2009, teniendo en cuenta todos los niveles educativos, el financiamiento de la educación corrió a cargo del gobierno federal (62.1%), los gobiernos estatales (15.6%), los municipios (0.2%) y el sector privado (22.1%). Las proporciones equivalentes en 1996 fueron 67.8%, 14.7%, 0.2% y 17.3%, respectivamente (Presidencia de la República, 2011). La descentralización de los servicios educativos federales, que tuvo lugar en 1992 mediante el ANMEB , implicó la transferencia de los fondos respectivos a cada estado como financiamiento federal para la prestación de servicios educativos. El gobierno federal asigna fondos para los servicios educativos a través de tres ejes principales: (i) Ramo 11, que incluye el gasto directo por parte de la SEP en los recursos proporcionados a los estados, particularmente a través de los programas educativos previstos (o compensatorios) dirigidos a mejorar la equidad en la distribución de los recursos entre los estados, por ejemplo, (43% del presupuesto federal 2011 para la educación); (ii) Ramo 25, que corresponde a los gastos de educación en el Distrito Federal (8.3% del presupuesto de 2011 federal para la educación); y (iii) Ramo 33, que corresponde esencialmente a la transferencia directa de fondos a las autoridades estatales para la operación de los servicios educativos (48.7% del presupuesto federal de 2011 para la educación) (SEP , 2011). La partida 33 está formada por tres fondos diferentes: (a) Fondo de Aportaciones para la Educación Básica y Normal (FAEB ), una parte importante de la partida (95.1% en el presupuesto de 2011); (​​b) Fondo de Aportaciones Múltiples (FAM ), aproximadamente 3.1% de la partida en el presupuesto 2011 (con dos tercios para la educación básica); y (c) Fondo de Aportaciones para la Educación de Adultos (FAETA ), con cerca de 1.8% de la partida en el presupuesto 2011 (parte del cual se dedica a la educación media superior). La distribución del FAEB , el principal financiamiento federal directo para la educación básica, revela marcadas diferencias entre los estados. En 2008, el gasto FAEB por alumno en educación pública básica fluctuó entre cifras superiores a 13 000 pesos mexicanos (precios de 2003) en REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 27

Baja California Sur y Campeche, hasta cifras por debajo de 7 000 pesos mexicanos en Chiapas, Guanajuato, Jalisco, Estado de México, Nuevo León y Puebla (INEE , 2009). Sin embargo, estas diferencias se explican en gran medida por las diferencias en la prestación de los servicios de la educación pública básica, proporcionada directamente por los estados. De hecho, en 2010 había diferencias considerables entre los estados en el porcentaje del financiamiento estatal para la educación pública básica, que variaban desde menos de 10% en Campeche, Quintana Roo y San Luis Potosí a más de 35% en Baja California, Chihuahua, Estado de México, Nuevo León y Sinaloa (datos proporcionados por los Estados a través del Cuestionario sobre Financiamiento Educativo Estatal, realizado por la SEP y disponible en http://cfee.dgpp.sep.gob.mx). Cada estado se encarga de distribuir los recursos entre las distintas escuelas. Hay poca información disponible sobre cómo se lleva a cabo dicha distribución, pero parece tener una base histórica (montos anteriores ajustados por inflación). El financiamiento privado de la educación pública ha adquirido importancia en los últimos años. Las escuelas preparatorias públicas cobran derechos de matrícula y, en la educación básica, a los padres se les pide cuotas voluntarias en la medida de sus posibilidades. Esto significa que las escuelas públicas que atienden a las comunidades más favorecidas podrían beneficiarse con mayores recursos.

Consulta sobre la política educativa El desarrollo de políticas educativas a cargo de la SEP involucra una serie de consultas a través de los órganos consultivos formales. Como se describió anteriormente, las consultas y la coordinación con cada estado se lleva a cabo a través de CONAEDU . Las políticas relacionadas con los maestros también requieren la consulta al SNTE . Las reformas más importantes de la profesión docente en los últimos años incluyeron el acuerdo formal con el SNTE , sin el cual la implementación fracasaría. En los últimos años, en México los representantes de la sociedad civil han ganado un espacio importante, creando conciencia de la necesidad de fortalecer la educación pública y construyendo vínculos importantes entre los padres, la sociedad, la educación y las escuelas. Además de las asociaciones de padres de familia, nuevas organizaciones civiles y redes sociales activas han surgido a nivel estatal y nacional. Sus demandas parecen estar ganando la atención de las autoridades educativas y otros interesados (OCDE , 2010a). Entre ellas se encuentran Mexicanos Primero, Suma por la Educación, Observatorio Ciudadano, Hacia una Cultura Democrática, Proeducación, Servicios a la Juventud y Empresarios por la Educación Básica. Sin embargo, no parece haber canales formales que representen sus puntos de vista sobre asuntos de política educativa. El Consejo Nacional de Participación Social (CONAPASE ) fue creado para reflejar las inquietudes de estos grupos de interés especiales y de los representantes de las diferentes instituciones, pero en la última década no ha mejorado su desarrollo formal (OCDE , 2010a).

Principales características La escolaridad predominante es de media jornada En México, las clases en la educación básica se realizan normalmente por la mañana o por la tarde. La mayoría de las escuelas trabajan turnos matutino y vespertino (escuelas de doble turno). Por lo general, cada turno es una estructura escolar independiente con su propia dirección y personal. En promedio, un día normal de clases es de 9:00 a 12:00 en preescolar, de 8:00 a 12:30 en primaria, de 7:00 a 13:30 en secundaria, y de 8:00 a 14:00 en telesecundarias. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

28 – 1. LA EDUCACIÓN EN MÉXICO

Por la tarde, las escuelas primarias tienen aproximadamente cuatro horas y media de instrucción, que pueden ser de 14:00 a 18:30 (OCDE , 2010a). Algunas escuelas públicas han introducido la educación de tiempo completo (por ejemplo, a través del Programa Escuelas de Tiempo Completo) y algunas escuelas privadas también ofrecen este servicio. Existe cierta evidencia de que la calidad de la educación varía considerablemente entre los turnos matutino y vespertino, en parte, como resultado de poblaciones estudiantiles con diferentes características. Por ejemplo, Cárdenas (2010) encontró que, en promedio, una escuela de turno vespertino tiene insumos educativos de menor calidad, una mayor concentración de alumnos pobres, resultados académicos más bajos, mayores porcentajes de deserción escolar y menores tasas de éxito, que el turno matutino que opera en la misma escuela.

Las escuelas enfrentan contextos sociales difíciles La pobreza entre la población así como los bajos niveles educativos de los padres, inevitablemente, dan forma al contexto social que enfrentan las escuelas. Hay indicios de que los padres proporcionan poco apoyo a la educación de sus hijos. En 2008, un perfil de los alumnos de noveno grado indicó que sólo alrededor de 36% de los padres apoyan a sus hijos con sus tareas cuando necesitaban ayuda (INEE , 2009). Durante la visita de revisión, los maestros y directivos escolares expresaron consistentemente los bajos niveles de apoyo que reciben los niños de sus padres. También es común que los alumnos de más edad trabajen y estudien, lo que se ve favorecido por la poca prevalencia de escolaridad de tiempo completo. Un perfil de los alumnos de noveno grado elaborado en 2008 reveló que en la semana anterior a la encuesta, cerca de 41% del alumnado realizó un trabajo no remunerado de tres horas o más por día (normalmente trabajo doméstico, en el negocio familiar o actividades agrícolas) y aproximadamente 8% se contrató para un trabajo remunerado por cuatro días o más (INEE , 2009). El contexto también puede diferir entre los tipos de escuela. Por ejemplo, es evidente que la población estudiantil de telesecundarias está más desfavorecida que la de las secundarias generales y técnicas. Se estima que sólo 28% de los alumnos que asistieron a las telesecundarias en 2008 tenían madres con educación secundaria o superior, en comparación con 64% y 62% para los alumnos de secundarias generales y técnicas, respectivamente. Además, cerca de 67% del alumnado de telesecundarias se benefició ese año con una beca de Oportunidades (que se proporciona a los alumnos más desfavorecidos) contra cerca de 18% y 22% en secundarias generales y técnicas, respectivamente (INEE , 2009). En general puede decirse que las telesecundarias, las escuelas indígenas y los cursos comunitarios enfrentan circunstancias especialmente difíciles en la prestación de servicios educativos (INEE , 2007a).

La infraestructura de la escuela promedio es deficiente La mayoría de las escuelas y sus profesores operan en condiciones muy difíciles. Esto puede explicarse, en parte, por el reducido porcentaje del gasto en educación destinado a la inversión en infraestructura (como ya se señaló). En el ciclo escolar 2008-2009, el porcentaje de escuelas sin computadoras para uso educativo fue de 50% en la educación primaria (incluyendo 75% en la educación indígena y 99% en la educación comunitaria) y 27% en educación secundaria (incluyendo 32% en telesecundarias y 61% en la educación para los trabajadores) (INEE , 2009). Del mismo modo, en 2005, alrededor del 65% de las escuelas primarias (incluyendo 83% de las REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 29

escuelas indígenas) y 43% de las escuelas secundarias (incluyendo 65% de las telesecundarias) no tenía una biblioteca (Ruiz Cuéllar, 2007).

La profesión docente enfrenta numerosos desafíos Es común que los maestros trabajen en circunstancias difíciles. Muchos enseñan en una escuela por la mañana y en otra por la tarde, o trabajan en otro tipo de empleo. Algunos pueden trabajar por hora en más de dos escuelas. En muchas zonas rurales o aisladas, los maestros enseñan en escuelas pequeñas con pocas oportunidades de trabajo en equipo y aprendizaje entre colegas. Esto plantea preocupaciones sobre la formación, selección y asignación de maestros a las escuelas; las trayectorias profesionales docentes; y, la calidad del apoyo a las escuelas y maestros por parte de los directores escolares, supervisores y otras personas que dirigen y administran el sistema (OCDE , 2010a). A esto se suma el ausentismo y los retardos de los docentes, que reducen las horas efectivas de enseñanza (OCDE , 2009a). También hay serias preocupaciones sobre la gestión de la profesión docente, especialmente en lo que se refiere a la transparencia en el acceso a plazas permanentes (consulte también el capítulo 4). Las plazas son conferidas no sólo por las autoridades educativas (SEP y las autoridades educativas estatales), sino también por el SNTE , a menudo por medios no transparentes. Existen evidencias anecdóticas de maestros que han “comprado/vendido” sus plazas permanentes o las “ofrecen como herencia” a quien ellos deseen, incluyendo sus familiares (aunque los requisitos para ser docente, en general, exijan cumplimiento) (OCDE , 2010a). Estas prácticas están cambiando con la introducción del Concurso Nacional de Plazas Docentes, en 2008 (consulte el capítulo 4 para más detalles).

Las escuelas se benefician con autonomía México tiene uno de los niveles más bajos de autonomía escolar entre los países de la OCDE . En la actualidad, los directores tienen poca o ninguna autonomía para decidir cómo administrar su escuela (OCDE , 2009a). No son responsables de la contratación del personal docente (realizada por las autoridades estatales y el SNTE ), tienen poca participación en la evaluación de los maestros y desempeñan un papel incipiente en las actividades de desarrollo profesional docente. Además, su autonomía financiera es limitada. La mayoría de los recursos financieros públicos a disposición de los directores escolares se otorga a través de programas educativos establecidos, de manera que el presupuesto específico manejado por la escuela es muy restringido y a menudo se limita a los donativos de los padres. Del mismo modo, el plan de estudios está dictado a nivel nacional y da poco margen para la innovación en el ámbito escolar.

Existen desigualdades considerables en el financiamiento En general, se puede decir que existen desigualdades en el financiamiento público entre las escuelas y los estados. Anteriormente habíamos observado que era probable que existieran diferencias considerables en el gasto por alumno en la educación básica, entre los estados. También hay indicios de desigualdad en la distribución de recursos entre las escuelas. Por ejemplo, un estudio sobre telesecundarias reveló que en 2002 el gasto por alumno era casi la mitad del gasto en la educación secundaria general y técnica (Fundación Este País e INEE , 2005). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

30 – 1. LA EDUCACIÓN EN MÉXICO

Además, para las escuelas en las zonas más desfavorecidas, el acceso a programas educativos especiales podría ser más difícil, ya que quizá carezcan de la capacidad para aplicar y ejecutar esos programas (OCDE , 2010a). Esto se suma a cuestiones como el que las regiones desfavorecidas atraigan a maestros menos calificados, y que las escuelas de las comunidades desfavorecidas recauden donaciones menores de los padres de familia y reciban menos asistencia de los municipios.

Principales tendencias y preocupaciones Bajo punto de partida y crecimiento cuantitativo importante El sistema escolar mexicano ha experimentado una verdadera revolución debido a su enorme crecimiento de cerca de tres millones de alumnos en 1950 a más de 30 millones en 2007. El porcentaje de la población analfabeta mayor de 10 años de edad disminuyó de 43% en 1950 a 8% en 2005 (INEGI , 2010). Dos razones del bajo nivel educativo histórico han sido la dificultad de encontrar maestros calificados al expandirse el sistema educativo y el impacto que ha tenido la educación de los padres en los logros educativos de las generaciones siguientes. Sin embargo, los esfuerzos para garantizar el acceso a la educación para todos los mexicanos ocasionaron una rápida expansión de la matrícula. El porcentaje de la población que obtuvo por lo menos la educación media superior aumentó de 21% para la generación de 55-64 años a 42% en la generación de 25-34 años, en 2009 (consulte el anexo D). Ahora la educación secundaria es prácticamente universal y la tasa de matrícula para la población de 15-19 años de edad aumentó de 36% en 1995 a 52% en 2009 (muy por debajo de la media de la OCDE de 82%) (OCDE , 2011a). La cobertura de la educación preescolar también se incrementó rápidamente y alcanzó una tasa de participación de 68.1% para los niños de 3-4 años de edad, que se acerca a la media de la OCDE de 70.1% (OCDE , 2011a).

El nivel de escolaridad sigue siendo un desafío A pesar de la expansión del sistema de educación, el nivel de escolaridad sigue siendo un desafío. Es el tercero más bajo en la zona de la OCDE para la población en edad de trabajar; en 2009, 35% de la población de 25-64 años de edad había cursado la educación media superior (compárese con el promedio de la OCDE de 73%, consulte el anexo D). Este porcentaje es inferior al de Brasil (41%) y Chile (69%) (OCDE , 2011a). La elevada proporción de estudiantes con habilidades deficientes, que abandonan prematuramente el sistema educativo, sigue siendo un problema importante. El porcentaje de graduados de la educación media superior alcanzó 45% en 2009, muy por debajo del promedio de la OCDE de 82% (consulte el anexo D) y considerablemente menor que el de Chile (68%). El elevado porcentaje de deserción escolar prematura se asocia con el poco aprecio de la escolaridad que tienen grandes grupos de la población. Esta pobre apreciación puede deberse al bajo nivel educativo de los padres y a la disponibilidad de puestos de trabajo no calificados. En México, 18.4% de los jóvenes de 15-19 años de edad y 30% del grupo de 25-29 años de edad no estudian, están desempleados o no forman parte de la fuerza laboral. Esto representa una cuarta parte de los mexicanos de 15-29 años de edad, justo por detrás de Turquía e Israel en la zona de la OCDE (OCDE , 2011a).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 31

Los resultados del aprendizaje de los alumnos muestran un avance Los resultados del logro académico en México están considerablemente por debajo de la media de la OCDE , a pesar de que se han obtenido algunos avances en la última década. En 2009, los niveles de logro de los estudiantes mexicanos en el Programa para la Evaluación Internacional de Alumnos (PISA ) de la OCDE estuvieron por debajo de los demás países, de una manera estadísticamente significativa, en las áreas evaluadas de lectura, matemáticas y ciencias (OCDE , 2010b). En comparación con otros países de América Latina que participaron en PISA , México estuvo por debajo de Chile (en lectura y ciencias) y Uruguay (en matemáticas y ciencias) y por encima de Argentina, Brasil, Colombia, Panamá y Perú (en todas las áreas evaluadas). Los análisis de tendencia de los resultados de PISA han mostrado cierta mejoría alentadora en los resultados del aprendizaje de los alumnos, particularmente en el área de matemáticas. En PISA 2009, la atención se centró en las habilidades de lectura. El desempeño de los mexicanos de 15 años de edad fue considerablemente inferior a la media de la OCDE , el resto de los países de la OCDE calificaron más alto que México. Desde el primer estudio PISA en 2000, la mejora en las habilidades de lectura en México no ha tenido una diferencia estadísticamente significativa en la variación media de la OCDE (OCDE , 2010c). El puntaje promedio de los alumnos mexicanos en PISA 2000 fue 422 puntos, comparado con 425 en PISA 2009. Sin embargo, se observó un patrón inusual de disminución entre 2000 y 2003, seguido de un aumento entre 2003 y 2009. La mejora es estadísticamente significativa para el período 2003 a 2009 (OCDE , 2011b). En cuanto a los niveles de competencia, en el extremo inferior de la escala para lectura, el porcentaje de alumnos que no lograron alcanzar el Nivel 2 se redujo significativamente de 44.1% en PISA 2000 a 40.1% en PISA 2009 (OCDE , 2010c). Los resultados de los estudiantes mexicanos de 15 años de edad, en matemáticas, están en el extremo inferior de la OCDE . Sin embargo, los resultados de PISA 2009 indicaron un incremento en los puntajes de las pruebas, en comparación con la evaluación de matemáticas en PISA 2003 (OCDE , 2010c). En PISA 2009, el puntaje promedio de matemáticas fue 419; esto es, 33 puntos por encima de 2003 lo que representa, de una manera estadísticamente significativa, el mayor aumento en habilidades matemáticas entre los países que participaron en PISA en esos dos años. Los resultados de los estudiantes de 15 años de edad también estaban en el extremo inferior de la zona de la OCDE , y en esta área evaluada también mejoraron las puntuaciones promedio entre 2006 y 2009 en seis puntos, aunque esta diferencia no fue estadísticamente significativa en el cambio promedio en la zona de la OCDE (OCDE , 2010c). La variación en el desempeño en lectura entre los alumnos de alto y bajo desempeño, en México, fue menor que el promedio de la OCDE en PISA 2009 y, desde 2000, no se ha observado una diferencia estadísticamente significativa (OCDE , 2010c). Las variaciones en lectura tienen un peso casi igual entre escuelas que dentro de ellas (OCDE , 2010c). Sin embargo, la variación dentro de las escuelas aumentó de forma estadísticamente significativa entre 2000 y 2009, aunque se mantiene por debajo del promedio de la OCDE . La variación entre escuelas sigue siendo superior al promedio de la OCDE , lo que parece indicar que la escuela específica a la que asiste el alumno tiene un impacto considerable en su desempeño en lectura (OCDE , 2010c). Esto se presenta a pesar de una disminución entre 2000 y 2009, que no fue estadísticamente significativa. En cuanto a la relación entre el nivel socioeconómico y el desempeño (es decir, entre el índice PISA de estatus económico, social y cultural y el desempeño de los jóvenes de 15 años de edad), surgen las siguientes conjeturas: (i) México no es estadísticamente diferente del promedio de la OCDE en cuanto al porcentaje de variación en el desempeño en términos del nivel socioeconómico del alumno (fuerza del gradiente socioeconómico), pero el impacto REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

32 – 1. LA EDUCACIÓN EN MÉXICO

del contexto socioeconómico en los resultados del aprendizaje tiende a ser ligeramente superior al promedio de la OCDE (OCDE , 2010d); y (ii) México está significativamente por debajo de la media de la OCDE en la diferencia del puntaje asociado con el aumento de una unidad en el índice PISA de estatus económico, social y cultural (pendiente del gradiente socioeconómico) (OCDE , 2010d), además hubo una disminución estadísticamente significativa entre 2000 y 2009 en este indicador (OCDE , 2010c). Sin embargo, debe tenerse en cuenta que, en el caso de México, la relación entre el contexto socioeconómico y el desempeño se ve debilitada por el hecho de que aproximadamente un tercio de los individuos ha abandonado la escuela para cuando cumplen 15 años de edad.

Existen preocupaciones por las grandes desigualdades sociales en el sistema escolar Hay evidencias de que los factores socioculturales tienen un gran impacto en los resultados de los alumnos. La investigación realizada por el INEE sobre las evaluaciones nacionales en la educación básica muestra que existe una fuerte relación positiva entre el desempeño del alumno y las condiciones socioculturales de su familia (INEE , 2007b). Esta investigación concluyó que: (i) existen enormes brechas educativas entre los alumnos de un mismo grado, que pueden alcanzar el equivalente a más de cuatro años de escolaridad; (ii) gran parte de estas brechas son producto de las desigualdades sociales, que se repiten en el sistema educativo; y (iii) las condiciones socioculturales de los alumnos explican la mayor parte de las variaciones en el desempeño educativo de México (INEE , 2007a). El estudio muestra resultados sistemáticamente inequitativos en el sistema educativo en todos los tipos de escuela, que probablemente pueden explicarse por las diferencias en el contexto sociocultural de las poblaciones de alumnos que asisten a diferentes tipos de escuela. En la educación primaria, los resultados tienden a ser mejores en las escuelas privadas y en las escuelas públicas urbanas, y peores en las escuelas públicas rurales, en los cursos comunitarios y en las escuelas indígenas. En la educación secundaria, el patrón también es claro: las escuelas privadas y las escuelas de educación general constantemente obtienen mejores resultados que las escuelas de educación técnica y las telesecundarias (INEE , 2007b). Otro estudio del INEE encontró que los factores con mayor impacto en el desempeño en la educación primaria y en secundaria están relacionados, en primer lugar, con las características de los alumnos y sus familias, seguidos por aquellos relacionados con la modalidad educativa a la que asisten y la composición escolar, mientras que los factores relacionados con las características estructurales de las escuelas tenían menos influencia (INEE , 2007c). Existen evidencias que indican que algunos grupos son particularmente vulnerables (consulte, por ejemplo, INEE , 2007a): el porcentaje de alumnos con una lengua materna indígena que obtuvo el puntaje más bajo de los cuatro niveles de desempeño en la evaluación nacional de español, en 2007-2008, fue 48.9% en sexto grado (comparado con un porcentaje de 16.4% para los alumnos sin lengua materna indígena) y 51.8% en noveno grado (contra un porcentaje de 26.7% para los otros alumnos) (INEE , 2010). Las diferencias en los contextos socioculturales que enfrentan las escuelas son claras. Por ejemplo, en 2005, el porcentaje de alumnos de tercer grado cuyas madres habían terminado cuando mucho la educación primaria fue de 4.7% en las escuelas privadas, 22.9% en las escuelas públicas urbanas, 51.7% en las escuelas públicas rurales, 64.5% en las escuelas indígenas y 77.3% en los cursos comunitarios (INEE , 2007a). En el nivel de secundaria (9º grado en 2005), el porcentaje equivalente fue 8.0% en las escuelas privadas, 36.4% en las escuelas de educación general, 38.8% en las escuelas de enseñanza técnica y 66.1% en las telesecundarias. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 33

Del mismo modo, en el mismo año, el porcentaje de alumnos de tercer grado que declararon que tenían una computadora en casa fue 74.5% en las escuelas privadas, 37.2% en las escuelas públicas urbanas, 13.3% en las escuelas públicas rurales, 13.9% en las escuelas indígenas y 4.0% en los cursos comunitarios (INEE , 2007a). Los contextos socioculturales también difieren ampliamente entre los estados, lo que explica en gran medida la variación del desempeño entre los alumnos (INEE , 2007a y 2007b). También existen desigualdades en cuanto a la distribución de los recursos entre los distintos tipos de escuela. Por ejemplo, en el ciclo escolar 2005-2006, el porcentaje de maestros de tercer grado sin estudios de educación superior fue de 8.9% en las escuelas privadas, 16.7% en las escuelas públicas urbanas, 8.8% en las escuelas públicas rurales, 29.3% en las escuelas indígenas y 98.2% en los cursos comunitarios (INEE , 2007a). Del mismo modo, en el mismo año, el porcentaje de maestros de tercer grado que utiliza computadora para la enseñanza era muy diferente entre las escuelas: 87.3% en las escuelas privadas, 48.8% en las escuelas públicas urbanas, 25.5% en las escuelas públicas rurales, 9.4% en las escuelas indígenas y 0.8% en los cursos comunitarios (INEE , 2007a).

Avances principales Reforma general en la educación básica México introdujo recientemente una amplia reforma curricular para mejorar la coherencia del sistema y su enfoque en el desempeño de los alumnos: la Reforma Integral de la Educación Básica (RIEB ). Sus elementos fundamentales son la coordinación entre los diferentes niveles de la educación básica; la continuidad entre la educación preescolar, primaria y secundaria; el énfasis en los temas relevantes para la sociedad actual y la educación para la vida. La Reforma implica la elaboración de planes y programas de estudio actualizados, que se enfoquen en la enseñanza pertinente y tengan expectativas claramente definidas sobre las habilidades que es necesario adquirir por grado y materia; la mejora de la formación y capacitación de los directores y los docentes.; y los procesos participativos de la gestión escolar (OCDE , 2012). La RIEB se basa en una serie de principios pedagógicos (para más detalles, consulte el capítulo 2): • • • • • • • • • • • •

Centrar la atención en los estudiantes y en sus procesos de aprendizaje; Planeación para potenciar el aprendizaje; Generar ambientes de aprendizaje; Trabajar en colaboración para construir el aprendizaje; Poner énfasis en el desarrollo de competencias, el logro de los estándares curriculares y los aprendizajes esperados; Usar materiales educativos para favorecer el aprendizaje; Evaluar para aprender; Favorecer la inclusión para atender a la diversidad; Incorporar los temas de relevancia social; Renovar el pacto entre el estudiante, el docente, la familia y la escuela; Reorientar el liderazgo; y La tutoría y la asesoría académica a la escuela.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

34 – 1. LA EDUCACIÓN EN MÉXICO

La evaluación nacional de los alumnos Un avance particularmente importante en el ámbito de la evaluación educativa fue la introducción en 2006 de la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE ) para medir el desempeño de los alumnos en todo el país. En la educación básica, esta evaluación se aplica cada año, de tercero a sexto de primaria, en español y matemáticas, y en una tercera asignatura que varía cada año (por ejemplo, historia en 2010, geografía en 2011). Los resultados de ENLACE se hacen públicos a nivel de escuela y se han convertido en una herramienta importante para dar retroalimentación a los alumnos, padres de familia, maestros, escuelas y autoridades educativas. Por ejemplo, los alumnos (y sus padres) puedan consultar sus resultados en Internet. Actualmente también se utilizan en los esquemas de incentivos individuales, tales como los sistemas de estímulos para los docentes. El impacto de ENLACE ha sido significativo en varios niveles del sistema educativo (como se documentará en este informe).

Programas educativos federales focalizados Como ya se mencionó, una parte del financiamiento federal para la educación pública se entrega a través de determinados programas educativos (programas con un objetivo de política educativa específica). En general, para obtener estos recursos adicionales, cada escuela debe presentar su solicitud. Este financiamiento es parte de la función “compensatoria” del gobierno federal, que asigna recursos a las escuelas y estados con desventajas educativas. Algunos ejemplos de estos programas son (OCDE , 2010a): • • • • • • • • • • • • • • • • •

Escuelas de Calidad (consulte el recuadro 1.1 para más detalles) Escuelas de Tiempo Completo (consulte el recuadro 1.1) Programa Emergente para la Mejora del Logro Educativo (consulte el recuadro 1.1) Escuela Segura Escuela Siempre Abierta a la Comunidad Becas de Apoyo a la Educación Básica de Madres Jóvenes y Jóvenes Embarazadas Educación Básica para Niños y Niñas de Familias Jornaleras Agrícolas Migrantes Apoyo a la Educación de Grupos en Situación Vulnerable Programa Habilidades Digitales Enciclomedia (una herramienta pedagógica de aprendizaje electrónico para que los maestros la utilicen en las aulas) Programa Aula Base Telemática Programa Nacional de Lectura Fortalecimiento del Servicio de la Educación Telesecundaria Fortalecimiento de la Educación Especial y de la Integración Educativa Fortalecimiento de las Acciones Asociadas a la Educación Indígena Asesor Técnico Pedagógico Fortalecimiento de la Infraestructura Educativa

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 35

Recuadro 1.1 Programas educativos seleccionados: características principales Programa Escuelas de Calidad (PEC ) El propósito del PEC es reducir la brecha en la calidad de las escuelas mediante fideicomisos que financian los planes de mejora escolar. Su objetivo es dar autonomía a las escuelas y fomentar la toma de decisiones compartidas entre directores, maestros y padres de familia a través de los Consejos de Participación Social. El proyecto comenzó en 2001 y en el ciclo 2008-2009 abarcaba cerca de 40 790 escuelas, 296 478 maestros y 34 688 directores escolares. Entre 2006 y 2009, obtuvo el financiamiento del Banco Mundial, que fue renovado para 2010-2013. Para participar en el programa, el personal y los padres participan en una autoevaluación que se traduce en el Plan Estratégico de Transformación Escolar (PETE ) y posteriormente elaboran un plan que describe los pasos para mejorar la escuela —el Plan Anual de Trabajo (PAT ). La escuela recibe una subvención anual que puede otorgarse por un máximo de cinco años, en caso que sea seleccionada en cada ocasión para implementar las actividades incluidas en el plan. Durante los primeros cuatro años, el PEC exigió a las escuelas invertir 70% de la subvención en suministros, infraestructura y otros bienes físicos. En el último año, las escuelas sólo deben gastar 50% del financiamiento en dichos bienes, mientras que una buena parte debe destinarse a la formación docente y el desarrollo. Las asociaciones de padres de familia participan en el diseño y ejecución de los planes de mejora escolar y compra de suministros. Los directores de las escuelas también reciben capacitación a través del PEC . Programa Escuelas de Tiempo Completo (PETC )

El PETC se enfoca principalmente en las poblaciones que viven en las zonas urbanas marginadas o que tienen una gran proporción de indígenas, migrantes o alumnos con bajo desempeño escolar. Este programa plantea un incremento promedio de cuatro horas a la jornada escolar, con base en una propuesta pedagógica de seis elementos: 1) fomento al aprendizaje de los contenidos curriculares; 2) uso didáctico de tecnologías de comunicación e información (TIC ); 3) aprendizaje de idiomas adicionales; 4) arte y cultura; 5) recreación y desarrollo físico; y 6) vida sana. Fue creado en 2007 con 500 escuelas de educación básica de todo el país. Durante el ciclo escolar 2009-2010, incluyó a 365 269 alumnos, 2 000 directores escolares y 13 271 maestros en 2 214 escuelas de 30 entidades federativas. Programa Emergente para la Mejora del Logro Educativo (PEMLE )

El PEMLE apoya a cerca de 7 395 escuelas con los niveles más bajos de desempeño en las evaluaciones nacionales (ENLACE ) de 2007, 2008 y 2009. Este programa fue lanzado con un plan de tres años (noviembre 2009 a diciembre 2012) y está formado por dos elementos principales: a) redes de formación de profesores; y b) creación de capacidad personalizada en las escuelas mediante tutorías. Además de mejorar los resultados educativos, los objetivos del programa son: 1) fomentar la comprensión de los temas más allá de las clases o la sola enseñanza de los contenidos; 2) ayudar a los maestros a mejorar sus conocimientos en los temas principales de la educación básica; 3) desarrollar redes de tutorías de formación continua; y 4) promover un mejor intercambio pedagógico entre los docentes y sus alumnos, tanto dentro como entre las regiones, con el fin de fortalecer las capacidades locales. Fuente: Adaptado de OCDE (2010a).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

36 – 1. LA EDUCACIÓN EN MÉXICO

Alianza por la Calidad de la Educación La Alianza por la Calidad de la Educación (ACE ) fue firmada en 2008 por la Presidencia de la República y el SNTE , y más tarde fue suscrita por la mayoría de los gobiernos de los estados. La Alianza se ha consolidado como un importante acuerdo político cuya base se remonta a los lineamientos establecidos en el Programa Sectorial de Educación 2007-2012. Desde su creación, la Alianza ha ayudado a dar forma a la política educativa. Se enfoca en cinco áreas que buscan fomentar el cambio en el sistema educativo (OCDE , 2010a): 1. 2. 3. 4. 5.

Modernización de las escuelas; Profesionalización de los maestros y autoridades educativas; Bienestar y desarrollo personal de los alumnos; Formación de los alumnos para la vida y el trabajo; y Evaluar para mejorar.

Acuerdo de Cooperación México-OCDE para “Mejorar la Calidad de la Educación en las Escuelas en México” El gobierno de México y la OCDE establecieron un Acuerdo de Cooperación para “Mejorar la Calidad de la Educación en las Escuelas en México” en 2008. El propósito del acuerdo de dos años era proporcionar al gobierno mexicano asesoría sobre políticas y recomendaciones pertinentes que apoyaran los esfuerzos actuales y futuros de reforma con miras a mejorar los resultados educativos, a partir de una revisión de las prácticas internacionales y la evidencia e investigación de la OCDE (OCDE , 2011b). Las principales áreas de análisis fueron las políticas para mejorar las escuelas (que incluyeron el liderazgo escolar, la participación social y la evaluación de la escuela), la profesión docente y la evaluación de los maestros. Los resultados de este trabajo, con las recomendaciones específicas para México, se presentaron en los siguientes informes: Establecimiento de un marco para la evaluación y los incentivos docentes: consideraciones para México (OCDE , 2011c), Mejorar las escuelas: estrategias para la acción en México (OCDE , 2010a) y Evaluación e incentivos para la calidad de los maestros: prácticas internacionales (OCDE , 2009b). Teniendo en cuenta el importante análisis que ofrecen estos trabajos sobre la política de evaluación educativa en México, serán citados varias veces a lo largo de este informe.

Notas 1 Cabe señalar que el alcance para el análisis de este informe se limita a la evaluación en la educación primaria y secundaria.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

1. LA EDUCACIÓN EN MÉXICO – 37

Bibliografía Arias, J., O. Azuara, P. Bernal, J. Heckman y C. Villarreal (2010), Policies to Promote Growth and Economic Efficiency in Mexico, NBER Working Paper 16554, National Bureau of Economic Research, Cambridge, Massachusetts. Barrera, I. y R. Myers (2011), “Estándares y evaluación docente en México: El estado del debate”, Programa de Promoción de la Reforma Educativa en América Latina y el Caribe / Partnership for Educational Revitalization in the Americas (PREAL ), No. 59. Benavides, M. y G. Velasco (1992), Sindicato magisterial en México, Instituto de Proposiciones Estratégicas, A.C. México. Brunner, J.J., P. Santiago, C. García Guadilla, J. Gerlach y L. Velho (2008), OECD Reviews of Tertiary Education: Mexico, OECD , París, www.oecd.org/edu/tertiary/review. Cárdenas, S. (2010), Separados y desiguales: Las escuelas de doble turno en México, Documento de trabajo No. 244 del CIDE , Centro de Investigación y Docencia Económicas, México, D.F. CONEVAL (Consejo Nacional de Evaluación de la Política de Desarrollo Social) (2009), Cifra de pobreza por ingresos 2008, CONEVAL México, www.coneval.gob.mx. Elizondo Mayer-Serra, C. (2009), “Perverse Equilibria: Unsuitable but Durable Institutions”, en S. Levy y M. Walton (eds.), No Growth without Equity?: Inequality, Interests and Competition in Mexico, The World Bank and Palgrave Macmillan. Fierro, C.E., G. Tapia García y F. Rojo Pons (2009), Descentralización educativa en México: Un recuento analítico, documento preparado por la OCDE para el proyecto “Implementación de políticas educativas”, www.oecd.org/edu/calidadeducativa. Fundación Este País e INEE (2005), Las telesecundarias mexicanas: un recorrido sin atajos, www.inee.edu.mx. Góngora, J.S. y M.A. Leyva P. (2008), “El SNTE en su encrucijada: Política o educación”, Las luchas por el derecho a la educación en América Latina, Ensayos e investigaciones del Laboratorio de Políticas Públicas, Buenos Aires, Nº 32. INEE (Instituto Nacional para la Evaluación de la Educación) (2007a), La educación para poblaciones en contextos vulnerables, México, D.F. INEE (2007b), Aprendizaje y desigualdad social en México: Implicaciones de política educativa en el nivel básico, E. Backhoff Escudero, A. Bouzas Riaño, E. Hernández Padilla y M. García Pacheco, México, D.F. INEE (2007c), Factores escolares y aprendizaje en México: El caso de la educación básica, E. Backhoff Escudero, A. Bouzas Riaño, C. Contreras, E. Hernández y M. García, México, D.F. INEE (2009), Panorama Educativo de México: Indicadores del Sistema Educativo Nacional: 2009 Educación Básica, México, D.F. INEE (2010), El derecho a la educación en México: Informe 2009, México, D.F. INEGI (Instituto Nacional de Estadística y Geografía) (2010), Estadísticas históricas de México: 2009, Aguascalientes, www.inegi.org.mx/prod_serv/contenidos/espanol/bvinegi/productos/ integracion/pais/historicas10/EHM2009.pdf. Kis, V., K. Hoeckel y P. Santiago (2009), Learning for Jobs, OECD Reviews of Vocational Education and Training: Mexico, OECD , París, www.oecd.org/edu/learningforjobs. OCDE (2009a), Creating Effective Teaching and Learning Environments: First Results from TALIS , OECD , París, www.oecd.org/edu/talis. OCDE (2009b), Evaluating and Rewarding the Quality of Teachers: International Practices, OECD , París. OCDE (2010a), Improving Schools: Strategies for Action in Mexico, OECD , París.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

38 – 1. LA EDUCACIÓN EN MÉXICO

(2010b), PISA 2009 Results: What Students Know and Can Do, Student Performance in Reading, Mathematics and Science, Volume I, OECD , París. OCDE (2010c), PISA 2009 Results: Learning Trends: Changes in Student Performance since 2000, Volume V, OECD , París. OCDE (2010d), PISA 2009 Results: Overcoming Social Background: Equity in Learning Opportunities and Outcomes, Volume II , OECD , París. OCDE (2011a), Education at a Glance: OECD Indicators 2011, OECD , París. OCDE (2011b), Strong Performers and Successful Reformers in Education: Lessons from PISA for Mexico, OECD , París. OCDE (2011c), Establishing a Framework for Evaluation and Teacher Incentives: Considerations for Mexico, OECD , París. OCDE (2012), Progress with Educational Reform in Basic Education in Mexico: an OECD Perspective, OECD , París. Ornelas, C. (1998), “La descentralización de los servicios de educación y salud en México”, en E. Di Gropello y R. Cominetti, La descentralización de la educación y la salud en América Latina, CEPAL , Santiago. Presidencia de la República (2011), Quinto reporte de gobierno, Gobierno Federal, Estados Unidos Mexicanos, D.F., www.report.gob.mx/report-de-gobierno. Ruiz Cuéllar, G. (2007), “Docentes, infraestructura y equipamiento de las escuelas”, en La calidad de la educación básica en México 2006, Instituto Nacional para la Evaluación de la Educación, México. SEP (Secretaría de Educación Pública) (2011), Sistema educativo de los Estados Unidos Mexicanos: Principales cifras ciclo escolar 2010-2011, México, D.F. SEP e INEE (próximamente), Country Background Report for Mexico, prepared for the OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, to be available from www.oecd.org/edu/evaluationpolicy. Tapia García, G. (2004), La supervisión escolar: Perspectivas de reforma e innovación en el marco de la Reforma Educativa Mexicana, Tesis de Maestría, Instituto de Investigaciones en Educación, Universidad de Guanajuato. UNESCO-IBE (United Nations Educational, Scientific and Cultural Organization - International Bureau of Education) (2010), World Data on Education VII Ed. 2010-2011: Mexico, www.ibe.unesco.org/fileadmin/user_upload/Publications/WDE/2010/pdf-versions/Mexico.pdf. OCDE

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 39

Capítulo 2 El marco de evaluación en México

La evaluación en México opera en cinco niveles clave: (i) el sistema nacional —a través de los indicadores educativos y de las evaluaciones nacionales e internacionales de los alumnos; (ii) los subsistemas estatales —a través de indicadores educativos y de las evaluaciones nacionales de los alumnos, (iii) la escuela —a través de la rendición de cuentas basada en la evaluación de los alumnos y la supervisión del trabajo de la escuela por una estructura de supervisiones; (iv) el maestro —en particular a través de los esquemas de promoción e incentivos; y (v) el alumno —con instrumentos que van desde evaluaciones externas nacionales a la evaluación formativa continua y diaria en el aula. La evaluación global y el marco de evaluación parecen estar fragmentados debido a que los componentes individuales se han desarrollado de manera independiente en el tiempo. En particular, las características positivas del marco incluyen el notable avance en la importancia de la evaluación; el rango de las iniciativas recientes para fortalecer la evaluación; la existencia de referencias comunes a nivel nacional; la implementación de la Reforma Integral para la Educación Básica con potencial para generar mejoras duraderas en el sistema educativo; el énfasis en la equidad y la inclusión; la gran capacidad de evaluación a nivel nacional; y la creciente participación de diferentes actores interesados en el marco de evaluación. Sin embargo, para construir un marco efectivo existen importantes desafíos. Entre ellos, el desarrollo incipiente de algunos componentes clave; la pérdida de eslabones entre los diferentes elementos de la estructura; las preocupaciones sobre la administración y operación del marco de evaluación; el limitado énfasis en la importancia de la función formativa de la evaluación; una concepción estrecha de lo que implica la evaluación; el inicial desarrollo de la alineación entre la reforma curricular y la evaluación; y la insuficiencia de competencias para la evaluación en todo el sistema.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

40 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

Este capítulo analiza el marco general para la evaluación en el sistema educativo mexicano, es decir, sus diversos componentes tales como: la evaluación de los alumnos, la evaluación de los maestros, la evaluación de las escuelas, la evaluación y coherencia del sistema y la articulación entre los diferentes componentes. Después de este panorama, los capítulos siguientes (3-6) analizarán los temas relevantes para cada componente individual, de una manea más detallada. Este informe hace una distinción del término “evaluación en tres niveles: el que se refiere a los juicios sobre el progreso individual y el logro de objetivos de aprendizaje del alumno y que incluye las evaluaciones en el aula y a gran escala, así como las pruebas y los exámenes externos; el que se refiere a los juicios sobre el desempeño de los profesionales a nivel de escuela, por ejemplo, los docentes; y por último, el que se refiere a los juicios sobre la eficacia de las escuelas, los sistemas escolares y las políticas.

Contexto y características Administración y Operación Como sucede en algunos otros países de la OCDE , México no cuenta con un marco integrado de evaluación diseñado como un todo. Su marco está formado por una serie de componentes que fueron desarrollados de forma relativamente independiente en el tiempo y que operan a diferentes niveles. En México la evaluación opera en cinco niveles principales: el sistema nacional, los subsistemas estatales, la escuela, el maestro y el alumno. En cada uno de estos niveles, los mecanismos de evaluación proveen una base para evaluar la eficacia de la educación ofrecida a los alumnos. De igual forma, identifica las fortalezas y debilidades del sistema, de las escuelas, de los maestros y de los alumnos para advertir las áreas de oportunidad. El objetivo final es mejorar la calidad de la educación en el país. El enfoque de México para la evaluación combina la dirección central federal en cuanto al desarrollo de políticas y el establecimiento de estándares con la descentralización de responsabilidades para implementar la evaluación a nivel estatal y escolar. De acuerdo con la Ley General de Educación (LGE ), la evaluación educativa es responsabilidad de las autoridades educativas federales. La Secretaría de Educación Pública (SEP ) es responsable de supervisar todo el sistema educativo y participa en todos los componentes del marco de evaluación, incluyendo el desarrollo de los objetivos obligatorios del aprendizaje de los alumnos (currículo nacional en forma de planes y programas de estudio), la determinación de las características de la profesión docente y el seguimiento del desempeño de las escuelas y el sistema educativo. La SEP diseña, implementa y supervisa las políticas de educación, que incluyen el establecimiento del Programa Sectorial de Educación 2007-2012; además delinea las áreas en las que los estados tienen responsabilidades en la evaluación educativa. Otros organismos federales también tienen funciones importantes en el marco de evaluación. El más destacado es el Instituto Nacional para la Evaluación de la Educación (INEE ), creado en 2002 como un organismo público para establecer altos estándares técnicos en las prácticas de evaluación en México y aportar una perspectiva más autónoma para evaluar el sistema educativo. Las actividades del INEE incluyen el diseño y desarrollo de las evaluaciones nacionales de los alumnos, los indicadores para la calidad de la educación en México y los instrumentos y lineamientos de evaluación (por ejemplo, para la evaluación de las escuelas) (consulte el capítulo 1). Otro actor importante es el Centro Nacional de Evaluación para la Educación Superior (CENEVAL ), que es responsable del diseño y la aplicación de varias REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 41

evaluaciones de alumnos y docentes en el país. Por último, la educación también es evaluada por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL ) a través de los programas federales en esta materia. Los estados son responsables de la educación en sus territorios. Al operar las escuelas de su subsistema, las autoridades estatales son coresponsables de la calidad de la educación. Ellas se encargan de organizar sus propios sistemas de supervisión escolar, que tienden a concentrarse en el cumplimiento de la normatividad, y apoyan la mejora de las escuelas. Los estados están autorizados a desarrollar iniciativas de evaluación para complementar a las federales, por ejemplo, la creación de un instituto de evaluación a nivel estatal o el desarrollo de evaluaciones estandarizadas de alumnos, específicas para el estado. Como resultado, además de coordinar las iniciativas federales de evaluación, los estados pueden desarrollar sus propias evaluaciones. Las escuelas se benefician con una autonomía limitada para organizar los diversos componentes de evaluación de alumnos, docentes y escuela. Son las principales responsables de la evaluación de los alumnos, incluyendo la definición de los criterios e instrumentos de evaluación (en su mayoría determinados por los docentes). Además, operan algunos elementos de ciertos procesos de evaluación docente y son responsables de su autoevaluación.

Componentes principales Se podría decir que el marco mexicano de evaluación está formado por los siguientes cuatro componentes principales: • La evaluación de los alumnos. En México, el desempeño de los alumnos se evalúa mediante una amplia gama de instrumentos, que van desde las pruebas nacionales estandarizadas hasta la evaluación formativa, continua, en el aula. Los maestros son los principales responsables de la evaluación de los alumnos. Todos los alumnos son evaluados de manera continua durante todo el año escolar en cada área o materia del plan de estudios. Las calificaciones utilizadas para reportar el desempeño/logro de los alumnos están en una escala de 5 a 10. Los criterios y métodos de evaluación son definidos por cada maestro. También hay exámenes nacionales finales externos, al final de la primaria (Instrumento para el Diagnostico de Alumnos de Nuevo Ingreso a Secundaria, IDANIS ) y al final de la educación secundaria (Examen Nacional de Ingreso a la Educación Media Superior, EXANI I ). Estas evaluaciones sirven para el diagnóstico y selección (por escuela en el siguiente nivel). A nivel nacional, existe también una completa evaluación externa (Evaluación Nacional del Logro Académico en Centros Escolares, ENLACE) que se utiliza con fines de diagnóstico y mejora, pero que tiene “alto impacto” para los maestros y las escuelas. En educación básica, ENLACE se administra anualmente a todos los alumnos de tercero a sexto grado de primaria y de primero a tercer grado de secundaria, en español y matemáticas. Desde 2008, una tercera asignatura variable se evalúa cada año en los mismos grados: ciencias en 2008, formación cívica y ética en 2009, historia en 2010 y geografía en 2011. • La evaluación de los maestros (incluyendo a los directivos escolares). La evaluación docente es amplia y consta de varios componentes que cubren las diferentes etapas de su trayectoria profesional. Según el caso, los sistemas de evaluación docente también pueden aplicarse al personal directivo y de apoyo técnico pedagógico. Hay exámenes para seleccionar a los candidatos a la formación inicial docente, así como exámenes externos de diagnóstico durante y después de su graduación. El acceso a una plaza definitiva se regula a través del Concurso Nacional para el Otorgamiento de Plazas Docentes que, en la actualidad, se basa en un examen estandarizado: el Examen Nacional de Conocimientos, Habilidades REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

42 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

y Competencias Docentes. Mientras está en servicio, el maestro puede ser evaluado, de manera voluntaria, en tres situaciones distintas: para ascender a una plaza directiva a través del Escalafón vertical; para solicitar un aumento de salario dentro de cada rango del Escalafón vertical, a través del Programa Nacional de Carrera Magisterial; y para participar por los estímulos monetarios individuales y colectivos con base en los resultados de las evaluaciones estandarizadas del alumnado, a través del Programa de Estímulos a la Calidad Docente. Además, el gobierno está implementando un proceso obligatorio de evaluación docente, de carácter más formativo, que abarca a todos los maestros, la Evaluación Universal de Docentes. Los resultados de ENLACE son muy utilizados: tienen un peso de 50% tanto en la Evaluación Universal como en el Programa Nacional de Carrera Magisterial. También son la base principal para el Programa de Estímulos a la Calidad Docente. • La evaluación de las escuelas. No se cuenta con un enfoque sistemático bien establecido para evaluar a las escuelas. A nivel escuela los datos agregados, incluyendo los resultados de las evaluaciones de ENLACE , aportan información general sobre el desempeño de los alumnos y permiten compararlos con los promedios estatales y nacionales, pero no dan información sobre el contexto que enfrentan las escuelas. A nivel nacional se promueve la autoevaluación de las escuelas y se les proporciona asesoría e instrumentos. La participación es voluntaria, salvo en los casos en que la escuela participa en uno de los programas federales de educación, como el Programa de Escuelas de Calidad. No existe una evaluación sistemática externa para las escuelas. Hay una larga tradición de supervisión del trabajo escolar por parte de inspectores y otro personal externo al plantel, pero su papel se ha asociado en gran parte con el cumplimiento de la normativa y otras tareas administrativas de las escuelas. • Evaluación del sistema. La Secretaría de Educación Pública (SEP ) es responsable de la supervisión y evaluación general del sistema educativo, con el apoyo del Instituto Nacional para la Evaluación de la Educación (INEE ). Se utilizan una variedad de herramientas para monitorear el desempeño del sistema educativo. La información sobre los resultados del aprendizaje de los alumnos se recaba de los Exámenes de Calidad y Logro Educativo (EXCALE ) al final de la educación preescolar, en tercer grado y sexto grado de primaria, tercer grado de secundaria y tercer grado de bachillerato, cubriendo español, matemáticas, ciencias naturales y ciencias sociales. El sistema de monitoreo también incluye una serie de estadísticas sobre la educación basadas en los datos recopilados de las escuelas mediante un formato estandarizado. Estas son la base de las publicaciones anuales con los indicadores educativos del sistema. Además, las referencias de desempeño de los alumnos, proporcionadas por evaluaciones internacionales como PISA , han tenido una gran influencia en el desarrollo de políticas para todo el sistema. También se ha observado un creciente interés en la realización de estudios sobre el impacto de las iniciativas de política y en la preparación de informes temáticos que pueden sustentar el desarrollo de ésta. Cada estado complementa las iniciativas nacionales con sus propios métodos para evaluar su subsistema; incluso algunos han creado un instituto de evaluación.

Objetivos de la educación Objetivos generales de la educación La Ley General de Educación (LGE ), establecida en 1993 (y revisada en 2002, 2004, 2006 y 2009), regula la educación en México. Los objetivos principales de la educación, conforme a lo estipulado en el artículo 7 de la LGE , incluyen:

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 43

• Contribuir al desarrollo total de los individuos para que ejerzan plenamente sus capacidades. • Apoyar el desarrollo de habilidades para adquirir conocimientos, así como la capacidad de observación, análisis y pensamiento crítico. • Fomentar el conocimiento y apreciación de las tradiciones y la idiosincrasia cultural de las diferentes regiones del país. • Alentar la conciencia de la diversidad lingüística del país y el respeto a los derechos lingüísticos de los pueblos indígenas, especificando que “los hablantes de lenguas indígenas deben tener acceso a la educación obligatoria en su propia lengua y en español”. • Impulsar la democracia como forma de gobierno y convivencia que permita a todos participar en las decisiones para mejorar la sociedad. • Fomentar los valores de la justicia, el cumplimiento de la ley y la igualdad de las personas ante la ley, así como la concientización de los derechos humanos y su observancia. • Alentar actitudes que estimulen la investigación y la innovación científica y tecnológica. • Promover la creación artística y la adquisición, enriquecimiento y difusión de los valores y acervos de la cultura universal, en especial los que constituyen el patrimonio cultural de la nación. • Fomentar la educación física y el deporte. • Desarrollar actitudes responsables hacia la protección de la salud, la planeación familiar y la crianza de los niños. • Fomentar los conceptos y principios básicos de las ciencias ambientales, el desarrollo sustentable y los valores y protección del medio ambiente. • Promover actitudes positivas hacia el trabajo, el ahorro y el bienestar general. • Alentar los valores y principios de la cooperación.

Objetivos de la política A nivel federal, los puntos de referencia clave para la planeación de la educación son el Plan Nacional de Desarrollo 2007-2012 y el Programa Sectorial de Educación (PROSEDU ) 20072012. El PROSEDU tiene 6 objetivos divididos en 41 indicadores (22 para la educación básica): 1. Elevar la calidad de la educación para que los alumnos mejoren sus niveles de logro educativo, cuenten con medios para tener acceso a un mayor bienestar y contribuyan al desarrollo nacional. 2. Ampliar las oportunidades educativas para reducir desigualdades entre grupos sociales, cerrar brechas e impulsar la equidad. 3. Impulsar el desarrollo y utilización de tecnologías de la información y la comunicación en el sistema educativo para apoyar el aprendizaje de los estudiantes, ampliar sus competencias para la vida y favorecer su inserción en la sociedad del conocimiento. 4. Ofrecer una educación integral que equilibre la formación en valores ciudadanos, el desarrollo de competencias y la adquisición de conocimientos, a través de actividades regulares del aula, la práctica docente y el ambiente institucional, para fortalecer la convivencia democrática e intercultural. 5. Ofrecer servicios educativos de calidad para formar personas con alto sentido de responsabilidad social, que participen de manera productiva y competitiva en el mercado laboral. 6. Fomentar una gestión escolar e institucional que fortalezca la participación de los centros escolares en la toma de decisiones; corresponsabilice a los diferentes actores sociales y educativos; y promueva la seguridad de alumnos y profesores, la transparencia y la rendición de cuentas. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

44 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

Establecimiento de metas nacionales México estableció metas para cada uno de los seis objetivos del Programa Sectorial de Educación 2007- 2012 (SEP e INEE , de próxima aparición), que deben alcanzarse para 2012. Algunos ejemplos de las metas establecidas son: • Una puntuación combinada de 435 en las pruebas PISA de lectura y matemáticas; • En la escuela primaria, que 82% y 83% de los alumnos alcancen al menos el nivel de dominio elemental en las pruebas nacionales (ENLACE ) en español y matemáticas, respectivamente, (70% y 53% en educación secundaria); • Una tasa de terminación del 86.7% en secundaria; • 99% de cobertura en la educación básica en los ocho estados más pobres (Chiapas, Durango, Guerrero, Oaxaca, Puebla, San Luis Potosí, Tabasco, Veracruz); • El 100% de las aulas de telesecundaria equipadas con tecnologías informáticas y de comunicación y materiales educativos; • 5 000 escuelas primarias inscritas en el Programa de Escuelas de Tiempo Completo; y • 40 000 directores de escuela capacitados en la gestión estratégica como parte del Programa Escuelas de Calidad.

Objetivos de aprendizaje de los alumnos En el plan de estudios obligatorio, a nivel nacional, posterior a la Reforma Integral de la Educación Básica (RIEB ) se establecieron objetivos de aprendizaje específicos para los alumnos de educación básica. Este plan se apoya en dos documentos principales: el Plan de Estudios 2011 para la educación básica y los Programas de Estudio 2011: Guía para el Maestro, específicos para cada grado y materia. Estos documentos obligatorios prescriben el contenido de aprendizaje en cada área y materia de la educación, así como los aprendizajes esperados en cada etapa del sistema de educación básica.1 El Plan de Estudios para la Educación Básica establece lo siguiente: • Doce principios pedagógicos en los que se basa el plan de estudios (véase la lista en el capítulo 1); • Cinco “competencias para la vida” que deben desarrollarse durante todas las etapas de la educación básica: el aprendizaje para toda la vida; manejo de la información; manejo de situaciones; convivencia; y la vida en sociedad. • El perfil de egresado de educación básica que especifica diez características (por ejemplo, “uso de la lengua materna, de forma oral y escrita, para comunicarse con claridad y fluidez, e interactuar en distintos contextos sociales y culturales; además, contar con las herramientas básicas para comunicarse en inglés”). • El mapa curricular de la educación básica que especifica los cuatro campos de la educación para esta etapa (lenguaje y comunicación; pensamiento matemático; exploración y comprensión del mundo natural y social; y desarrollo personal y para la convivencia); así como las asignaturas relacionadas con cada campo de la educación, su distribución entre los distintos grados y el tiempo asignado en el horario. • Los parámetros curriculares para la educación indígena que establecen principios y objetivos para el plan de estudios nacional, adaptados a esta educación. También especifica los propósitos que se persiguen con la inclusión de una materia de lengua indígena.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 45

• Las estrategias para el desarrollo de competencias digitales, incluyendo los indicadores de desempeño sobre el uso de las TIC del docente en la enseñanza. • Los principios para la gestión escolar y el aprendizaje (donde se incluye la administración de los horarios de las escuelas). • La estructura de la organización de los estándares curriculares que expresan lo que los alumnos deben saber y ser capaces de hacer al final de las cuatro etapas principales de la educación básica: educación preescolar, tercer grado de primaria, sexto grado de primaria y educación secundaria. Para cada área y materia de educación, se cuenta con una estructura dada. Por ejemplo, los estándares curriculares para español se agrupan en cinco componentes: (1) Los procesos de lectura e interpretación de textos; (2) La producción de textos escritos; (3) La producción de textos orales y participación en eventos comunicativos; (4) El conocimiento de las características, función y uso del lenguaje; y (5) Actitudes con el lenguaje. Debe tenerse en cuenta que también se introdujo un estándar nacional específico para la habilidad de lectura en cada grado: el número de palabras por minuto que un alumno debe leer en voz alta. Los Programas de Estudio: Guía para el Maestro se traducen posteriormente, en términos más específicos, en los principios y objetivos descritos en el plan de estudios para la educación básica. Se cuenta con un programa de estudio para la educación preescolar, un programa de estudio para cada grado de la educación primaria (que abarca las diferentes áreas de conocimiento) y un programa de estudio por asignatura en la educación secundaria (que abarca los tres grados). Los programas de estudio especifican en detalle lo siguiente: • El contenido del aprendizaje para cada materia y área de la educación. Por ejemplo, en el 6º grado de educación primaria se imparten las siguientes materias: español, matemáticas, ciencias naturales, geografía, historia, formación cívica y ética, educación física y educación artística. Para cada una de las asignaturas o áreas de la educación, el programa de estudios respectivo normalmente cubre los siguientes aspectos: Objetivos de la asignatura Especifican los objetivos generales de la asignatura. Por ejemplo: en el sexto grado, las matemáticas incluye como uno de sus propósitos: la expectativa de que “los alumnos utilicen e interpreten diferentes códigos para orientarse en el espacio y para localizar objetos o lugares”. Estándares curriculares Expresan lo que los alumnos deben saber y ser capaces de hacer al final de las cuatro etapas principales de la educación básica. Por ejemplo, los estándares curriculares de matemáticas se agrupan en cuatro componentes: (1) El sentido de los números y el pensamiento algebraico; (2) Forma, espacio y medición; (3) La administración de la información; y (4) Actitud hacia el aprendizaje de las matemáticas. En 6º grado hay 15 estándares en estos componentes (por ejemplo, “Resolver problemas con multiplicación o división de números naturales utilizando algoritmos convencionales”). Enfoque didáctico Esta sección sugiere metodologías didácticas para el docente, por ejemplo: cómo administrar el tiempo en el aula, cómo generar trabajo colaborativo entre los alumnos y cómo garantizar la participación del grupo. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

46 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

Organización del aprendizaje En esta sección se especifican los contenidos del aprendizaje. Estos contenidos están organizados por “bloques” temáticos de acuerdo con los diferentes componentes de los estándares curriculares y están asociados con los resultados de los aprendizajes esperados. Dichos resultados especifican los conocimientos y habilidades que todos los alumnos deben alcanzar como resultado del estudio de los contenidos de aprendizaje propuestos, en o a través de los “bloques” temáticos. Por ejemplo, en matemáticas de sexto grado, en el Bloque III se establece el aprendizaje de los números y los sistemas numéricos, ubicación espacial, medición, proporcionalidad y funciones, y el análisis y representación de datos. Por otro lado, uno de los tres resultados de aprendizaje esperados es “resolver problemas que impliquen el uso de mediciones de tendencia central (media, mediana y moda)”. • Guía para el maestro. Esta sección proporciona una guía para el docente, para cada una de las cuatro áreas de enseñanza para la educación básica (lenguaje y comunicación, pensamiento matemático, exploración y comprensión del mundo natural y social, desarrollo personal y social), a través de una gama de aspectos que, por lo general, incluyen: Enfoque Describe las principales características del área de conocimiento particular junto con los principales objetivos para el aprendizaje. Ambiente de aprendizaje Expone los enfoques para organizar el aprendizaje en el aula, tales como el desarrollo de proyectos didácticos. Desarrollo de competencias digitales Propone enfoques para desarrollar las competencias digitales, como el uso de recursos digitales disponibles en línea y el uso de las computadoras por los alumnos, en la preparación de sus proyectos. Evaluación Describe la gama de técnicas de evaluación que el maestro puede usar para la evaluación diagnóstica, formativa y sumativa de los alumnos. Organización pedagógica Enuncia una serie de principios para la organización pedagógica del aprendizaje, como su contextualización, los conocimientos previos de los alumnos, la explicación al grupo de los objetivos de aprendizaje y la participación activa del alumnado en las actividades de aprendizaje. Orientaciones didácticas Recomienda una serie de enfoques didácticos para implementar proyectos de aprendizaje en el aula. Además del plan y los programas de estudio, los docentes también cuentan con los libros de texto autorizados por la SEP , las guías y los casos de estudio sobre la enseñanza de asignaturas específicas, los materiales de enseñanza en línea y el apoyo de los comités técnicos estatales.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 47

Fortalezas Se ha logrado un notable progreso para dar prioridad a la evaluación en la política educativa En los últimos 12 años, México ha progresado notablemente en el desarrollo de las bases para un marco de evaluación. A partir de la década del 2000, la política educativa confirió un papel estratégico a la evaluación como herramienta imprescindible para la planeación, la rendición de cuentas y la elaboración de políticas. El Programa Nacional de Educación 2001-2006 estableció que la evaluación debía ser permanente y sistemática, combinar la participación de los organismos internos y externos y ser importantes instrumentos de gestión para lograr la mejora y la rendición de cuentas ante la sociedad. Un hito en el desarrollo de la evaluación en México fue la creación del Instituto Nacional para la Evaluación de la Educación (INEE ) por decreto presidencial, en 2002, como un organismo público descentralizado para proporcionar orientación y dirección en las actividades de evaluación, en los niveles de educación básica y media superior. Este instituto respondió a la creciente demanda social de un organismo independiente que evaluara, de manera confiable, el sistema educativo (OCDE , 2010). Otro importante avance fue la implementación de evaluaciones nacionales estandarizadas: aplicadas a una muestra (EXCALE en 2005) y basadas ​​ en datos censales (ENLACE en 2006). Estas evaluaciones arrojaron datos sobre los resultados de aprendizaje de los alumnos que, por primera vez, ofrecieron un panorama de la medida del logro de los objetivos de aprendizaje. ENLACE también permitió comparar los resultados de aprendizaje de los alumnos de cada una de las escuelas. Estos avances demostraban claramente que la evaluación se había convertido en una prioridad en el sistema escolar y dieron lugar a un amplio programa para promover una cultura de la evaluación entre los actores escolares. El objetivo era alejarse de una tradición de no evaluar las prácticas educativas, una limitada rendición de cuentas sobre los resultados de los alumnos y la estrecha perspectiva sobre las estrategias de mejora. En la actualidad, la evaluación sigue siendo una prioridad de la política educativa. El Programa Sectorial de Educación (P ROSEDU ) 2007-2012 coloca a la evaluación como un tema transversal en todos los objetivos de la educación, con tres funciones principales: rendición de cuentas de los actores educativos, información a los padres de familia y el apoyo a las políticas públicas. En la misma línea, la Alianza por la Calidad de la Educación (ACE ), establece que la evaluación debe servir de estímulo para mejorar la calidad de la educación, favorecer la transparencia y la rendición de cuentas, y actuar como una base para el desarrollo de la política educativa. En consecuencia, se compromete a: (i) articular el Sistema Nacional de Evaluación Educativa (SNEE ) agrupando a los organismos gubernamentales, los procesos y procedimientos existentes; (ii) evaluar a todos los que toman parte en el proceso educativo de una manera exhaustiva y periódica; y (iii) establecer las normas de desempeño de los componentes, procesos y recursos del sistema educativo nacional. Es evidente que la evaluación se ha ganado un lugar importante dentro de la política educativa mexicana. El Equipo de Revisión de la OCDE opina que existe un apoyo creciente entre los actores escolares para la consolidación de las prácticas de evaluación en los diferentes niveles del sistema. La aceptación general de la necesidad de fortalecer las actividades de evaluación es el resultado de la firme resolución de continuar con las políticas de evaluación en la última década. Dichas políticas han contribuido en gran medida a fomentar la conciencia pública sobre la evaluación; además, transmiten un poderoso mensaje sobre el papel crucial que juegan en la política educativa. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

48 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

Una ventaja importante que se ha conseguido al dar un mayor énfasis a la evaluación ha sido el creciente enfoque en la mejora de los resultados de los alumnos y el logro de los objetivos de aprendizaje. Esto se refleja en el establecimiento de los objetivos nacionales de educación que deben alcanzarse para el año 2012, en la mayor importancia que se otorga a los resultados de los alumnos (en particular los resultados de ENLACE ) para la rendición de cuentas de la escuela y la evaluación de los maestros, y en la demanda de información pública sobre los resultados de los alumnos.

Una serie de iniciativas recientes fortalecen el marco de evaluación El enfoque de la agenda educativa en la evaluación ha propiciado el desarrollo reciente de una serie de iniciativas que pueden fortalecer la evaluación en el sistema escolar. Entre las más significativas se encuentran: • La Reforma Integral para la Educación Básica (RIEB ), donde el aprendizaje de los alumnos se define sobre la base de las competencias y los resultados de aprendizaje esperados, una mejor información para los alumnos y los padres de familia, y un mayor enfoque en la evaluación formativa (consulte el capítulo 3 para un análisis más detallado). • La consolidación de la evaluación de los maestros a través de un acceso más transparente a la profesión docente (tras la introducción del Concurso Nacional para el Otorgamiento de Plazas Docentes) y un nuevo enfoque formativo con la Evaluación Universal (consulte el capítulo 4). • El trabajo para definir los estándares para la enseñanza y la gestión escolar (consulte el capítulo 4). • Los trabajos iniciales sobre la autoevaluación y la evaluación externa de los centros escolares (consulte el capítulo 5). • Programa de evaluación por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL ) desde 2007: todos los programas de desarrollo social (incluyendo los programas de educación) deben incluir un componente de evaluación para determinar si cumplen con los objetivos establecidos y si es necesario realizar ajustes para mejorar su eficacia (consulte el capítulo 6). • La consolidación de los indicadores de todo el sistema educativo y la creación del Registro Nacional de Alumnos, Maestros y Escuelas (RNAME ) (consulte el capítulo 6). Estos avances son una clara evidencia de que la evaluación es prioridad del sistema escolar y revelan una amplia agenda para el desarrollo de una cultura de la evaluación entre los actores escolares. En este contexto, es significativo el hecho de que los estados estén cada vez más comprometidos con la agenda de evaluación nacional, no sólo a través de su adhesión a las iniciativas federales, sino también a través del desarrollo de sus propios programas de evaluación (por ejemplo, la creación de institutos de evaluación estatales).

Se cuenta con referencias comunes a nivel nacional que pueden proporcionar la base para la evaluación Las referencias comunes pueden servir de base para la evaluación. A nivel de sistema, los gobiernos federales a cargo establecen las prioridades de la política educativa, que proporcionan el marco para el desarrollo de las políticas correspondientes. Por otro lado, se han establecido REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 49

los objetivos de educación a lograrse para el año 2012, junto con los indicadores asociados que permitirán vigilar su realización. Estas referencias son importantes para dar forma al marco de evaluación y para enriquecer la evaluación del sistema, en particular. La Ley General de Educación (LGE ) también estipula objetivos claros para la educación haciendo hincapié en el desarrollo de las personas y la promoción de valores y actitudes. A su vez, estos están asociados con los objetivos sociales y económicos globales. Las declaraciones acerca de los fines del sistema educativo, tales como el fomento de la diversidad, la equidad y la calidad, y su papel en el desarrollo de alumnos exitosos y ciudadanos informados están articuladas. En el ámbito de los objetivos de aprendizaje de los alumnos, se cuenta con una base para las expectativas comunes de los resultados de la enseñanza. En la educación básica, se tiene un plan de estudios nacional fundamentado en el Plan de Estudios 2011 para la educación básica y Programas de Estudio 2011 específicos para cada grado y materia. Como se describió anteriormente, éstos establecen estándares curriculares que deben cumplirse al final de cada una de las cuatro etapas principales de la educación básica, al igual que los resultados de aprendizaje esperados, y son bastante detallados y prescriptivos. Si bien las escuelas y los maestros tienen cierto margen para realizar ajustes locales al plan de estudios, los programas de estudio establecen de manera precisa lo que se debe enseñar en las escuelas. Esto limita la innovación curricular en los centros de enseñanza y no fomenta el trabajo colaborativo entre los docentes en el desarrollo/ adaptación curricular a nivel local. Sin embargo, dada la realidad de la limitada capacidad a nivel escolar, por lo menos en las zonas más empobrecidas, el objetivo es asegurar que todas las escuelas (incluidas las más desfavorecidas) cuenten con una sólida estructura que guíe el aprendizaje de los alumnos.

La Reforma Integral para la Educación Básica puede generar mejoras duraderas en el sistema educativo La RIEB es una reforma de amplio alcance que puede tener efectos positivos a largo plazo sobre el aprendizaje de los alumnos en México, a través de la redefinición del aprendizaje como el desarrollo de competencias (en lugar de la transmisión de contenidos de conocimiento) y del cambio de las prácticas pedagógicas en las aulas (consulte el capítulo 3 para más detalles). La RIEB destaca conceptos como la evaluación para el aprendizaje, los resultados esperados, el aprendizaje colaborativo, el trabajo basado en proyectos, la autoevaluación del alumno, la evaluación realizada por compañeros y la calificación basada en criterios previos, todos los cuales colocan a los alumnos en el centro del aprendizaje. Se trata de una reforma educativa profunda y estructural, que aprovecha los esfuerzos de un gran número de actores escolares y se basa en el consenso alcanzado entre las partes interesadas. A través de la promoción de prácticas que favorecen el aprendizaje del alumnado, la RIEB puede sostener una mejora duradera y reflejar una adecuada visión de la política educativa en el largo plazo.

En los objetivos nacionales de la educación se enfatiza la equidad y la inclusión El sistema educativo mexicano ha cambiado su atención hacia la equidad y la inclusión. Por ejemplo, una de las seis prioridades de la política educativa propuesta en el Programa Sectorial de Educación (PROSEDU ) 2007-2012 es “ampliar las oportunidades educativas para reducir las desigualdades entre los grupos sociales, cerrar brechas y fomentar la equidad” (Objetivo 2). Esta prioridad está asociada con algunas de las metas que deben alcanzarse para 2012 (por ejemplo, una cobertura de 99% en educación básica, en los ocho estados más pobres). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

50 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

También se han implementado numerosos programas federales destinados a mejorar la educación de los grupos desfavorecidos. Los ejemplos concretos de acciones dirigidas a los alumnos en desventaja o con bajo desempeño incluyen a los programas: Educación Básica para Niñas y Niños de Familias Jornaleras Agrícolas Migrantes, Atención Educativa a Grupos en Situación Vulnerable, Fortalecimiento de la Educación Especial y de la Integración Educativa, Fortalecimiento a las Acciones Asociadas a la Educación Indígena, Escuelas de Calidad y el Programa Emergente para la Mejora del Logro Educativo. Sin embargo, la equidad y la inclusión son áreas que requieren mayor atención por parte de las políticas. Como se señala en el capítulo 6, hay un conocimiento limitado acerca de las carencias educativas en el sistema educativo mexicano —se realiza poco análisis diferencial sobre el logro educativo en grupos específicos como los alumnos indígenas, los migrantes, los de familias pobres o los que viven en sitios remotos. Además, no se han desarrollado mediciones de equidad en el sistema educativo para poder monitorear el progreso hacia la reducción de las desigualdades. En efecto, en el P ROSEDU , los indicadores para medir el progreso hacia el Objetivo 2 se refieren a los factores de acceso y no a los resultados de aprendizaje de los alumnos. En su mayoría, los indicadores desarrollados se refieren a las becas otorgadas a los alumnos pobres, al equipamiento de las escuelas desfavorecidas y a las tasas de matrícula en los diferentes niveles educativos.

Se estableció el principio de transparencia en el monitoreo y la publicación de los resultados El marco de evaluación se fortaleció con el establecimiento de requisitos importantes para la información pública. México recopila una amplia gama de datos sobre el desempeño del sistema educativo que incluyen la información de estudios internacionales sobre los alumnos, evaluaciones nacionales estandarizadas, estudios cualitativos y el desarrollo de indicadores educativos. La SEP y el INEE publican series completas de estadísticas sobre la educación y elaboran bases de datos que están a disposición del público. Por otra parte, aunque los resultados de ENLACE son publicados en las escuelas, tienen el inconveniente de que los promedios simples proporcionados no permiten la contextualización adecuada de los resultados (consulte el capítulo 6 para más detalles). La situación actual contrasta con el período anterior al año 2000, que se caracterizó principalmente por la ausencia de datos públicos sobre los resultados educativos. A partir del 2002, la difusión de datos públicos sobre los resultados educativos se ha convertido en un objetivo explícito, tanto para contar con agentes escolares responsables, como para asegurar que los análisis respectivos informen del desarrollo de las políticas educativas. En este sentido, el INEE ha tenido un papel especialmente importante.

Existe una fuerte capacidad nacional para participar en la evaluación La capacidad para la evaluación a nivel federal es impresionante: millones de evaluaciones de alumnos y maestros se procesan cada año. Para ello se requiere una gran capacidad logística y enormes conocimientos técnicos. Lo anterior es el resultado de una considerable experiencia técnica acumulada en una institución como el C ENEVAL , la orientación metodológica de primer nivel del INEE y la gran capacidad de políticas y de implementación dentro de la SEP . A nivel federal, el trabajo en el ámbito de la evaluación ha incluido a un gran número de personas entre académicos importantes, docentes distinguidos, líderes escolares REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 51

experimentados y los responsables de las políticas educativas. En general, el desarrollo de instrumentos y el procesamiento de datos implican el uso de lo mejor de la experiencia en el país, que es considerable. En México, áreas como la medición educativa, la psicometría, el desarrollo de pruebas, la validación de los reactivos de los exámenes y los métodos de escala están muy desarrollados.

A nivel central se cuenta con orientación y herramientas para apoyar la evaluación A nivel federal se han concertado esfuerzos para construir una base de conocimientos, herramientas y directrices que apoyen a las actividades de evaluación. La SEP produce programas de estudio nacionales muy detallados para implementar el plan de estudios nacional, con directrices para que los docentes desarrollen sus planes de estudio. También hay gran cantidad de materiales para facilitar la aplicación de la RIEB , con los nuevos enfoques de evaluación para los alumnos e información de resultados (por ejemplo, la nueva Cartilla de Educación Básica, descrita en el capítulo 3). En una iniciativa para apoyar la aplicación de la RIEB y después de un trabajo conjunto con la SEP , el INEE empezó a desarrollar un conjunto de herramientas para los instrumentos de evaluación en el aula. Otro ejemplo importante es la iniciativa de Enciclomedia, una herramienta pedagógica de aprendizaje en línea que los docentes pueden utilizar en las aulas. La SEP también produce materiales para que los maestros utilicen los resultados de ENLACE de una manera formativa. Del mismo modo, se cuenta con materiales producidos por SEP , INEE y C ENEVAL para la aplicación de procedimientos de evaluación, tales como los exámenes estandarizados de alumnos y docentes (por ejemplo, los manuales para los coordinadores encargados de la aplicación). Además, hay una amplia gama de materiales para la autoevaluación de las escuelas, desarrollados por la SEP y el INEE . La SEP también ofrece materiales que ayudan a los maestros a prepararse para los diferentes programas de evaluación docente, donde se incluye una guía para preparar el Programa Nacional de Carrera Magisterial (PNCM ).

Hay una creciente participación de los diversos actores interesados en el marco de evaluación En general, el desarrollo de políticas de evaluación implica la participación de una amplia gama de actores interesados. Por ejemplo, la administración y operación del INEE incluye la representación de las autoridades educativas federales y estatales, los maestros (SNTE ), la sociedad civil, los institutos de evaluación a nivel nacional y estatal, las universidades y los centros de investigación. Del mismo modo, las entidades que organizan los procesos relacionados con los docentes (como el Concurso Nacional de Plazas Docentes o el Escalafón vertical) suelen reunir a las autoridades educativas federales y estatales y a los representantes de los maestros (SNTE ). Además, las organizaciones de la sociedad civil están cada vez más involucradas en los temas educativos, siguiendo con especial interés la rendición de cuentas de las autoridades sobre los resultados educativos (el capítulo 1 menciona organizaciones de la sociedad civil que participan en la educación). Por ejemplo, la organización Mexicanos Primero publica el informe anual Metas: Estado de la Educación en México, que incluye indicadores a nivel estatal para el sector educativo. Un hecho particularmente positivo con potencial para involucrar a los padres de familia en el marco de evaluación es la creación de un Consejo Escolar de Participación Social, REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

52 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

en cada escuela. Este Consejo está integrado por los padres de familia, los representantes de su asociación, los docentes, los representantes del sindicato de maestros, directivos y miembros de la comunidad escolar. Si bien es cierto que hay un margen considerable para que estos consejos sean más eficaces, también es verdad que proporcionan una oportunidad para que los padres de familia ejerzan alguna influencia sobre las actividades de las escuelas.

Retos El marco de evaluación debe ser completo y coherente No hay un marco integral de evaluación Como en muchos otros países de la OCDE , en México, los diferentes componentes de la evaluación se han desarrollado de forma independiente a través del tiempo y en la actualidad no se cuenta con un documento de políticas acerca del marco general de evaluación. Existen disposiciones para la evaluación de los alumnos, de los maestros, de las escuelas y del sistema, pero no están explícitamente alineadas o integradas (esto se detalla más adelante). El marco actual no se percibe como un todo coherente y a primera vista no están relacionados todos sus componentes.

El marco de evaluación está incompleto Si bien las iniciativas introducidas en la última década han contribuido a desarrollar una cultura de evaluación en todo el sistema educativo, el marco de evaluación no está completo todavía. Algunos de los componentes clave de un marco integral de evaluación apenas se están desarrollando: • El avance de la evaluación formativa de los alumnos por parte de los docentes está poco desarrollada debido a la importancia concedida a las calificaciones y a que la práctica en el aula sigue siendo muy tradicional. El componente formativo parece estar desplazado por la generación de resultados sumativos, en particular los resultados de ENLACE (consulte el capítulo 3 para un análisis más detallado). • La evaluación de los alumnos con base en criterios (es decir, la evaluación comparada contra los estándares de aprendizaje de los alumnos) no se ha desarrollado por completo (consulte el capítulo 3). • No se lleva a cabo una moderación de las calificaciones que refleje la evaluación sumativa de los alumnos por parte de los maestros, entre las escuelas. Por lo tanto, no es posible garantizar que las calificaciones basadas en el docente sean justas en todas las escuelas ni que reflejen una evaluación coherente con los objetivos de aprendizaje de los alumnos (consulte el capítulo 3). • No se ha implantado una evaluación formal de los maestros que abarque la totalidad del cuerpo docente (consulte el capítulo 4). • No se ha desarrollado adecuadamente una evaluación formativa para los maestros cuyo objetivo sea informarles sobreplanes de desarrollo profesional (consulte el capítulo 4). • La autoevaluación de las escuelas todavía está en una primera etapa de desarrollo y las competencias para su aplicación siguen siendo incipientes (consulte el capítulo 5). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 53

• No existe una evaluación integral externa de los centros escolares que incluya la valoración de los procesos propios de la escuela (consulte el capítulo 5). • No se cuenta con un marco nacional específico para la evaluación de los directivos (consulte el capítulo 5). • Las evaluaciones temáticas del sistema están en una primera etapa (consulte el capítulo 6).

Algunas conexiones dentro del marco de evaluación no están lo suficientemente desarrolladas Un aspecto importante del diseño del marco de evaluación es el modo de interrelacionar los diferentes componentes de manera que se complementen, se evite la duplicación y se procure la congruencia con los objetivos. Entre los diferentes elementos del marco de evaluación faltan enlaces y vínculos necesarios que todavía no han sido desarrollados en México. Estos faltantes pueden ser agrupados en dos conjuntos distintos: • En lo que respecta a los componentes específicos del marco de evaluación: -- Los vínculos entre la evaluación sumativa de los alumnos y los estándares curriculares A menudo, la evaluación sumativa basada en el maestro sigue haciendo referencia a las normas (es decir, implica la comparación entre los alumnos de una misma aula) en vez de hacer referencia a los criterios (es decir, la comparación con los estándares curriculares) (consulte el capítulo 3 para más detalles). -- Los vínculos entre la evaluación estandarizada de los alumnos (ENLACE ) y su evaluación formativa No se aprecia que los maestros den usos formativos a los resultados de ENLACE (y hay poca conciencia sobre los usos que deben ser desalentados) (consulte el capítulo 3). -- Los vínculos entre la evaluación de los maestros y su desarrollo profesional Hay indicios de que la provisión de desarrollo profesional para los maestros no está vinculada sistemáticamente a su evaluación (consulte el capítulo 4). -- Los vínculos entre la evaluación de la escuela y su mejora Estos vínculos están incompletos como consecuencia de la falta de evaluación externa de los centros escolares (consulte el capítulo 5). -- La articulación entre la autoevaluación y la evaluación externa de las escuelas Debido al incipiente desarrollo de la autoevaluación escolar y la ausencia de evaluación externa de las escuelas, no se crean sinergias a partir de su articulación (consulte el capítulo 5). -- La ausencia de estándares de enseñanza y gestión escolar No se cuenta con estándares de enseñanza y gestión escolar implementados que funcionen como referencia para la evaluación de los maestros y directivos, respectivamente (consulte el capítulo 4). • En lo que respecta a los componentes específicos del marco de evaluación: -- La articulación entre la evaluación docente, la evaluación escolar y el desarrollo escolar Esto se refiere a una serie de aspectos tales como: validar la evaluación de los maestros con base en la escuela mediante los procesos de evaluación escolar; sistematizar, en todas las escuelas, el enfoque de la evaluación escolar en la eficacia docente; y explorar los vínculos con la evaluación de la práctica docente a través de los procesos REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

54 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

--

---

--

de desarrollo escolar. En la actualidad, estos vínculos son débiles debido al desarrollo incipiente de la autoevaluación de las escuelas, a la falta de evaluación externa de los centros escolares y al escaso uso que se da a los resultados de la evaluación docente en el desarrollo escolar. La articulación entre la evaluación de las escuelas y la evaluación de los directivos La evaluación de los directivos (que es parte de los procesos de la evaluación docente) no tiene ninguna relación con la evaluación de las escuelas, excepto por la responsabilidad de los resultados de ENLACE a nivel escolar. La articulación entre la evaluación de las escuelas y del sistema La falta de una evaluación de los procesos escolares impide que se genere información pertinente sobre los aspectos cualitativos de la educación del sistema. La articulación entre la evaluación escolar y la evaluación de los alumnos En gran parte, la rendición de cuentas de las escuelas se limita a la publicación de los resultados de ENLACE , los cuales no tienen en cuenta los contextos específicos de las escuelas (consulte el capítulo 5 para más detalles). La articulación entre la evaluación docente y la evaluación de los alumnos Los resultados de ENLACE tienen una influencia desproporcionada en la evaluación de los maestros y no se toman en cuenta otros factores que influyen en el desempeño, como el contexto socioeconómico que enfrentan los alumnos.

La administración y operación del marco de evaluación plantea algunas preocupaciones La distribución de responsabilidades dentro del marco de evaluación plantea algunas preocupaciones. En primer lugar, aún cuando la Ley General de Educación establece claramente que la evaluación del sistema educativo es responsabilidad exclusiva de la SEP , en la práctica la división del trabajo entre la SEP y el INEE sigue siendo incierta. Existe un considerable traslape entre el trabajo de las dos instituciones en el desarrollo de indicadores educativos, la producción de informes anuales sobre el estado de la educación en México y en el desarrollo de una visión para la evaluación de las escuelas, entre otros. Si bien existe una colaboración entre la Dirección General de Evaluación de Políticas (DGEP ) de la SEP y el INEE , a menudo, falta definir el alcance de la autonomía del INEE en las principales actividades de evaluación de la educación en el país. La realidad es que la SEP , indudablemente, tiene un gran interés en la evaluación del sistema educativo mexicano. Y aunque el INEE tiene autonomía técnica sobre su trabajo, en el momento de la visita del Equipo de Revisión de la OCDE , seguía dependiendo política y financieramente de la SEP . Por ejemplo, el hecho de que el presidente de la Junta Directiva del INEE sea el Secretario de Educación Pública puede limitar en gran medida la independencia del trabajo del INEE , incluyendo sus juicios sobre la situación de la educación en México. Después de la visita del Equipo de Revisión de la OCDE , el 16 de mayo de 2012 se revisó el decreto presidencial del 2002, que creó al INEE , cuyos cambios entrarían en vigor a partir de septiembre de 2012. Las modificaciones son importantes por varias razones, entre ellas, el hecho de que el INEE adquiere una nueva categoría, la de organismo no sectorizado, dejando de ser una entidad pública. Esto elimina la coordinación anterior proporcionada por la SEP . También se le concedió la autonomía en términos más explícitos: “para el ejercicio de sus funciones, el Instituto tendrá autonomía técnica, operativa y de decisión”. Se espera que el INEE tenga autoridad para hacer recomendaciones en la aplicación de las normas y procedimientos técnicos de la evaluación educativa. La revisión del Decreto de 2002 implica la modificación REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 55

de la estructura de administración y operación del INEE (consulte el capítulo 1 para obtener una descripción de la nueva estructura de administración y operación). Un cambio significativo es el hecho de que el presidente de la Junta Directiva ya no es el Secretario de Educación Pública, sino un miembro de la Junta que representa al Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL ). El Presidente del Instituto (que sustituye al director en la estructura de administración y operación anterior) es nombrado directamente por el Presidente de la República, que también designa a todos los miembros del Consejo Técnico (a cargo de las decisiones técnicas en el INEE ). La nueva estructura refuerza el papel de los expertos en evaluación (por ejemplo, a través del perfil de los miembros del Consejo Técnico y de los Consejos Técnicos Especializados) y de los actores pertinentes en el sistema educativo mexicano (a través del Consejo Social para la Evaluación de la Educación y del Consejo para el Enlace con las Entidades Federativas). Otra característica importante es que el INEE tendrá su propio presupuesto, que provendrá directamente del gobierno federal. En segundo lugar, si bien los estados tienen la obligación de implementar las políticas de evaluación dictadas por el gobierno federal y pueden desarrollar iniciativas complementarias, no tienen dominios claros de responsabilidad en el marco de evaluación. Como se explica más adelante, en vista del apoyo que se da al trabajo de las escuelas, faltan estructuras para la evaluación a nivel local. De manera similar, aunque los estados son responsables de administrar sus sistemas de enseñanza y su plantilla docente, no tienen que asumir responsabilidades de evaluación de las escuelas y los maestros. Parece que, en el marco de evaluación, existe la oportunidad de entregar a las autoridades educativas estatales la responsabilidad —y la rendición de cuentas— de las actividades de evaluación que están más cerca del lugar de aprendizaje, que son la evaluación de la escuela y la evaluación docente basada en la escuela. Esto también implicaría asumir la responsabilidad de apoyar a las escuelas en sus esfuerzos de mejora. En tercer lugar, aunque la evaluación de los maestros tiene una gran parte de los recursos invertidos en el marco de evaluación, está muy politizada y no cuenta con el apoyo de una gestión coordinada a nivel nacional. En consecuencia, los aspectos profesionales de la enseñanza no siempre están a la vanguardia de la evolución de las políticas docentes. Esta situación podría requerir de la creación de un organismo independiente a nivel nacional que coordine los esfuerzos de gestión y mejora de los maestros del país.

Se puede fortalecer la función de mejora de la evaluación Un reto importante es encontrar el equilibrio adecuado entre la rendición de cuentas y las funciones de mejora de la evaluación. Es evidente que las iniciativas de políticas en materia de evaluación en los últimos años han hecho hincapié en la rendición de cuentas a través de la mejora. Por ejemplo, el sistema de evaluación para los maestros en servicio que está actualmente en vigor se centra principalmente en el aumento de los salarios y en las recompensas, y pone poco énfasis en sus vínculos con el desarrollo profesional (consulte el capítulo 4 para más detalles). Por otro lado, la evaluación de los alumnos se orienta hacia las calificaciones sumativas (consulte el capítulo 3) y la evaluación de las escuelas se reduce esencialmente a la rendición de cuentas a través de la publicación de los resultados de ENLACE (consulte el capítulo 6). Si bien la transparencia de la información, los datos de alta calidad y la rendición de cuentas de los actores escolares son esenciales para el buen funcionamiento del sistema de evaluación, es importante que garanticen que los datos existentes y los resultados de se utilicen realmente para mejorar, y que los actores escolares tengan la capacidad de utilizar los datos y la retroalimentación puestos a su disposición con el fin de mejorar sus prácticas. En este sentido, es alentador observar un mayor énfasis en la función de mejora de la evaluación en las iniciativas REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

56 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

recientes, como la Evaluación Universal (concebida como formativa principalmente) y en la RIEB (que hace hincapié en la evaluación para el aprendizaje).

Los vínculos con la práctica en el aula no están claramente establecidos En México, el desarrollo del marco de evaluación está dirigido desde el centro (depende de las autoridades federales). La agenda nacional para la educación provee un marco de objetivos nacionales y establece expectativas claras en relación con el plan de estudios, la profesión docente, la evaluación nacional de los alumnos, los requisitos de presentación de informes y la supervisión del sistema, al nivel más alto del marco general de evaluación. La atención se ha centrado en las estructuras, procedimientos, programas y recursos. Sin embargo, aunque estos componentes de la política son claramente importantes, no se observa una articulación clara entre las vertientes de la agenda nacional de educación capaz de generar mejoras en la práctica a través de los procedimientos de evaluación que están más cerca del lugar de aprendizaje. En gran medida, el mayor énfasis en la rendición de cuentas también se deriva de la fuerte visión nacional, de los altos mandos hacia abajo, que limita el que los actores escolares se responsabilicen de los procedimientos de evaluación. Esto también refleja la mayor capacidad técnica en el centro y las competencias más limitadas en el ámbito local para participar en las actividades de evaluación. Sin embargo, el establecimiento de vínculos entre la evaluación y el aprendizaje en el aula requiere inevitablemente que se definan roles claros para las estructuras locales (la gestión escolar, la supervisión, las autoridades educativas estatales) en la implementación de las políticas de evaluación. La cuestión es que el cumplimiento de la función de mejora de la evaluación necesita de la articulación a nivel local. Los marcos de evaluación no tienen ningún valor si no conducen a la mejora de la práctica docente y el aprendizaje de los alumnos. Por lo tanto, asegurar vínculos efectivos con la práctica docente es uno de los puntos más críticos en el diseño del marco de evaluación.

No se observa claramente que los alumnos estén en el centro del marco de evaluación Un reto importante en el sistema educativo mexicano es que no es evidente que los alumnos estén en el centro del marco de evaluación. La enseñanza, el aprendizaje y la evaluación se siguen produciendo en entornos un tanto “tradicionales”, donde el maestro se sitúa al frente del salón de clases, los alumnos habitualmente no participan en la planeación y organización de las clases y la evaluación se concentra en las calificaciones sumativas. La oportunidad que se brinda a los padres y alumnos para influir en el aprendizaje es más limitada que en otros países de la OCDE . También se pone poco énfasis en el desarrollo de la capacidad de los alumnos para regular su propio aprendizaje. Otras prácticas que se desarrollan en las aulas mexicanas, pero que requieren mayor fortalecimiento, son la comunicación de las expectativas de aprendizaje de los alumnos, las oportunidades de retroalimentación sobre el desempeño y los mecanismos de apoyo individualizado. En general, los alumnos suelen tener un papel más pasivo en su aprendizaje. En este contexto, resulta alentador que la RIEB esté atendiendo realmente estas limitaciones en las prácticas docentes, ya que coloca a los alumnos en el centro del aprendizaje, otorgándoles un papel activo en su aprendizaje y utilizando la evaluación para el aprendizaje. En México la retroalimentación tiende a centrarse en el desempeño en las pruebas y en los resultados más que en el aprendizaje (consulte el capítulo 3 para más detalles). Además, la recolección de las opiniones y perspectivas de los padres de familia y los alumnos REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 57

para orientar la mejora de la escuela a través del uso sistemático de encuestas no es una práctica generalizada ni un elemento clave para la autoevaluación de los docentes y las escuelas. En dicha recolección se incluirían las encuestas diseñadas por los maestros para recoger las opiniones de sus alumnos.

Se tiene una concepción estrecha de la evaluación En México, todavía no se comprenden plenamente los propósitos y el potencial de la evaluación. El concepto de evaluación se percibe principalmente como un conjunto de instrumentos para responsabilizar a las partes interesadas, para “controlar” y valorar el cumplimiento de la normatividad. Esto es palpable en todos los niveles. A menudo se presta más atención a la realización de los requisitos formales que a la calidad de las prácticas o a los métodos para mejorarlas. Por ejemplo, las estructuras de supervisión dentro de los estados enfatizan los aspectos administrativos de las escuelas en lugar de los aspectos pedagógicos (consulte el capítulo 5), la evaluación de los alumnos se sigue concentrando en los resultados sumativos (consulte el capítulo 3) y la evaluación de los maestros se enfoca principalmente a la mejora del salario y las recompensas monetarias (consulte el capítulo 4). No hay la suficiente reflexión sobre el uso de los resultados de las actividades de evaluación. El concepto de retroalimentación no está plenamente arraigado entre los actores escolares. La idea de que el objetivo último de la evaluación es mejorar el aprendizaje de los alumnos y la enseñanza de los docentes todavía no se ha madurado por completo en el marco de evaluación de México. Esto se traduce en una situación en la que los elementos del marco más orientados a la rendición de cuentas están recibiendo más atención que los procesos de mejora. En consecuencia, la participación local en las actividades de autoevaluación y las prácticas incipientes de investigación basada en información son más limitadas, ya que no se aprovecha todo el potencial de los resultados de evaluación. El énfasis en la rendición de cuentas corre el riesgo de ocasionar una cultura de cumplimiento, como se percibe en el uso continuo de la palabra “simulación” entre los actores escolares entrevistados por el Equipo de Revisión de la OCDE , al enfrentarse a la necesidad de cumplir con los requisitos de la evaluación. Al mismo tiempo, en México la evaluación se concibe en gran medida como “medición”, lo cual se ve reflejado en la importancia de ENLACE dentro del marco de evaluación. Además de la función principal para la que fue concebida, los resultados de ENLACE constituyen el instrumento principal en la evaluación de los maestros en servicio (Programa Nacional de Carrera Magisterial, Evaluación Universal y Programa de Estímulos a la Calidad Docente), el factor central en la rendición de cuentas de las escuelas (a través de la publicación de los resultados a nivel escolar) y el elemento de facto clave en la evaluación del sistema educativo nacional y los subsistemas estatales de educación. Como se explica más adelante en el informe (en los capítulos 3 y 4), si bien ENLACE ha sido importante para dar a conocer la importancia del enfoque en los resultados de los alumnos, su influencia en el sistema plantea retos importantes en términos de sus posibles efectos perjudiciales en las prácticas pedagógicas y no refleja lo suficiente la contribución de los maestros y las escuelas. El concepto de evaluación como “medición” también se refleja en la expectativa que tienen los actores escolares acerca de que los resultados de la evaluación pueden reducirse por completo a indicadores, lo cual fue observado por el Equipo de Revisión de la OCDE durante su visita. En contraste, la evaluación cualitativa, la retroalimentación para la mejora y el diálogo profesional en torno a los resultados de la evaluación no están suficientemente desarrollados en el marco de evaluación. En pocas palabras, la evaluación se enfoca más en el control y la medición, que en el aprendizaje. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

58 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

La alineación entre la reforma curricular y la evaluación se encuentra todavía en una primera etapa de desarrollo Un aspecto crucial para la implementación exitosa de la RIEB es su alineación con el marco de evaluación. Teniendo en cuenta las novedosas orientaciones pedagógicas de la RIEB , su enfoque en las competencias y resultados esperados en términos del aprendizaje de los alumnos y el nuevo énfasis propuesto en la evaluación formativa, la alineación con la evaluación es un enorme esfuerzo. Casi todas sus dimensiones se encuentran en su fase inicial y aún queda mucho por hacer. Se han logrado algunos avances en la vinculación de ENLACE con la RIEB . A principios de 2011, el diseño de una nueva generación de evaluaciones ENLACE se alineó con la RIEB y con la propuesta de los resultados de aprendizaje esperados. En 2011-2012 se llevó a cabo una prueba piloto con estas nuevas evaluaciones, las cuales se espera generalizar a toda la cohorte de los alumnos a partir de 2012-2013, cuando la RIEB se extienda a todos los grados escolares. Sin embargo, es necesario volver a alinear EXCALE con los estándares curriculares provistos por la RIEB y realizar un gran esfuerzo en el desarrollo de la capacidad docente para evaluar a los alumnos de acuerdo con los objetivos de aprendizaje de la RIEB . Este último punto implica la necesidad de que los maestros aprovechen el potencial de la nueva Cartilla de Educación Básica (consulte el análisis posterior en el capítulo 3). Del mismo modo, otra de las prioridades es garantizar que el desarrollo de los estándares de enseñanza y de las normas de gestión escolar estén correctamente alineados con los objetivos de aprendizaje de los alumnos, propuestos por la RIEB . Una consecuencia de esto será la necesidad de rediseñar los instrumentos de evaluación para docentes y directivos (por ejemplo, los exámenes de los maestros que forman parte de los procesos para evaluarlos) de manera que reflejen esta alineación. En términos más generales, el espíritu de la RIEB requiere un mayor énfasis en la función de mejora de la evaluación, un mejor uso de los resultados de la evaluación para la retroalimentación, una mayor atención a la autoevaluación de los alumnos y los profesionales de la educación, un trabajo más interactivo y de colaboración entre los actores escolares y una perspectiva más ajustada a las competencias educativas. Sin duda, la RIEB promete ser el pilar de un marco renovado de evaluación.

Existe la necesidad de reforzar las competencias para la evaluación de todo el sistema La eficacia de la evaluación se basa en gran medida en asegurar que quienes diseñan y los encargados de las actividades de evaluación, así como los usuarios de sus resultados cuenten con las habilidades y competencias adecuadas. Si bien se han emprendido considerables esfuerzos nacionales para estimular una cultura de la evaluación mediante el fortalecimiento de las actividades de evaluación y la provisión ocasional de oportunidades de aprendizaje para crear competencias, las de evaluación todavía son limitadas en todo el sistema educativo. Las competencias para la evaluación a nivel estatal y local siguen siendo limitadas. El desarrollo de métodos de evaluación que se adecúen a sus necesidades no ha sido una prioridad. La participación de la mayoría de los estados en las actividades de evaluación depende de las iniciativas federales (tales como las evaluaciones estandarizadas de los alumnos o los programas federales que requieren la autoevaluación de las escuelas). Hasta la fecha, sólo cinco entidades federativas han creado institutos autónomos de evaluación y nueve han desarrollado evaluaciones para su región. En general, los estados no cuentan con organismos que asuman la responsabilidad de la evaluación y el apoyo a las escuelas o la gestión de la profesión docente. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 59

Lo cual significa que el conocimiento acumulado sobre la evaluación y sus prácticas sigue siendo insuficiente. Por otra parte, como se explica en el capítulo 5, las estructuras de supervisión escolar en los estados siguen enfocándose principalmente en las tareas administrativas en lugar de entablar un diálogo con cada plantel en torno a los aspectos pedagógicos. Existe un enorme contraste en la capacidad de los supervisores, jefes de enseñanza e inspectores de sector, que les impide participar de manera competente en las prácticas de control de calidad y brindar apoyo efectivo a las escuelas. Además, hay poca transparencia en la contratación del personal de supervisión y en muchos casos no se sabe si tienen la experiencia adecuada en el ámbito educativo. En general no se cuenta con un perfil de competencias para asumir las responsabilidades implicadas en una estructura de supervisión. Por lo tanto, no es posible garantizar que las habilidades y competencias del personal de supervisión sean adecuadas para contribuir eficazmente a la mejora escolar. De igual forma, es necesario mejorar las competencias de los directivos en lo referente a la evaluación, concretamente en lo que respecta a garantizar un proceso significativo de autoevaluación de su escuela y proporcionar orientación pedagógica y capacitación a cada maestro. En México, no se cuenta con una educación inicial específica para formar a los directivos escolares ni existe una carrera especial para prepararse como director de escuela. Además, aún no se han resuelto los problemas de transparencia en la contratación. Los directores de las escuelas siguen enfocando su trabajo principalmente en tareas administrativas y no ejercen un fuerte liderazgo pedagógico en sus planteles. En general, los directivos no cuentan con la suficiente preparación en evaluación pedagógica y gestión de recursos humanos para poder realizar su función en la autoevaluación y mejora de la escuela, y en el desarrollo profesional y evaluación de los maestros. Otras áreas en las que la creación de capacidad es un reto considerable son las competencias de los docentes para la evaluación (tanto formativa y sumativa) de los alumnos; los efectos de la falta de atención a las habilidades para evaluar a los alumnos en la formación docente inicial; la capacidad de manejo de datos de los actores escolares (por ejemplo, para utilizar los resultados de ENLACE ); y la capacidad de análisis para la planeación educativa y el desarrollo de políticas del sistema. El desarrollo de competencias para la evaluación, en particular a nivel local, debe ser una prioridad. Las ambiciones de las sólidas políticas desarrolladas a nivel central no siempre coinciden con la realidad de las escuelas, lo que significa que a menudo se topan con la modesta capacidad local para su implementación.

Recomendaciones de política educativa Mantener los esfuerzos para fortalecer la evaluación. En poco más de una década, México ha logrado notables avances para incorporar la evaluación como una práctica habitual en el sistema educativo. Los logros a corto plazo son impresionantes e incluyen la creación de un instituto nacional con capacidad técnica de primer orden (INEE ), el suministro de información sobre los resultados educativos a la sociedad mexicana, la concepción de un enfoque docente en los resultados del aprendizaje de los alumnos, el desarrollo de una capacidad significativa para llevar a cabo evaluaciones estandarizadas y el fomento de una cultura de evaluación. Aunque todavía falta camino por recorrer para llegar a un marco integral REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

60 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

de evaluación, es importante no perder el terreno que se ha ganado. Por lo tanto, es muy recomendable que, partiendo de los logros alcanzados hasta la fecha, México mantenga sus esfuerzos para fortalecer la evaluación en los próximos años. La evaluación auténtica, aquella que conduce a la mejora de las prácticas educativas en todos los niveles, es fundamental para establecer un sistema educativo de alto desempeño. También es esencial reconocer y premiar el trabajo de los profesionales de la educación. Y es evidente que alentar la evaluación conviene a los intereses nacionales. En consecuencia, las políticas nacionales de evaluación deben mantener un rumbo estable, tener en cuenta las preocupaciones bien fundamentadas y hacer los ajustes necesarios para que la evaluación se convierta en un ejercicio significativo y valioso en las escuelas y en las aulas. Ya ha quedado claro que el haber colocado a la evaluación en el centro de las reformas educativas, en los últimos diez años, logró el reconocimiento de todas las partes interesadas, por el hecho de que una evaluación significativa es indispensable. El marco actual de evaluación proporciona una buena base para un desarrollo posterior, puesto que es amplio e incluye la mayoría de los campos de evaluación, una extensa gama de fuentes de datos, además de generar resultados útiles para el desarrollo de políticas. La experiencia que se ha generado en los diferentes niveles de la educación básica no debe perderse. Sin embargo, se necesitan algunos ajustes para consolidar el significado de la evaluación en el sistema educativo mexicano. Las siguientes sugerencias intentan proporcionar una visión de largo plazo para la evaluación en México. Lo anterior implica dar un mayor énfasis a la función formativa de la evaluación, una participación mucho mayor de los actores locales en las actividades de evaluación y una inversión significativa en las habilidades y competencias de evaluación para todo el sistema educativo. El objetivo es consolidar las prácticas de evaluación que puedan cumplir con la promesa de generar mejoras duraderas en el aprendizaje de los niños mexicanos, acorde con la Reforma Integral de la Educación Básica (RIEB ).

Ajustar la administración y operación del marco de evaluación La administración y operación del marco de evaluación podría mejorar con una serie de ajustes significativos, en un contexto donde la SEP mantenga el liderazgo en la definición de la estrategia educativa y el desarrollo de las políticas educativas, y conserve su papel en la implementación de todos los componentes del marco. Un primer ajuste recomendado es la ampliación considerable de la autonomía del INEE para que pueda tomar el liderazgo en las actividades de evaluación del país. Esto implicaría ser política y financieramente independiente de la SEP y reforzar la presencia de expertos en evaluación y especialistas, en sus órganos de toma de decisiones. El objetivo sería la instauración del INEE como voz autorizada para la evaluación educativa en México, ya que es muy confiable por su experiencia y capacidad técnica. Este instituto sería el encargado de formular las directrices para la aplicación de los procedimientos de evaluación en el país. Un paso importante en este sentido se dio el 16 de mayo de 2012, gracias a la reforma del Decreto Presidencial del 2002 que dio paso a la creación del INEE . Las modificaciones, cuya entrada en vigor fueron anunciadas para septiembre de 2012, abordan la mayoría de las cuestiones comentadas en la sección anterior. En ellas se consolida la autonomía del INEE , se fortalece su capacidad técnica y se prevé una mayor independencia de la SEP . En cuanto a sus funciones, el INEE debe hacer hincapié en su liderazgo técnico (por ejemplo, en el desarrollo de instrumentos y pautas de evaluación), en la supervisión del sistema educativo (y sus subsistemas), en la introducción de innovaciones basadas en el resultado de la investigación, en el desarrollo de capacidad de evaluación para todo el sistema y en su apoyo REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 61

técnico a las autoridades educativas con el fin de implementar procedimientos de evaluación a nivel local. También se espera que el INEE se convierta en la entidad responsable de evaluar el estado de la educación en México y que desarrolle análisis para la elaboración de políticas por parte de la SEP y las autoridades educativas estatales. Asimismo, se prevé que el trabajo del INEE se lleve a cabo en estrecho diálogo con las autoridades educativas federales y estatales, que deberán estar representadas en los órganos internos del INEE . Un segundo ajuste importante se refiere a otorgar responsabilidades específicas a las autoridades estatales para la implementación de aquellas actividades de evaluación que tengan más vinculación con el lugar de aprendizaje. Como se indicó anteriormente, existe un vacío de responsabilidades en áreas como la evaluación de las escuelas y la evaluación de los maestros basada en la escuela, que son esenciales para que las políticas del marco de evaluación se conecten con las prácticas en el aula. Se debe exigir a las autoridades educativas estatales (u otorgarles fuertes incentivos para) que establezcan estructuras para organizar formalmente la evaluación externa de las escuelas, supervisen la autoevaluación escolar y validen los enfoques basados ​​en la escuela para la evaluación docente (en la misma tónica que lo que se recomienda en los capítulos 4 y 5). Esto podría lograrse a través de la creación de organismos (o institutos) que sean responsables de la supervisión escolar y su mejora (como se sugiere en el capítulo 5). El INEE podría crear un marco para el establecimiento de tales organismos y asegurar su apoyo técnico como en el caso de los institutos de evaluación estatales que existen actualmente. La idea es que estos organismos a nivel estatal complementen (y no dupliquen) el trabajo realizado por el INEE , es decir, que dirijan la ejecución de las actividades de evaluación a nivel local (que incluye el apoyo correspondiente para las escuelas), bajo la dirección técnica del INEE . Un tercer ajuste es asegurar una mejor coordinación de la profesión docente. Esto podría lograrse mediante la creación de un organismo independiente a nivel federal que coordinara los esfuerzos de gestión y mejora del personal docente del país (consulte también el capítulo 4). El objetivo de este órgano sería la regulación de la profesión, la cual implica la definición de los estándares de la práctica, el establecimiento de los requisitos para los programas de formación inicial pedagógica, la organización del Concurso Nacional para el Otorgamiento de Plazas Docentes, la institución de una estructura para la trayectoria profesional de los maestros, la administración de los procesos de evaluación docente, la gestión de la oferta de programas de desarrollo profesional y la operación de un proceso de certificación de maestros (como se recomienda en el capítulo 4). Esto garantizaría una mejor articulación entre los diferentes componentes de la política magisterial. Por ejemplo, en Nueva Zelanda, el Consejo de Docentes (NZTC , por sus siglas en inglés) tiene responsabilidades clave en la política educativa, que incluyen el establecimiento y mantenimiento de normas para el registro de los maestros, la realización de los procesos de registro, la publicación de un código de ética para la profesión docente y el ejercicio de funciones disciplinarias relacionadas con la mala conducta del maestro. El NZTC otorga la autonomía profesional a los maestros, un cierto nivel de autorregulación y el derecho a opinar sobre su trayectoria profesional. Este consejo contribuye, además, a la construcción de una base de pruebas sólidas para una enseñanza de alta calidad. Se encarga de la investigación relacionada con todos los aspectos de la profesión docente, incluyendo la inducción y tutoría, la formación docente, los estándares de enseñanza y el prestigio de la profesión.

Poner un mayor énfasis en la función de mejora de la evaluación Una de las prioridades es reforzar la función de mejora de la evaluación y reflexionar sobre los métodos óptimos para que la evaluación tenga un impacto positivo en el aprendizaje REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

62 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

de los alumnos. Aprovechar todo el potencial del marco de evaluación implica el establecimiento de estrategias para fortalecer los vínculos con la práctica en el aula, que es donde se lleva a cabo la mejora del aprendizaje del alumno. Los canales que puedan reforzar esos vínculos y que no están tan bien articulados en México incluyen: garantizar que los estándares de enseñanza y gestión escolar estén desarrollados y alineados con los objetivos de aprendizaje de los alumnos; asegurar que las escuelas realicen prácticas de autoevaluación significativas; construir capacidad docente para la evaluación formativa del alumno; cerciorarse de que los docentes sean percibidos como los principales expertos no sólo en la instrucción, sino también en la evaluación de sus alumnos, de manera que se sientan responsables de la evaluación de su grupo y la acepten como una parte integral de la enseñanza y el aprendizaje; poner el énfasis de la evaluación docente en la mejora continua de las prácticas de enseñanza; asegurar que las escuelas participen en la evaluación informal de los maestros, de manera que la retroalimentación esté estrechamente alineada con los objetivos de aprendizaje de los alumnos; y fortalecer la capacidad de los docentes para que evalúen con los estándares curriculares establecidos por la RIEB . El creciente énfasis en los aspectos formativos propuestos por la Evaluación Universal y la RIEB son una excelente oportunidad para reforzar la función de mejora del marco de evaluación de México. Como se indicó anteriormente, el otro medio para fortalecer el uso de los resultados de la evaluación con fines de mejora es reforzar el papel de las autoridades educativas estatales en las estructuras de desarrollo. Esto haría posible que se llevaran a cabo procedimientos de evaluación a nivel escolar y proporcionaría el apoyo de seguimiento necesario para impulsar la mejora de la escuela. La articulación de la evaluación a nivel local es esencial para establecer vínculos entre las políticas nacionales y la mejora de las prácticas de aula.

Integrar el marco de evaluación México está avanzando cada vez más en la evaluación para consolidar su programa de reforma escolar. Se está impulsando una cultura de la evaluación en el sistema y una concientización de la importancia del uso de un marco de evaluación que ayude a impulsar la agenda de la reforma. Sin embargo, el potencial total de la evaluación sólo se realizará cuando el marco esté plenamente integrado y se perciba como un todo coherente. Un primer paso es el desarrollo de un plan estratégico o un documento que conceptualice el marco completo de evaluación, y articule los medios para lograr la coherencia entre sus diferentes componentes. En el desarrollo del plan se debe contar con la participación de grupos clave a fin de garantizar que responda tanto a las necesidades sociales y económicas como a los objetivos del sistema educativo. De igual forma, los diferentes niveles de la administración educativa deben participar, en particular las autoridades educativas estatales, de manera que sus responsabilidades y funciones estén claramente definidas en el marco. En esencia, el plan debe constituir un marco común de referencia para la evaluación educativa en todo el país, con el objetivo último de integrarla como parte continua y fundamental del profesionalismo de los actores del sistema educativo. El plan debe establecer un fundamento claro para la evaluación, y una narrativa convincente acerca de cómo se alinea la evaluación con los diferentes elementos del programa de reforma educativa. Por ejemplo, sería importante que transmitiera el mensaje de que la evaluación se refiere a la mejora del aprendizaje y que no debe ser concebida, en general, como rendición de cuentas y medición. Se debe incluir una reflexión sobre cómo lograr que ENLACE tenga menos influencia en el marco de evaluación, a través de un mayor protagonismo de otros instrumentos de evaluación. El plan debe describir cómo cada componente del marco de evaluación puede REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 63

producir resultados que sean útiles para la práctica en el aula y para las actividades de mejora escolar. También podría contribuir a aclarar las responsabilidades de los diferentes actores de los distintos componentes y permitir mejores redes y conexiones entre las personas que trabajan en las actividades de evaluación. Asimismo, debe crear las condiciones para una mejor articulación entre los diferentes niveles de administración y operación de la educación, entre ellos los institutos autónomos de evaluación (federales y estatales). Esta reflexión debe ir seguida de mejores descripciones de formación y competencia para las personas clave dentro del marco de evaluación (incluido el personal de las autoridades educativas estatales, por ejemplo, los integrantes de las estructuras de supervisión). Además, es necesario incluir estrategias para fortalecer ciertos componentes del marco y proponer formas de establecer una mejor articulación entre los diferentes componentes de la evaluación (consulte más adelante). Por último, las autoridades educativas estatales deben estar obligadas a desarrollar sus propios planes estratégicos de evaluación, centrados en aquellas prácticas a nivel escolar que tengan la posibilidad de llegar al aula. Dichos planes deben describir su alineación con el plan estratégico federal y detallar de qué manera las actividades de evaluación en las entidades se complementan con las actividades a nivel federal.

Fortalecer algunos de los componentes del marco de evaluación Como se indicó anteriormente, hay varios componentes que todavía no se han desarrollado por completo en el marco de evaluación actual. Se requiere consolidar la evaluación formativa de los alumnos y la evaluación sumativa basada en criterios, aplicada por los docentes. Estas prioridades se beneficiarán con la introducción de la RIEB (consulte el capítulo 3 para un análisis más detallado). Otro elemento crucial es mejorar la consistencia de la evaluación sumativa docente entre las escuelas, sobre todo a través de la introducción de procesos de moderación (consulte el capítulo 3). Esta es un área clave para garantizar la imparcialidad de las calificaciones de los alumnos en todo el país. La evaluación de los maestros también requiere una importante política de atención. Su evaluación formal tiene que llegar a todo el personal docente para que los niveles de competencia de todos los maestros sean valorados y orienten el ascenso profesional, posteriormente. Lo anterior es congruente con la Evaluación Universal, que se está introduciendo actualmente. Al mismo tiempo, un área donde se requiere mucho trabajo es la evaluación de la trayectoria docente enfocada a informar los planes de desarrollo profesional (consulte el capítulo 4). Es necesario volver a conceptualizar la evaluación de los maestros, desarrollar estándares de enseñanza y proporcionar una estructura que apoye su implementación en el ámbito escolar (consulte el capítulo 4). Además, se debe incentivar a las escuelas para fomentar la autoevaluación, de manera que se realice sistemáticamente en los planteles mexicanos con la participación de todos los actores escolares. Dicha autoevaluación debe incluir un seguimiento que conduzca a la mejora escolar (consulte el capítulo 5). Lo anterior debe ser complementado con los requisitos para la evaluación externa de las escuelas, que incluirán la evaluación de los procesos escolares (consulte el capítulo 5). Este ejercicio debe ser dirigido por las autoridades educativas estatales y contar con estructuras dispuestas a apoyar el desarrollo de las escuelas. Por otra parte, la evaluación de los directivos escolares tiene que estar separada de la evaluación de los docentes, con el objetivo de reforzar el liderazgo pedagógico de la escuela (consulte el capítulo 5). Por último, debe trabajarse considerablemente para fortalecer los tipos de evaluación cualitativa del sistema (consulte el capítulo 6). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

64 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

Continuar con el desarrollo de vínculos en el marco de evaluación El proceso de desarrollo de un efectivo marco de evaluación debe prestar atención al logro de una adecuada articulación entre sus diferentes componentes (por ejemplo, la evaluación de las escuelas y la evaluación de los maestros) y a cerciorarse de que las diversas partes de un componente de evaluación estén suficientemente vinculadas (por ejemplo, la evaluación de las escuelas y su mejora). Como se indicó en la sección anterior, es posible definir mejor las articulaciones entre la evaluación de las escuelas y la evaluación de sus directores (consulte el capítulo 5 para un análisis más detallado); la evaluación escolar y la evaluación del sistema (consulte el capítulo 6); la evaluación de las escuelas y la evaluación de los alumnos (consulte el capítulo 5), la evaluación escolar y la evaluación de los maestros (consulte el capítulo 4). Esto se debe a la falta de procesos de evaluación de los centros escolares y al hecho de que la rendición de cuentas de la escuela se reduce esencialmente a los resultados no contextualizados de ENLACE . También se requiere mejorar la articulación entre la evaluación de los maestros y la evaluación de los alumnos, ya que los resultados de ENLACE utilizados reflejan el impacto de muchos otros factores ajenos al desempeño del maestro (consulte el capítulo 4). Los ejemplos de relaciones dentro de los componentes individuales de evaluación que necesitan ser reforzados son: los vínculos entre la evaluación sumativa de los alumnos y los estándares curriculares (consulte el capítulo 3); las conexiones entre la evaluación estandarizada del logro académico de los centros escolares (ENLACE ) y la evaluación formativa de los alumnos (consulte el capítulo 3); la asociación entre la evaluación de los maestros y el desarrollo profesional docente (consulte el capítulo 4); los vínculos entre la evaluación de las escuelas y la mejora escolar (consulte el capítulo 5); la articulación entre la autoevaluación escolar y la evaluación externa de las escuelas (consulte el capítulo 5); y el desarrollo de los estándares de la enseñanza y la gestión escolar como referencia para la evaluación de los docentes y el liderazgo escolar, respectivamente.

Comprometer recursos significativos para alinear el marco de evaluación con la Reforma Integral de la Educación Básica Un elemento crítico en la eficacia del marco de evaluación es su correcta alineación con la Reforma Integral de la Educación Básica (RIEB ). La RIEB pide un mayor énfasis en la función de mejora de la evaluación, la cual requiere importantes reorientaciones en casi todos los componentes del marco de evaluación. Entre ellos se incluye una mayor atención a la evaluación formativa de los alumnos, un mayor énfasis en la reflexión de todos los actores escolares sobre su responsabilidad en la educación, un mayor enfoque en la mejora continua de la evaluación de los maestros y un mejor uso de los resultados para la retroalimentación. Al mismo tiempo, los componentes más sumativos tales como las evaluaciones estandarizadas externas (para alumnos y docentes), y la evaluación sumativa de los alumnos con base en el maestro requieren ajustes para que puedan alinearse con la RIEB . Del mismo modo, los estándares de enseñanza y gestión escolar, deben ser desarrollados de acuerdo con los objetivos de aprendizaje de los alumnos, propuestos en la RIEB . Un requisito previo importante es que todos los elementos intrínsecos de la RIEB estén bien alineados. En suma, la alineación con la RIEB es un esfuerzo de magnitud considerable que requiere una inversión substancial de recursos, sobre todo en capacitación específica para todos los niveles; sin embargo, dicha inversión promete grandes ganancias en la generación de una mejora duradera de aprendizaje de los alumnos en el sistema de educación de México. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

2. EL MARCO DE EVALUACIÓN EN MÉXICO – 65

Para la implementación exitosa y consistente de la RIEB en las escuelas mexicanas también se necesita fortalecer la dirección desde el centro. Esto implica el desarrollo de materiales de apoyo y modelos de buenas prácticas que los maestros puedan utilizar. Un ejemplo es el desarrollo de lineamientos para la evaluación de los alumnos y criterios nacionales para que los docentes puedan asignar calificaciones en la evaluación sumativa teniendo como base los estándares curriculares propuestos en la RIEB . Otros ejemplos incluyen herramientas para la evaluación formativa de los alumnos, instrumentos de evaluación de los avances docentes, basada en la escuela, y directrices para la autoevaluación escolar. La SEP y el INEE deben asumir el liderazgo en esta área. Otro tema que necesita más trabajo es el desarrollo de procedimientos e instrumentos para la evaluación externa de los centros escolares, que estén disponibles para las autoridades educativas estatales de manera que aumente su participación en esta área.

Fortalecer algunos instrumentos clave de políticas para la implementación efectiva de la evaluación La estrategia para desarrollar un marco de evaluación efectivo debe basarse en los siguientes principios fundamentales: • Colocar a los alumnos en el centro de la evaluación Dado que el propósito fundamental de la evaluación es mejorar el aprendizaje de los alumnos, un principio clave es colocarlos en el centro del marco. Esto se traduce en enfoques de enseñanza, aprendizaje y evaluación que se concentran en su progreso y desarrollo. Se cuenta ya con disposiciones en el sistema educativo mexicano para el apoyo individualizado, para las oportunidades de crecimiento para el aprendizaje diferenciado y para una mayor participación de los alumnos en su aprendizaje. Sin embargo, estos enfoques deben ser más sistemáticos en todas las escuelas y aulas. Se necesitan mensajes fuertes e incentivos para que los maestros se alejen de las estrategias de enseñanza más tradicionales, se enfoquen en la motivación de los alumnos, utilicen la evaluación para el aprendizaje y proporcionen retroalimentación de alta calidad. Los alumnos deben participar por completo en su aprendizaje, contribuyendo en la planeación y organización de sus clases (gracias a las expectativas de aprendizaje que les fueron comunicadas), evaluando su aprendizaje y el de sus compañeros y beneficiándose de una atención especial cuando se retrasen. Además, es importante fortalecer la participación de la comunidad y los padres de familia, así como fomentar la aceptación de que el quehacer enseñanza-aprendizaje es una responsabilidad compartida. Todos estos son objetivos de la RIEB , cuya aplicación será fundamental para colocar a los alumnos en el centro del marco de evaluación. Un área adicional, relacionada con la atención, es la eliminación de la repetición de año escolar (consulte el capítulo 3 para un análisis más detallado). • Comunicar el fundamento de la evaluación Se debe comunicar claramente que el propósito del marco de evaluación es mejorar los resultados del logro educativo de los alumnos. Por tanto, se espera que los actores escolares se esfuercen por utilizar los resultados de las actividades de evaluación para desarrollar planes de mejora y acción en todos los niveles. • Asegurar la centralidad de la enseñanza y el aprendizaje Sería fundamental asegurarse de que la evaluación de la calidad de la enseñanza y el aprendizaje sea el eje de la evaluación. En este marco debería aprovecharse el clima de “apertura” que existe entre los maestros mexicanos. La observación en el aula debe REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

66 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

convertirse en un instrumento importante de la evaluación docente (consulte también el capítulo 4) y de la evaluación externa de las escuelas (cuando estos procesos se introduzcan, consulte también el capítulo 5). Del mismo modo, la observación de la enseñanza y la retroalimentación individual a cada maestro deben ser parte de los procesos de autoevaluación de las escuelas. La eficacia del marco de evaluación dependerá en gran medida de la capacidad para cultivar una cultura de intercambio de prácticas en el aula, de retroalimentación profesional y del aprendizaje entre pares. • Mantener una dimensión de equidad en el marco de evaluación Es esencial que la evaluación contribuya a la promoción de los objetivos de equidad del sistema educativo. En este nivel es imprescindible identificar las carencias educativas y entender su impacto en el desempeño académico del alumno. El desarrollo de medidas de equidad debe ser una prioridad. También es importante asegurarse de que la evaluación sea justa para determinados grupos sociales, como las minorías culturales y lingüísticas y los alumnos con necesidades especiales. • Reconocer la importancia del liderazgo escolar El funcionamiento eficaz de la evaluación dependerá en gran medida de la forma en que el concepto y la práctica del liderazgo escolar se desarrollen en México. Es difícil pensar en una evaluación eficaz de los docentes o en una autoevaluación escolar productiva, si no se cuenta con una capacidad fuerte de liderazgo. Es esencial que los directores de las escuelas asuman la responsabilidad directa de ejercer el liderazgo pedagógico y ocuparse de la calidad educativa en sus planteles (OCDE , 2010). Por lo tanto, la contratación, el desarrollo y el apoyo a los líderes escolares es de vital importancia para crear y mantener prácticas de evaluación eficaces en las escuelas (consulte también los capítulos 4 y 5). La investigación internacional ha demostrado que el liderazgo escolar enfocado en el establecimiento de metas y en la evaluación, la valoración y la medición tiene una correlación positiva con el desempeño del maestro y del alumno (Pont et al., 2008; Leithwood et al., 2006). • Establecer una estrategia de implementación Para la aplicación de las políticas de evaluación se requiere reconocer una serie de aspectos importantes. En primer lugar, para llegar a acuerdos sobre el diseño de las actividades de evaluación se necesita tiempo de discusión y consulta con todos los interesados. En segundo lugar, desarrollar conocimientos y experiencia en el sistema, incluida la formación de evaluadores, es caro y requiere tiempo. En tercer lugar, llevar a cabo procesos de evaluación implica carga de trabajo adicional para los actores escolares. En cuarto lugar, alinear las reformas escolares más extensas, como las oportunidades de desarrollo profesional con las estrategias de evaluación, requiere más recursos educativos. Hay que recordar que la evaluación y los procesos resultantes de retroalimentación, reflexión y desarrollo sólo apuntalarán mejores experiencias y resultados educativos para los alumnos si las partes interesadas colaboran para lograr que funcione. En gran medida, los actores escolares motivados son los que garantiza el éxito de las reformas en las escuelas. Por lo tanto, es imprescindible no sólo encontrar maneras para que ellos se identifiquen con los objetivos y valores de las prácticas de evaluación, sino también para asegurar que esos objetivos y valores tomen en cuenta a los maestros.

Invertir de manera significativa en desarrollar la capacidad de evaluación en todo el sistema escolar El desarrollo de un marco de evaluación efectivo implica una inversión considerable en el desarrollo de competencias y habilidades para la evaluación en todos los niveles. Conforme REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 67

el marco de evaluación se desarrolle y adquiera coherencia, un área de prioridad de políticas será la consolidación de los esfuerzos para mejorar la capacidad de evaluación en todo el sistema. Como en México el déficit de esta capacidad es mayor en los niveles estatales y locales, es importante que la creación de capacidad responda a las diversas necesidades de: las autoridades educativas estatales, las estructuras de supervisión, la gestión de las escuelas y los maestros. Una de las prioridades es mejorar las competencias para la evaluación de las autoridades educativas estatales y su estructura de supervisión (inspectores, jefes de enseñanza, jefes de sector). El objetivo sería el desarrollo de competencias para otorgar una base sólida a la creación de estructuras de evaluación en los estados, como un organismo o instituto de evaluación que se responsabilice de los procedimientos de evaluación a nivel escolar, incluida la evaluación de la escuela. Aquí podría aprovecharse la contribución del INEE para el desarrollo de los programas de formación asociados. Además, un área de especial importancia para las autoridades educativas estatales es la creación de capacidades para comprender, interpretar y tomar decisiones basadas en la información generada por las actividades de evaluación a nivel escolar, que incluye las futuras evaluaciones de las escuelas (consulte el capítulo 5 para un análisis más detallado). Por otro lado, los perfiles de competencias para el personal de supervisión también deben ser desarrollados. Es necesario fortalecer el papel pedagógico de los supervisores y asegurarse de que el enfoque de su trabajo sea cada vez más la mejora de la enseñanza y el aprendizaje en las escuelas (consulte el capítulo 5). Para ello se requiere que el personal de supervisión reciba una considerable capacitación, donde se incluyan técnicas de evaluación y retroalimentación. También es necesario reforzar las habilidades de liderazgo educativo de los directores de escuelas ya que su papel en México continua manteniendo un enfoque más tradicional en las tareas administrativas. El objetivo es que los líderes escolares apliquen mecanismos eficientes de retroalimentación, asesoría y evaluación para su personal y dirijan procesos integrales de evaluación escolar, de manera eficaz. Lo anterior puede lograrse principalmente cambiando la definición del liderazgo escolar por la de liderazgo educativo y asegurándose de que todos los directivos reciban una formación adecuada en “liderazgo para el aprendizaje” (consulte también el capítulo 5). Los directivos deben estar capacitados para llevar a cabo una evaluación auténtica de la enseñanza y el aprendizaje; dar retroalimentación y el establecer objetivos en sus escuelas, donde se incluyan técnicas de observación docente. Los maestros también pueden aprovechar una amplia gama de oportunidades de desarrollo. Entre ellas: mejorar sus habilidades para la evaluación formativa con la participación de los alumnos; incrementar la capacidad de evaluación del aprendizaje de los alumnos con base en los objetivos definidos en la RIEB y fomentando el trabajo de colaboración entre los docentes en torno a la evaluación sumativa del alumno; y mejorar la capacidad de recabar y analizar la información para la mejora propia. La creación de capacidad a través de una formación inicial del profesorado y un desarrollo profesional adecuados debe ser una prioridad, donde se asegure la correcta alineación con las reformas nacionales de la educación.

Notas 1 Estos documentos están disponibles en http://basica.sep.gob.mx/reformaintegral/sitio.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

68 – 2. EL MARCO DE EVALUACIÓN EN MÉXICO

Bibliografía Leithwood, K., P. Day, P. Sammons, A. Harris y D. Hopkins (2006), Seven Strong Claims for School Leadership, NCSL , Nottingham. OCDE (2010), Improving Schools: Strategies for Action in Mexico, OECD , París. Pont, B., D. Nusche y H. Moorman (2008), Improving School Leadership, Volume 1: Policy and Practice, OECD , París. SEP (Secretaría de Educación Pública) e INEE (Instituto Nacional para la Evaluación de la Educación) (próximamente), Country Background Report for Mexico, prepared for the OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, to be available from www.oecd.org/edu/evaluationpolicy.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 69

Capítulo 3 La evaluación de los alumnos

En México, el desempeño de los alumnos es evaluado mediante una amplia gama de instrumentos que van desde los exámenes nacionales estandarizados hasta la evaluación formativa y continua en el aula. Todos los alumnos son evaluados de manera continua durante todo el año escolar en cada asignatura o área del currículo. Las calificaciones empleadas para reportar el logro de los alumnos utilizan una escala de 5 a 10. Los criterios y los métodos de evaluación son definidos por cada maestro. También se cuenta con exámenes nacionales finales, aplicados externamente, al término de la primaria (Instrumento para el Diagnostico de Alumnos de Nuevo Ingreso a Secundaria, IDANIS ) y de la educación secundaria (Examen Nacional de Ingreso a la Educación Media Superior, EXANI I). Estas evaluaciones sirven para diagnóstico y selección (por la escuela en el siguiente nivel). A nivel nacional, existe también una cohorte completa de evaluaciones externas (Evaluación Nacional del Logro Académico en Centros Escolares, ENLACE ) que se utiliza con fines de diagnóstico y mejora, pero que tiene un “alto impacto” para los maestros y las escuelas. En educación básica, ENLACE se administra anualmente a todos los alumnos de tercero de primaria a tercero de secundaria, en español y matemáticas y una tercera asignatura que varía cada año. Una ventaja importante es que en México la evaluación es vista como parte de la función profesional de los maestros. Otros aspectos positivos incluyen la introducción de un nuevo marco global para la evaluación dentro del aula; los avances en la alineación de las calificaciones con los resultados de aprendizaje esperados; la debida atención para reducir la reprobación; la promoción de la participación de los padres de familia en el aprendizaje de sus hijos; y la capacidad para implementar evaluaciones a gran escala. Sin embargo, existen considerables retos en la creación de métodos eficaces para evaluar a los alumnos. Entre ellos los actuales enfoques tradicionales en enseñanza y evaluación, la prevalencia de enseñar para el examen en todo el sistema escolar; la excesiva dependencia en exámenes de opción múltiple; el gran número de objetivos de ENLACE , las prácticas de calificación con poca pertinencia pedagógica; la falta de coherencia de las evaluaciones del alumnado en todas las escuelas y clases; la limitada capacidad a nivel estatal y local para apoyar la evaluación dentro del aula; y la necesidad de mejorar los instrumentos para el reporte de calificaciones.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

70 – 3. LA EVALUACIÓN DE LOS ALUMNOS

Este capítulo se centra en los enfoques para la evaluación de los alumnos dentro del marco de evaluación de México. La evaluación de los alumnos se refiere a los procesos mediante los cuales se recogen evidencias del aprendizaje de una manera planificada y sistemática, con el fin de hacer un juicio sobre el aprendizaje de los alumnos (EPPI , 2002). En este capítulo se analiza tanto la evaluación sumativa (evaluación del aprendizaje) como la evaluación formativa (evaluación para el aprendizaje) de los alumnos.

Contexto y características Panorama La evaluación de los alumnos en México está formada por tres componentes principales: (i) la evaluación dentro del aula con fines formativos y sumativos; (ii) las evaluaciones externas con fines de diagnóstico y selección para el ingreso al primer ciclo de enseñanza secundaria (IDANIS ) y a la educación media superior (EXANI I ); y (iii) evaluaciones externas con fines de diagnóstico y mejora (ENLACE ). La evaluación dentro del aula, con fines formativos y sumativos, está a cargo de los maestros y es regulada por el Acuerdo oficial 200 (DOF , 1994). Esta norma ha estado en vigor desde 1994 y establece la obligación de que las escuelas públicas y privadas lleven a cabo la evaluación de los alumnos con fines formativos y de certificación, basadas en los conocimientos, habilidades y actitudes incluidas en el plan de estudios nacional. Este acuerdo regula la periodicidad de las evaluaciones sumativas, la escala que debe utilizarse para asignar calificaciones y las condiciones para aprobar o reprobar a un alumno. En los últimos años, se lanzó un nuevo enfoque de evaluación basado en el aula bajo el contexto de la ACE y la RIEB . Las nuevas iniciativas se encuentran en sus etapas iniciales de implementación (incluidas las propuestas para ajustar el Acuerdo 200). El IDANIS (Instrumento para el Diagnostico de Alumnos de Nuevo Ingreso a Secundaria) y el EXANI I (Examen Nacional de Ingreso a la Educación Media Superior) son exámenes nacionales externos con fines de diagnóstico y selección. IDANIS fue creado en 1989, es operado por la SEP y evalúa a los alumnos que entran en la educación secundaria. EXANI I fue creado en 1994, es operado por el CENEVAL y evalúa a los alumnos que ingresan a la educación media superior. Ambos instrumentos son administrados con el fin de proporcionar información a las autoridades y a las escuelas para la selección de alumnos (Vidal, 2009). ENLACE es una evaluación nacional estandarizada que ha sido administrada cada año desde 2006 por la SEP , con una base censal. En la actualidad, todos los alumnos de tercero a sexto grado de educación primaria y de los tres grados de educación secundaria son evaluados en español y matemáticas. Desde 2008, se evalúa una tercera asignatura que varía cada año: ciencias en 2008, educación cívica en 2009, historia en 2010 y geografía en 2011. Los resultados están disponibles en forma individual para cada alumno y las calificaciones promedio por escuela se difunden ampliamente. En un inicio, el propósito explícito de ENLACE era proporcionar información sobre el desempeño académico de los alumnos en los objetivos curriculares, para fomentar la mejora de las prácticas profesionales docentes y aumentar la calidad del aprendizaje. Posteriormente, se añadieron nuevos objetivos y consecuencias a estas evaluaciones (consulte más adelante; (SEP e INEE , de próxima aparición).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 71

Normas para la evaluación dentro del aula Las evaluaciones dentro del aula se rigen por el Acuerdo oficial número 200 (DOF , 1994), donde se establece que la evaluación de los alumnos debe ser formativa, sistemática, continua e integral. También especifica que, para fines sumativos, los maestros deben utilizar una escala numérica de 5 a 10. En esta escala, el 6 es la calificación mínima aprobatoria, 5 significa insuficiente y 10 es excelente. Cada dos meses (en octubre, diciembre, febrero y abril) y en los últimos cinco días hábiles del año escolar, se debe asignar calificaciones e informar a los padres de familia, como se indica en el Acuerdo 499 (DOF , 2009), que introdujo modificaciones menores al Acuerdo 200. Esta norma es cumplida por todas las escuelas y maestros; como resultado, las actividades de enseñanza y aprendizaje están organizadas en cinco periodos o bloques, con una duración de dos meses cada uno. Los directores de escuela deben notificar las calificaciones a los alumnos y padres de familia y fomentar la comunicación entre estos y los maestros. Para ello, las escuelas deben completar una boleta de calificaciones estandarizada para cada alumno con las calificaciones obtenidas en cada asignatura, que debe ser firmada por los padres, en cada periodo. El diseño de la boleta de calificaciones actual corresponde al plan de estudios nacional de 1993. En el contexto de la RIEB , una nueva boleta de calificaciones llamada Cartilla de Educación Básica está siendo diseñada y probada en las escuelas (consulte más adelante). Al final del año lectivo, se debe calcular una calificación final para cada asignatura, que es el promedio de las calificaciones obtenidas durante el año escolar. Cada alumno recibe un promedio general anual, que es la media de las calificaciones finales de cada asignatura (SEP , 2011a). En la educación primaria no debe haber reprobación entre el primero y el segundo grado, ya que ambos son considerados parte de un periodo único de aprendizaje. Entre los grados segundo y sexto, los alumnos deben obtener al menos 6.0 como calificación final en español y matemáticas para aprobar, así como un promedio general anual igual o superior a 6.0. Los alumnos que no obtengan estas calificaciones deben repetir el año, a menos que asistan a un “procesos de regularización”, que consiste en cursos de verano o tutorías organizados e impartidos en los estados. Los alumnos pueden pasar al siguiente grado si están certificados por un examen extraordinario antes de empezar el siguiente año escolar (SEP , 2011a; SEP e INEE , de próxima aparición). En la educación secundaria, los alumnos que no logren obtener una calificación mínima de 6.0 en más de cinco asignaturas deberán repetir todo el ciclo. Al final del año escolar, los alumnos que reprueben cinco o menos asignaturas deberán cursar actividades de nivelación y aprobar un examen para cada una de las materias reprobadas. Los alumnos no podrán inscribirse en el curso siguiente, si no han aprobado más de dos asignaturas después del “periodo de regularización” en septiembre (al inicio del año escolar) (SEP , 2011a; SEP e INEE , de próxima aparición).

Prácticas de evaluación en el aula Los procedimientos y las normas descritas antes se centran en los aspectos formales de la evaluación sumativa. La evaluación formativa se considera importante, pero no cuenta con lineamientos concretos para realizarla. En cuanto a la evaluación sumativa, el Acuerdo 200 no incluye lineamientos sobre el significado de las calificaciones en términos del desempeño esperado de los alumnos. Este asunto empieza a abordarse en la RIEB , la reforma curricular actual, que incluye propuestas de revisión al Acuerdo 200 (consulte más adelante). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

72 – 3. LA EVALUACIÓN DE LOS ALUMNOS

Dentro de este marco formal, las escuelas y los maestros tienen plena libertad para determinar los criterios y llevar a cabo la evaluación de los alumnos. Los docentes utilizan criterios muy diferentes para evaluar a sus alumnos, en particular para asignar calificaciones al logro académico. Según lo observado por el Equipo de Revisión de la OCDE durante su visita, muchos maestros utilizan un enfoque normativo para calificar, lo que significa que primero asignan la máxima calificación (10) a los mejores alumnos de su clase y después califican a los demás alumnos con base en esta referencia. También hay casos comunicados por diferentes actores escolares al Equipo de Revisión de la OCDE , en los que los maestros ajustan sus criterios de evaluación para aparentar un menor número de alumnos con bajo desempeño. Para la mayoría de los maestros en México calificar consiste en asignar puntos a los alumnos mediante una serie de elementos: cumplimiento de tareas, asistencia a clase, participación en las actividades del salón de clases, pulcritud en las tareas, disciplina, trabajo en equipo, presentaciones y exámenes (por lo general con un formato de opción múltiple). Estos aspectos reciben “puntos” que al final se promedian para obtener una calificación. Cuando se les preguntó cuál elemento era el más importante para asignar la calificación bimensual (además de los resultados de los exámenes), 71% de los maestros de primaria respondieron “atención y participación” (García et al., 2011). El peso asignado a cada uno de estos elementos varía entre los maestros y entre los ciclos para el mismo docente, en función de los contenidos impartidos y las actividades realizadas. La ponderación de estos elementos no es explícita, pero los exámenes suelen tener más influencia en la calificación final (Garcia et al, 2009; Loureiro, 2009; Picaroni, 2009; Ravela, 2009a; SEP e INEE , de próxima aparición). La evaluación formativa en México se realiza de una manera muy limitada: consiste básicamente en dar calificaciones por exámenes, tareas y actitudes, y comunicarles a los alumnos dónde han fallado. Hay poca evidencia de que los maestros estén conscientes de la importancia de dar retroalimentación a los alumnos durante el proceso de la enseñanza, con el fin de ayudarlos a reflexionar sobre su propio aprendizaje o resultados (Picaroni, 2009; Ravela, 2009a).

Capacidades de los maestros para la evaluación de los alumnos De acuerdo con el plan de estudios nacional de formación inicial para docentes de educación primaria (SEP , 2002) y secundaria (SEP , 2010), los maestros deben ser capacitados durante su educación para realizar evaluaciones del alumnado en el aula. Se supone que la capacidad para evaluar eficazmente el aprendizaje de los alumnos se desarrolla mediante un curso llamado “Planeación de la enseñanza y evaluación del aprendizaje”, impartido seis horas a la semana en el sexto semestre de la licenciatura en Educación Primaria y cuatro horas a la semana en el cuarto semestre de la licenciatura en Educación Secundaria (SEP e INEE , de próxima aparición). Este curso tiene como objetivo preparar a los futuros maestros para que organicen actividades de enseñanza, y evalúen los avances y dificultades en el aprendizaje de los alumnos. Los futuros docentes deben aprender a utilizar instrumentos adecuados a los contenidos curriculares y las características de los alumnos. El curso también debe prepararlos para evaluar los procesos de aprendizaje, definir el momento de administrar instrumentos estandarizados y escribir reactivos de examen que demanden reflexión de los alumnos para que utilicen los conocimientos y habilidades intelectuales que han adquirido. Los futuros maestros deben aprender que el objetivo principal de la evaluación es mejorar la enseñanza y el aprendizaje en lugar de asignar calificaciones solamente (SEP , 2002, 2010; SEP e INEE , de próxima aparición). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 73

En cuanto a la formación y al desarrollo profesional de los maestros en servicio, la evaluación de los alumnos dentro del aula es una línea de trabajo importante para la Dirección General de Formación Continua para Maestros en Servicio (DGFCMS ) de la SEP . La principal iniciativa nacional en ese ámbito, el Catálogo Nacional de Formación Continua y Superación Profesional de Maestros de Educación Básica en Servicio,1 se publica anualmente y contiene una amplia oferta de más de 1 000 cursos. En él se incluyen desde cursos de corta duración (40 horas) hasta programas de maestría y doctorado (SEP e INEE , de próxima aparición). Estos cursos, que son impartidos por instituciones de educación superior de todo el país, son evaluados y acreditados por la DGFCMS . Los temas relacionados con la evaluación están recibiendo mayor énfasis en las ofertas disponibles para los docentes. Mientras que hace dos años sólo dos programas abordaban específicamente temas de evaluación, el catálogo actual 2011-2012 incluye más de 30 programas sobre la materia, entre los cerca de 1 100 ofrecidos. La mayoría de ellos están dirigidos a supervisores escolares y se enfocan en la evaluación basada en competencias. Al mismo tiempo, un gran número de cursos sobre temas curriculares incluyen nuevos métodos, técnicas e instrumentos de evaluación basados en el aula (SEP , 2011b; SEP e INEE , de próxima aparición). La SEP también ha implementado otros mecanismos de apoyo para facilitar el desarrollo de las capacidades docentes para la evaluación de los alumnos. Entre ellos libros para maestros, una sección especial sobre evaluación y autoevaluación en los libros de texto y una variedad de materiales disponibles en el sitio web de la SEP , como artículos de investigación sobre evaluación, indicadores de evaluación y enlaces a otros sitios web pertinentes relacionados con la evaluación (SEP e INEE , de próxima aparición).

Evaluación externa de los alumnos con fines de selección fue creado en 1989 con el objetivo de aportar información para la selección de alumnos que desean ingresar a la educación secundaria. Esta prueba es administrada y procesada por la DGEP -SEP sólo en aquellos estados que lo soliciten. Tiene alrededor de 60 reactivos de opción múltiple y preguntas para completar en los espacios en blanco; evalúa las habilidades básicas de los alumnos en tres áreas: comunicación, uso de las matemáticas y razonamiento abstracto. Los conceptos de la prueba son muy tradicionales y evalúan capacidades muy sencillas. Los resultados son utilizados para asignar a los nuevos alumnos en las escuelas secundarias, seleccionadas por ellos. Por ejemplo, como se menciona en el sitio web de la SEP -DF , durante el proceso de selección en el Distrito Federal, los alumnos que desean ingresar a secundaria eligen las tres escuelas que prefieren. Los resultados de IDANIS son el principal criterio para asignar a los alumnos a cada escuela.2 Por lo tanto, estos resultados son muy importantes para los alumnos, ya que determinan su acceso a las escuelas secundarias seleccionadas (SEP e INEE , de próxima publicación; SEP -DF , 2011). Como se observó durante la visita de revisión, en otros estados el proceso de selección es llevado a cabo normalmente por cada escuela secundaria, la cual tiene más candidatos que lugares disponibles. EXANI I , creado en 1994 y administrado por el CENEVAL , se aplica de forma voluntaria y los alumnos o instituciones tienen que pagar para tomarlo. Debido a que los resultados de EXANI I son muy utilizados por las escuelas de nivel medio superior para la selección de los alumnos, también tienen una fuerte influencia sobre ellos y sus maestros de educación secundaria. En la actualidad, EXANI I está formado por dos instrumentos. El primero es un examen de selección tradicional que mide las habilidades intelectuales generales. El segundo es una prueba diagnóstica de reciente introducción que evalúa el contenido de las principales asignaturas que se debería haber aprendido en la educación secundaria y que son importantes para el siguiente nivel. IDANIS

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

74 – 3. LA EVALUACIÓN DE LOS ALUMNOS

Los dos instrumentos son normas de referencia (es decir, los evaluados son comparados entre sí). Al igual que en IDANIS , los resultados de EXANI I son utilizados por las escuelas de nivel medio superior con fines de selección (Vidal, 2009; SEP e INEE , de próxima aparición). IDANIS y EXANI I ejercen una fuerte influencia sobre alumnos y maestros, los cuales dedican tiempo a su preparación ya que determinan las posibilidades de los alumnos para asistir a la escuela de su preferencia en el siguiente nivel. Por otra parte, una búsqueda de “IDANIS ” o “EXANI I ” en Internet lleva a varios sitios que ofrecen cursos de preparación para los alumnos (por un pago). En la página web del CENEVAL se ofrecen guías y materiales para la preparación de las pruebas que están disponibles de forma gratuita, aunque los mismos materiales pagados se ofrecen en otros sitios.

Evaluación externa de los alumnos con fines formativos es un importante esfuerzo de evaluación que abarca más de 14 millones de alumnos de tercer grado de educación primaria a tercer grado de secundaria de todas las escuelas públicas y privadas de México. Desde 2008 también incluye a los alumnos que están a punto de terminar la educación media superior, evaluándolos en comprensión de lectura y matemáticas. En este nivel de educación ENLACE es diferente, ya que pone a prueba las competencias en lugar de los contenidos curriculares, e implica una logística y una planeación separada.3 La administración de la prueba es controlada externamente por los padres de familia de cada escuela. Los maestros supervisan su administración para un grupo de alumnos diferente al suyo (para evitar que vigilen a sus propios alumnos). Las pruebas incluyen de 50 a 70 preguntas de opción múltiple sobre el contenido curricular estudiado. Mediante el uso de un modelo con tres parámetros de la Teoría de Respuesta al Ítem, los resultados se calculan empleando una escala horizontal que tiene como referencia una media de 500 puntos, que corresponden a los resultados promedio de los alumnos en la primera aplicación de ENLACE (en 2006). Los alumnos son colocados en cuatro niveles de desempeño: “insuficiente”, “básico”, “bueno” y “excelente”. “Insuficiente” significa que los alumnos carecen de los conocimientos y habilidades necesarios para continuar el aprendizaje de la asignatura a un ritmo adecuado. El nivel “Básico” significa que los alumnos son competentes sólo en una pequeña parte de los conocimientos y habilidades evaluadas en una materia y grado escolar, pero que es suficiente para seguir aprendiendo de manera satisfactoria. Los alumnos con un nivel “Bueno” son competentes en la mayoría de los conocimientos y habilidades evaluados en una materia y grado escolar. Los alumnos con un nivel “Excelente” son competentes en todos los conocimientos y habilidades evaluados en una asignatura y grado escolar (SEP e INEE , de próxima aparición). Los resultados se presentan con puntuaciones y porcentajes de alumnos por nivel de desempeño y están disponibles en el sitio web de la SEP . Los alumnos reciben un código para consultar sus resultados individuales, pero durante su visita, el Equipo de Revisión de la OCDE se dio cuenta de que muchos alumnos no consultan sus resultados a través de Internet. Un estudio realizado por Mendoza Trejo (2010) revela que sólo 27% de los padres de los alumnos de escuelas primarias y 31% de los padres de los alumnos de las escuelas secundarias buscan los resultados de ENLACE a través de Internet (en un contexto donde 52% de los padres de alumnos de escuelas de educación básica desconocen los resultados de ENLACE ). Esto sucede a pesar de los considerables esfuerzos de la SEP que envía reportes impresos a los padres con los resultados de sus hijos. Los resultados agregados por la escuela también están disponibles en línea y pueden ser consultados por el público en general. Los directores y maestros de las escuelas tienen acceso a los resultados individuales de los alumnos por componente de la prueba; además, pueden conocer las respuestas correctas ENLACE

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 75

e incorrectas de cada educando, lo que les permite identificar los temas que son más difíciles para los alumnos (SEP e INEE , de próxima aparición). Los maestros también reciben reportes impresos con los resultados de sus grupos. Además, se envían a la comunidad educativa carteles con los resultados de la escuela y su comparación con otras escuelas, y deben exponerse en un lugar visible del plantel. La evaluación puede ser de “alto impacto” o “bajo impacto” (como lo indica Messick, 1999). ENLACE se presentó inicialmente como una evaluación de “bajo impacto”, pero ha ido evolucionado poco a poco hasta convertirse en un esquema de “alto impacto”. Esto se debe a que se ha dado otros usos a sus resultados, siendo el más importante su uso en el Programa Nacional de Carrera Magisterial (PNCM ). Como consecuencia, la asignación de incentivos económicos, que se suman al salario de los docentes, están vinculados a los puntajes de sus alumnos en ENLACE (consulte el análisis en el capítulo 4). Si bien ENLACE se ha utilizado en el contexto del PNCM desde su creación en 2006, su diseño original se basó en el uso formativo de sus resultados para la mejora de la enseñanza y el aprendizaje en el aula (consulte, por ejemplo, Zúñiga Molina y Gaviria, 2010). Originalmente la SEP sugería los siguientes usos de “bajo impacto” para los resultados de ENLACE : • Actividades para que los padres de familia participen y apoyen el aprendizaje de sus hijos, como talleres y reforzamiento del aprendizaje en el hogar. • Creación de materiales para mejorar la enseñanza y fomentar el intercambio de experiencias y buenas prácticas entre los maestros y las entidades federativas. • El desarrollo de las ofertas de formación continua, basadas en ​​ los resultados de ENLACE . • Iniciativas especiales para fortalecer a las escuelas con bajos resultados en ENLACE . • Acciones para mejorar la gestión educativa, como el establecimiento de estándares de aprendizaje al final de cada nivel educativo. • Promoción de programas para mejorar la calidad de la educación (SEP e INEE , de próxima aparición). Pero ENLACE se convirtió rápidamente en una evaluación de “alto impacto” con la publicación de los resultados en las escuelas, la divulgación de las clasificaciones de los planteles en los medios de comunicación, los incentivos monetarios para los docentes con base en los resultados de sus alumnos en ENLACE y el reconocimiento público de los alumnos con las calificaciones más altas. Estos otros usos de ENLACE son muy distintos de los previstos inicialmente. Pueden provocar que las escuelas, maestros y alumnos dediquen una gran cantidad de tiempo a practicar para las pruebas de ENLACE (Backhoff et al., 2008; Loureiro, 2009), opinión que fue comunicada al Equipo de Revisión de la OCDE por un gran número de interesados, incluyendo las escuelas visitadas. Durante la visita, el Equipo de Revisión de la OCDE fue testigo de la fuerte influencia de ENLACE en una amplia gama de aspectos de la vida escolar. Los ejemplos de conductas mencionadas constantemente por el personal entrevistado en las siete escuelas visitadas (y que fueron corroborados por un gran número de grupos de actores entrevistados durante la visita), incluyen: • En todas las escuelas visitadas, los maestros y directores concedían gran importancia a los resultados de ENLACE . • En todas las escuelas visitadas, los alumnos practicaban mucho para ENLACE utilizando las pruebas aplicadas en años anteriores. • Algunas escuelas tratan de mejorar el logro de sus alumnos motivándolos a participar en programas promocionales desarrollados por las autoridades educativas, tales como REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

76 – 3. LA EVALUACIÓN DE LOS ALUMNOS

•

• • •

“Vamos por 600 puntos” (organizado por la Administración Federal de Servicios Educativos en el Distrito Federal, AFSEDF ). Algunos maestros opinaron que como ENLACE no tiene consecuencias directas para los alumnos, estos no se esfuerzan por contestar la prueba. En consecuencia, como se advirtió al Equipo de Revisión de la OCDE en las escuelas visitadas, algunos maestros pueden tratar de motivar a los alumnos diciéndoles que los resultados de ENLACE contribuyen a su expediente de logros globales, lo cual no es cierto. Muchos docentes expresaron su preocupación acerca de que ENLACE no toma en cuenta las diferentes circunstancias y contextos que enfrentan escuelas y alumnos. Algunos maestros reconocen un efecto positivo en ENLACE , ya que “ejerce algo de presión para que los maestros hagan un esfuerzo por mejorar el desempeño de los alumnos”. ENLACE ocasionó que los maestros se preocuparan de alguna forma por los alumnos con un bajo desempeño. También generó una preocupación especial por la lectura de comprensión.

En cuanto a los alumnos con necesidades educativas especiales, se realizan algunas adaptaciones para administrarles la prueba. ENLACE permite que un familiar esté en el aula y ayude al estudiante sin darle las respuestas. En algunos casos, dependiendo del tipo específico de necesidades del alumno, es posible leerle las preguntas o ayudarle a escribir en la hoja de respuesta (SEP e INEE , de próxima aparición). En el caso de los alumnos indígenas, se supone que la pertinencia lingüística y cultural de las pruebas está asegurada gracias a la labor de acompañamiento de la DGEI (SEP e INEE , de próxima aparición). La DGEI forma parte del Consejo Técnico de ENLACE desde 2008 y ha trabajado con la DGEP para mejorar la pertinencia y confiabilidad de la prueba para los alumnos indígenas. Este trabajo ha implicado la revisión de más de 2 500 reactivos. Sin embargo, durante las visitas a las escuelas, los maestros argumentaron que muchas palabras incluidas son palabras o situaciones desconocidas por los alumnos de las zonas rurales e indígenas. En 2008 los maestros de una escuela del estado de Chiapas presentaron una denuncia contra la SEP en el Consejo Nacional para Prevenir la Discriminación (C ONAPRED ) por discriminación lingüística en la aplicación de ENLACE . La denuncia recibió el apoyo de organizaciones representativas como el Congreso Nacional de Educación Indígena e Intercultural. En 2011, el C ONAPRED emitió una resolución a favor de los maestros, afirmando que la SEP debería introducir modificaciones a ENLACE para asegurarse de que no discrimine culturalmente a los alumnos indígenas. La SEP aceptó la resolución y actualmente está trabajando con organizaciones de educación de indígenas con el fin de adaptar ENLACE a las necesidades de los alumnos indígenas (C ONAPRED , 2011).

Iniciativas de política relacionadas con la evaluación de los alumnos dentro del aula En el marco de la Alianza por la Calidad de la Educación (ACE ), se está llevando a cabo un esfuerzo importante de reforma curricular en México, a saber: la Reforma Integral de la Educación Básica (RIEB ). Actualmente se está poniendo a prueba un plan de estudios unificado que articula los programas desde preescolar hasta el final de la educación básica, el cual está siendo introducido progresivamente en las escuelas. La reforma tiene como objetivo mejorar la coherencia de todo el sistema, centrándose en proporcionar a los alumnos una formación integral, de manera que puedan adquirir las habilidades necesarias para la vida (OCDE , 2011a; SEP , 2011c) (Capítulos 1 y 2 de esta publicación). El nuevo plan de estudios está basado en un perfil explícito que debe ser alcanzado por todos los alumnos que egresan de la educación básica. Este perfil se compone de diez aspectos REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 77

que se espera alineen todos los esfuerzos curriculares y sirvan como un punto de referencia para evaluar la eficacia del proceso educativo (SEP , 2011c) (consulte el capítulo 2). El Plan de Estudios 2011 establece que la enseñanza debe estar orientada a las competencias para la vida, por lo que debe comprender más que simplemente explicar los conceptos. Cada curso se organiza en cinco bloques y los “aprendizajes esperados” son indicados de manera explícita en cada bloque. Se ha trabajado mucho para establecer estándares curriculares que puedan ser utilizados como referencia para la evaluación externa y en el aula de los alumnos, al final de los principales ciclos de la educación básica: preescolar, tercer grado, sexto grado y educación secundaria. Los estándares curriculares expresan lo que los alumnos deben saber y ser capaces de hacer al final de cada ciclo. Existen estándares para las áreas formativas importantes: español, inglés, matemáticas, ciencias, capacidad de lectura en español y habilidades digitales. Los estándares se han establecido con la asesoría técnica de la Universidad de Londres y están alineados con el nivel de dominio 3 de PISA en lectura, matemáticas y ciencias, como un objetivo que deben alcanzar los alumnos que egresan de la educación secundaria (SEP , 2011c; SEP , 2011d). A principios de 2011, se pusieron en marcha los trabajos para diseñar una nueva generación de pruebas ENLACE de acuerdo con los estándares de la RIEB y los resultados de aprendizaje esperados. Estas nuevas evaluaciones se pusieron a prueba en el ciclo 2011-2012 y se generalizarán para todos los alumnos en 2012-2013 cuando la RIEB se amplíe a todos los grados. Este trabajo ha reunido a SEB , DGAIR , INEE , autoridades educativas estatales, maestros y expertos, bajo la coordinación de investigadores de la Universidad Autónoma de Baja California. En esta reforma se está haciendo un gran esfuerzo para establecer un nuevo enfoque de evaluación basado en el aula. Se pone más énfasis en la evaluación como un proceso continuo y una parte esencial del proceso enseñanza-aprendizaje. Los maestros siguen estando a cargo de evaluar los logros de los alumnos. Los documentos oficiales establecen explícitamente que en la educación básica, el enfoque formativo debe prevalecer en todas las actividades de evaluación, ya que el objetivo principal es mejorar el desempeño de los alumnos. Los maestros deben explicar claramente a los alumnos y padres de familia los resultados de aprendizaje esperados para los alumnos y los criterios de evaluación, así como las medidas que deben tomar los alumnos para superar sus dificultades. Los docentes no deben dar una calificación a los alumnos sin recomendarles cómo mejorar su desempeño (SEP , 2011d; SEP e INEE , de próxima aparición). En cuanto a los instrumentos que se utilizarán para la evaluación en el aula, el plan de estudios especifica que deben utilizarse rúbricas, listas de control, registros de observaciones, trabajos escritos, proyectos de equipo, mapas conceptuales, portafolios y exámenes escritos y orales (SEP , 2011c; SEP e INEE , de próxima aparición). Los alumnos deben participar continuamente en su autoevaluación y en las actividades de evaluación de sus compañeros. En relación con este nuevo énfasis en la evaluación dentro del aula, la SEP está trabajando en un nuevo enfoque para reportar las calificaciones a los alumnos y padres de familia. La boleta de calificación actual será reemplazada por una Cartilla de Educación Básica, que deberá combinar las perspectivas cualitativas y cuantitativas sobre el desempeño de los alumnos, y centrarse en su progreso en relación con los resultados de aprendizaje esperados para cada bloque curricular (SEP , 2011c; SEP , 2011d; SEP e INEE , de próxima aparición). Las calificaciones se seguirán expresando con la escala numérica actual del cinco al diez, pero cada calificación llevará una descripción del nivel de desempeño alcanzado por el alumno en relación con los resultados de aprendizaje esperados. Los niveles de desempeño se clasificarán mediante letras: “A” para “sobresaliente” (correspondiente a un 10); “B” para “satisfactorio” (que corresponde a un 8 o 9); “C” para “suficiente” (correspondiente a un 6 o 7); y “D” para “básico” o “elemental”. Para cada calificación, la cartilla incluirá una declaración sobre el tipo REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

78 – 3. LA EVALUACIÓN DE LOS ALUMNOS

de apoyo necesario para el alumno, que deberá ser complementado con las observaciones de los maestros.4 Este nuevo instrumento fue desarrollado por un grupo de trabajo formado por la SEP y el INEE en 2009. En este momento se está probando en 5 000 escuelas primarias y 1 000 escuelas secundarias.

Fortalezas Los docentes están comprometidos con el aprendizaje de los alumnos Durante las visitas a las escuelas, el Equipo de Revisión de la OCDE coincidió en que la mayoría de los maestros mexicanos están realmente involucrados en el aprendizaje y el logro de sus alumnos. En todas las reuniones, los alumnos mencionaron consistentemente el empeño de sus maestros para explicarles las materias y para ayudar a sus compañeros con bajo desempeño académico. El Equipo de Revisión de la OCDE presenció casos en que los docentes dedicaron su tiempo para impartir clases y actividades extras y reunirse con los padres de familia, de forma voluntaria, los sábados o después de horas laborales. Los maestros también son conscientes de la importancia de adaptar la enseñanza y la evaluación a las necesidades individuales y los contextos culturales de los alumnos —aunque la forma en que lo hacen no siempre es la adecuada, como se mencionará más adelante. En algunas escuelas, los docentes pedían a los alumnos avanzados que actuaran como monitores para ayudar a sus compañeros de clase. En México, los maestros juegan un papel importante en la evaluación de los alumnos, ya que tanto la evaluación formativa continua como la evaluación sumativa son una parte esencial de sus responsabilidades profesionales. La evaluación es parte integral de su trabajo. La evidencia del aprendizaje de los alumnos se reporta de manera regular. Para su evaluación se tiene en cuenta varios aspectos: tareas, esfuerzo, presentaciones, pruebas y proyectos. Sin embargo, se puede mejorar aún más en la manera como los docentes aplican la retroalimentación formativa y en la forma como se asignan las calificaciones.

Se está desarrollando un nuevo marco integral para la evaluación de los alumnos dentro del aula, con mayor énfasis en los resultados educativos La RIEB está aportando a la educación un enfoque fundamentado para la evaluación dentro del aula. Constituye un esfuerzo importante e inteligente para conformar el plan de estudios en toda la educación obligatoria, desde preescolar hasta el final de la educación secundaria. La RIEB organiza los programas de estudio con un enfoque integral y coherente manteniendo espacio y flexibilidad para las adaptaciones a los diferentes niveles educativos, orígenes y necesidades especiales de los alumnos. El nuevo plan de estudios parece tener un buen equilibrio entre lo que es obligatorio y lo que se puede adaptar a nivel local. Una de las principales características del enfoque de la RIEB es la alineación curricular en torno al desempeño esperado de los alumnos. Cada “bloque” de cada curso incluye los “resultados de aprendizaje esperados”, que serán la guía principal para el trabajo de los maestros. Los resultados de aprendizaje esperados están alineados con los estándares curriculares establecidos al final de cada uno de los ciclos de tres años (preescolar, primero a tercer grado, cuarto a sexto grado y séptimo a noveno grado). Los estándares curriculares están alineados con un perfil de egreso definido para los alumnos al final de la educación REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 79

básica (es decir, la educación secundaria), que incluye el nivel de desempeño de PISA 3 como componente principal (SEP , 2011c). Al unificar los esfuerzos curriculares alrededor de los resultados de aprendizaje esperados, la RIEB está generando un movimiento positivo que va de un plan de estudios basado en contenidos a uno orientado a las competencias. Esto constituye un importante paso adelante para México. El hecho de tener en cuenta las competencias de PISA como parte del perfil de los alumnos egresados es una directriz inteligente, en el sentido de que las autoridades están enviando un mensaje unificado a los maestros sobre lo que se espera que generen en cuanto a competencias. La RIEB también incluye un enfoque claro e interesante para la evaluación de los alumnos en el aula, tanto con fines formativos como sumativos, que está establecido expresamente como responsabilidad profesional de los maestros. Como se puntualizó antes, la RIEB amplía el significado de la evaluación, concibiéndola como una parte esencial de la enseñanza y el aprendizaje; propone el uso de una amplia gama de instrumentos de evaluación; enfatiza el propósito formativo de la evaluación dentro del aula; además, como se explica a continuación, introduce un cambio fundamental al dar un nuevo significado a las calificaciones. Según lo observado por el Equipo de Revisión de la OCDE durante las visitas a las escuelas, los maestros que han conocido el nuevo plan de estudios —a través de la participación directa en las experiencias piloto o por medio de cursos de formación continua sobre la RIEB — están empezando a introducir nuevas prácticas en sus aulas: listas de control orientadas a aspectos como la participación, la colaboración y las actitudes de investigación de los alumnos; rúbricas; nuevos productos auténticos que se exigen a los alumnos (por ejemplo, elaborar un anuncio como tarea escrita), proyectos orientados hacia los resultados de aprendizaje esperados; la autoevaluación de los alumnos y la evaluación por sus compañeros.

Se ha avanzado en la alineación de las calificaciones con los resultados de aprendizaje esperados Otro cambio importante que la RIEB está introduciendo en la evaluación dentro del aula se refiere a los cambios en la boleta de calificaciones (ahora llamada “Cartilla de Educación Básica”). Es significativa la intención de dar un nuevo significado a las calificaciones en términos de resultados de aprendizaje esperados. El enfoque actual es muy inteligente, en el sentido de que no está en el cambio de la escala, sino en dar un nuevo significado a las calificaciones actuales en términos del desempeño de los alumnos. En algunas reformas de las escalas de desempeño, se dedica una gran cantidad de tiempo y energía a cambiar la escala, por ejemplo, de números a letras. Esto es por lo general sólo un cambio cosmético, pues las prácticas de calificación siguen siendo las mismas. El problema principal con la asignación de calificaciones es la ausencia de un significado para cada una y la práctica de calificar como una cuestión de asignar puntos por diversos aspectos, promediándolos a una calificación final sin sentido (Wiggins, 1998; Ravela, 2009a). En México, actualmente se está trabajando para establecer una relación entre las calificaciones de la escala actual y los niveles de desempeño, aunque todavía no se han desarrollado las descripciones específicas. La nueva Cartilla de Educación Básica está en fase piloto y aún queda trabajo por hacer para definir el significado específico de cada nivel de desempeño para cada una de las asignaturas, de manera que las calificaciones adquieran un significado claro para los maestros, alumnos y familias. Sin embargo, también hay que decir que el nuevo sistema de reporte de calificaciones incluye algunos aspectos discutibles, como los indicadores de la velocidad de lectura y comprensión REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

80 – 3. LA EVALUACIÓN DE LOS ALUMNOS

(una prueba específica requerida que consiste en medir el número de palabras que un alumno es capaz de leer en un minuto) y la práctica de promediar las calificaciones para diferentes asignaturas en la educación secundaria.

Se está atendiendo adecuadamente la reducción de la reprobación en la educación primaria La reprobación es un problema importante en América Latina. Los análisis de la educación primaria indican que Guatemala (26%) y Colombia (21%) presentan los mayores porcentajes de alumnos de 7 a 11 años de edad que van retrasados (es decir, no están en el grado que corresponde a su edad). Los porcentajes para Brasil, Uruguay, Chile y Argentina son 11%, 10%, 9% y 6%, respectivamente (OEI , 2010). El porcentaje para México (3%) fue el más bajo de los 17 países. Es bien sabido que: (i) los alumnos que repiten un grado continúan teniendo un bajo desempeño durante sus estudios (es decir, reprobar un grado no tiene el supuesto efecto de nivelar a los repetidores a la altura de sus compañeros de clase); y (ii) los alumnos que repiten un grado aumentan su probabilidad de abandonar la escuela. Muchos países han tratado de eliminar la reprobación, pero en algunos casos el efecto ha sido contraproducente porque los alumnos avanzan en sus estudios sin haber adquirido el aprendizaje esperado (Torres, 1995; Schiefelbein y Wolff, 1992). En México, los alumnos no pueden repetir entre el primero y el segundo grado de educación primaria (SEP , 2011a). En el contexto de la RIEB , esta regla se extenderá al tercer grado. Se hará hincapié en oportunas acciones compensatorias para los alumnos con un bajo desempeño, en lugar de la reprobación de grado. Un hecho notable es que, al observar los datos internacionales de desempeño de los alumnos (Laboratorio Latinoamericano para la Evaluación de la Calidad de la Educación de la UNESCO , LLECE), México está por encima del promedio regional en lectura y matemáticas, tanto en tercero como en sexto grado: el 25% de alumnos de tercer grado están en o por debajo del nivel uno de lectura (por debajo del promedio regional de 32%). Sólo Cuba, Costa Rica y Uruguay tienen un mejor desempeño que el de México (UNESCO /OREALC , 2008). Así que la evidencia sugiere que el enfoque de México en cuanto a la reprobación está funcionando bien, ya que los alumnos no se están retrasando y, al mismo tiempo, están logrando un buen nivel de desempeño en el contexto regional de América Latina. Las tasas de reprobación de México son más altas en la educación secundaria, donde 22% de los alumnos de 15 años de edad, han repetido al menos un grado durante su escolaridad (OCDE , 2010). Sin embargo, con ese 22%, México, tiene en realidad el porcentaje más bajo dentro de los países latinoamericanos que participan en PISA . En países como Argentina, Brasil, Colombia y Uruguay, alrededor de 35% de los alumnos de 15 años han repetido al menos un grado (OCDE , 2010). La cifra de México es también inferior a las de España y Portugal (ambas alrededor de 35%) (Consulte el anexo D).

Se está fomentando la participación de los padres en el aprendizaje de sus hijos Durante sus reuniones y visitas a las escuelas, el Equipo de Revisión de la OCDE observó que, en México, los directores de escuela y maestros están muy conscientes de la importancia de la comunicación frecuente con los padres de familia. Aunque es posible que en algunos casos los padres sean contactados sólo por cuestiones administrativas, en todas las escuelas REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 81

visitadas había una preocupación por comunicar las calificaciones a los padres cada dos meses y por involucrarlos para que apoyaran a los alumnos con bajo desempeño. También observaron notables iniciativas para que los padres participen en los esfuerzos actuales para fomentar la lectura y promover su participación activa en los Consejos Escolares de Participación Social en la Educación. La implementación actual de la nueva Cartilla de Educación Básica también es importante, ya que tiene la intención de dar un significado más claro a las calificaciones con respecto a los resultados de aprendizaje esperados de los alumnos. Además, es encomiable que la nueva Cartilla aliente el apoyo de los padres en el aprendizaje de sus hijos.

Algunas iniciativas fomentan el desarrollo de las competencias de los docentes para la evaluación de sus alumnos Como ya se puntualizó, existen algunas iniciativas incipientes pero importantes para fomentar el desarrollo de competencias docentes para la evaluación dentro del aula. Este aspecto está cada vez más presente entre las ofertas de formación continua, aunque los maestros todavía no están satisfechos con la calidad de los cursos ofrecidos. Recientemente, el INEE y la SEP comenzaron a trabajar en el desarrollo de instrumentos para la evaluación en el aula, que estarán disponibles en Internet. El INEE está desarrollando herramientas para los docentes y distribuirá un millón de copias entre los maestros. Estas iniciativas deben apoyar la implementación de la RIEB y el nuevo enfoque de la evaluación. Sin embargo, es importante señalar que no basta con distribuir materiales. El reto es asegurar que los maestros tengan la oportunidad de interactuar colectivamente con los nuevos materiales en sus escuelas y probar las nuevas prácticas en las aulas con sus colegas.

Es notable la capacidad de diseñar e implementar evaluaciones a gran escala La evaluación externa de los alumnos es una práctica común en las escuelas mexicanas. Por más de 20 años, IDANIS se ha administrado a los alumnos que egresan de la escuela primaria. Lo mismo ocurre con EXANI I y los alumnos que terminan la educación secundaria, desde 1994. Durante la década de 1990, se llevaron a cabo grandes evaluaciones estandarizadas nacionales en el marco del Programa Nacional de Carrera Magisterial (PNCM ). Además, E XCALE y ENLACE se pusieron en marcha en 2005 y 2006, respectivamente. Millones de evaluaciones estandarizadas son administradas, procesadas y reportadas en México, cada año. Como se mencionará más adelante, a pesar de que la diversidad de las evaluaciones externas de los alumnos es algo confusa para los maestros, contribuyen a enfocar su atención en el logro de los alumnos. Los maestros analizan los resultados de cada alumno y con frecuencia se concentran en aquellos que tienen resultados más bajos en ENLACE . Otro efecto ha sido que los maestros se han concientizado de la importancia de la lectura de comprensión en la vida de los estudiantes y la habilidad para responder exámenes. Varios docentes mencionaron la importancia de que los alumnos comprendan el texto de las preguntas de modo que, por ejemplo, entiendan lo que se pide en los problemas de matemáticas. Muchos maestros sienten que los resultados de ENLACE desafían su competencia profesional, porque los presiona para mejorar el desempeño de sus alumnos (medido por ENLACE ). IDANIS y EXANI I también juegan un papel en la motivación de los alumnos y maestros para el logro. Sin embargo, hay algunas cuestiones que deben abordarse en torno a la alineación entre las diferentes evaluaciones externas y el nuevo plan de estudios. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

82 – 3. LA EVALUACIÓN DE LOS ALUMNOS

Cada una de las evaluaciones externas implica mucho trabajo técnico de varios comités encargados de la elaboración de instrumentos y el procesamiento de datos. Se cuenta con una gran capacidad logística instalada. Esta capacidad no sólo existe dentro de la SEP y el INEE sino también dentro de CENEVAL , el cual cuenta con una amplia experiencia en la organización de evaluaciones estandarizadas. La experiencia con la evaluación externa se ha basado casi exclusivamente en pruebas de opción múltiple, que dejan espacio para la introducción de tipos más complejos de tareas que podrían enviar nuevas e importantes señales pedagógicas a los maestros, alumnos, padres de familia y escuelas.

Retos Es necesario cambiar la cultura de la enseñanza Mejorar el método de evaluación de los maestros implica un cambio fundamental en las prácticas de enseñanza establecidas. Según lo declarado por Stigler y Hiebert (2009), las prácticas docentes son difíciles de cambiar porque son parte de una cultura. Los maestros aprenden a enseñar principalmente a través de su participación informal en la escuela y sus prácticas en el aula, durante largos períodos — y en menor medida a través de los programas de formación inicial o continua. La enseñanza es una práctica que se aprende al vivir en una cultura más que a través de estudios formales. La práctica docente en las escuelas está determinada más bien por guiones culturales que pueden equipararse al ADN de la enseñanza. Por estas razones, el cambio en las prácticas educativas es un proceso complejo y de largo plazo (Stigler y Hiebert, 2009). Teniendo esto en cuenta, es crucial para los esfuerzos de México cambiar las prácticas de evaluación y aplicar las modificaciones curriculares. No es sólo una cuestión de escribir un nuevo plan de estudios, mejorar la boleta de calificaciones, ofrecer nuevos cursos de formación continua o entregar nuevos materiales a las escuelas, sino de promover un cambio cultural significativo. El sistema educativo mexicano está muy centralizado. Las escuelas y los docentes son objeto de control por parte de los supervisores, las autoridades estatales y federales y el sindicato de maestros. La simulación es una parte importante de la cultura del sistema ya que, a mayor control, mayor simulación se necesita para cumplir con las expectativas del trabajo. Durante la visita de revisión, la palabra “simulación” fue mencionada con frecuencia como parte de la cultura por varios actores: autoridades, supervisores, directores de escuela, docentes e investigadores. Este hecho debe tenerse muy en cuenta por los líderes del cambio a nivel central. En ese tipo de cultura es aún más difícil introducir cambios reales por decreto en las aulas.

Es común enseñar para la prueba en todo el sistema escolar Enseñar para la prueba se ha convertido en una práctica pedagógica generalizada en México. Los directores de escuela, maestros y alumnos consideran que practicar para las pruebas estandarizadas es la mejor estrategia para elevar el logro de los alumnos. Este mensaje fue comunicado constantemente por el personal entrevistado en las siete escuelas visitadas por el Equipo de Revisión y confirmado por muchos de los grupos de interesados que fueron entrevistados durante la visita de revisión. Las escuelas motivan a los alumnos para mejorar REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 83

sus resultados de ENLACE , incluso mediante la participación en los programas oficiales, como “Vamos por 600 puntos” (organizada por la Administración Federal de Servicios Educativos en el Distrito Federal, AFSEDF ). Varias semanas antes de la aplicación de ENLACE , los maestros dedican un tiempo de clase considerable a lo que ellos llaman el “Pre-ENLACE ”, que son sesiones de prueba similares al examen real con ejemplos de ejercicios anteriores. Algo similar ocurre con IDANIS y EXANI I . En algunas escuelas, los maestros y alumnos dedican mucho tiempo a practicar para estas pruebas. Si bien los resultados de ENLACE tienen consecuencias para los docentes y directores —parte de su salario depende de ellos (consulte el capítulo 4)— IDANIS y EXANI I son importantes para los alumnos y padres de familia ya que la posibilidad de asistir a una escuela seleccionada depende de sus resultados. Del mismo modo, la SEP también exhorta a las escuelas para que preparen a los alumnos para las pruebas de PISA . La publicación “Hacia PISA 2012” es ampliamente distribuida en una versión para docentes (250 000 ejemplares) y otra para alumnos (cuatro millones de ejemplares), para animar a los alumnos y docentes de secundaria a que practiquen cada semana con los reactivos de PISA, durante todo el curso escolar. Obtener buenos resultados en PISA se presenta a los alumnos como una cuestión de orgullo nacional y lealtad a México (SEP , 2011e y 2011f).5 El problema fundamental que debe ser considerado con atención es si el objetivo es simplemente elevar los puntajes promedio (en ENLACE o PISA ) o, por el contrario, mejorar la amplia gama de competencias de los niños mexicanos. Es muy importante diferenciar el objetivo del indicador. Como lo expresan Linn y Gronlund (2000): Casi siempre estamos interesados en hacer inferencias que van más allá de la prueba específica. Nos gustaría, por ejemplo, poder decir algo sobre el grado de comprensión de los conceptos matemáticos, basados ​​en la puntuación que se obtiene en un examen de este tipo. Debido a que los reactivos de una prueba sólo muestran el dominio en cuestión, la calificación de la prueba y la inferencia sobre el grado de comprensión no son los mismos. Se necesita una generalización y es la generalización, no la calificación de la prueba en sí, la que es importante. Cuando los reactivos específicos de la prueba son enseñados, la validez de la inferencia sobre el nivel de logro del estudiante se ve amenazada. La estrategia para fomentar la práctica de los reactivos de ENLACE y PISA entre los alumnos puede ocasionar un aumento de las puntuaciones en el corto plazo, pero no está claro si esto conducirá a un mejor aprendizaje sostenido de la población estudiantil, en el largo plazo. Desafortunadamente, el riesgo es que las prácticas de enseñar para la prueba refuercen la creencia cultural de que practicar las pruebas estandarizadas es el camino para mejorar el aprendizaje. Esto se agrava por los incentivos que tienen los docentes y directores de escuela por promover la enseñanza de la prueba, ya que los resultados de ENLACE tienen un impacto directo en sus salarios (como se menciona con mayor detalle en el capítulo 4). Estos incentivos no están necesariamente alineados con las mejores estrategias para sostener el proceso de mejora de los conocimientos, habilidades y actitudes de los alumnos. Se descuidan importantes objetivos educativos que no se evalúan en las pruebas. Como las pruebas estandarizadas abarcan un rango limitado de competencias y habilidades del plan de estudios, enseñar para la prueba limita las experiencias educativas de los alumnos (consulte Morris, 2011, y Rosenkvist de 2010, para una discusión). Sería lamentable que estas prácticas socavaran los muchos efectos positivos que ENLACE ha tenido en el sistema educativo mexicano, tales como el énfasis en la mejora de resultados de los alumnos, la mayor atención a los alumnos con dificultades de aprendizaje y la transparencia de los resultados para los interesados en la educación (como se mencionó más arriba en este capítulo y en el capítulo 2). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

84 – 3. LA EVALUACIÓN DE LOS ALUMNOS

Hay una excesiva dependencia de los exámenes de opción múltiple Un problema importante en la evaluación externa de los alumnos en México es el uso casi exclusivo de exámenes de opción múltiple, que podría ocasionar distorsiones en la educación de los niños. La prevalencia de este tipo de exámenes en la evaluación externa debería preocupar a las autoridades educativas, ya que esto puede reducir la visión de los alumnos sobre lo que es el desempeño. El éxito de la RIEB requiere la introducción de tareas más complejas en las evaluaciones externas, así como una mayor variedad de evaluaciones. Del mismo modo, IDANIS y EXANI I deberían introducir una mayor variedad de preguntas, de manera que puedan evaluar las competencias promovidas por la RIEB . El argumento de que estas pruebas evalúan “habilidades” en lugar de contenidos curriculares es bastante anticuado. Si las autoridades mexicanas desean mantener estos instrumentos con fines de selección (lo cual, por sí mismo, es discutible) o simplemente como una herramienta administrativa eficaz para asignar a los alumnos a las escuela secundarias (como parece ser el caso del Distrito Federal), debe alinear estas evaluaciones con los resultados de aprendizaje esperados y los estándares de la RIEB , para reforzar el mensaje unificado para los maestros y alumnos sobre lo que es importante en el aprendizaje.

ENLACE

tiene demasiados objetivos

Como se explicó antes, si bien ENLACE era originalmente un instrumento de evaluación diagnóstica y formativa, nuevos objetivos y consecuencias fueron añadidos después, siendo el más importante el uso de sus resultados para proporcionar incentivos monetarios a los maestros y directores de escuela (consulte el capítulo 4 para más detalles). Según lo explica Linn (2000), los sistemas de evaluación que son útiles para propósitos formativos suelen perder gran parte de su credibilidad cuando se les asocia con consecuencias de alto impacto, porque los efectos no deseados a menudo acaban por prevalecer sobre los efectos positivos esperados. Durante la visita de revisión, maestros, directivos, alumnos y expertos en educación plantearon algunos casos de los efectos indeseables de ENLACE . Los ejemplos incluyen el tiempo invertido en la preparación especial para la prueba de ENLACE que se reduce del plan de estudios regular; practicar reactivos de la prueba sin analizarlos a profundidad; y las dificultades para asegurar la integridad de la administración de la prueba. Como se documenta en Zúñiga Molina y Gaviria (2010) y OCDE (2011b), los experimentos realizados en México sugieren que las posibilidades de copia en la prueba pueden ser altas — entre 4%-10% de los porcentajes globales de casos probables de copia para los grados 3° a 6° en el período de 2006 a 2009. Como señalan Zúñiga Molina y Gaviria (2010) “Cada año, la prueba ENLACE se vuelve más importante en términos de impacto social y mediático. Esto podría reflejarse en el aumento de conductas de engaño”. En su análisis sobre las oportunidades para un mayor desarrollo de ENLACE para incentivos y evaluación docente en México, Zúñiga Molina y Gaviria (2010) concluyen: … desde su implementación inicial, los resultados del programa [ENLACE ] han sido utilizados para distintos fines, a pesar de las repetidas advertencias que aparecen en los documentos oficiales del programa en cuanto a la necesidad de evitar algunos de esos usos. En ese sentido, se puede argumentar que algunos de los usos más visibles del programa están relacionados con los propósitos que han sido considerados inadecuados por los encargados del diseño y operación del programa. Tal es el caso, por ejemplo, del uso frecuente de ENLACE , REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 85

en los medios de comunicación, para establecer clasificaciones nacionales o estatales de las escuelas, basadas exclusivamente en los puntajes promedio obtenidos por los alumnos en cada escuela en particular; o el uso ocasional que los funcionarios de educación y otras partes interesadas han hecho de los resultados de las pruebas como si fueran un indicador inequívoco de la calidad del trabajo realizado por los docentes. Además, aunque E XCALE es la evaluación de los alumnos específicamente diseñada para monitorear los objetivos de aprendizaje del sistema (a través del tiempo y en todas las entidades federativas) (consulte el capítulo 6 para más detalles), en la práctica, esta función también es llevada a cabo por ENLACE como consecuencia del uso que dan a los resultados las autoridades educativas y los medios de comunicación. Esto no es deseable ya que ENLACE no sólo evalúa a los alumnos en un contenido curricular mucho más limitado que E XCALE , sino que además utiliza un número menor de reactivos. Como lo expresó uno de los actores entrevistados por el Equipo de Revisión de la OCDE , “El censo mata a la muestra”. ENLACE se ha vuelto mucho más visible que E XCALE y se está utilizando en todos los niveles, con una gran diversidad de objetivos (función formativa y de diagnóstico con los alumnos, evaluación del sistema, rendición de cuentas de las escuelas, rendición de cuentas del Estado, incentivos monetarios para los maestros y directores de escuela). Como se indicó antes, ENLACE ha aportado considerables beneficios, como la atención del maestro en el desempeño de los alumnos, en particular el de los alumnos con bajo desempeño, o una mayor conciencia de la importancia de la lectura de comprensión. Sin embargo, los efectos no intencionales de ENLACE parecen ser importantes. A pesar de las grandes cantidades de datos recabados, su uso con fines formativos no está claro. Lo anterior exige una reflexión seria sobre los usos que deben tener los resultados de ENLACE para que sus múltiples beneficios no sean minados.

Los maestros tienen un enfoque limitado de la docencia y la evaluación formativa Si bien los maestros son conscientes de la importancia de la dimensión formativa de la evaluación dentro del aula, el Equipo de Revisión de la OCDE encontró poca evidencia de que se aplique de manera adecuada. Parecería que los docentes no entienden el significado pleno de la evaluación formativa. Dar retroalimentación a los alumnos se concibe como proporcionarles calificaciones o puntos para una tarea, informarles si su trabajo es o no aceptable, o pedirles que revisen su trabajo o hagan un esfuerzo extra (Ravela, 2009a). Todos estos conceptos están profundamente arraigados en la cultura de los maestros. La evaluación formativa consiste básicamente en dar a los alumnos una idea general acerca de lo que estuvo mal en la prueba o la tarea evaluada. Según lo declarado por los alumnos en las entrevistas con el Equipo de Revisión de la OCDE , “nos explican lo que hicimos mal” y “nos dicen lo que tenemos que mejorar”. La evaluación formativa es en esencia una cuestión de retroalimentación adecuada. Debe impregnar el proceso de enseñanza-aprendizaje en lugar de ser algo que sucede después del aprendizaje. En el mismo sentido, la retroalimentación y su uso no debe ser algo que se produzca entre evaluaciones. Debe interpretarse en el núcleo de lo que se está evaluando. La retroalimentación debe ser continua e inmediata (Wiggins, 1998). Durante las visitas a las escuelas, el Equipo de Revisión de la OCDE percibió que en la cultura de los maestros mexicanos falta reflexión sobre estos temas. Hay poca conciencia de la importancia de dar retroalimentación durante el proceso de aprendizaje y poco conocimiento de los procesos cognitivos del aprendizaje. Por ejemplo, al analizar los resultados de las pruebas, los docentes REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

86 – 3. LA EVALUACIÓN DE LOS ALUMNOS

se centran en los reactivos en lugar de los procesos cognitivos implicados. También se encontró poca evidencia de que los alumnos reflexionaran sobre sus propios procesos de aprendizaje y tareas auténticas (Wiggins, 1998). Como se afirma en un estudio publicado recientemente, en México existe la necesidad de que los maestros proporcionen una retroalimentación más descriptiva a los alumnos (García et al., 2011, pp. 33-34). Las prácticas de autoevaluación y evaluación entre pares también están en una primera etapa de desarrollo (García et al., 2011). Los maestros rara vez muestran ejemplos de buen trabajo a los alumnos de manera que puedan entender el nivel de desempeño que se espera de ellos y evaluar su propio trabajo. Además, los docentes no suelen mostrar ejemplos de trabajos deficiente que poco a poco se transformaron en trabajos de buena calidad (García et al., 2011, pp. 75-76). Los supervisores, directores y asesores técnicos pedagógicos (ATP ) también tienen un enfoque limitado de la observación en el aula. Su preocupación principal es controlar los aspectos administrativos de la enseñanza. Entre ellos la puntualidad de los maestros, el control de asistencia de los alumnos, recordar el tema de la clase anterior, escribir en el pizarrón el tema de la clase actual, controlar la disciplina en el aula, facilitar la participación de los alumnos en las actividades del aula, revisar las tareas de los alumnos y el manejo de contenidos en los 50 minutos de clase. Los aspectos más específicos de los procesos de enseñanza- aprendizaje reciben menos atención.

Las prácticas de calificación carecen de significado pedagógico Como se describió antes, las prácticas actuales de calificación están profundamente arraigadas en la cultura docente. En México, la asignación de calificaciones consiste en otorgar puntos a los alumnos por una serie de tareas y comportamientos, para después promediarlos y obtener una calificación total. Los puntos por el trabajo de los alumnos son asignados de manera normativa, mediante la comparación de los alumnos dentro de las clases y el otorgamiento del mayor número de puntos a los “mejores” alumnos, independientemente de si los estándares son realmente excelentes. Las calificaciones obtenidas al promediar los puntos asignados por una serie de tareas y conductas realizadas, por lo general, conducen a un “número importante” sin algún significado claro (Ravela, 2009a). Los alumnos “ganan” puntos por asistir a clases, hacer tareas, participar en trabajos en equipo, dar presentaciones y presentar exámenes. El maestro asigna los puntos de una manera muy subjetiva, ya que no existen rúbricas que especifiquen el sentido de los puntos otorgados a cada una de estas actividades. Como resultado, un “7” puede significar cosas muy distintas en diferentes escuelas, en cada aula de una escuela y, peor aún, para diferentes alumnos del mismo salón y para el propio alumno en distintos momentos del año escolar. Cada maestro determina los criterios de calificación, pero esto no signifca que docente será consistente en la aplicación de sus criterios entre los alumnos y con el tiempo. Además, como no existe una definición clara que describa el tipo de desempeño que debe alcanzarse, los alumnos no pueden entender lo que se espera de ellos. Por lo que obtener una calificación alta se convierte en su objetivo principal, lo que posiblemente distorsiona los esfuerzos educativos (Shepard, 2006). Los padres de familia también están más preocupados por las calificaciones que por el aprendizaje real de sus hijos. Un tema que merece especial atención es la asignación de calificaciones mediante la comparación de los alumnos en el aula, en ausencia de estándares explícitos o puntos de referencia, lo que lleva a los docentes a adaptar sus expectativas, sus necesidades cognitivas y su enseñanza, al “nivel” actual de los alumnos en su salón de clases. El resultado es enseñar REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 87

menos a los más desfavorecidos (el problema de las adaptaciones a diferentes poblaciones y contextos culturales se detallará más adelante). La práctica de combinar la evaluación del esfuerzo y la motivación con la evaluación del desempeño real es también una cuestión que debe abordarse, porque atenta contra las calificaciones académicas como indicadores de desempeño (Ravela, 2009a; García et al., 2011). Esta práctica también ocasiona que los alumnos simulen sus esfuerzos, ya que aprenden rápidamente cómo comportarse con cada maestro para dar una buena impresión. Por último, las calificaciones se convierten en un instrumento disciplinario para los docentes, en lugar de una herramienta que informe acerca del aprendizaje. Controlar el comportamiento de los alumnos con las calificaciones no es lo mismo que crear un entorno de aprendizaje motivador (Shepard, 2006). Todas estas características de la asignación de calificaciones están arraigadas de manera sólida y profunda en la cultura de los docentes. Al igual que sucede con todas las prácticas culturales, cambiarlas será todo un reto. Es probable que no funcione una resolución central estandarizada para todo el país. Las escuelas y los maestros deben tener espacio para hacer su trabajo y probar nuevos enfoques para asignar calificaciones dentro del marco nacional. Es necesario discutir, a nivel local y escolar, los diferentes procesos involucrados: disciplina, asistencia, tareas, pruebas, el tipo de tareas, etc. Como se dijo anteriormente, también es crucial desarrollar una visión más sofisticada de los procesos cognitivos. Deben participar todos los actores de todos los niveles: alumnos, padres de familia, maestros, directores, supervisores, ATP y jefes de sector; de lo contrario, persistirán las normas culturales actuales para asignar calificaciones.

Los instrumentos para reportar las calificaciones necesitan mejorar más Los instrumentos utilizados para registrar y notificar los logros de los alumnos son de importancia fundamental en todo sistema educativo y en todos los niveles. Desempeñan varias funciones: comunicar el aprendizaje esperado a los alumnos, maestros y padres de familia; motivar y orientar los esfuerzos de los alumnos. Como ya se mencionó, algunos cambios importantes en las boletas de calificaciones están siendo promovidos por la SEP en el marco de la RIEB . Sin embargo, todavía hay varios aspectos que deben atenderse. En primer lugar, se necesitan descripciones más específicas y detalladas sobre el desempeño de los alumnos en los diferentes niveles. Es fundamental asegurar que los padres de familia y alumnos puedan entender la información proporcionada por la boleta de calificaciones. En segundo lugar, el enfoque de la nueva Cartilla de Educación Básica para exponer observaciones y orientación para los alumnos y padres de familia parece estar demasiado estandarizado. Es necesario concebir un instrumento más flexible, con más espacio para que los docentes comuniquen lo que esperan y cómo puede mejorar el estudiante. En tercer lugar, la nueva Cartilla de Educación Básica incluye algunos aspectos preocupantes, en particular los estándares para la velocidad de lectura. La justificación para que este indicador tenga tanta visibilidad no está clara. Durante las reuniones con el Equipo de Revisión de la OCDE , varios alumnos expresaron su ansiedad y señalaron la falta de sentido de tal medida: “Leer rápido es más difícil, ya que no puedo entender lo que estoy leyendo”. La forma en que la lectura de comprensión se presenta en la Cartilla de Educación Básica también es motivo de preocupación. El desempeño se considera adecuado si el alumno responde correctamente tres de cuatro preguntas.6 Sin embargo, no se dice nada sobre el tipo de texto, su extensión y complejidad, ni de la dificultad de las preguntas a ser contestadas. Es evidente que se requiere de un enfoque más sofisticado para la evaluación de la lectura. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

88 – 3. LA EVALUACIÓN DE LOS ALUMNOS

Por último, cabe señalar que para la educación secundaria, la práctica de promediar las calificaciones de diferentes asignaturas y unidades, la cual no tiene un significado real, se mantiene como un elemento central en el esquema de la asignación de calificaciones. Además, promediar las calificaciones de cada bimestre para obtener una calificación final única no reconoce el avance de los alumnos durante el año (García et al., 2011).

La evaluación de los alumnos se da con poca interacción entre los maestros Los maestros rara vez se reúnen en torno a temas de evaluación de los alumnos. No suelen interactuar en la elaboración de instrumentos de evaluación ni en el desarrollo de criterios de calificación. De hecho, el intercambio de prácticas en el aula es muy poco común entre los maestros mexicanos. En las escuelas, los maestros trabajan en relativo aislamiento, aunque esta práctica no es tan frecuente en las escuelas primarias. Visitarse en las aulas es poco común. Según la encuesta TALIS , en México sólo el 27.5% de los maestros participa en una red de desarrollo profesional, siendo el tipo de actividad profesional menos mencionada (consulte el anexo D)7. En apariencia, sólo se presenta en pequeñas escuelas multigrado, donde los maestros comparten materiales, experiencias e instrumentos de evaluación, de manera sistemática. La mayoría de los profesores no intercambian sus instrumentos de evaluación con los demás, no discuten resultados de aprendizaje esperados y no desarrollan un enfoque común para las calificaciones. Esta parece ser otra de las características culturales de la enseñanza en México, que podría convertirse en un obstáculo para la RIEB y la aplicación del nuevo método de evaluación en el aula. Por otra parte, los maestros parecen no comprender por completo la necesidad de aprender más acerca de la evaluación de los alumnos. Cuando se les preguntó sobre las áreas en las que tienen un “alto nivel de necesidad” de desarrollo profesional, sólo el 15% mencionó “las prácticas de evaluación de de los alumnos” y el 13.7% mencionó “estándares de desempeño y contenidos” (consulte el anexo D). La evaluación de los alumnos no se está utilizando como una actividad de desarrollo profesional docente ni como un camino para que mejoren su criterio profesional. La ponderación, que implica el trabajo auténtico del alumno, no está del todo desarrollada, siendo que debería ser una estrategia clave para la formación docente. Lo mismo sucede con la construcción de una nueva cultura de evaluación en el aula. La ponderación de la evaluación y la calificación también pueden vincularse con las prácticas en el aula.

Falta consistencia para evaluar a los alumnos en todas las escuelas y clases Las escuelas no tienen criterios explícitos para asignar calificaciones y, por lo general, no documentan sus métodos para evaluar a los alumnos. Este hecho, aunado a la ausencia de procedimientos de ponderación para alinear el significado de las calificaciones asignadas por los maestros, ocasiona que el significado de las calificaciones difiera de una región a otra, de una escuela a otra e incluso de un aula a otra dentro de la misma escuela y de un alumno a otro dentro de una misma aula. En palabras de uno de los alumnos entrevistados por el Equipo de Revisión de la OCDE : “El significado de un 10 varía de un maestro a otro y depende de que demuestres tu empeño”. Las relaciones entre las calificaciones asignadas por los maestros y los resultados de ENLACE no han sido analizadas. Los estudios de este tipo ofrecerían una imagen de la correspondencia entre las calificaciones en el aula y los resultados de las evaluaciones externas de los alumnos, así como una idea de la variabilidad en el significado de las calificaciones para los docentes. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 89

Existe una capacidad limitada a nivel estatal y local para apoyar la evaluación dentro del aula A nivel central se lleva a cabo un impresionante esfuerzo para promover la RIEB , incluyendo la formación continua de los maestros, un nuevo enfoque para asignar las calificaciones, herramientas para la evaluación en el aula, y los ajustes a la evaluación externa de los alumnos y al contenido de los libros de texto. Sin embargo, debido a que México es un país grande y diverso y las competencias docentes para la evaluación formativa y la asignación de calificaciones son limitadas, es necesario que las autoridades estatales y locales apoyen las estrategias. No va a ser suficiente con entregar los materiales a las escuelas de todo el país; las autoridades educativas estatales, jefes de sector, supervisores y jefes de enseñanza también deben responsabilizarse. Sin embargo, los estados parecen tener una capacidad limitada para ayudar a los maestros en cuestiones pedagógicas y de evaluación. El trabajo de los supervisores se centra principalmente en verificar el cumplimiento de los reglamentos escolares. Hay una clara necesidad de cambiar el perfil de los supervisores y ATP hacia una función más especializada en temas pedagógicos y de evaluación (consulte también el capítulo 5). A nivel estatal, en lugar de duplicar las funciones del INEE , se necesita desarrollar organismos que apoyen directamente a las escuelas, con una interacción en torno a cuestiones pedagógicas, didácticas y de evaluación. Esto también podría incluir estrategias para que las escuelas y los maestros colaboren e intercambien experiencias (consulte el capítulo 5). Al mismo tiempo, la SEP debe considerar estrategias para mejorar las capacidades a nivel estatal para proporcionar un apoyo mucho más significativo a las escuelas en los aspectos más prometedores para mejorar el aprendizaje del estudiante.

Lograr que la evaluación de los alumnos sea inclusiva sigue siendo un desafío Las escuelas de educación básica en México tienen una proporción importante de alumnos con necesidades especiales en las clases regulares, a los cuales se les proporciona poco apoyo extra. Tanto ENLACE como EXCALE no cuentan con una estrategia para incluir a esta población. La implementación de las pruebas y la aplicación de las variaciones basadas en servicios educativos o en adaptaciones para los alumnos con necesidades educativas especiales no se han puesto en marcha, excepto en algunos casos particulares de ENLACE (SEP e INEE , de próxima aparición) (consulte también el capítulo 6 sobre EXCALE ). Además, existe una preocupación importante entre los maestros y otras partes interesadas sobre el sesgo cultural de la evaluación externa de los alumnos. El Equipo de Revisión de la OCDE escuchó varios recuentos sobre el uso de preguntas que incluyen situaciones o condiciones que son totalmente desconocidas para los alumnos que no viven en entornos urbanos o que tienen antecedentes indígenas. Como se explicó antes, este problema fue reconocido formalmente a través de la resolución del Consejo Nacional para Prevenir la Discriminación (CONAPRED ) al señalar que ENLACE está culturalmente sesgada en contra de los alumnos indígenas y que la SEP necesita trabajar más para lograr que sea una evaluación más justa para esos alumnos. El enfoque de la RIEB en cuanto a la diversidad es adecuado, ya que establece los estándares comunes y los resultados esperados de aprendizaje, pero, al mismo tiempo, da lugar a adaptaciones locales de acuerdo con los antecedentes, necesidades y contexto de los alumnos. Sin embargo, existen riesgos en la forma en que los docentes pueden llegar a interpretar y aplicar las adaptaciones. Según lo observado por el Equipo de Revisión de la OCDE durante las visitas a las escuelas, muchos maestros que trabajan con los alumnos en desventaja no entienden la necesidad de adaptar el plan de estudios en un sentido pedagógico. En vez de esto, sus adaptaciones consisten en bajar las expectativas de logro y reducir las dificultades REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

90 – 3. LA EVALUACIÓN DE LOS ALUMNOS

cognitivas para esos alumnos (por ejemplo, pidiéndoles que lean textos más cortos o utilizando números menos complicados en sus cálculos matemáticos). Otros maestros interpretan la necesidad de hacer adaptaciones como ajustar sus criterios de calificación, dando a los alumnos desfavorecidos una calificación mejor que la que se obtendría con el conjunto de criterios establecidos para toda la clase. Por tanto, existe un riesgo importante en torno a la interpretación y aplicación de las adaptaciones, lo que significa menores expectativas para los alumnos desfavorecidos.

Recomendaciones de política educativa Asegurar una estrategia integral y coherente para la implementación de la RIEB En el presente contexto, la mejora de la evaluación dentro del aula necesita desarrollarse junto con la implementación de la RIEB, debido a la inclusión de las iniciativas pertinentes relacionadas con la evaluación formativa y sumativa. Además, la implementación y el impacto de la RIEB dependen fundamentalmente de la introducción exitosa de los cambios en las prácticas de evaluación de los alumnos y en la alineación de éstas con los resultados de aprendizaje esperados y los estándares definidos en el nuevo plan de estudios. La implementación de un nuevo plan de estudios es una tarea a largo plazo que debe ser diseñada de una manera cuidadosa e inteligente. Durante las últimas dos décadas, América Latina ha tenido varias experiencias con reformas curriculares ambiciosas que tienen poco impacto en las aulas. Si se desea garantizar que la reforma llegue al aula no puede dejarse sólo en manos de las autoridades centrales, especialmente en un país tan grande y diverso como México. Se debe prestar atención especial en garantizar que el alcance del plan de estudios y las metas de aprendizaje establecidas se conserven en la evaluación de los alumnos, asegurándose que todas las asignaturas y objetivos sean atendidos. Esto implica no sólo la evaluación dentro del aula, sino también las evaluaciones externas (consulte más adelante). En cuanto a la evaluación dentro del aula, los docentes deben integrar en sus prácticas una gama mucho más amplia de actividades e instrumentos para promover y asimilar procesos cognitivos más complejos.

Consolidar el dominio del aprendizaje y la evaluación formativa de los maestros La implementación exitosa de la RIEB requiere la introducción de una visión más precisa de los procesos de aprendizaje y las cuestiones didácticas en la cultura docente de México. Esta es una condición necesaria para poder implantar las nuevas prácticas de evaluación formativa. Los maestros deben recibir apoyo y capacitación para pasar de una visión tradicional de la enseñanza, concebida como la exposición de temas y conceptos, a un concepto más amplio basado en la facilitación del aprendizaje y el desarrollo de competencias. En este contexto, el repertorio de enfoques sobre el aprendizaje y la evaluación necesita ser ampliado, y alejarse de la asignación de ejercicios y de la práctica de pruebas. La evaluación formativa es intrínseca a las buenas prácticas docentes. Cualquier esfuerzo para mejorar la enseñanza y el aprendizaje en México debe implicar la mejora de las competencias de los maestros en evaluación formativa de una manera reflexiva y coherente. En la actualidad la mayoría de los docentes utilizan tres tipos de procesos en lo que ellos llaman la evaluación REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 91

formativa: (i) indicar a los alumnos sus errores en una prueba o tarea; (ii) pedirles que se esfuercen más; y (iii) alabarlos para motivarlos (Picaroni, 2009; Ravela, 2009a). Pero la auténtica retroalimentación formativa implica otras cosas. Como lo expresa Wiggins (1998): Salvaguardar la premisa fundamental de que la evaluación debe mejorar el desempeño, no sólo auditarlo, requiere que la evaluación incorpore y exija autoajuste basado en una buena retroalimentación… el momento en que el alumno entiende por qué una parte de su trabajo está incorrecta es completamente distinto al momento cuando percibe que al maestro no le gusta esa parte de su trabajo. La mejor retroalimentación es la que especifica, revela o describe ampliamente el resultado real, es clara para el autor y está disponible o se ofrece en términos de objetivos y estándares específicos. La evaluación formativa también incluye el desarrollo de instrumentos, como las rúbricas, para que los alumnos reflexionen por sí mismos acerca de la brecha entre lo que se espera que logren y su desempeño real (Wiggins, 1998; Ravela, 2009a). Es importante reconocer que el repertorio completo de prácticas e instrumentos para evaluación formativa no es sólo una cuestión de enviar nuevos materiales a las escuelas o subirlos a un sitio web (y esperar que los maestros los utilicen). Para asegurar una implementación exitosa, es fundamental crear redes de docentes y desarrollar una interacción profesional sostenida en torno a los nuevos procesos de evaluación (Ravela, 2010). El diseño y la introducción de instrumentos y prácticas adecuadas para la evaluación formativa requiere de un trabajo colaborativo, continuo e interactivo.

Desarrollar un nuevo enfoque para asignar calificaciones Asumir la responsabilidad de la certificación del logro de los alumnos es inherente al profesionalismo de los maestros. Los padres de familia y la sociedad confían en el criterio exhaustivo y preciso sobre el desempeño de los alumnos. Las evaluaciones externas pueden contribuir a esta función, pero no pueden reemplazar el juicio profesional de los maestros. En México, los criterios de calificación son definidos por cada maestro y no están documentados. Por consiguiente, el significado de las calificaciones es específico de cada escuela, salón de clases y alumno. Si se desea que la asignación de calificaciones se alinie con los resultados de aprendizaje esperados y los estándares de la RIEB de manera consistente en todo el país, entonces una de las prioridades debe ser establecer los mecanismos de ponderación para asignar calificaciones, tanto dentro como entre las escuelas. El objetivo es reducir las variaciones en la evaluación docente de los alumnos y la asignación de calificaciones de manera que se mejore la equidad de la evaluación. Las estrategias de ponderación deben incluir una interacción frecuente entre los docentes en torno al significado de las calificaciones (dentro y entre las escuelas), centrada en la relación entre las calificaciones y los niveles de desempeño para cada bloque del contenido curricular, así como en el tipo de evidencia adecuada para cada uno de los niveles de desempeño. La ponderación de las calificaciones también puede incluir el análisis estadístico de las correlaciones entre las calificaciones basadas en el maestro y los resultados de los alumnos en las pruebas externas como ENLACE , IDANIS o EXANI I . Sin embargo, la ponderación no debe entenderse como una manera de estandarizar las calificaciones. En la asignación de calificaciones debe haber espacio para la flexibilidad y las decisiones locales. Lo importante es que el significado de las relaciones entre los resultados de aprendizaje esperados y las calificaciones sea claro y compartido. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

92 – 3. LA EVALUACIÓN DE LOS ALUMNOS

La ponderación tiene el potencial para ser una oportunidad profesional de aprendizaje muy eficaz para los maestros, ya que pueden relacionarla estrechamente con sus prácticas en el aula. La ponderación también contribuye a mejorar los juicios profesionales sobre el trabajo de los alumnos y a compartir estándares o criterios de calificación comunes. En los programas de desarrollo profesional en lectoescritura, aritmética y evaluación para el aprendizaje de Nueva Zelandia, se ha demostrado que las discusiones profesionales relacionadas con el trabajo de los alumnos tienen un impacto muy positivo en los resultados de su aprendizaje (Timperley et al., 2007). El desarrollo de los procesos de ponderación debe ir acompañado de la elaboración de lineamientos nacionales de evaluación teniendo como referencia los objetivos de aprendizaje. Los maestros necesitan utilizar ejemplos de trabajos de los alumnos para ilustrar los logros en los diferentes niveles, calificaciones, indicadores del desempeño deseado de los alumnos, tareas opcionales de evaluación y exámenes. Otros aspectos relevantes que deben abordarse son: • Los procedimientos para llegar a una decisión sobre la calificación de un alumno en particular (que no sea un promedio de puntos); • Alejarse de los enfoques normativos para calificar (es decir, la comparación de los alumnos dentro de una clase) y comprender el significado y la importancia de la evaluación basada en criterios (es decir, dar una calificación según los estándares establecidos para los diferentes niveles de desempeño); y • Reconocer la importancia de reportar por separado el logro de los alumnos y sus actitudes y compromiso. Los distintos aspectos del desempeño de los alumnos deben prever informes de evaluación independientes, para que quede en claro lo que es necesario mejorar. Por ejemplo, es importante distinguir entre la capacidad de entender lo que se pide en un problema de matemáticas y la capacidad de hacer cálculos o las actitudes en el aula. El trabajar con los problemas y retos reales que enfrentan los maestros al calificar a los alumnos puede ser una estrategia de capacitación de gran alcance para desarrollar las capacidades de los docentes. Talleres en los que los maestros analicen y califiquen, de manera independiente, muestras del trabajo de los alumnos, para después comparar y discutir las calificaciones asignadas por cada uno, es un buen ejemplo del tipo de capacitación necesaria. Como se mencionará más adelante, la implementación de estas estrategias requiere de un gran número de especialistas en evaluación a nivel local, visitas continuas a las escuelas y el trabajo con directores y maestros. La capacidad de los maestros para calificar con base en los objetivos nacionales de aprendizaje de los alumnos también debe evaluarse en el contexto de la evaluación de las escuelas. Esto podría incluir la comparación de las calificaciones del maestro con los resultados de ENLACE , revisión de los instrumentos y los criterios utilizados para calificar, evaluar hasta qué punto las calificaciones se relacionan con los niveles de desempeño en los resultados de aprendizaje esperados y examinar si las calificaciones son comunicadas claramente a los alumnos y padres de familia.

Desarrollar una buena estrategia para fortalecer las capacidades de los maestros para la evaluación de los alumnos El desarrollo de habilidades y competencias docentes para la evaluación de los alumnos requiere de una gran inversión y una planeación racional. Como lo expuso Crozier (1989), “la inversión en recursos humanos es la más difícil de lograr. Pero si tiene éxito, es la más eficaz de todas”. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 93

El desarrollo profesional continuo debe ser concebido como algo más que cursos para los maestros en servicio. También debe implicar una interacción entre los docentes en sus propias escuelas y con todas las escuelas locales, y un enfoque puntual en las prácticas de enseñanza. Según TALIS , participar en “cursos y talleres” es el tipo más común de actividades de desarrollo profesional llevada a cabo por los maestros en México (consulte el anexo D), mientras que la participación en redes es la actividad menos común (consulte el anexo D). Del mismo modo, mejorar las habilidades de evaluación de los alumnos durante la formación inicial docente requiere algo más que impartir cursos sobre evaluación. La estrategia fundamental para mejorar las habilidades de evaluación de los futuros maestros debería ser la implementación de un nuevo enfoque de la evaluación en las instituciones de formación docente. Durante sus estudios, los futuros maestros deberían ser evaluados, con fines formativos y sumativos, en la misma forma en que se espera evalúen a sus alumnos con: uso de rúbricas, tareas complejas, criterios de calificación basados en los niveles de desempeño, explícitos resultados de aprendizaje esperados y así sucesivamente. Esto requiere de una inversión considerable en programas de formación de profesores sobre la forma de dar retroalimentación y asignar calificaciones con base en criterios. Lo mismo es válido para los esfuerzos actuales de la SEP en apoyar a los maestros a través de la publicación de documentos y artículos acerca de las prácticas de evaluación dentro del aula y las prácticas sugeridas a través de la página web de la SEP . Si bien estas iniciativas son importantes, no son suficientes para promover un cambio real. Cuando este tipo de estrategia se aplica de manera aislada equivale a “disparar al cielo y esperar que caiga un pato” (Ravela, 2010). Además, con el fin de mejorar las prácticas docentes, es necesario pasar del concepto de la enseñanza como actividad aislada hacia una visión como actividad profesional, lo cual implica interactuar con colegas y estar abiertos a su revisión (Ravela, 2011). Se debe pedir a los maestros que reflexionen sobre su propia práctica y aprendan de la experiencia. En el núcleo de una estrategia de desarrollo docente debe haber un espacio para que los docentes experimenten, compartan y reflexionen sobre sus prácticas en el aula (Shepard, 2006; Ravela, 2009b). Se necesita hacer un esfuerzo importante para capacitar a los maestros en el desarrollo de las rúbricas de evaluación y otros tipos de instrumentos cualitativos para evaluar el trabajo diario de los alumnos de una manera más significativa, así como en los enfoques para calificar las unidades de aprendizaje. Un aspecto importante es que no es suficiente producir los instrumentos a nivel central y enviarlos a las escuelas. Los maestros mismos deben participar en la elaboración de sus propios instrumentos, en el nuevo enfoque de la evaluación.

Rediseñar y fortalecer el papel de los supervisores El papel de las entidades federativas y su sistema de supervisión es crucial para lograr el cambio en el aula, dada su proximidad a las escuelas. Los estados son responsables de los servicios de educación dentro de sus fronteras y los supervisores son el vínculo principal entre las escuelas, las autoridades y las políticas educativas. El éxito de cualquier reforma nacional depende primordialmente de la capacidad de los estados y de la supervisión para garantizar los vínculos necesarios en las aulas. En este contexto, es necesario invertir de manera substancial en la capacidad de los supervisores, ATP , jefes de enseñanza y jefes de sector para que puedan contribuir en la implementación de las reformas. Un área de atención especial debe ser el liderazgo educativo y pedagógico, el cual incluye estrategias fundamentadas para observaciones en el aula. Las visitas a las escuelas por el Equipo de Revisión de la OCDE pusieron de manifiesto dos características principales del trabajo de los supervisores, a través de las entrevistas REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

94 – 3. LA EVALUACIÓN DE LOS ALUMNOS

con los actores. Primera, los supervisores son esenciales para implementar el cambio, dada su autoridad y cercanía con las escuelas. Segunda, los supervisores no son necesariamente confiables para efectuar el cambio pedagógico y educativo dado su enfoque en el control político y administrativo de las escuelas. El Equipo de Revisión de la OCDE tuvo la impresión de que las principales preocupaciones de los supervisores parecen estar relacionadas con la recopilación de información y el control de las actividades en las escuelas. Sus intervenciones pedagógicas son rudimentarias (consulte también el capítulo 5). Al mismo tiempo, en un sistema que carece de una tradición de trabajo docente colectivo en torno a cuestiones pedagógicas y prácticas de enseñanza, existe una enorme necesidad de que algunos agentes específicos faciliten y orienten la interacción de los docentes (Ravela, 2009b). Estos agentes deben reunir a los maestros a nivel escolar o local, promover y dirigir el intercambio entre docentes, construir un marco común de evaluación, crear espacios de colaboración, observar con frecuencia las prácticas en el aula y dar retroalimentación externa a los maestros sobre sus prácticas. Teniendo en cuenta la realidad actual, los actores de la estructura de supervisión (inspectores, ATP , jefes de enseñanza, jefes de sector) parecen estar en una posición ideal para convertirse en agentes de este tipo. Esto implicaría la redefinición de su papel de manera que se enfoque mucho más en el liderazgo educativo y pedagógico (consulte también el capítulo 5). Esto también podría incluir la creación de nuevos puestos y la contratación de nuevo personal con la formación adecuada. Algunas entidades, como Aguascalientes, ya están desarrollando experiencias en este ámbito y los supervisores se están responsabilizando de la creación de redes de escuelas y la construcción de alineación en todos los diferentes niveles. Otros diez estados están adoptando prácticas similares (OCDE , 2011a). Dichas prácticas responden a los actuales esfuerzos por fortalecer el apoyo a las escuelas: “la reorganización del sistema educativo en México se basa en gran parte en la creación de Regiones para la Gestión de la Educación Básica (RGEB ), que son unidades geográficas definidas en torno a la escuela para apoyar los diversos aspectos relacionados con los servicios educativos, tales como la planeación, la ejecución de programas, la distribución de recursos, la recopilación de datos, la distribución de materiales, la evaluación y la rendición de cuentas. Cada región (RGEB ) tendrá un Centro de Desarrollo Educativo (CEDE ), encargado de asegurarse de que las condiciones locales administrativas y académicas sean apropiadas para apoyar la mejora en el desempeño escolar y los resultados de aprendizaje de los alumnos” (OCDE , 2011a). Es esencial que los CEDE tengan un claro énfasis en la promoción de redes de escuelas y docentes en torno a los enfoques pedagógicos y las prácticas e instrumentos de evaluación. Es importante tener en cuenta que existe un riesgo significativo de que la cultura actual absorba el potencial de innovación de los CEDE y éstos se conviertan en un nuevo centro administrativo para el control de las escuelas.

Promover el uso formativo de las evaluaciones estandarizadas de los alumnos Una prioridad de la política educativa debería ser promover el uso formativo adecuado de las evaluaciones estandarizadas como ENLACE y PISA , así como alejarse de los incentivos otorgados a las escuelas para practicar las pruebas. Por ejemplo, se ha distribuido ampliamente un documento titulado “Sugerencias para el uso pedagógico de los resultados de ENLACE ”, cuyo objetivo principal es utilizar los resultados de ENLACE como una herramienta pedagógica y técnica para que los maestros mejoren sus prácticas de enseñanza y para mejorar la calidad del aprendizaje en el aula (SEP 2011g; SEP e INEE , de próxima aparición).8 Sin embargo, el alcance del uso de este documento por parte de los docentes es poco claro para el Equipo de Revisión REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 95

de la OCDE . Cuando se les preguntó sobre la forma en que trataban de mejorar los resultados de ENLACE , la respuesta más frecuente fue “mediante la práctica de las pruebas”. Además, el hecho de que los resultados de ENLACE se pongan a disposición de los alumnos, padres de familia y maestros hasta el año escolar posterior a la aplicación de ENLACE no facilita el uso formativo de los resultados (Mendoza Trejo, 2010). En estas circunstancias, los resultados de ENLACE son menos pertinentes para fundamentar las estrategias de mejora del aprendizaje. Por tanto, se debe reflexionar sobre cómo mejorar el tiempo de entrega de los resultados de manera que puedan apoyar las estrategias de aprendizaje en el mismo año escolar en que se aplica ENLACE . En el caso de PISA , las autoridades deberían enfocar la atención de los docentes en la comprensión de su marco — lo que evalúa PISA — y en la reflexión y discusión sobre cómo desarrollar las competencias evaluadas, en el aula. Los usos de la evaluación externa para mejorar la enseñanza no deben centrarse en los reactivos de la prueba, sino en el marco de evaluación conceptual. Lo importante es que los maestros entiendan lo que se está evaluando y el por qué, de manera que reflexionen sobre los procedimientos para mejorar sus prácticas de enseñanza (Ravela, 2010, 2011).

Desarrollar un marco de trabajo más articulado y coherente para la evaluación externa Mientras que la RIEB incluye un marco sólido para la evaluación dentro del aula, las evaluaciones externas son muy diversas. IDANIS , EXANI I , ENLACE y EXCALE no están claramente articuladas dentro de una estrategia de evaluación externa. Cada una de ellas emerge en un período diferente, en respuesta a las distintas necesidades históricas, pero no ha habido un esfuerzo por redefinir y articular claramente su papel en el marco de evaluación de los alumnos. Se recomienda que se aborden los siguientes puntos: • Los efectos de ENLACE deben ser revisados y comunicarse con claridad. ENLACE se utiliza actualmente para una gran variedad de propósitos, incluyendo el monitoreo del sistema nacional y estatal, una tarea que logra más apropiadamente EXCALE . • Todas las evaluaciones externas deben ser rediseñadas y alineadas con los estándares de la RIEB y los resultados de aprendizaje esperados, y estar orientadas a las competencias. En el caso de ENLACE , hay algunos avances en este sentido y en 2012-2013 se introducirá una nueva generación de pruebas ENLACE , después de su piloto en 2011-2012. En el caso de IDANIS y EXANI I , su enfoque en “habilidades” que “pronostican” el desempeño futuro parece ser un poco anticuado. Si se desea mantener estos exámenes para fines de selección —que ya, de por sí, es un problema que debería considerarse— su contenido también debe alinearse con la RIEB . • EXCALE tendrá que desarrollar un diseño más complejo para mantener tanto las tendencias de desempeño iniciadas en 2005 con la prueba alineada al plan de estudios antiguo como la evaluación de los logros de los alumnos en las nuevas competencias fomentadas por la RIEB (consulte también el capítulo 6). Cabe señalar que este trabajo comenzó en 2012 con el uso de submuestras en el tercer grado de educación secundaria. • Se debe emprender un esfuerzo importante para introducir tareas más diversas en las evaluaciones externas, no sólo preguntas de opción múltiple. Lo anterior se aplica no sólo a las evaluaciones externas de los alumnos, antes mencionadas, sino también a las evaluaciones administradas para la evaluación de los maestros (consulte el capítulo 4 para más detalles). Si se desea que los docentes adopten un nuevo enfoque global de evaluación, se debe reducir la constante presencia de preguntas de opción múltiple. En las pruebas de evaluación docente, los maestros también deben tener la experiencia de ser evaluados REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

96 – 3. LA EVALUACIÓN DE LOS ALUMNOS

con instrumentos y tareas que rebasen las preguntas de opción múltiple, de modo que ellos las repitan en la evaluación de sus alumnos. Si bien la introducción de ítems de construcción de respuestas u otro tipo de tareas complejas en las evaluaciones a gran escala es agotadora, en la actualidad la tecnología hace que las cosas sean más fáciles. En Chile, por ejemplo, se ha desarrollado una importante capacidad en torno a la codificación electrónica de las preguntas abiertas y las respuestas escritas de los alumnos en la prueba nacional estandarizada (Sistema de Evaluación de la Calidad de la Educación, SIMCE ), así como en la codificación de los portafolios en el programa de evaluación docente (Santiago et al., de próxima aparición; Manzi et al., 2011). Aunque México ya ha desarrollado una capacidad significativa en el diseño, administración y procesamiento de las pruebas de opción múltiple, el siguiente reto debe ser desarrollar la capacidad de introducir ítems de construcción de respuestas y tareas más complejas en las evaluaciones a gran escala. Hacer este importante cambio a ítems de construcción de respuesta y tareas complejas en las evaluaciones externas, junto con el esfuerzo para alinearlos con el enfoque de competencias de la RIEB , deben ser prioridades de corto plazo.

Desarrollar estrategias para hacer frente a los efectos no deseados de ENLACE es un elemento dominante del sistema educativo mexicano. Ha traído beneficios considerables para el aprendizaje de los alumnos, pero también ha generado importantes efectos no deseados. Como resultado, una de las principales prioridades de la política educativa debe ser el desarrollo de estrategias para eliminar, o al menos reducir, los efectos negativos de la prueba actual. Este esfuerzo debe basarse en un estudio a profundidad del impacto de ENLACE en las prácticas de las escuelas y las aulas. Una estrategia podría ser reducir el alto impacto de ENLACE . Para lograr esto se puede recurrir a varias opciones que dependen de hasta qué punto pueda reducirse el impacto para los actores. Una posibilidad es volver a plantear los objetivos de ENLACE , incluyendo regresar a su propósito original de ser una herramienta meramente diagnóstica y formativa para la evaluación de los alumnos. Otra posibilidad es agregar a este objetivo original algún papel en el sistema de evaluación para determinar si, a nivel nacional, se logran o no los objetivos de aprendizaje en las asignaturas cubiertas por ENLACE . La mayoría de los países de la OCDE limitan el uso de las evaluaciones estandarizadas a estas dos funciones. Si se mantiene el objetivo de utilizar ENLACE para la rendición de cuentas de las escuelas (publicación de los resultados de la prueba en la escuela) y para la evaluación de los maestros, entonces es imperativo desarrollar técnicas de valor agregado para capturar el impacto real de cada escuela (para la publicación de los resultados y su uso en RNAME ) (consulte también el capítulo 5) y reducir considerablemente el peso de los resultados de ENLACE en la evaluación de los maestros por las razones que se explican en este capítulo y en el capítulo 4. Al mismo tiempo, es importante vigilar los posibles efectos no deseados de los usos de alto impacto de ENLACE mediante estudios de investigación apropiados. Otra estrategia es transformar ENLACE en una herramienta para la evaluación sumativa externa de los alumnos, es decir, un sistema de exámenes externos. Esto implicaría ampliar los objetivos de aprendizaje evaluados mediante la inclusión de más asignaturas y la ampliación de la gama de tareas asignadas. También tendría consecuencias para los alumnos ya sea en la contribución de sus calificaciones finales o como un mecanismo de certificación al final de las etapas clave de la educación (al final de los ciclos educativos). Esto supondría una fuerte ENLACE

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 97

motivación para los alumnos (Shepard, 2006; Messick, 1999) y para los maestros, porque la mayoría de los docentes están realmente preocupados por el éxito de sus alumnos. Como se señala en un informe reciente de la OCDE sobre las lecciones de los países con un alto desempeño en PISA , las evaluaciones de alto impacto para los alumnos al final de ciertos niveles del sistema educativo constituyen fuertes incentivos para los alumnos y maestros. Esto refuerza lo que se conoce como rendición de cuentas horizontal —cuando los docentes tienen que responder a sus colegas y a los padres de familia— en lugar de reforzar la rendición de cuentas vertical — cuando los maestros tienen que responder a las autoridades e instancias administrativas (OCDE , 2011c). La rendición de cuentas horizontal es más difícil de simular que la vertical, debido a las relaciones interpersonales cotidianas. Un camino para reducir la carga de las escuelas, maestros y alumnos, así como los gastos de administración, sería aplicar la evaluación sólo en las etapas clave de la educación, por ejemplo, al final de cada ciclo educativo (es decir, tercero y sexto de primaria, y tercero de secundaria), en lugar de hacerlo en cada grado escolar como sucede actualmente. Otra posibilidad es dejar al menos una parte de la calificación a los maestros junto con procedimientos de ponderación sofisticados. Esto podría implicar el intercambio de docentes entre escuelas, rúbricas y manuales de calificación diseñados centralmente, el control central de la administración de la evaluación y de la calificación de una muestra de escuelas. La experiencia de Suecia (Nusche et al., 2011) con sus evaluaciones externas y de Nueva Zelanda (Nusche et al., 2012) con su sistema de certificación en la educación media superior, pueden ser particularmente útiles. Este enfoque podría tener varias ventajas, por ejemplo: • • • • • •

Confiar más en el profesionalismo de los docentes y promoverlo; Contar con una valiosa experiencia de aprendizaje profesional para los maestros; Involucrar a los docentes en la evaluación nacional y fomentar su conocimiento de la RIEB ; Promover el esfuerzo de los alumnos; Hacer posible el uso de una gama más amplia de tareas y preguntas de evaluación; y Permitir la evaluación de un conjunto más amplio de materias y de competencias dentro de las asignaturas.

Asegurar que la evaluación de los alumnos sea inclusiva Los sistemas de evaluación deben subrayar la importancia de responder a las necesidades individuales de los alumnos y al contexto de la comunidad escolar y diseñar estrategias de evaluación que se adapten a las necesidades de los diferentes grupos de alumnos. El objetivo es desarrollar un sistema de evaluación incluyente basado en el principio de que todos los alumnos deben tener la oportunidad de participar en las actividades educativas —entre ellas las actividades de evaluación— y demostrar sus conocimientos, habilidades y competencias de una manera justa. Por lo tanto, las prácticas de evaluación de los maestros y el formato y contenido de las pruebas externas estandarizadas (tales como ENLACE y EXCALE ) deben ser sensibles a determinados grupos de alumnos, a saber, los alumnos indígenas, los alumnos con necesidades especiales y los alumnos que viven en contextos sociales desfavorecidos. En el contexto de México, esta es sin duda una tarea formidable dada la existencia de 68 lenguas indígenas, por nombrar un caso. El contexto cultural debe tenerse muy en cuenta en el diseño de pruebas a fin de evitar el uso de palabras, expresiones y situaciones que sean desconocidas en ciertos contextos culturales. Se sugiere preparar lineamientos de aseguramiento de calidad y adoptar prácticas que garanticen que las evaluaciones externas sean revisadas para evitar un posible sesgo REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

98 – 3. LA EVALUACIÓN DE LOS ALUMNOS

en estos aspectos. Lo anterior podría incluir la consideración de varios formatos de evaluación (basados en pruebas, tareas de desempeño, orales, escritos) para que cada alumno / grupo de alumnos no esté sistemáticamente en desventaja, así como la revisión del contenido de las preguntas del examen. Además, es necesario prever adaptaciones específicas para que los alumnos con necesidades especiales puedan tomar las pruebas. Por último, con respecto a la evaluación basada en el maestro, existe un dilema en torno a los criterios de calificación, las adaptaciones locales de los planes de estudio y los resultados de aprendizaje esperados. Por un lado, todos los niños deben alcanzar los resultados de aprendizaje esperados que se prevén para cada grado y materia. Esto significa que los maestros tienen las mismas expectativas académicas para sus alumnos, independientemente de su situación socioeconómica. Por otro lado, las grandes diferencias culturales y socioeconómicas son parte de la compleja y desigual sociedad mexicana. En consecuencia es necesario trabajar estrechamente con los docentes para alcanzar el equilibrio correcto entre la no exclusión de los alumnos (como resultado de expectativas demasiado exigentes) y el no bajar las expectativas de su aprendizaje.

Mejorar la información para los alumnos y padres de familia La introducción de la nueva y encomiable Cartilla de Educación Básica debe ir acompañada de algunos ajustes a fin de que se convierta en un auténtico instrumento de aprendizaje. Un primer ajuste sería plantear definiciones asociadas con los niveles de desempeño más específicos. En la actualidad, dichas definiciones son muy generales. Por ejemplo, para “C” o 6-7 (en la antigua escala de calificación), la definición es “muestra un desempeño suficiente en los resultados de aprendizaje esperados para este bloque”, sin importar el grado escolar, la materia o el bloque de aprendizaje. Sería conveniente que esta definición de carácter general fuera específica para cada grado, materia y bloque, y se asociara a los resultados concretos de aprendizaje que los alumnos deben alcanzar. Los resultados de aprendizaje esperados para cada grado, materia y bloque deben explicarse claramente a los alumnos y padres de familia, e incluir ejemplos de lo que es un desempeño aceptable, satisfactorio y excepcional. Se debe desarrollar una versión de los resultados de aprendizaje esperados en cada bloque de aprendizaje para los padres de familia, de manera que puedan entender el significado de “muestra un desempeño suficiente en los resultados de aprendizaje esperados para este bloque”, por citar un ejemplo. Los mapas curriculares de avance de Chile pueden ser una fuente de inspiración interesante para este esfuerzo (Santiago et al., de próxima aparición). Otra cuestión clave es la necesidad de información más detallada del desempeño de cada alumno (García et al., 2011, p. 90). El espacio dedicado a ello en la nueva Cartilla de Educación Básica podría no ser útil si los maestros no están preparados para dar indicaciones más precisas sobre cómo mejorar el desempeño a los alumnos y padres de familia. El riesgo es que este instrumento puede quedar limitado a la exhortación de los docentes para que los alumnos realicen un mayor esfuerzo. Las experiencias de Dinamarca y Suecia con los planes individuales, que contienen recomendaciones detalladas y específicas para cada alumno son ejemplos valiosos de enfoques con mayor potencial para generar un incremento en el logro educativo (Shewbridge et al., 2011; Nusche et al., 2011).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 99

Notas 1 El Catálogo Nacional de Formación Continua y Superación Profesional de Maestros de Educación Básica en Servicio 2011-2012 se encuentra disponible en http://formacioncontinua.sep.gob.mx. 2 La información sobre el proceso de asignación de alumnos a las escuelas en el Distrito Federal se encuentra disponible en www.sepdf.gob.mx/principal/archivos/nota_preg_frecuentes_ingreso_secundaria_2011.pdf. 3 Sin embargo, debe tenerse en cuenta que el análisis en este informe se refiere sólo a ENLACE en los niveles de primaria y secundaria. 4 Las Cartillas de Educación Básica están disponibles en www.boleta.sep.gob.mx. 5 Las dos publicaciones están disponibles en www.pisa.sep.gob.mx/descargas.html. 6 Las Cartillas de Educación Básica están disponibles en www.boleta.sep.gob.mx/. 7 El Estudio Internacional sobre Enseñanza y Aprendizaje de la OCDE se llevó a cabo en 2007-2008, abarcó la educación secundaria y contó con la participación de 23 países (OCDE , 2009). Los resultados derivados de TALIS se basan en los informes de los propios maestros y directores, por lo que representan sus opiniones, percepciones, creencias y recuentos de actividades. Para más información consulte www.OECD .org/edu/talis. Los resultados de México en TALIS se presentan en el anexo D. 8 Las publicaciones de ENLACE para cada grado están disponibles en www.enlace.sep.gob.mx/ba/apoyos_para_el_uso_pedagogico.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

100 – 3. LA EVALUACIÓN DE LOS ALUMNOS

Bibliografía Backhoff, E., E. Andrade, A. Sánchez y M. Peon (2008), Estudio comparativo del aprendizaje en sexto de primaria 2005-2007, INEE , México, www.inee.edu.mx/index.php?option=com_ content&view=article&id=3469&Itemid=1051. CONAPRED (Consejo Nacional para Prevenir la Discriminación) (2011), Resolución por Disposición 1/2011, EXP. CONAPRED /DGAQR/419/08/DR/II/CHIS/R289, www.cneii.org/ images/stories/resolucion-por-disposicion.pdf. Crozier, M. (1989), Estado modesto, Estado moderno. Estrategia para el cambio, Fondo de Cultura Económica, México. DOF (Diario Oficial de la Federación) (1994), Acuerdo número 200 por el que se establecen normas de evaluación del aprendizaje en educación primaria, secundaria y normal. 19 de septiembre 1994, SEP , México. www.sep.gob.mx/work/models/sep1/Resource/3f848841-8476-4596-9835-d71e306221a3/ a200.pdf. DOF (2009), Acuerdo número 499 por el que se modifica el diverso número 200 por el que se establecen normas de evaluación del aprendizaje en educación primaria, secundaria y normal. Noviembre 2009, SEP , México, http://dof.gob.mx/nota_detalle.php?codigo= 5117051&fecha=04/11/2009. EPPI (Evidence for Policy and Practice Information and Co-ordinating Centre) (2002), A Systematic Review of the Impact of Summative Assessment and Tests on Students’ Motivation for Learning, Review conducted by the Assessment and Learning Synthesis Group, Evidence for Policy and Practice Information and Co-ordinating Centre, Londres. García, B., J. Mejía y A. Meza (2009), Propuesta para evaluar y reportar el proceso de desarrollo de competencias de los alumnos de educación básica, mediante una nueva boleta de calificaciones, SEP , México. García, A.M., M.A. Aguilera, M.A. Pérez y G. Muñoz (2011), Evaluación de los aprendizajes en el aula – Opiniones y prácticas de docentes de primaria en México, INEE , Mexico. Linn, R. (2000), “Assessments and Accountability”, Educational Researcher, Vol. 29, No. 2, pp. 4-16. Linn, R. y N. Gronlund (2000), Measurement and Assessment in Teaching, Prentice Hall, New Jersey. Loureiro, G. (2009), Evaluación en el aula, currículo y evaluaciones externas, Partnership for Educational Revitalization in the Americas (PREAL ), Santiago de Chile, www.ucu.edu.uy/ Default.aspx?tabid=1267. Manzi, J. R. Gonzalez e Y. Sun (eds.) (2011), La evaluación docente en Chile, MIDE -UC , Santiago de Chile. Mendoza Trejo, F. (2010), Estudio sobre el impacto de la difusión de los resultados de la prueba ENLACE 2009, Instituto de Fomento e Investigación Educativa, A.C. Messick, S. (1999), “Key Issues”, en F. Ottobre (ed.), The Role of Measurement and Evaluation in Education Policy, UNESCO , Educational Studies and Documents No. 69, París. Morris, A. (2011), “Student Standardised Testing: Current Practices in OECD Countries and a Literature Review”, OECD Education Working Papers, No. 65, OECD , París, www.oecd. org/edu/workingpapers. Nusche, D., G. Halász, J. Looney, P. Santiago y C. Shewbridge (2011), OECD Reviews of Evaluation and Assessment in Education: Sweden, OECD , París, www.oecd.org/dataoecd/ 38/42/47169533.pdf. Nusche, D., D. Laveault, J. MacBeath y P. Santiago (2012), OECD Reviews of Evaluation and Assessment in Education: New Zealand, OECD , París, www.oecd.org/edu/evaluationpolicy. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

3. LA EVALUACIÓN DE LOS ALUMNOS – 101

(2009), Creating Effective Teaching and Learning Environments: First Results from París, www.oecd.org/edu/talis. OCDE (2010), PISA 2009 Results: What Makes a School Successful? Resources, Policies and Practices, Volume IV , OECD , París, http://dx.doi.org/10.1787/9789264091559-en. OCDE (2011a), Progress with Educational Reform in Basic Education in Mexico: An OECD Perspective, OECD , París. OCDE (2011b), Establishing a Framework for Evaluation and Teacher Incentives: Considerations for Mexico, OECD , París. OCDE (2011c), Strong Performers and Successful Reformers in Education. Lessons from PISA for the United States, OECD , París. OEI (Organización de Estados Iberoamericanos) (2010), Metas educativas 2021 - La educación que queremos para la generación de los bicentenarios, OEI , Madrid. Picaroni, B. (2009), La Evaluación en las aulas de primaria: Usos formativos, calificaciones y comunicación con los padres, Partnership for Educational Revitalization in the Americas (PREAL ), Santiago de Chile, www.ucu.edu.uy/Default.aspx?tabid=1267. Ravela, P. (2009a), “Consignas, Devoluciones y Calificaciones: los Problemas de la Evaluación en las Aulas de Educación Primaria en América Latina”, Páginas de Educación, Vol. 2, Universidad Católica del Uruguay, Montevideo, pp. 49-89, www.ucu.edu.uy/Default.aspx? tabid=1267. Ravela, P. (2009b), “La Evaluación del Desempeño Docente para el Desarrollo de las Competencias Profesionales”, en E. Martín y F. Martínez Rizo, Avances y desafíos en la evaluación educativa, OEI -Fundación Santillana, Madrid, pp. 113-126. Ravela, P. (2010), ¿Qué pueden aportar las evaluaciones estandarizadas a la evaluación en el aula?, Documento No. 47, Partnership for Educational Revitalization in the Americas (PREAL ), Santiago de Chile, www.ucu.edu.uy/Default.aspx?tabid=1267. Ravela, P. (2011), ¿Qué hacer con los resultados de PISA en América Latina?, Documento No. 58, Partnership for Educational Revitalization in the Americas (PREAL ), Santiago de Chile, www.ucu.edu.uy/Default.aspx?tabid=1267. Rosenkvist, M. (2010), “Using Student Test Results for Accountability and Improvement: A Literature Review”, OECD Education Working Papers, No. 54, OECD , París, www.oecd. org/edu/workingpapers. Santiago, P., F. Benavides, C. Danielson, L. Goe y D. Nusche (próximamente), OECD Reviews of Evaluation and Assessment in Education: Teacher Evaluation in Chile, OECD , París, www.oecd.org/edu/evaluationpolicy. Schiefelbein, E. y L. Wolff (1992), Repetition and Inadequate Achievement in Latin America’s Primary Schools: A Review of Magnitudes, Causes, Relationships and Strategies, UNESCO / OREALC , Santiago de Chile. SEP (Secretaría de Educación Pública)) (2002), Licenciatura en Educación primaria. Plan de estudios 1997. Documentos Básicos, SEP , Subsecretaría de Educación Básica y Educación Normal, Dirección general de Estándares. 4ª Edición. México, México, www.dgespe.sep. gob.mx/sites/default/files/planes/lepri/plan.pdf. SEP (2010), Licenciatura en Educación secundaria. Plan de estudios 1999. Documentos básicos, www.dgespe.sep.gob.mx/sites/default/files/planes/les/plan.pdf. SEP (2011a), Normas de control escolar relativas a la inscripción, reinscripción, acreditación, regularización y certificación en la educación básica, SEP , Dirección general de Acreditación, Incorporación y Revalidación. México, http://dgece.sev.gob.mx/docs/NORMAS_ BASICA_2011-2012.pdf. OCDE

TALIS , OECD ,

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

102 – 3. LA EVALUACIÓN DE LOS ALUMNOS

(2011b), Catálogo nacional. Formación continua y superación profesional para maestros de Educación básica en servicio 2011-2012, SEP Dirección General de Formación Continua de Maestros en Servicio DGFCMS http://formacioncontinua.sep.gob.mx/index.php?option=com_content&view=article&id= 234:catalogonaciona20112012&catid=35:novedades&Itemid=110. SEP (2011c), Plan de Estudios 2011. Educación básica, SEP , Mexico. SEP (2011d), Acuerdo 592 por el que se Establece la Articulación de la Educación básica, SEP , México. SEP (2011e), Competencias para el México que queremos: Hacia PISA 2012. Manual de alumnos, SEP , México. SEP (2011f), Competencias para el México que queremos: Hacia PISA 2012. Manual de maestros, SEP , México. SEP (2011g), Características generales e información de los reactivos aplicados para su uso pedagógico. Sexto Grado de Primaria 2011, SEP , Mexico. SEP (Secretaría de Educación Pública) e INEE (Instituto Nacional para la Evaluación de la Educación) (próximamente), Country Background Report for Mexico, prepared for the OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, to be available from www.oecd.org/edu/evaluationpolicy. SEP -DF (Secretariat of Public Education in Federal District) (2011), Preguntas frecuentes ingreso a secundarias 2011-2012, SEP -DF , México, www.sepdf.gob.mx/principal/archivos/ nota_preg_frecuentes_ingreso_secundaria_2011.pdf. Shepard, L. (2006), “Classroom Assessment”, en R. Brennan (ed.), Educational Measurement, ACE /Praeger, Westport, pp. 623-646. Shewbridge, C., E. Jang, P. Matthews y P. Santiago (2011), OECD Reviews of Evaluation and Assessment in Education: Denmark, OECD , París. Stigler, J. y J. Hiebert (2009), The Teaching Gap, Free Press, Nueva York. Timperley, H., A. Wilson, H. Barrar e I. Fung (2007), The Teacher Professional Learning and Development Best Evidence Synthesis, Ministry of Education, New Zealand, www. educationcounts.govt.nz/publications/series/2515. Torres, R. (1995), “Repetition: A Major Obstacle to Education for All”, en Education News, No. 15, UNICEF , Nueva York. UNESCO /OREALC , 2008, Los aprendizajes de los estudiantes de América Latina y el Caribe. Primer reporte de los resultados del Segundo Estudio Regional Comparativo y Explicativo, UNESCO /OREALC , Santiago de Chile. Vidal, R. (2009), ¿ENLACE , EXANI , EXCALE o PISA ? CENEVAL , México. Wiggins, G. (1998), Educative Assessment – Designing Assessments to Inform and Improve Student Performance, Joey-Bass, San Francisco. Zúñiga Molina, L. y J. L. Gaviria (2010), Challenges and Opportunities for the Further Development of the ENLACE Assessment for Evaluation and Teacher Incentives in Mexico, expert paper commissioned by the OECD for the Co-operation Agreement between the OECD and the government of Mexico. SEP

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 103

Capítulo 4 La evaluación de los maestros

En México la evaluación de los maestros es integral y está formada por una variedad de componentes que cubren las diferentes etapas de la Carrera Magisterial. El acceso a una plaza permanente o definitiva se norma mediante el Concurso Nacional para el Otorgamiento de Plazas Docentes que actualmente se basa en un examen estandarizado: el Examen Nacional de Conocimientos, Habilidades y Competencias Docentes. Cuando el maestro está en servicio, se le puede evaluar de manera voluntaria en tres situaciones diferentes: para tener acceso a la promoción de una categoría inferior a una categoría superior mediante el Escalafón vertical; para acceder a un aumento de salario dentro de cada rango del Escalafón vertical a través del Programa Nacional de Carrera Magisterial; y para tener derecho a un estímulo económico colectivo e individual con base en los resultados de las evaluaciones estandarizadas del alumno por medio del Programa de Estímulos a la Calidad Docente. Además, el gobierno está implementando un proceso obligatorio de evaluación docente que abarca a todos los maestros, el cual es de naturaleza más formativa: la Evaluación Universal de Docentes y Directivos en Servicio de Educación Básica. Las características especialmente positivas de la evaluación docente incluyen un consenso generalizado de la necesidad de evaluar al docente; una variedad de mecanismos para evaluarlos y reconocer su buen desempeño; el esfuerzo realizado para desarrollar estándares de enseñanza; la puesta en marcha del Concurso Nacional para el Otorgamiento de Plazas Docentes; y la existencia de prácticas informales de evaluación en las escuelas. Sin embargo, el desarrollo de la evaluación de los maestros se enfrenta a varios retos. Estos retos incluyen la falta de estándares de enseñanza; la complejidad y fragmentación del marco general para la evaluación docente; la falta de enfoque de la evaluación en la mejora de la calidad de la enseñanza; las inquietudes que surgen por el uso de evaluaciones estandarizadas del alumno como un instrumento para la evaluación docente; la falta de equidad en la evaluación para ofrecer las mismas oportunidades a todos los docentes; la ausencia de una estructura claramente definida en la trayectoria profesional docente; la falta de articulación entre la evaluación docente, el desarrollo profesional y el desarrollo escolar; y la participación limitada de las autoridades educativas estatales y los directivos escolares.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

104 – 4. LA EVALUACIÓN DE LOS MAESTROS

Este capítulo considera los enfoques en la evaluación docente dentro del marco de evaluación en México. La evaluación docente se refiere a la evaluación de cada maestro para formar un juicio sobre su desempeño. Normalmente este tipo de evaluación tiene dos objetivos principales. Primero, busca mejorar las prácticas propias de la enseñanza mediante la identificación de fortalezas y debilidades a fin de tener un mejor desarrollo profesional —la función de mejora. Segundo, asegurar que el desempeño de los docentes sea óptimo para aumentar el aprendizaje de los alumnos —la función de responsabilidad (Santiago y Benavides, 2009). En el recuadro 4.1 se ofrece un panorama de las características principales de la profesión docente en México.

Contexto y características La evaluación de los maestros consiste en una gama de componentes que cubren la mayoría de las etapas de la vida profesional docente en México: ingreso y egreso de la formación inicial, ingreso al servicio docente, y evaluación para la promoción y los estímulos. Los diversos componentes se basan en gran parte en exámenes estandarizados; sin embargo, se está introduciendo otro tipo de instrumentos (como portafolios docentes) para tener una perspectiva más completa de su desempeño. La mayoría de estos exámenes estandarizados son elaborados por expertos y agencias internas y externas, como el Centro Nacional de Evaluación para la Educación Superior (C ENEVAL ). El anexo E resume los formatos principales de la evaluación de los maestros, que existen a nivel nacional.

Educación inicial Los maestros de educación preescolar y primaria en su mayoría se preparan en las Escuelas Normales, mientras que los maestros de secundaria se preparan en universidades (consulte el recuadro 4.1). Parece haber al menos seis tipos diferentes de exámenes para seleccionar a los candidatos en estas instituciones, pero los instrumentos más comunes son el IDCIEN (Instrumento para el Diagnóstico y Clasificación para el Ingreso a Escuela Normal) para el ingreso a Escuelas Normales y el EXANI II (Examen Nacional de Ingreso a la Educación Media Superior), que se utiliza más comúnmente para ingresar a la universidad. Durante sus estudios, en algunos programas de educación normal se les puede exigir a los alumnos que realicen Exámenes de Conocimientos Generales e Intermedios al final del cuarto y octavo semestre. Estas evaluaciones externas son evaluaciones de bajo impacto destinadas a establecer un diagnóstico de las fortalezas y debilidades de los aprendices a maestros. Al graduarse, también se les puede exigir que tomen el EGEL (Examen General para Egresados de Licenciatura). Esta evaluación está destinada a diagnosticar el nivel de conocimientos y habilidades que han adquirido los aprendices a maestros al graduarse; cada institución define las consecuencias de los resultados.

Ingreso al servicio docente Para organizar el ingreso al servicio docente, en el 2008 se estableció el Concurso Nacional para el Otorgamiento de Plazas Docentes como parte de la Alianza por la Calidad de la Educación (ACE ) (consulte el recuadro 4.1). Este fue un paso histórico que México tomó para mejorar REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 105

la calidad del personal docente. De acuerdo con el gobierno mexicano, en el ciclo escolar 2008-2009 se registraron 109 415 candidatos y 80 566 realizaron el examen. En el 2010-2011 el número de candidatos registrados aumentó a 151 688. Antes de este concurso, la asignación de las plazas docentes se realizaba a través de mecanismos de selección (en 13 entidades federativas) o mediante la obtención de un título de educación normal (en 19 entidades federativas). Sin embargo, como se indicó en los análisis anteriores de la OCDE “los mecanismos para la selección de maestros no eran transparentes y algunas veces se percibían como inequitativos, corruptos o altamente politizados” (OCDE , 2010, 2011a).

Recuadro 4.1 La profesión docente en México: características principales

México cuenta con 1 175 535 maestros que trabajan en educación básica: 19% en preescolar, 49% en la educación primaria y 32% en la educación secundaria (SEP , 2011). Situación de empleo, estructura de salarios y de la carrera docente

Los docentes son empleados asalariados de las autoridades educativas estatales. La jornada escolar en México ha sido tradicionalmente corta para compensar el gran número de alumnos en el sistema. Las escuelas normalmente operan con turno doble (“matutino” y “vespertino”) (consulte el capítulo 1). Como resultado, los maestros pueden tener una o más plazas al mismo tiempo (por ejemplo una plaza “matutina” y una plaza “vespertina”), las cuales pueden ser de diferente tipo; los docente pueden tener una plaza (o varias) formadas por un cierto número de horas (digamos, 10 horas a la semana en una escuela y 15 horas a la semana en otra escuela). Por ejemplo, un maestro puede ser Asesor Técnico Pedagógico (ATP ) en la mañana y director escolar en la tarde, o viceversa. Esto puede ser o no en el mismo centro escolar (OCDE , 2010). El número promedio de años del salario inicial al límite superior es de 14 años, en comparación con el promedio de la OCDE de 24 (anexo D). En un estudio realizado en el 2002, Santibáñez (2002) concluye que, en comparación con otros grupos de profesionales, los maestros están relativamente bien pagados por hora. Los maestros con dos plazas (por ejemplo, una matutina y otra vespertina) ganan 25% más que un profesional de nivel medio. Aun así, en términos absolutos, Santibáñez admite que el nivel salarial de los maestros que empiezan con una plaza de medio día está por debajo de la mayoría de los profesionales o técnicos, ya que la duración del día escolar es corto, a menudo no más de cuatro o cinco horas al día. Existen dos tipos de promociones posibles: el ascenso vertical que implica un cambio de función (de maestro a director de escuela, jefe de enseñanza o supervisor) y el ascenso horizontal (Programa Nacional de Carrera Magisterial), que ofrece bonos salariales mensuales con base en una serie de factores (véase más adelante). Selección de maestros

Hasta el 2008, México no tenía un mecanismo nacional para el ingreso al servicio docente, por lo que las reglas para la asignación de plazas variaban entre los estados (véase más adelante en este capítulo). En el 2008 fue implementado el primer examen nacional de ingreso para los maestros en 29 de 31 estados y el Distrito Federal, como parte del Concurso Nacional para el Otorgamiento de Plazas Docentes. Actualmente el concurso cubre solamente las plazas docentes definitivas de nueva creación, sin incluir las plazas para directores escolares. Para poder competir, los candidatos deben contar con el título correspondiente, otorgado por una institución de educación superior.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

106 – 4. LA EVALUACIÓN DE LOS MAESTROS

Formación inicial docente

La formación inicial para los maestros de preescolar y primaria se ofrece en instituciones de educación superior conocidas como Escuelas Normales. Existen 493 Normales en el país (267 públicas y 226 privadas) (Nieto de Pascual Pola, 2009), con un registro de aproximadamente 170 000 alumnos al año. Aproximadamente 70% de los alumnos está en instituciones públicas y el resto en las privadas (Aguerrondo et al., 2009). Actualmente los alumnos que están en las Normales invierten cerca de una tercera parte de su educación en pedagogía general, una tercera parte en capacitación específica por materia y otra tercera parte en labores escolares. Las universidades ofrecen educación docente inicial para educación secundaria y para educación media superior. Desarrollo profesional

En 2009, como parte de la Alianza por la Calidad de la Educación (ACE ), el gobierno estableció el Programa del Sistema Nacional de Formación Continua y Superación Profesional de Maestros de Educación Básica en Servicio (PSNFCSP ). Este sistema incluye a las universidades, normales, organizaciones internacionales, gobierno y sindicato (entre otros grupos) que ofrecen programas de desarrollo profesional y calidad a través del Catálogo Nacional de Formación Continua y Superación Profesional. Los principales trabajos del PSNFCSP incluyen: coordinar las oportunidades de formación de las diferentes instituciones; analizar las necesidades de desarrollo con base en los resultados de evaluaciones estandarizadas; proponer nuevas evaluaciones estandarizadas a medida que se les requiera; establecer perfiles y estándares de desempeño; y asegurar transparencia y rendición de cuentas en el uso de los recursos.

Este mecanismo nacional de selección funciona actualmente en casi todos los estados del país. Está destinado a los maestros titulados de una institución de educación docente pública o privada que deseen obtener una plaza docente definitiva o adicional o más horas en el sistema “hora-semana-mes”. El concurso consiste básicamente en un examen estandarizado corto de cerca de 80 reactivos de opción múltiple, más 30 reactivos que son piloteados (Examen Nacional de Conocimientos, Habilidades y Competencias Docentes, ENCHD ), coordinado por el C ENEVAL . Cubre cuatro dominios: (i) habilidades intelectuales específicas; (ii) conocimiento del plan de estudios; (iii) competencias didácticas; y (iv) normas de educación y ética del maestro. Además, el gobierno inició en el 2011 un proyecto piloto sobre el uso voluntario de portafolios para candidatos a docentes en los niveles de preescolar y primaria, a manera de una herramienta de apoyo en el proceso de selección. Actualmente sólo se considera las calificaciones del examen estandarizado. Los candidatos con calificaciones superiores a los umbrales específicos se hacen acreedores a los lugares disponibles después de expresar su preferencia por dos plazas específicas. Es posible que una plaza no se ocupe debido a sus requisitos especiales (por ejemplo, ser bilingüe en el caso de la educación indígena) o porque sea incompatible con las necesidades del candidato (por ejemplo, distancia de su lugar de origen). El Órgano de Evaluación Independiente con Carácter Federalista (OEIF ) se creó para establecer el perfil técnico y académico del concurso. En él se establece la estructura, contenido y tamaño del instrumento de evaluación. Este órgano técnico tiene 70 expertos, la mitad de ellos designados por las autoridades estatales y federales y la otra mitad designada por el sindicato (SNTE ). Los expertos integran tres comités temáticos: (i) método de calificación; (ii) estructura (diseño del instrumento); y (iii) portafolio docente. La SEP apoya estos comités REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 107

proporcionándoles documentación, datos y otro tipo de información, incluyendo estudios externos para fines específicos (OCDE , 2010, 2011a). Cabe señalar que este concurso no tiene como objetivo certificar a los maestros “buenos” sino identificar a los “mejores” docentes dentro del espectro de candidatos en los estados. Esto significa que, por ejemplo, a los candidatos con bajos puntajes en el ENCHD , se les puede otorgar una plaza docente en entidades donde el número de solicitantes es bajo. Por el contrario, en estados con alta demanda, los candidatos con mejores calificaciones pueden no obtener una plaza docente. La baja proporción de candidatos que han alcanzado una calificación mínima aceptable durante la primera etapa del ENCHD condujo a iniciativas para mejorar la calidad de la formación inicial docente (Barrera y Myers, 2011).

Formación continua para maestros en servicio El personal escolar en servicio (maestros de aula, personal administrativo, supervisores, jefes de enseñanza y asesores técnicos pedagógicos o ATP ) puede realizar, de manera voluntaria, los Exámenes Nacionales para la Actualización de Maestros en Servicio (ENAMS ). Los ENAMS “Evalúan el desarrollo de las competencias docentes, logradas a partir de su participación en programas académicos de formación continua y superación y el desarrollo de las competencias de enseñanza de los maestros, adquiridas por medio de su participación en programas académicos de formación continua y superación profesional” (sic, SEP 20102011). Estos exámenes cubren los diversos tipos de docentes dentro del sistema educativo (dependiendo del nivel, puesto, materia o tipo de escuela). Existen aproximadamente 15 tipos diferentes de evaluaciones ENAMS , si bien el número puede variar dependiendo de las prioridades nacionales. En el contexto de las reformas del 2002, que incluyen reformas al Programa Nacional de Carrera Magisterial (PNCM , véase más adelante) y la introducción de la Evaluación Universal de Docentes y Directivos en Servicio de Educación Básica (véase más adelante), los ENAMS están siendo descontinuados de manera gradual. La meta principal de estos exámenes es dar un diagnóstico de las competencias profesionales de los docentes y ayudar a los maestros a que identifiquen sus necesidades de desarrollo profesional. Sin embargo, es necesario hacer notar que los maestros que han participado son parte del Programa Nacional de Carrera Magisterial (PNCM ), puesto que fue una aportación para este programa (véase más adelante). En este sentido los ENAMS han servido como un mecanismo para “certificar” la formación continua de maestros para el PNCM (Barrera y Myers, 2011). Las preguntas de opción múltiple están más relacionadas con las situaciones teóricas a las que se enfrentan los maestros en su quehacer cotidiano como docentes. Cubren dos dominios principales: (i) las principales referencias para la docencia (es decir, la enseñanza basada en competencias, la RIEB ); y (ii) las competencias del sujeto. Para ayudar a los maestros a que se preparen para los ENAMS , el gobierno elaboró una serie de folletos que contenían el objetivo general de la evaluación, la estructura, la bibliografía sugerida, los tipos de preguntas y los aspectos prácticos relacionados con el examen (por ejemplo, qué traer el día del examen y como consultar sus resultados) (SEP 2010-2011). A los docentes que realizaron los ENAMS se les entregó un folleto con un diagnóstico individualizado que explicaba sus resultados. En los últimos 13 años se han realizado más de tres millones de pruebas (el mismo maestro puede realizar varias pruebas). El número de participantes aumentó de 135 000 en 1997-1998 a 545 000 en 2009-2010. El proceso general fue coordinado por la SEP e implicó diversos participantes: (i) un consejo técnico y órganos académicos de apoyo que definen, diseñan, elaboran y corrigen el examen (funciones bajo la responsabilidad del CENEVAL ); REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

108 – 4. LA EVALUACIÓN DE LOS MAESTROS

(ii) las entidades federativas que administran el examen; y (iii) la SEP que analiza los datos, establece los criterios de la prueba y publica los resultados.

Promoción y estímulos Escalafón vertical El Escalafón vertical es el esquema de promoción más antiguo del sistema educativo (revisado por última vez en 1973). Es un concurso específico para cada entidad a través del cual los maestros, subdirectores, directores, supervisores y jefes de sector (más jefes de docencia en educación secundaria) pueden acceder al siguiente nivel en la estructura del sistema vertical (consulte la gráfica 4.1). Los factores principales que se consideran en el Escalafón vertical basado en puntos se enlistan en el cuadro 4.1. Cuadro 4.1 Factores considerados por el sistema de promoción vertical (Escalafón) Factores considerados

Peso

Conocimiento: (título más alto) + superación profesional y personal

45%

Aptitud: eficiencia, iniciativa Antigüedad: número de años en servicio Disciplina y puntualidad

25%

Total

100%

20% 10%

Fuente: Ortiz Jiménez (2003).

El sistema funciona de tal manera que la promoción implica inevitablemente obtener plazas administrativas (subdirector y niveles superiores) (es decir, que no existe una diferencia vertical dentro de la categoría de “maestro”). En consecuencia, las oportunidades de promoción vertical son escasas y únicamente surgen cuando se crea una plaza administrativa nueva o cuando aparece una vacante. El concurso por una plaza implica una evaluación de cada uno de los candidatos sobre la base de una “ficha escalafonaria”, en la cual se registra la evaluación de cada candidato en los cuatro factores enlistados en el cuadro 4.1. En el caso de los maestros, la ficha escalafonaria la llena el director o subdirector de la escuela, quien es el que realiza la evaluación. El proceso es normado a nivel nacional por la Comisión Nacional Mixta de Escalafón, que está formado por representantes de la SEP y del SNTE . Debido a que cada estado tiene su propio escalafón, también se cuenta con comités mixtos SEP -SNTE a nivel estatal. Antes de 1993 este tipo de ascenso sólo tenía la finalidad de que los trabajadores de la educación tuvieran acceso a un mejor salario.

Programa Nacional de Carrera Magisterial La promoción horizontal se introdujo en 1993 mediante el Programa Nacional de Carrera Magisterial. El PNCM cubre los niveles de preescolar, primaria y secundaria. Su funcionamiento se revisó tanto en 1998 como en el 2011.1 El PNCM fue creado con el objetivo de mejorar la calidad educativa y ofrecer a los maestros otras posibilidades de trayectoria profesional REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 109

(o más exactamente, avance salarial). La participación es voluntaria y existen cinco niveles de estímulo para el progreso (de la A a la E). Cada nivel del PNCM está relacionado con un nivel de salario más alto, que fluctúa de un 25% adicional al salario base (Nivel A) a 200% (Nivel E). El PNCM proporciona a los maestros acceso a un incremento salarial sin necesidad de dejar el aula. El mismo principio es aplicable a cualquier rango en el Escalafón vertical, por ejemplo un director de escuela puede tener acceso a un mayor salario sin tener que dejar su escuela. El PNCM es relativamente independiente del Escalafón vertical. Esto significa, por ejemplo, que un maestro con “Nivel C” en promoción horizontal no tiene que llegar al “Nivel E” para poder solicitar una plaza de director escolar (promoción vertical). Es más, si este maestro obtiene una plaza de director de escuela, automáticamente se convertirá en un director con el mismo estímulo horizontal que tenía antes como maestro (“Nivel C”, en este caso) (consulte la gráfica 4.1). En el periodo 2009-2010 este programa tuvo 399 252 participantes, equivalente a 34% de todos los docentes de educación básica (incluyendo directores y supervisores). Sólo aquellos que tienen una plaza definitiva (o al menos diez horas de docencia) pueden participar en el programa. Para ser candidato al siguiente nivel es necesario haber estado al menos dos o cuatro años (depende si el contexto es rural o urbano) en el nivel anterior. El número de candidatos promovidos depende de los fondos disponibles en ese año y de si el candidato cumple los requisitos para la promoción.

Gráfica 4.1 El sistema de promoción vertical (Escalafón) y el Programa Nacional de Carrera Magisterial

SISTEMA DE PROMOCIÓN VERTICAL

A

B

A

B

A A

B B

C C C C

D

Jefe de enseñanza

E D

Jefe de enseñanza

E D

ZONA

Supervisor (o Inspector)

B C D E

Subdirector

E D

E

ESCUELA

A

Segunda vertiente

Primera vertiente

Jefe de Sector (Supervisor General/Inspector General)

A BCD E

SECTOR

Tercera vertiente Asesor Técnico Pedagógico (ATP ) • A nivel de Sector • A nivel de Zona • A nivel de Escuela

Docentes frente a grupo (varias categorías)

PROGRESIÓN HORIZONTAL (“A” a “E”) Programa Nacional de Carrera Magisterial Nota: El texto en azul se refiere a los factores específicos y vertientes del sistema de progresión horizontal (Programa Nacional de Carrera Magisterial). El texto en gris se refiere a los factores específicos del Escalafón vertical. Fuente: OCDE , tomando como base el Informe de las Prácticas de la Evaluación de la Educación Básica en México (SEP e INEE ) y SEP -SNTE (2011).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

110 – 4. LA EVALUACIÓN DE LOS MAESTROS

Los factores considerados son básicamente los mismos para todos los participantes, pero varían ligeramente dependiendo del tipo de función del candidato (consulte el cuadro 4.2). Los candidatos pertenecen a una de tres vertientes. La vertiente I es para los maestros que trabajan en el aula, la Vertiente II es para directores de escuela y otros puestos en el Escalafón vertical, y la Vertiente III es para Asesores Técnicos Pedagógicos (ATP ), que pueden realizar su función a nivel escolar o superior. Desde que se empezó a implementar el PNCM , los resultados obtenidos por los alumnos en la evaluación estandarizada ENLACE ha aumentado en importancia, actualmente llega al 50% del sistema de puntos que se utilizan en el programa. Otro cambio importante reciente es la inclusión de actividades “co-curriculares” (horas extra) que llega al 20% de la calificación general. Anteriormente, el nivel obtenido en el Programa Nacional de Carrera Magisterial era permanente. Sin embargo, después de los cambios recientes del 2011, el maestro puede perder su nivel en el PNCM si no demuestra los requisitos para estar en ese nivel específico. Cuadro 4.2 Factores considerados en el Programa Nacional de Carrera Magisterial (2011) Factores considerados Aprovechamiento escolar: La Vertiente I utiliza las calificaciones promedio del alumno en ENLACE, a nivel de clase, para el maestro en cuestión y/u otros instrumentos y estrategias estandarizadas (para los maestros no cubiertos por ENLACE). Para las Vertientes II y III, la calificación de ENLACE es un desempeño promedio de los alumnos en la escuela o área de trabajo correspondiente.

Vertiente I

II

III

50%

40%

30%

Formación continua: Las opciones de formación provienen del Catálogo Nacional de Formación Continua y Superación Profesional para la educación básica e incluyen cursos generales, licenciaturas, maestrías o doctorados. Los puntos se otorgan dependiendo del número de cursos profesionales tomados.

20%

Preparación profesional: Se mide por medio de exámenes específicos diseñados para tal fin para cada una de las funciones específicas que realizan los candidatos en las tres vertientes. El examen está dirigido a tres áreas: (1) conocimiento del plan de estudios; (2) marco normativo de la educación; y (3) enfoques didácticos que se sugieren en los programas de estudio.

5%

Antigüedad: El número de años en servicio. Para aquellos candidatos con dos plazas se considera la plaza más antigua.

5%

Actividades co-curriculares: Estas son actividades adicionales enfocadas a mejorar el aprendizaje de los alumnos, que vinculan la escuela con la comunidad y mejoran los ambientes de aprendizaje (por ejemplo evitar adicciones o promover la lectura entre los alumnos). Cada consejo técnico escolar (grupo de maestros y gestión escolar) determina la calificación que se otorga a cada maestro candidato para este factor. Las calificaciones de los directores y supervisores (Vertiente II) dependen de la calificación promedio de aquellos que jerárquicamente están por debajo de ellos y del logro del programa de trabajo. Para la Vertiente III (ATP ) sólo se considera el último aspecto. Gestión escolar: Está relacionada con las actividades específicas que llevan a cabo los directores escolares, jefes de enseñanza, supervisores y jefes de sector. Este factor se mide mediante el diseño de programas / actividades y si se alcanzan o no las metas.

20%

10%

Apoyo educativo: Se refiere al apoyo proporcionado por el ATP en el salón de clase mediante asesoría pedagógica, durante las actividades de desarrollo profesional o durante la preparación de materiales pedagógicos. Las actividades pueden ser en niveles diferentes del sistema escolar, dependiendo donde tenga su base el ATP (escuela, sector, zona o niveles y modalidades educativas). Total

20% 100%

Generalmente, la Calificación Global considera el desempeño promedio de las evaluaciones anteriores del PNCM de los años más recientes en los que participó el candidato en el programa. Fuente: OCDE , elaborado con información de la SEP -SNTE (2011).

El cuadro 4.3 muestra la manera como ha evolucionado la importancia de los diferentes factores del PNCM con las revisiones de 1998 y 2011. Destaca la mayor importancia del desempeño del alumno en ENLACE (y otras evaluaciones estandarizadas de los alumnos). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 111

Cuadro 4.3 Evolución de los factores y ponderaciones en el Programa Nacional de Carrera Magisterial Factores considerados

Peso atribuido 1993 (%)

1998 (%)

2011 (%)

Aprovechamiento escolar

7

20

Vertiente I: 50 Vertiente II: 40 Vertiente III: 30

Formación continua

15

17

20

Calificaciones académicas

15

15

--

Preparación profesional

25

28

5

Evaluación por pares

28

10

--

Antigüedad

10

10

5

--

--

20

Gestión escolar

--

--

Sólo Vertiente II: 10

Apoyo educativo

--

--

Sólo Vertiente III: 20

Actividades co-curriculares

Fuente: Información proporcionada por la SEP .

Programa de Estímulos a la Calidad Docente El Programa de Estímulos a la Calidad Docente se introdujo en 2008. Se han realizado dos ciclos del programa: en 2008-2009 (cubriendo solamente educación primaria y secundaria) y en 2009-2010 (cubriendo preescolar y educación especial, además de la educación primaria y secundaria). El programa está enfocado a maestros, subdirectores, directores y ATP que trabajan en las escuelas. Ofrece estímulo colectivo e individual con base en los resultados obtenidos en la evaluación nacional de los alumnos (principalmente ENLACE , según se establece en los lineamientos operativos del 2010): • Reciben estímulo colectivo los docentes, subdirectores, directores y ATP de las escuelas que: (i) obtuvieron una de las calificaciones promedio más altas en la evaluación nacional de los alumnos; y/o (ii) obtuvieron uno de los mayores avances en la evaluación nacional de los alumnos. • Reciben estímulo individual los: (i) maestros cuyo grupo de alumnos obtuvo las calificaciones más altas en ENLACE , lo que implica que sólo serán elegibles aquellos maestros que estén en grados y materias cubiertos por ENLACE , (consulte el capítulo 3); y (ii) maestros, subdirectores y directores de preescolar y educación especial con las calificaciones más altas en el componente de preparación profesional del Programa Nacional de Carrera Magisterial en los tres años anteriores. La asignación del estímulo individual se hace de manera independiente del proceso de estímulo colectivo. Los candidatos que desean competir por el estímulo individual necesitan registrarse específicamente para ello. El candidato puede elegir las materias, clases, escuelas o nivel educativo para el que desea se le considere en el programa (SEP -SNTE , 2010). Para otorgar el estímulo, las escuelas se agrupan de acuerdo con sus características socioeconómicas, tales como, estado, nivel educativo, tipo de servicio (primaria: general, indígena, comunitaria y secundaria: general, técnica, telesecundaria, para trabajadores y comunitaria), contexto (rural o urbano) y el nivel de marginación2 del área donde está ubicada la escuela. Las escuelas en áreas rurales y de alta marginación reciben 10% adicional de estímulos. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

112 – 4. LA EVALUACIÓN DE LOS MAESTROS

Las autoridades educativas estatales están a cargo de la operación del programa y de la asignación de estímulos a los candidatos seleccionados. Como parte de sus responsabilidades, confirman la información relacionada con el personal escolar en las escuelas participantes y validan la información proporcionada por los candidatos que solicitan estímulos individuales. Entre 2008-2009 y 2009-2010 el número de estímulos colectivos otorgados aumentó en 11% (de 222 805 a 248 414) mientras que los estímulos individuales disminuyeron en 11% (de 36 209 a 32 068). El estímulo no debe ser menor de 2 000 pesos ni superior a 20 000 pesos (OCDE , 2011a).

Evaluación Universal de Docentes y Directivos en Servicio de Educación Básica La Evaluación Universal es un esfuerzo reciente del gobierno mexicano para introducir la evaluación de los maestros en servicio con fines formativos, que abarca la totalidad de la fuerza de trabajo docente y se encuentra en sus primeras etapas de implementación. El personal docente de la educación básica (incluyendo directores, supervisores, ATP , etc.) consta de alrededor de 1 175 000 personas. Aproximadamente dos terceras partes participan en el Programa Nacional de Carrera Magisterial, pero casi la mitad no concluye el proceso. Como resultado, en la práctica casi 60% de todo el personal educativo de la educación básica no se somete a un proceso de evaluación (SEP -SNTE , 2011). La meta del gobierno es que el programa abarque a todos los maestros, subdirectores, directores y ATP , e introducir un esquema para una mayor trayectoria profesional. Sus objetivos principales son: mejorar los resultados de la calidad de la educación; reforzar la responsabilidad pública y profesional de los maestros y personal educativo; y operar como una base para políticas y programas auxiliares basados en los resultados de las evaluaciones (OCDE , 2011a). El gobierno visualiza este sistema como meramente formativo y de diagnóstico. Su diseño no considera las consecuencias de alto impacto, como una posible exclusión del sistema educativo. El diagnóstico ayudará a establecer la oferta de trayectos formativos. Este programa será obligatorio para maestros, subdirectores, directores y ATP e implicará una evaluación cada tres años. Comenzará a partir de 2012 con educación primaria. La educación secundaria se evaluará en 2013, mientras que la educación preescolar y especial serán evaluadas en 2014. También abarca las escuelas de educación privada. Según se muestra en el cuadro 4.4, este programa considera algunos de los factores (y los pesos correspondientes) del Programa Nacional de Carrera Magisterial: desempeño de los alumnos (50%), formación continua (20%) y preparación profesional (5%). El restante 25% de la calificación proviene de un componente de “desempeño profesional”, el cual se basará en estándares de enseñanza y gestión escolar. Los estándares docentes, en especial, operarán con un doble propósito: (i) guiar a los maestros para que mejoren su desempeño, y (ii) establecer un marco para la evaluación individual del desempeño docente (OCDE , 2011a). Los resultados del desempeño de los alumnos, la preparación profesional y la formación continua de la Evaluación Universal serán considerados para el Programa Nacional de Carrera Magisterial. Uno de los principales objetivos es que la SEP utilice los resultados de la Evaluación Universal para desarrollar programas de formación continua y mejora profesional de los maestros de educación básica.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 113

Cuadro 4.4 Factores considerados para la Evaluación Universal Factores considerados Aprovechamiento escolar: la evaluación se realizará de manera similar al Programa Nacional de Carrera Magisterial (mediante ENLACE y otras evaluaciones)

Peso 50%

Competencias profesionales: · Preparación profesional (5%): la evaluación será mediante exámenes específicos estandarizados, realizados cada tres años. · Formación continua (20%): Este componente será sobre “vías formativas enfocadas a las áreas de oportunidad identificadas” (este componente se incluirá durante la segunda fase del programa en 2015). · Desempeño profesional (25%): Probablemente también se evaluará por medio de exámenes estandarizados (no diseñados aún), en relación con los estándares de enseñanza y gestión escolar y otros instrumentos definidos por la SEP (que serán incluidos una vez que se haya implantado los estándares). Total

50%

100%

Fuente: http://evaluacionuniversal.sep.gob.mx/tres.htm.

La implementación de la Evaluación Universal, en 2012, ha enfrentado una oposición importante por parte de algunos grupos docentes. Estos grupos expresaron varias inquietudes como: que la Evaluación Universal puede utilizarse para despedir maestros; su posible modificación puede alejarlo de la función formativa prevista; la posibilidad de considerar únicamente los resultados de los exámenes estandarizados ocasionará desvíos en las evaluaciones; que no se toman en cuenta las opiniones de los maestros en el diseño de esta política.

Fortalezas Existe un consenso generalizado sobre la necesidad de evaluar a los maestros en los diversos niveles del sistema La evaluación de los maestros se reconoce como una herramienta importante para mejorar el aprendizaje de los alumnos y es fundamental para el marco de evaluación. Esto se refleja en el enfoque integral de la evaluación de los maestros en México, que cuenta con una multitud de esquemas y programas. Un avance reciente ha sido el consenso entre los actores clave sobre la necesidad de reforzar la función de mejora de la evaluación de los maestros, reflejada principalmente en la implementación actual de la Evaluación Universal. Los actores incluyen al gobierno, el sindicato de maestros (SNTE ), los legisladores (mediante la elaboración de diversos proyectos de ley para evaluar a los maestros) y varias organizaciones de la sociedad civil que han apoyado iniciativas para implementar la evaluación docente. Esta es también un área clave de la Alianza por la Calidad de la Educación (consulte el capítulo1), que ha impulsado la agenda educativa del país en los últimos años, con énfasis en “evaluar para mejorar”. Si bien existen algunas diferencias en la forma de evaluar a los docentes, parece compartirse ampliamente la idea e intención de crear una cultura de evaluación entre los maestros y desarrollar sus capacidades profesionales. La evaluación docente fue también un área central para el análisis conjunto con la OCDE , durante el Acuerdo OCDE -México para Mejorar la Calidad de la Educación de las Escuelas en México (consulte el capítulo 1), en el cual la OCDE desarrolló una propuesta para el sistema de evaluación de los maestros en servicio (recuadro 4.2). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

114 – 4. LA EVALUACIÓN DE LOS MAESTROS

Durante las reuniones celebradas por el Equipo de Revisión de la OCDE , los diferentes actores del sistema educativo se refirieron al avance alcanzado para asegurar que la evaluación de los maestros tuviera una percepción positiva como un componente regular en la trayectoria docente. Los maestros no están en contra de la evaluación y en general parecen estar abiertos a la retroalimentación externa de una fuente confiable. De acuerdo con TALIS , 86% de los maestros de educación secundaria estuvieron de acuerdo o muy de acuerdo en que las evaluaciones o retroalimentación recibida habían sido útiles en el desarrollo de su trabajo como maestro en la escuela. Este fue uno de los porcentajes más altos reportados (el promedio TALIS era de 79%), y el segundo más alto entre los países de la OCDE , después de Polonia.

Recuadro 4.2 Propuesta de la OCDE para un sistema de evaluación para los maestros en servicio Características clave • Por qué evaluar: el objetivo principal es mejorar la enseñanza y con ello los resultados educativos del alumno. • Qué evaluar: para mejorar los resultados del alumno es importante entender cómo se lleva a cabo la práctica de la enseñanza. Se deben utilizar estándares para definir qué se espera que aprendan los alumnos de los maestros buenos. • A quién se debe evaluar: para que los maestros la acepten, los evaluadores deben tener mínimo: (a) conocimiento del trabajo que realizan los maestros; (b) capacitación para hacer las observaciones esperadas; y (c) autonomía en relación con el maestro evaluado. Estos posibles evaluadores pueden, por lo tanto, seleccionarse entre los ATP , el personal de los Centros de Maestros y los profesores de las Escuelas Normales y de la Universidad Pedagógica Nacional. • Cómo evaluar: los evaluadores deben realizar visitas periódicas a las escuelas para evaluar a los cuerpos docentes. Además de los resultados de los alumnos en pruebas como ENLACE , otros instrumentos que se pueden utilizar son la observación en el aula, el portafolio docente, la autoevaluación docente, la evidencia de aprendizaje de los alumnos, el establecimiento de objetivos, entrevistas con el maestro, con el director y el supervisor, pruebas de conocimientos del maestro e información de los alumnos y padres de familia. Recomendaciones principales para la implementación

1. 2. 3. 4.

Establecer una estructura de liderazgo y reglas claras para regular la Evaluación Universal. Establecer una unidad técnica responsable de implementar la evaluación. Desarrollar estándares para la enseñanza. Diseñar un modelo para la evaluación del maestro en servicio, que evolucione gradualmente de un sistema puramente formativo a uno que combine aspectos formativos y sumativos. 5. Definir los instrumentos para evaluar a los maestros en servicio. 6. Desarrollar un sistema de apoyo para el desarrollo profesional basado en la escuela, que conlleve a la mejora de la práctica docente, y un sistema que supervise esta mejora. Fuente: Mancera y Schmelkes (2010).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 115

Existe una variedad de mecanismos para evaluar a los docentes y reconocer el buen desempeño docente La evaluación de los maestros se realiza de varias formas El gobierno ha dado gran importancia a la evaluación de los maestros dentro de la agenda general para la mejora de la educación. Esto se refleja en los diversos mecanismos que actualmente están en práctica o en proceso de implementación relacionados con la evaluación de los maestros, que cubren las diferentes etapas de su carrera: antes del ingreso a la educación inicial (mediante IDCIEN o EXANI II ), durante la educación inicial (mediante Exámenes de Conocimientos Generales e Intermedios), al graduarse de la educación inicial (mediante el EGEL ), al ingresar a la profesión docente (mediante el recién presentado Concurso Nacional para el Otorgamiento de Plazas Docentes) y mientras están en servicio (mediante el Escalafón vertical; el Programa Nacional de Carrera Magisterial para promoción horizontal; el Programa de Estímulos para la Calidad Docente; y la Evaluación Universal). Estas iniciativas atestiguan la extensa experiencia en evaluación docente y transmiten un mensaje contundente sobre la necesidad de evaluar el desempeño de los maestros en todas las etapas de su carrera. Sin embargo, según se explicará posteriormente, la evaluación de los maestros se ha concentrado en identificar a aquellos docentes cuyos alumnos tienen mejores resultados en ENLACE y aquellos con buenos resultados en ENAMS .

Algunos desarrollos positivos en la implementación de la evaluación de los maestros En este momento, los instrumentos de evaluación docente se basan en su mayoría en los exámenes estandarizados de los maestros (por ejemplo, ENCHD para evaluar la preparación profesional para el PNCM ) y en la evaluación estandarizada de los alumnos (principalmente mediante ENLACE ). Estos exámenes y evaluaciones estandarizados son elaborados por agencias calificadas en el país, como CENEVAL . También existe un esfuerzo considerable por tener exámenes diferenciados para los diferentes perfiles docentes. Por ejemplo, para el ENCHD fueron desarrollados 24 tipos diferentes de exámenes que cubren los diferentes niveles educativos, asignaturas (para la educación secundaria) y modalidades escolares. Además de los exámenes para maestros y la evaluación de alumnos, el gobierno también está presentando otros elementos que pueden ayudar a formar una perspectiva más completa del desempeño docente. Los ejemplos incluyen el uso de portafolios en la educación docente inicial y el proyecto piloto 2011 sobre el uso de portafolios como un instrumento adicional para el Concurso Nacional para el Otorgamiento de Plazas Docentes. Este último es calificado por dos evaluadores y contiene los siguientes elementos: (1) un plan de clase por parte del maestro, (2) una clase grabada en video y (3) un trabajo por escrito realizado por el docente en el que describa las bases teóricas, los elementos didácticos, los criterios de valoración y bibliografía. En cuanto a los ENAMS , se ha proporcionado a los maestros informes de diagnóstico después de su evaluación. Además, los esquemas de promoción y estímulos (Escalafón vertical, PNCM ) y la Evaluación Universal intentan — de una manera más bien limitada— ir más allá de los instrumentos utilizados en los exámenes y evaluaciones: superación profesional, acciones extra, evaluación cualitativa de la aptitud docente, actividades de gestión escolar y apoyo educativo. También existen trabajos importantes para mejorar la base de datos de los maestros por medio del RNAME . El Registro Nacional de Alumnos, Maestros y Escuelas (consulte la información detallada en el capítulo 6). El hecho de contar con datos más confiables sobre los maestros puede proporcionales plataformas más adecuadas para atender las necesidades de los alumnos. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

116 – 4. LA EVALUACIÓN DE LOS MAESTROS

Se realizaron trabajos importantes para desarrollar estándares de enseñanza Un desarrollo muy importante ha sido el nuevo enfoque en la elaboración de estándares de enseñanza y gestión escolar. El Programa Sectorial de Educación 2007-2012 especificó como una de sus acciones “Establecer perfiles de desempeño de los maestros en servicio para guiar una formación continua hacia el desarrollo de las competencias profesionales necesarias para enfrentar los retos de la educación en el siglo XXI ”. En este contexto se formó una sociedad entre la Fundación Empresarios por la Educación Básica (EXEB , una organización de la sociedad civil), la SEP y el SNTE , con el objeto de desarrollar estándares de enseñanza que operaran como una referencia para la autoevaluación docente. Este trabajo fue apoyado por la Organización de Estados Iberoamericanos (OEI ) y el desarrollo de los estándares de enseñanza se comisionó a tres instituciones privadas de investigación educativa. El trabajo vinculó tres tipos de estándares: enseñanza, gestión escolar y curriculares. Los estándares fueron debatidos con diversos actores de la educación y, en 2007, la SEP los puso a prueba en 62 escuelas. En 2008-2009 se aplicó una versión “final” de los estándares en 549 escuelas de todos los estados del país. En 2010 se elaboró el documento oficial “Estándares del Desempeño de la Enseñanza en la Educación Básica en México” para su consulta con los actores del entorno educativo, el cual no se publicó oficialmente. Hasta finales de 2011 no se había tomado una decisión sobre la implementación de los estándares de enseñanza (Barrera y Myers, 2011). Dicha implementación ayudaría a establecer una referencia común para el sistema sobre lo que significa un buen nivel de enseñanza, liderazgo escolar y aprendizaje de los alumnos, y contribuiría a asegurar consistencia en la implementación de la evaluación docente.

Los fines de la evaluación docente son la mejora y la rendición de cuentas Los encargados de la elaboración de políticas educativas reconocen la necesidad de las funciones de mejora y rendición de cuentas en la evaluación de los maestros, a través de la implementación de esquemas e instrumentos de evaluación de alto y bajo impacto en diferentes etapas de la trayectoria docente. Por ejemplo, durante la educación inicial los estudiantes pueden tener acceso a un diagnóstico de sus fortalezas y áreas de oportunidad (mejora) en el cuarto y octavo semestre de sus estudios; los demás instrumentos de evaluación se utilizan para definir la conclusión de la educación docente y el ingreso a la profesión. Actualmente, en el Programa Nacional de Carrera Magisterial los maestros tienen que demostrar continuamente el dominio de sus habilidades para conservar el nivel de estímulos. La función de mejora se puede reforzar también por medio de una perspectiva más holística propuesta por la Evaluación Universal. A la fecha, dicha función está ligada principalmente a los exámenes y evaluaciones estandarizados, pero el gobierno planea incluir componentes basados en estándares y en la observación de la práctica docente en el aula.

Los procedimientos para la evaluación de los maestros están basados en algunos buenos principios Como se menciona arriba, el sector educativo mexicano desarrolló un sistema completo de evaluación docente que incluye una gama de dominios de desempeño y una amplia variedad de instrumentos y fuentes de datos. Este sistema se basa en buenos principios que reflejan las buenas prácticas internacionales de lo que constituye la evaluación de los maestros. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 117

• Un enfoque en la mejora de la calidad de la enseñanza. De manera idónea, la evaluación de los maestros tiene como objetivos principales la mejora de la calidad de la enseñanza, la optimización de las prácticas docentes en las escuelas, y por tanto un incremento en el aprendizaje de los alumnos. Algunos de los mecanismos que se han utilizado hasta ahora, como los ENAMS , tienen una función meramente formativa. Sin embargo, la rendición de cuentas continúa dominando la mayoría de las evaluaciones de los maestros. No obstante, existe un interés renovado en la ampliación de los objetivos formativos de la evaluación docente por medio de la introducción de la Evaluación Universal. • El avance en el desarrollo profesional docente basado en el mérito. En México, la evaluación de los maestros —con sus consecuencias en la promoción vertical y horizontal, y los esquemas de estímulos existentes— ofrece oportunidades para reconocer y recompensar las competencias y el desempeño docente, lo cual es esencial para tener maestros eficaces en las escuelas y lograr que la profesión docente sea una opción atractiva (OCDE , 2005). • Múltiples fuentes de evidencia. El enfoque general de la evaluación de los maestros es integral, incluye una gama de dominios del desempeño docente y numerosos instrumentos y fuentes de datos. Todos estos elementos contribuyen a satisfacer el requisito de exactitud y equidad del proceso de evaluación (Isoré, 2009). El enfoque tiene la ventaja de introducir elementos externos a la escuela, como los exámenes estandarizados, que tienen la posibilidad de dar cierta consistencia para la evaluación de todos los maestros. Además reconoce de manera significativa la importancia de la rendición de cuentas por los resultados de los alumnos, en contraste con los asuntos de su aplicación (véase más adelante). • Un reconocimiento creciente de la importancia de la observación en el aula. Ya que las prácticas docentes y la evidencia del aprendizaje son probablemente las fuentes más importantes de información sobre el desempeño profesional, es fundamental dar un papel clave a la observación en el aula en la evaluación de los maestros. Esto no ha sido reconocido adecuadamente por el sistema educativo mexicano. Sin embargo, existen desarrollos alentadores en cuanto a que la Evaluación Universal considerará la introducción de la observación en el aula como un instrumento para la evaluación de los maestros.

La introducción del Concurso Nacional para el Otorgamiento de Plazas Docentes ofrece mayor transparencia en el reclutamiento de los maestros La introducción del Concurso Nacional para el Otorgamiento de Plazas Docentes ha sido un importante desarrollo positivo en su etapa inicial, a través del Examen Nacional de Conocimientos, Habilidades y Competencias Docentes (ENCHD ). Este concurso logra dos funciones substanciales: (i) da mayor transparencia al proceso de selección de maestros, al reducir de forma significativa el número de plazas docentes asignadas con una base inadecuada; y (ii) identifica a los maestros con preparación deficiente mediante los programas de educación inicial docente (por lo tanto, ofrece un instrumento para emprender el aseguramiento de calidad en los programas de educación docente). Este es un paso importante para garantizar que los maestros que integran la profesión docente cuenten con una preparación de calidad.

Existe apoyo y guía a nivel nacional El gobierno invierte recursos importantes en comunicación, para asegurar que los cambios y políticas planeados permeen los diferentes niveles del sistema. Esto se logra mediante sitios web, cursos de capacitación, materiales educativos y catálogos distribuidos entre los maestros REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

118 – 4. LA EVALUACIÓN DE LOS MAESTROS

y escuelas, además de otros tipos de documentación. Los maestros cuentan con una amplia documentación sobre los esquemas de evaluación y tienen acceso a materiales y cursos de preparación para los exámenes que forman parte de su evaluación.

Las prácticas informales de evaluación de los maestros se realizan en las escuelas Parece que en varias escuelas, los directores y supervisores llevan a cabo una observación informal en el aula. El Equipo de Revisión de la OCDE tuvo conocimiento de ciertas prácticas bien establecidas en algunas escuelas, como el desarrollo de criterios de evaluación para las observaciones en el aula y el diseño de rúbricas de observación, utilizados por los directores y supervisores escolares, que sirven como base para la retroalimentación. Los datos de TALIS respaldan lo anterior. Como se muestra en la gráfica 4.2, en promedio, los maestros de las secundarias mexicanas reportaron haber recibido más retroalimentación (al menos dos veces al año) que los maestros de otros países, por parte de los siguientes actores escolares: el 63% reportó haber recibido retroalimentación de su director (en comparación con un promedio TALIS del 41%); el 51% reportó haber recibido comentarios de otros maestros o miembros del equipo administrativo (en comparación con un promedio TALIS del 49%); y el 45% reportó haber recibido retroalimentación de un individuo u organismo externo (en comparación con un promedio TALIS del 12%). Esto indica que los maestros tienen acceso a retroalimentación informal a nivel escolar sobre sus prácticas. Sin embargo, estas cifras también pueden reflejar “respuestas socialmente deseables” por parte de los maestros a las preguntas TALIS , lo cual refleja la difundida práctica de “simulación” dentro de la comunidad docente. Aunque la observación en el aula parece ser una práctica normal en las escuelas visitadas por el Equipo de Revisión de la OCDE , no necesariamente se realiza de manera sistemática para cada maestro entre las escuelas. Gráfica 4.2 Fuentes de la retroalimentación recibida al menos dos veces al año por los maestros de secundaria Del director, cuando menos dos veces al año De otros maestros o miembros del equipo administrativo de la escuela, al menos dos veces al año De un individuo u organismo externo, cuando menos dos veces al año 100% 90 80 70 60 50 40 30 20

Bélgica (FL)

España

Italia

Irlanda

Noruega

Dinamarca

Australia

Austria

Portugal

Polonia

Corea

Estonia

Promedio TALIS

Turquía

Malta

Islandia

Brasil

Eslovenia

Lituania

Hungría

Bulgaria

Malasia

México

0

República

10

Fuente: TALIS (OCDE , 2009).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 119

Retos Actualmente no existe un conocimiento compartido de lo que constituye la buena calidad de la enseñanza Si bien recientemente se han realizado esfuerzos importantes para desarrollar estándares de enseñanza en México, todavía no se producen resultados visibles y el sistema educativo actual carece de marcos nacionales que definan estándares para la profesión docente. En consecuencia, en este momento, no existe una declaración o perfil claro y conciso de lo que se espera que los maestros sepan y puedan hacer. A nivel nacional, no existe un criterio uniforme de desempeño o marco de referencia contra el cual se pueda evaluar a los docentes. Es esencial contar con estándares profesionales para guiar cualquier sistema justo y eficaz de evaluación, dada la necesidad de tener una referencia común de lo que cuenta como logro en la enseñanza (OCDE , 2005). La falta de marco debilita la capacidad del sistema para evaluar a los maestros de manera eficaz. Aunque la evaluación de los maestros se realiza en varias formas, para que sea efectiva en todo el sistema sería importante que todos los actores tuvieran un conocimiento compartido de lo que implica la enseñanza de alta calidad y el nivel de desempeño de los docentes más eficientes.

El marco general para la evaluación de los maestros es complejo y está fragmentado La evaluación de los maestros no envía señales claras a los maestros La evaluación de los maestros mexicanos, que está formada por una gran variedad de componentes, parece ser compleja y fragmentada. El sistema general de evaluación de los maestros es resultado de la acumulación de programas e iniciativas aisladas que evolucionaron de manera independiente en el tiempo y no forman un todo coherente. De acuerdo con Barrera y Myers (2011), los diferentes componentes fueron implantados para tener control sobre los maestros y por la relación entre el sindicato (SNTE ) y el gobierno, en detrimento de la calidad educativa. La articulación del proceso de evaluación de los maestros “es prácticamente inexistente, lo que genera señales ambiguas que distorsionan la profesión docente ya que introduce numerosas referencias y obliga a los maestros a tomar decisiones sobre su carrera, sin la certeza de lo que el sistema considera un ‘buen maestro’, según lo que nos expresaron. Los maestros no saben a ciencia cierta lo que se espera de ellos y cómo se les apoyará para alcanzar las metas establecidas por cada uno de los componentes del sistema. El hecho es que sin estándares de enseñanza que sirvan como referencia, los instrumentos relacionados con los componentes actuales de la evaluación de los maestros instituyen de facto estándares docentes, ya que ofrecen la única referencia de lo que los maestros deben poder lograr (Barrera y Myers, 2011). Entre los instrumentos de mayor influencia utilizados hasta ahora están ENCHD , ENAMS , el examen que determina la preparación profesional del maestro en el PNCM y, por supuesto, ENLACE . Sin embargo, considerando los múltiples instrumentos y componentes de la evaluación, los docentes no reciben señales consistentes y claras sobre lo que deberían estar haciendo para ser un “buen maestro”.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

120 – 4. LA EVALUACIÓN DE LOS MAESTROS

Existen brechas en el marco de la evaluación de los maestros A pesar de su complejidad y de abarcar varios aspectos, el marco de evaluación de los maestros en México tiene varias brechas. Una brecha importante es que, una vez que el maestro está ejerciendo su profesión, la evaluación no es obligatoria; por lo tanto, una gran proporción de maestros no se somete a una evaluación del desempeño (en la actualidad se está manejando con la Evaluación Universal). Además, la evaluación del maestro en servicio que prefiere permanecer en el aula se limita a esquemas de progreso salarial (PNCM ) y estímulos financieros (Programa de Estímulos a la Calidad Docente). El Escalafón vertical es aplicable únicamente cuando los maestros desean tener acceso a una función administrativa y dejar el aula. Como resultado, no existe una evaluación formal que se enfoque en la mejora del docente y ofrezca retroalimentación para mejorar sus prácticas (véase más adelante). Los ENAMS tienen esencialmente una función formativa, pero es voluntario y la retroalimentación que puede ofrecer a los maestros es limitada. A nivel escolar también se realiza la retroalimentación informal para la mejora (a través de la gestión escolar y los supervisores), pero no se cuenta con una validación formal externa de tales prácticas. Cabe hacer notar que, por lo general, no existe un periodo de prueba para los maestros que ingresan a la profesión (incluso si la plaza definitiva se otorgó únicamente en el sexto mes siguiente al acceso al puesto; si bien algunos estados están incluyendo periodos de prueba). En consecuencia, el sistema escolar no cuenta con mecanismos para identificar a los recién ingresados que luchan por tener un buen desempeño en el trabajo o para descubrir que no cumple sus expectativas. A esto se añade la falta de procesos de inducción para los nuevos docentes como apoyo a su ingreso a la profesión. En términos más amplios, se carece de un sistema de certificación / otorgamiento de licencia para confirmar que los docentes se ajustan a la profesión. En otras palabras se requiere de un proceso que asegure que en la práctica los maestros cumplen con los requisitos mínimos. Por lo tanto, en el sistema mexicano no existe un mecanismo para asegurar que todas las escuelas tienen maestros con cualidades adecuadas, que cumplen los estándares indicados para la práctica docente. El único mecanismo existente es el CNPD , pero se limita al acceso a una plaza definitiva y no tiene como fin certificar a los “buenos” maestros (sino a identificar a los “mejores” candidatos dentro del conjunto de solicitantes).

En el marco de evaluación de los maestros existen algunas duplicidades Existe una duplicidad considerable de trabajo en los diferentes componentes del marco de evaluación de los maestros. Primero, tanto el PNCM como el Programa de Estímulos a la Calidad Docente ofrecen recompensas económicas de manera individual y, en gran parte, utilizando la misma medición (ENLACE ). En consecuencia, se está recompensado a los maestros por los resultados de sus alumnos en ENLACE , mediante dos canales diferentes. No está claro qué está agregando realmente el componente de estímulo individual del Programa Estímulos a la Calidad a lo que el PNCM ya venía haciendo, en términos de motivar a los maestros para que mejoren los resultados de sus alumnos en ENLACE . Segundo, no están claras las diferencias entre el ENAMS y el examen para evaluar la preparación profesional dentro del PNCM , como se han utilizado hasta ahora. Tal parece que estos dos exámenes estandarizados pueden combinarse, lo que de hecho debería materializarse con la introducción de la Evaluación Universal. Por último, incluso si en esta etapa los objetivos del PNCM y de la Evaluación Universal aparentemente son distintos (progreso salarial en comparación con un enfoque formativo), parecería haber un traslape considerable en los instrumentos REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 121

y fuentes de información utilizados para realizar la evaluación docente. Esto también plantea la pregunta de si es pertinente utilizar instrumentos similares cuando estos dos componentes buscan alcanzar objetivos diferentes.

La mejora de la calidad de la enseñanza no está en el centro de la evaluación de los maestros Podría decirse que el área más importante en la evaluación de los maestros es lo que sucede en el lugar donde se realiza el aprendizaje mismo. El no colocar al aprendizaje y la enseñanza en el corazón del proceso de evaluación envía señales ambiguas sobre lo que es importante, y significa que los juicios de evaluación sólo pueden basarse en indicadores de variables como ENLACE y en los resultados de los exámenes estandarizados para los maestros. En México, un reto actual es que la evaluación de los maestros en servicio es predominantemente un mecanismo para otorgar recompensas con base en instrumentos (resultados de ENLACE y exámenes estandarizados para los docentes) que sólo miden indirectamente la calidad de la enseñanza. La evaluación de los maestros, como está concebida actualmente, no hace énfasis en promover la mejora de la enseñanza. Con excepción del ENAMS (el cual se descontinuará en breve), los maestros no reciben retroalimentación ni asesoría para mejorar sus prácticas (véase más adelante). No existe un enfoque suficiente en las estrategias para mejorar la calidad de la enseñanza como consecuencia natural de la evaluación docente. En general, parece que existen pocas consecuencias por una evaluación negativa de los maestros. Esto significa que aún cuando se identifique a los maestros con un desempeño deficiente, existe poca presión o incentivo para que trabajen activamente en su mejora. Además, no existe guía suficiente a partir de los procesos de evaluación de los maestros sobre lo que llevará a la mejora del docente, es decir, faltan estándares de enseñanza claros, los maestros carecen de dirección para mejorar sus prácticas.

No hay garantía de que se evalúe el trabajo de todos los maestros Como se indicó, la evaluación de los maestros en servicio no es obligatoria y sólo la realizan los que están interesados en un progreso salarial (PNCM) y recompensas (Programa de Estímulos a la Calidad Docente). Esto significa que, después del ingreso a la profesión (mediante el ENCHD ), una buena proporción de maestros no han sido sujetos a una evaluación de su trabajo. Por lo tanto, el sistema escolar no está en una buena posición para identificar a los maestros con bajo desempeño y ofrecerles planes de superación profesional, de manera que tengan la oportunidad de conservar sus plazas. Ahora con la introducción de la Evaluación Universal esto está cambiando. Se trata de un desarrollo muy positivo que asegura que todos los maestros del sistema escolar se sometan a evaluaciones de desempeño. Actualmente el único mecanismo para garantizar que los maestros reciban cierta retroalimentación consiste en la evaluación no sistemática en las escuelas, que realiza la gestión escolar y los supervisores. Considerando que son responsabilidad de cada uno de los centros educativos, las prácticas de retroalimentación informal varían en todo el sistema. La calidad y el grado de la retroalimentación informal dependen de la capacidad y estilo de liderazgo de los directores y supervisores escolares. En general, no existe un mecanismo que asegure que cada maestro reciba retroalimentación profesional adecuada. En consecuencia, no es posible garantizar que pueda identificarse un desempeño deficiente para manejarse pertinentemente.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

122 – 4. LA EVALUACIÓN DE LOS MAESTROS

Los maestros que son evaluados reciben poca retroalimentación para mejorar su práctica Actualmente, los resultados de la evaluación ofrecen poca guía a los maestros para poder mejorar sus prácticas de enseñanza. La única excepción son los ENAMS que ofrecen un folleto a los maestros evaluados, con un diagnóstico individualizado que explica sus resultados, pero esta práctica será suspendida en 2012. En todos los demás casos —PNCM , Programa de Estímulos, Escalafón vertical— no se proporciona un análisis del desempeño docente en el que se identifique claramente las fortalezas y áreas de aprendizaje que necesitan ser abordadas en el futuro. Como tal, la evaluación de los maestros no conduce a un diálogo profesional en torno a las prácticas de enseñanza y tiene un valor limitado en la información sobre la mejora. Los diferentes componentes carecen de mecanismos como autoevaluación o una interacción con los evaluadores, que puedan alentar una reflexión en las prácticas docentes y una discusión profesional útil de retroalimentación individualizada para informar un plan de desarrollo profesional. Además, los diversos exámenes estandarizados para los maestros son limitados en términos de la retroalimentación que pueden ofrecer sobre las prácticas pedagógicas y didácticas, ya que la naturaleza de los exámenes de opción múltiple no permite una buena cobertura de las competencias didácticas. Los resultados de los alumnos en las evaluaciones estandarizadas (como ENLACE ) pueden identificar a los maestros que no son eficientes o que necesitan más desarrollo profesional, pero no permiten una discriminación justa entre la amplia gama de docentes eficaces ni identifican las actividades de desarrollo profesional que deben establecerse para mejorar su desempeño (Braun, 2005).

La evaluación de los maestros tiene conexiones limitadas con la práctica en el aula, lo que refleja la limitación del instrumento que se utiliza En México, la evaluación de los maestros en servicio se basa en instrumentos, principalmente ENLACE y exámenes estandarizados para los maestros, que son un tanto distantes de las prácticas de aprendizaje y enseñanza en el aula. Debido a que las prácticas docentes y la evidencia del aprendizaje son probablemente las fuentes de información más importantes del desempeño profesional, es conveniente otorgar más atención a la observación en el aula, en el marco de evaluación de los maestros. De igual forma, los procesos de evaluación no provocan que los maestros reflexionen en sus propias prácticas a través de un elemento de autoevaluación, la elaboración de un portafolio que contenga ejemplos de planes de clases, la evaluación de los alumnos y los puntos de vista del maestro sobre la enseñanza y el aprendizaje, por citar algunos ejemplos. Los instrumentos que se utilizan actualmente son limitados en lo referente a la vida escolar cotidiana. Los instrumentos como ENLACE y los exámenes estandarizados no consideran el contexto específico al que se enfrentan los maestros e ignoran los objetivos específicos de las escuelas donde trabajan. Además, la evaluación no es realizada por un evaluador que esté en mejor posición de entender las circunstancias específicas del maestro, por ejemplo alguien de gestión escolar o supervisión, de manera que pueda ofrecer retroalimentación bien informada para que el docente responda mejor a las necesidades locales. En pocas palabras, los instrumentos que se utilizan actualmente carecen de interacción con el mundo real de la escuela-aula. Una explicación al uso de los instrumentos actuales es la meta de alcanzar, tanto como sea posible, “objetividad” y evitar dar peso a las valoraciones subjetivas. Esto se explica por el temor a que la subjetividad o el favoritismo pueda minar la importancia de la evaluación REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 123

de los maestros realizada mediante instrumentos que se basen en juicios individuales por parte de algún evaluador (como la observación en el aula o la valoración de un portafolio). Esto puede entenderse considerando el contexto que enfrentan los actores escolares en México. Otra dificultad es idear estrategias para abarcar el enorme cuerpo docente. Los instrumentos como la observación en el aula y el análisis de portafolios implican un costo considerable. Sin embargo, se necesita introducir gradualmente instrumentos que estén ligados más estrechamente a la práctica en el aula. En este sentido, cabe señalar que se está logrando un buen avance con el piloteo de portafolios de los maestros (que incluyen observaciones en el aula) en el ENCHD , y la consideración del uso de portafolios y observación en el aula en la Evaluación Universal.

Los maestros tienen pocas oportunidades de recibir retroalimentación Los maestros mexicanos tienen pocas oportunidades de retroalimentación profesional. Como se explicó, los procesos de evaluación formal no ofrecen retroalimentación importante sobre la práctica docente. La oportunidad principal para recibir retroalimentación es el diálogo que sostienen con la gestión escolar y los supervisores. Sin embargo, los directores de escuela (o en menor grado, los subdirectores) están abrumados con labores escolares y, en general, parecen no tener tiempo para participar correctamente en la asesoría, supervisión y evaluación de los maestros. Por ejemplo, las observaciones en el aula por parte de los directores parecen ser ocasionales. De igual forma, la interacción con los supervisores tiende a no concentrarse en una revisión completa de las prácticas de enseñanza para cada uno de los maestros (consulte más detalles en el capítulo 5). La retroalimentación por colegas también tiende a limitarse al trabajo desarrollado dentro del Consejo técnico de la escuela y las academias de maestros en las escuelas secundarias. Existen pocos ejemplos de comunidades de prácticas en las escuelas, donde los maestros puedan compartir estrategias, observarse y colaborar en proyectos, con el objeto de aprender unos de otros. En general, existe un enfoque para la mejora en áreas como observaciones en el aula, pláticas con colegas, asesorías o análisis con autocrítica.

El uso de las evaluaciones estandarizadas del alumno en la evaluación docente hace surgir una gama de inquietudes Las calificaciones de las evaluaciones estandarizadas de los alumnos no han sido validadas como una medición del desempeño de los maestros En México, los resultados de ENLACE operan como el instrumento dominante en la evaluación formal de los maestros en servicio. Los incentivos del Programa de Estímulos se basan en ENLACE y tanto en el PNCM como en la Evaluación Universal, ENLACE constituye el 50% de los “resultados” de los docentes. Los resultados del aprendizaje de los alumnos, incluyendo sus resultados en las evaluaciones estandarizadas, son una medida atractiva para valorar el desempeño docente, ya que el objetivo final de la enseñanza es mejorar el aprendizaje de los alumnos. Se supone que el sistema de evaluación docente basado en la evaluación de los resultados de los alumnos refuerza los incentivos para los maestros en cuanto a comprometerse a ayudar a que todos los alumnos cumplan los estándares importantes definidos centralmente y que alcancen las metas dentro del plan de estudios nacional. Según se explicó en el capítulo 3, el alto impacto de ENLACE propicia que los maestros mejoren el logro escolar (en ENLACE ) y aumenta la conciencia de la necesidad de enfocarse en los alumnos con bajo desempeño. Braun (2005) argumenta que considerar las calificaciones de los alumnos es un enfoque prometedor REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

124 – 4. LA EVALUACIÓN DE LOS MAESTROS

por dos motivos: primero, alienta el debate sobre la calidad del maestro hacia el aprendizaje de los alumnos como meta principal de la enseñanza y, segundo, presenta una medida cuantitativa y, por lo tanto, objetiva y equitativa, del desempeño docente. A pesar de ser atractivo utilizar los resultados de las pruebas estandarizadas del alumno como instrumento para evaluar a los maestros, implica varios retos. Primero, el aprendizaje de los alumnos está determinado por varios factores, entre ellos, las habilidades, expectativas, motivación y comportamiento propio del alumno, aunados al apoyo que reciben de sus familias y la influencia de su grupo de compañeros. Además de la calidad de los docentes, existen otros factores, incluyendo la organización de la escuela, los recursos y el ambiente; la estructura y contenido del plan de estudios. El efecto de los maestros es acumulativo, es decir, que en determinado momento el aprendizaje de los alumnos tiene la influencia no sólo de los maestros actuales sino también de los maestros anteriores. Así, los resultados de ENLACE , tal como se utilizan en la evaluación de los maestros, llevan mucho más que el impacto de la evaluación del docente y reflejan, por ejemplo, el impacto de la familia, el aprendizaje anterior o los recursos de la escuela (consulte también OCDE , 2011b). Es evidente que esto otorga una ventaja a determinados maestros, como los que trabajan en las escuelas de ambientes más privilegiados, en comparación con otros docentes para recibir recompensas relacionadas con los procedimientos de evaluación. Sólo el Programa de Estímulos intenta contextualizar los resultados mediante una agrupación de las escuelas (y los maestros relacionados con las mismas) de acuerdo con sus características socioeconómicas. Por lo tanto, esto plantea graves problemas de equidad para los maestros ya que no se separa el impacto real de un docente en los resultados del alumno (es decir, no se mide el valor agregado por cada uno de los maestros). Debido a que hay una amplia gama de factores que afectan los resultados del alumno, identificar la aportación específica de cierto maestro enfrenta varios retos estadísticos (consulte Isoré, 2009, para conocer una disertación más detallada). En este aspecto, el desarrollo de modelos de “valor agregado” representa un avance importante, ya que están diseñados para controlar los resultados previos de cada alumno y, por lo tanto, tienen la posibilidad de identificar la aportación que cada maestro hace a los logros del alumno. Sin embargo, los autores no están convencidos de que la generación actual de modelos de valor agregado sea suficientemente válida y confiable para utilizarla en la evaluación equitativa de la efectividad de cada maestro (consulte Isoré, 2009). Para que los modelos de valor agregado sean más significativos en la evaluación de los maestros requieren enormes cantidades de datos que a menudo son recabados mediante las evaluaciones estandarizadas de los alumnos, de gran escala a nivel nacional, en todos los niveles de educación y materias. Actualmente el uso de los resultados de los alumnos como un instrumento de evaluación es, probablemente, más importante para la evaluación de todas las escuelas que para evaluar el desempeño de cada maestro (como se sugiere en OCDE , 2011b). Como concluye Darling-Hammond (2012), “Me he dado cuenta que estas medidas (‘métodos de valor agregado’ para evaluar la efectividad del maestro), aunque de valor para los estudios a gran escala, son seriamente deficientes para evaluar a los maestros de manera individual, y que la rigurosa evaluación continua realizada por expertos en la enseñanza sirve mejor a todos”. Ella indica también que las revisiones por parte del Consejo Nacional de Investigación (2009), RAND Corporation (McCaffrey et al., 2003) y el Servicio de Pruebas de la Educación (Braun, 2005) han concluido que las estimaciones del valor agregado de la eficacia del docente no deben utilizarse para tomar decisiones de alto impacto en relación con los maestros. Segundo, las evaluaciones estandarizadas que se utilizan para diferenciar a los alumnos no están diseñadas específicamente con la finalidad de evaluar a los maestros. Goe (2007) sugiere que las evaluaciones estandarizadas de los alumnos no fueron creadas para ser especialmente REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 125

sensibles a variaciones pequeñas en la instrucción ni para clasificar las aportaciones del docente al aprendizaje de los alumnos. Por lo tanto, no ofrecen una base sólida sobre la cual responsabilizar a los maestros por su desempeño. Tercero, el impacto de la enseñanza en los alumnos no se limita a las áreas evaluadas por medio de las pruebas estandarizadas del alumno, limitadas generalmente a lectura y matemáticas, sino que también incluye la transferencia de habilidades psicológicas, cívicas y de aprendizaje para la vida (Margo et al., 2008). En México no se han validado las calificaciones de la evaluación estandarizada de los alumnos como una medida del desempeño de los maestros. Hasta donde llega el conocimiento del Equipo de Revisión de la OCDE , no se cuenta con estudios sobre la sensibilidad de instrucción de ENLACE (es decir, que las calificaciones de ENLACE reflejen la calidad de la instrucción). Esto se suma a la limitante de utilizar las calificaciones de ENLACE para formar juicios sobre el desempeño individual de cada maestro y el hecho que ENLACE no mida todo el conjunto de competencias que reflejan el impacto de un maestro. Como resultado de estas limitaciones, no es sorprendente que los resultados de las evaluaciones estandarizadas de los alumnos no se utilicen comúnmente como fuentes directas de evidencia para la evaluación de los maestros en otros países (OCDE , 2005; UNESCO , 2007). En realidad, México es el único país del área que utiliza las calificaciones de los alumnos en las evaluaciones estandarizadas para valorar individualmente a los maestros. Sin embargo, es importante enfatizar que la evidencia del avance en el aprendizaje de los alumnos es una fuente crucial de información para la evaluación de los maestros. Considerando las dificultades para tomar en cuenta más técnicamente las calificaciones de la evaluación de los alumnos, existen otras formas para considerarlas en la evaluación docente utilizando un análisis cualitativo contextualizado de dichas calificaciones o solicitando a los maestros que proporcionen evidencia del avance de los alumnos en los portafolios.

El uso de las evaluaciones estandarizadas de los alumnos para valorar a los maestros de manera individual tiene posibles efectos no deseados La experiencia en el extranjero (especialmente en los Estados Unidos) ha demostrado que hay efectos no deseados cuando se utiliza la calificación de la evaluación estandarizada de los alumnos para la evaluación de los maestros (o, de hecho, para la evaluación de las escuelas), pudiendo ocasionar respuestas estratégicas por parte de los maestros y escuelas, como: (i) que los docentes se enfoquen únicamente a los resultados de aprendizaje de la evaluación estandarizada, en lugar de abarcar toda la gama de competencias del plan de estudios (“enseñar para la prueba” y “acortar el plan de estudios”); (ii) que los maestros ignoren la importancia de los resultados del aprendizaje en la transversalidad curricular; (iii) que se desvíe el tiempo invertido en el plan de estudios regular para realizar una preparación especial con vistas a la evaluación con la dificultad adicional de que la enseñanza de habilidades que se presentan en una prueba puede elevar los puntajes pero sin aumentar el dominio de los alumnos en una gama más amplia de conocimientos (Stecher, 2002); (iv) Preventivamente retener estudiantes e incrementar la inscripción de aquellos con bajo desempeño en programas de educación especial, que están fuera del sistema de evaluación estandarizada; (v) que los maestros y escuelas promuevan que sólo los alumnos más capaces estén presentes cuando se realiza la evaluación; (vi) que haya efectos no deseados en las evaluaciones basadas en el maestro y en el compromiso de los alumnos en labores curriculares enriquecedoras por medio de las cuales los maestros pueden entender el verdadero aprendizaje de los alumnos; y (vii) que el maestro haga trampa en cuanto a la ayuda que puede proporcionar a los alumnos durante la evaluación (consulte Morris (2011) y Rosenkvist (2010) para más detalles). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

126 – 4. LA EVALUACIÓN DE LOS MAESTROS

Según se describe en el capítulo 3, el Equipo de Revisión de la OCDE observó en las escuelas visitadas que enseñar para la prueba era una práctica común, que se fomenta que los maestros pidan a los alumnos de bajo desempeño que no asistan a la escuela el día que se administra la prueba ENLACE y que los maestros ayuden a sus alumnos a realizar la evaluación (como se describe en Barrera y Myers, 2011). Esto no es sorprendente, ya que la asignación de incentivos económicos, que se suman al salario de los docentes, están vinculados a los puntajes de sus alumnos en ENLACE . En su estudio de las oportunidades para utilizar ENLACE en los esquemas de estímulos para los maestros, Zúñiga Molina y Gaviria (2010) enfatizan la importancia de dedicar más recursos para asegurar la integridad de la aplicación de ENLACE , ya que sus consecuencias son cada vez más importantes para los maestros (en un contexto donde existe evidencia de importantes niveles de trampa en la prueba). El enfoque desproporcionado en ENLACE también corre el riesgo de que se convierta en el plan de estudios nacional (especialmente en la educación primaria), siendo que la prueba sólo mide los logros en un subgrupo de objetivos de aprendizaje en español y matemáticas. Este reducido efecto se debe a que ENLACE consiste en preguntas de opción múltiple que se califican automáticamente, limitando el rango de competencias valoradas. Por último, el enfoque de evaluar a los maestros con las pruebas estandarizadas de los alumnos también puede ocasionar que se responsabilice a los docentes de todo el desempeño del alumno, siendo que debería reconocerse que la enseñanza exitosa es una responsabilidad compartida entre gobiernos, escuelas y maestros (Ingvarson et al., 2007). Como se indica en OCDE (2011b), “Hacer que todos los actores que participan en el sistema educativo de México sean responsables de la mejora del desempeño de todos los alumnos en todas las escuelas, envía un mensaje claro y ofrece un camino para alinear los esfuerzos y los recursos.”

La evaluación de los maestros no ofrece las mismas oportunidades a todos los docentes Los procesos actuales para la evaluación de los maestros en servicio no ofrecen a los maestros oportunidades equitativas para que aseguren las recompensas correspondientes. Por los motivos antes explicados, evaluar a los maestros utilizando los resultados de ENLACE pone en desventaja considerable a los docentes que trabajan en circunstancias más difíciles, por ejemplo, aquellos que están en localidades remotas, en escuelas indígenas, en telesecundarias y en planteles con una alta proporción de alumnos en desventaja social. Como resultado, los procesos actuales de evaluación para los maestros en servicio difícilmente reconocen el buen desempeño docente en las escuelas que enfrentan circunstancias difíciles. Una posible excepción es el componente de recompensa colectiva del Programa de Estímulos, ya que éste toma en cuenta el avance en los resultados de ENLACE (además de los resultados absolutos de la prueba). Lo anterior puede tener efectos no deseados, por ejemplo que los maestros busquen escuelas más aventajadas para estar en mejor posición de obtener calificaciones altas en ENLACE (Barrera y Myers, 2011). Asimismo, los procesos de evaluación de los maestros están más adaptados a los maestros “cubiertos” por las evaluaciones de ENLACE , es decir, todos los maestros de tercero a sexto grado de primaria y los de secundaria que imparten materias evaluadas por ENLACE . Esto es particularmente visible en el componente de recompensa individual del Programa de Estímulos, que excluye a todos los demás maestros, exceptuando a los de educación preescolar y educación especial. Es evidente que es injusto excluir a algunos maestros del sistema de recompensas. Además, se debe hacer notar que las oportunidades para tener acceso a una plaza docente definitiva mediante la aprobación del ENCHD no están distribuidas de manera equitativa, ya que el umbral para tener acceso varía considerablemente entre los estados. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 127

Otra inquietud está relacionada con la introducción de las actividades co-curriculares de los maestros como un elemento del PNCM . Este es un esfuerzo importante para vincular el trabajo docente con las actividades de las escuelas y asegurar una mayor colaboración con las comunidades de su entorno. Un reto que surge de esta iniciativa es asegurar que las actividades extras no alejen al docente de su función pedagógica principal, en especial si tales actividades tienen poca relación con la función profesional de los maestros. Otro reto importante es asegurar que los docentes tengan la misma oportunidad para emprender actividades co-curriculares. Para los maestros con más de una plaza (por ejemplo matutina y vespertina) o que enseñan por hora en diferentes escuelas, puede ser más difícil participar en actividades co-curriculares. Por último, es importante garantizar que la participación en actividades cocurriculares no implique trabajar más allá del horario de trabajo con pago estipulado.

La evaluación de los maestros no está incluida en una estructura claramente definida en la trayectoria docente En México, no existe una trayectoria profesional para los maestros eficaces. La promoción mediante el Escalafón vertical consiste únicamente en ascender a una función de gestión escolar que requiere que el maestro deje el aula. A su vez, el PNCM consiste primordialmente en un mayor salario que no conlleva una mayor responsabilidad ni más funciones dentro de la escuela. Por lo tanto, dentro de una función de enseñanza existen pocas oportunidades de promoción, de mayor reconocimiento y de más responsabilidad. No existen pasos en la trayectoria profesional docente (por ejemplo, maestro principiante, titular de aula, profesor con experiencia) que puedan permitir una mejor coincidencia entre las competencias docentes y las habilidades y trabajos a realizar en las escuelas. Es probable que esto mine el vínculo potencial entre la evaluación de los docentes y el desarrollo de su trayectoria profesional.

Faltan vínculos entre la evaluación de los maestros, la trayectoria profesional y el desarrollo escolar Si bien se reconoce la importancia de la trayectoria profesional en las políticas educativas nacionales, parece que la oferta de desarrollo profesional no está lo suficientemente planeada, sino fragmentada y desvinculada de la evaluación de los maestros. Varios de los docentes entrevistados por el Equipo de Revisión de la OCDE criticaron las oportunidades de desarrollo profesional, que al parecer no responden a las necesidades prioritarias del sistema. De acuerdo con TALIS , solamente 27.2% de los maestros de educación secundaria reportaron que la evaluación y/o retroalimentación que reciben conduce a un cambio moderado o grande en las actividades para el desarrollo profesional (Novena cifra más alta, en comparación con el promedio de TALIS de 23.7%). En la mayoría de los casos, la identificación de las necesidades de desarrollo profesional no es un requisito de las prácticas establecidas para la evaluación de los maestros. En México, no hay medios consistentes para fundamentar las necesidades de desarrollo en una evaluación integral de la práctica docente. Sin un vínculo claro con las oportunidades de desarrollo profesional, el proceso de evaluación no es suficiente para mejorar el desempeño del maestro y a menudo se convierte en un ejercicio poco significativo que provoca falta de confianza y apatía en el mejor de los casos, por parte de los docentes evaluados (Danielson, 2001); Milanowski y Kimball, 2003; Margo et al., 2008). También existe el enfoque para mejorar el vínculo entre la trayectoria profesional docente y el desarrollo y mejora de la escuela. En México, el desarrollo profesional es predominantemente REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

128 – 4. LA EVALUACIÓN DE LOS MAESTROS

una opción de cada maestro y no está relacionado de manera sistemática con las necesidades de desarrollo de la escuela. Los docentes participan en actividades de desarrollo profesional con base en sus propias necesidades, a menudo motivados por los puntos adicionales que pueden obtener para el PNCM . Rara vez parece haber un diálogo con otros maestros, el director o los supervisores, en cuanto al curso que mejor se ajusta a las necesidades del docente y de la escuela. Los directores de escuela entrevistados por el Equipo de Revisión de la OCDE casi no siguen las actividades de desarrollo profesional de los maestros, y el grado de planeación estratégica para la superación profesional parece ser limitado. Se observó poca evidencia de desarrollo profesional centrado en la escuela, que pudiera dar realce a la comunidad de aprendizaje dentro de la escuela. El débil vínculo entre la evaluación de los maestros, la superación profesional docente y el desarrollo de la escuela se debe en parte al tiempo limitado que los directivos y supervisores invierten en el liderazgo pedagógico.

El liderazgo escolar desempeña una función limitada en la evaluación de los maestros, lo que refleja la ausencia relativa de tradición en el liderazgo educativo en las escuelas En México, la evaluación de los maestros no ofrece a los directores, las herramientas para ser líderes en la parte crucial de su escuela: la enseñanza y el aprendizaje. Actualmente, los directores no desempeñan función alguna en la evaluación formal de los maestros en servicio. Sólo participan en el Escalafón vertical evaluando la aptitud, disciplina y puntualidad de los candidatos a puestos de gestión escolar. Es evidente que el sistema de evaluación de los maestros no está diseñado de manera que fomente el liderazgo pedagógico en los directores. Las prácticas de liderazgo educativo aún son limitadas en la mayoría de las escuelas. Previo al desempeño de funciones directivas, no existe una formación obligatoria sobre liderazgo escolar y, durante el servicio, aun con el incentivo del sistema de promoción vertical (Escalafón) y el PNCM , el desarrollo profesional en liderazgo escolar parece tener poca importancia en la práctica (OCDE , 2010). Como lo indica OCDE (2010) “Existen retos reales en términos de desarrollo de la capacidad de liderazgo, necesaria para asegurar el avance escolar. Esto se debe a la falta de inversión para garantizar una preparación eficaz, la selección de directores o la aclaración de las funciones que se espera que desempeñen combinando labores administrativas y pedagógicas”. La mayoría de los directores no ha tenido capacitación profesional en la evaluación de los maestros ni en los métodos de retroalimentación, lo cual reduce su deseo y capacidad para participar en la observación y guía de sus maestros. Además, el Equipo de Revisión de la OCDE observó poca evidencia de directores que utilicen los resultados de la evaluación docente para planear el desarrollo profesional de los maestros dentro de la escuela. Los directores escolares invierten la mayor parte de su tiempo en labores administrativas y existe poca distribución de funciones de liderazgo en la escuela (consulte el análisis detallado en el capítulo 5). La poca influencia de los directivos escolares en el liderazgo educativo también surge porque las escuelas y directores no pueden seleccionar a su propio personal de enseñanza. Más aún, la transparencia en la selección de directores continúa sin garantizarse. Los directores no tienen que pasar por un concurso nacional para obtener una plaza (como el ENCHD ) y su designación pudiera ser resultado de influencias políticas o laborales. La limitada preparación de los directivos escolares para el liderazgo pedagógico, al igual que el temor de favoritismo, conlleva a que los otros actores escolares no consideren a los directivos como posibles evaluadores con credibilidad para la evaluación de los maestros.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 129

Existe participación limitada de las autoridades educativas estatales en la evaluación de los maestros Las autoridades educativas estatales y sus estructuras de supervisión no desempeñan una función visible en la evaluación formal de los maestros en servicio. Las excepciones son las responsabilidades de la supervisión en las evaluaciones de aptitud, disciplina y puntualidad en el sistema de promoción vertical (Escalafón) y la función que desempeñan los estados en el diseño y organización del Concurso Nacional para el Otorgamiento de Plazas Docentes. Esto es sorprendente a la luz del hecho que las autoridades educativas estatales son los empleadores de los maestros. Lo anterior se traduce en una separación inadecuada entre la administración del cuerpo docente (por las autoridades educativas estatales) y el sistema para su evaluación y estímulos (por las autoridades federales de educación). Además, es debatible que esas estructuras cercanas a la escuela y responsables de su apoyo (por ejemplo, el desarrollo profesional) no desempeñen una función en el sistema de evaluación formal de los maestros.

No se han establecido los vínculos entre la evaluación de los maestros en la escuela (informal) y la evaluación docente administrada por las autoridades federales; tampoco existe articulación entre la evaluación de los maestros y la evaluación de las escuelas Si bien en la mayoría de las escuelas se lleva a cabo cierta evaluación informal, estos procesos no tienen relación con la evaluación formal de los maestros en servicio organizada centralmente. Por ejemplo, los sistemas de evaluación formal de docentes podrían tomar en cuenta las evaluaciones cualitativas realizadas informalmente en la escuela, especialmente por medio de la participación del director en los procesos de evaluación formal. Además, debido a que no existen estándares de enseñanza para guiar la evaluación de los maestros, la evaluación informal en la escuela y la evaluación formal no están necesariamente alineadas en términos de lo que transmiten como atributos y prácticas importantes para los maestros. Además, el que no haya procesos bien establecidos para la evaluación de las escuelas evita cualquier articulación entre dicha evaluación y la evaluación de los maestros. Esto excluye el desarrollo de procesos externos para la evaluación de las escuelas que validen las prácticas internas de evaluación docente, enfatizando la centralidad de la evaluación de la calidad de la enseñanza en toda la escuela por medio de la evaluación escolar y utilizando los resultados de la evaluación de los maestros para informar la autoevaluación y el desarrollo de la escuela.

El sistema de incentivos basado en recompensas económicas implica riesgos La evaluación del desempeño de los maestros constituye una oportunidad para reconocer y recompensar las competencias y el desempeño docente, lo cual es esencial para poder retener a los maestros eficaces en las escuelas y para lograr que la carrera docente sea una opción atractiva (OCDE , 2005). En México, la evaluación de los docentes se utiliza ampliamente para asignar recompensas económicas (por medio del PNCM o del Programa de Estímulos). Históricamente este enfoque ha servido para compensar los bajos salarios de los maestros mexicanos, lo que ha sido visto de manera positiva, a pesar de algunas inquietudes importantes de equidad (como se explicó antes). Los problemas en torno al desarrollo de una relación más estrecha entre el desempeño docente y la recompensa están sujetos a controversia en todos los países; la investigación REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

130 – 4. LA EVALUACIÓN DE LOS MAESTROS

en este campo es difícil y ha creado resultados combinados. Parece haber un acuerdo en que el diseño y la implementación de las recompensas basadas en el desempeño son cruciales para su éxito. Como se explica en Harvey-Beavis (2003), existe un consenso en que los intentos anteriores por introducir programas de recompensas basados en el desempeño fueron diseñados e implementados de manera deficiente. Los problemas para desarrollar indicadores justos y confiables, y capacitar a los evaluadores para que los apliquen, han minado los intentos para operar los programas (Storey, 2000). Un problema que se ha identificado es la poca claridad debido al gran número de criterios que limitan el conocimiento del programa por parte de los docentes y dificultan la implementación (Richardson, 1999). Puede resultar difícil articular la explicación de cómo y sobre qué criterios se evalúan a los maestros. Cuando esto sucede, es casi imposible dar retroalimentación constructiva y mantener el apoyo al maestro para el programa (Chamberlin et al., 2002). En general se acepta mejor el enfoque de las recompensas con base en el reconocimiento grupal (OCDE , 2005). Existe también un amplio consenso en la literatura en contra del uso de la evaluación de las calificaciones de los alumnos (como en ENLACE ) para establecer vínculos con el pago del docente, ya que esto conlleva un riesgo significativo de castigar o recompensar a los maestros por resultados que están fuera de su control (Kane y Staiger, 2002; McCaffrey et al., 2003; Braun, 2005; Ingvarson et al., 2007).

Recomendaciones de política educativa Las recomendaciones que se desarrollan más adelante tienen como base las fortalezas y retos antes descritos, la evidencia internacional de las mejores prácticas, el conocimiento adquirido dentro de la revisión de la OCDE sobre los marcos de evaluación, y el extenso trabajo realizado como parte del Acuerdo de Cooperación México-OCDE para “Mejorar la Calidad de la Educación en las Escuelas en México” (2008-2010).

Consolidar la evaluación de los maestros: con base en lo que se ha logrado y avanzado, con una visión a mediano plazo Es necesario autenticar la evaluación de los maestros, con lo cual queremos decir que para establecer un sistema de educación de alto desempeño es fundamental una evaluación exacta de la eficacia de la enseñanza, de sus fortalezas y áreas de desarrollo, seguida por retroalimentación, asesoría, apoyo y oportunidades de desarrollo profesional. También es esencial, reconocer y recompensar el trabajo de los docentes. Promover la evaluación de los maestros es claramente el interés nacional, al igual que atender a los alumnos, sus familias y comunidades. México ha realizado esfuerzos importantes para implementar la evaluación de los maestros y desarrollar una cultura de evaluación entre la fuerza de trabajo docente. Colocar la evaluación de los maestros en el centro de las reformas escolares alcanzó un gran consenso entre la profesión docente, lo que confiere a la evaluación una importancia invaluable. Si bien el desarrollo de la evaluación docente está en una etapa temprana y sólo ha tenido éxito de manera parcial, es importante no perder lo que se ha ganado. Como se explicó, en México la evaluación de los maestros en servicio se ha utilizado para la asignación de recompensas económicas o estímulos; sin embargo, todavía no abarca a todos los docentes y da una marcada importancia a los resultados de ENLACE . Este enfoque REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 131

tiene la ventaja de acrecentar entre los maestros la importancia de centrarse en los resultados de los alumnos. Sin embargo, se debe dar la adecuada atención a la función de desarrollo (o mejora) de la evaluación docente en la que se utilizan los resultados de las evaluaciones para informar el desarrollo profesional de los maestros y fomentar el diálogo entre los actores escolares en torno a las prácticas docentes. Existen señales alentadoras en la iniciativa actual de la Evaluación Universal ya que se pretende seguir por ese camino. Lo prioritario es incluir la evaluación de los maestros como una parte continua e indispensable de la profesionalización docente. A mediano plazo, la perspectiva de una evaluación docente que prometa un mayor efecto sostenido en el aprendizaje de los alumnos será aquella en la que el maestro se comprometa a una práctica de reflexión, estudie sus propias prácticas y comparta su experiencia con sus colegas como parte rutinaria de la vida profesional. Como lo expresó la OCDE (2012) “el tipo de enseñanza que se necesita ahora requiere que los docentes sean trabajadores con un alto nivel de conocimientos, que constantemente avancen en su propia trayectoria profesional y en la comprensión de su profesión”. Reconociendo los logros obtenidos a la fecha, que incluyen la Evaluación Universal que contempla evaluar a todos los maestros y propone un nuevo énfasis formativo en la evaluación de docente, en esta sección se propone una visión a mediano/ largo plazo de la evaluación para México. El enfoque desarrollado hasta ahora sienta las bases para un mayor desarrollo aprovechando la experiencia adquirida. Sin embargo, desde nuestra perspectiva, es necesario hacer algunos ajustes para que fructifique una evaluación significativa de los maestros, con una orientación considerable en su función de desarrollo. Se propone el siguiente enfoque: • Implementar estándares de enseñanza que guíen la evaluación y el desarrollo de los maestros. • Establecer un organismo independiente que regule la profesión docente. • Reforzar la mejora de la evaluación de los maestros con la inclusión de un componente dedicado principalmente a la evaluación para el desarrollo, totalmente propio de la escuela, en el que el director del plantel sea el responsable, que se utilice para el manejo interno del desempeño, y que proporcione una evaluación (sólo) de naturaleza cualitativa para sustentar los planes de desarrollo profesional. • Crear una estructura de desarrollo profesional docente con diversas trayectorias, relacionadas con funciones y responsabilidades diferentes. • Establecer la evaluación de los maestros con fines de avance profesional, como un modelo de certificación de competencias para la práctica dentro y a lo largo de las trayectorias profesionales, relacionada con el avance docente y que incluya un periodo de prueba. Hasta cierto grado, este componente conjunta el PNCM , la Evaluación Universal y los principios establecidos en el Escalafón vertical (con una estructura de trayectoria dentro de la enseñanza). • Mantener el Concurso Nacional para el Otorgamiento de Plazas Docentes para el ingreso profesional servicio docente. • Enfocar el Programa de Estímulos a la Calidad Docente a recompensas grupales. • Diversificar los instrumentos utilizados para la evaluación de los maestros y reducir el peso de los resultados de la evaluación estandarizada del alumno. • Asegurar vínculos entre la evaluación del desarrollo y la evaluación del avance profesional. • Asegurar una articulación adecuada entre la evaluación de las escuelas y la evaluación de los maestros. • Crear una estructura de trayectoria independiente para los directivos. En el cuadro 4.5 se ofrece un resumen del enfoque propuesto. A continuación se proporciona sugerencias detalladas y los argumentos correspondientes. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

Todos los docentes permanentes

Avence en la carrera con la misma trayectoria profesional – con aportación al plan de desarrollo

Recompensa a grupos de docentes por resultados de los alumnos

Participación voluntaria de grupos de docentes

Todos los docentes

Examen Nacional de Conocimientos y Habilidades Docentes (ENCHD); portafolios

Estándares de enseñanza (o estándares de enseñanza del graduado); normas educativas; ética Estándares de enseñanza, considerando el contexto escolar (incluyendo el plan escolar)

Estándares de enseñanza, considerando el contexto escolar (incluyendo el plan escolar)

Conjunto de candidatos que compiten por un cierto número de plazas Mayormente externa, con contribución interna y cubriendo el desempeño docente Mayormente externa, con contribución interna y cubriendo el desempeño docente

Una vez al año

Articulación entre la evaluación de las escuelas y la evaluación de los maestros

Administrado centralmente dentro de cada estado con base en los indicadores

Resultados con valor agregado de las evaluaciones estandarizadas del alumno

Interna, cubriendo el desempeño docente

Objetivos de aprendizaje de los alumnos

Autoevaluación; observación en el aula; entrevistas Gestores de línea; con análisis de los colegas superiores; resultados de los gestión escolar alumnos; posiblemente un examen como el ENAMS .

Estándares de enseñanza, plan de desarrollo de la escuela, objetivos escolares

Basado en indicadores a nivel escuela

Una vez al año

Igual que el anterior

Proceso voluntario una vez que el docente cumple los requisitos para acceder a una nueva trayectoria profesional

Cada dos años, durante los cuatro años que siguen al año de prueba, cada cuatro años posteriormente

Una vez terminado el periodo a prueba

Una vez que se ha ingresado a la profesión docente

Frecuencia

Igual que el anterior

Igual que el anterior

Comisión acreditada, organizada por una agencia a nivel estatal, que administre la profesión docente con aportación del supervisor, del director escolar y del mentor de maestros

Comisión acreditada, organizada por una agencia a nivel estatal, que administre la profesión docente con aportación del supervisor, del director escolar y del mentor de maestros

Administrados centralmente a nivel estatal con comisión para organizar el examen y un panel de evaluadores acreditados para evaluar los portafolios.

Evaluadores

Igual que el anterior (pero considerando los estándares de enseñanza para una nueva trayectoria profesional)

Autoevaluación, portafolio, observación en el aula, entrevistas, resultados del alumno, posiblemente un examen como el ENAMS

Autoevaluación, portafolio, observación en el aula, entrevistas

Instrumentos

Referencias y criterios

Naturaleza de la evaluación

Recompensas monetarias (u otros recursos) a las escuelas con mayor aportación al progreso en el aprendizaje de los alumnos

(1) Retroalimentación sobre el desempeño, al igual que sobre la aportación general al desarrollo escolar y establecimiento de un plan de desarrollo profesional; (2) Posible identificación de un bajo desempeño; (3) Valoración cualitativa para informar el progreso en la carrera.

(1) Decisión de si el docente tiene acceso o no a una nueva trayectoria docente; (2) Si los docentes no acceden a la nueva trayectoria profesional, tienen el beneficio de la retroalimentación sobre las competencias que deben mejorar para poder tener acceso a la nueva trayectoria profesional.

(1) Velocidad a la que el docente avanza en la carrera dentro de la misma trayectoria profesional [por ejemplo, si es excelente, avanza dos pasos; si es bueno/ regular, avanza un paso; si es malo no avanza]; (2) En caso de una evaluación deficiente, plan de desarrollo profesional y nueva evaluación al año siguiente; (3) En caso de dos evaluaciones deficientes, retiro de la plaza; (4) Ingreso al plan de desarrollo profesional.

(1) Decisión sobre si el docente obtiene o no la confirmación de la plaza definitiva; (2) Si los maestros no pasan el periodo a prueba deben tener el beneficio de otro intento con un año de inducción adicional a la profesión; (3) Si el maestro no pasa el periodo a prueba por segunda vez, entonces no se confirma la plaza definitiva.

La clasificación de los candidatos en las diferentes plazas docentes define a aquellos que ingresan a la profesión docente.

Consecuencias

La evaluación de las escuelas (tanto la autoevaluación como la evaluación externa) para incluir una evaluación de los mecanismos internos y evaluar la calidad de los docentes y de la enseñanza. La evaluación externa de una escuela debe incluir especialmente una evaluación de los procedimientos de evaluación del desarrollo del maestro de la escuela en un procedimiento de validación formal, dar recomendaciones para la mejora y hacer que el director se responsabilice en caso de considerarse que tales procedimientos son inadecuados. La evaluación de las escuelas debe incluir también una evaluación de la calidad de la enseñanza y del aprendizaje en la escuela. Otra articulación consiste en asegurar que se alimente los resultados de la evaluación de los maestros en la autoevaluación de la escuela. Además, es necesario que la autoevaluación de la escuela haga hincapié en evaluar la idoneidad de los mecanismos tanto para la evaluación del desarrollo interno como para el seguimiento de los resultados de la evaluación con fines de avance profesional.

(Recompensas para grupos de docentes)

Programa de Estímulos

(Guía para la mejora de la práctica)

Mejoras continuas de las prácticas docentes

Docentes voluntariospermanentes para acceder a una nueva trayectoria profesional

Maestros que están iniciando al final de un periodo a prueba de 1 o 2 años

Individuos con cualidades para ser maestro que quieran ingresar a la docencia

Evaluados

Certificación para confirmar el acceso a una plaza definitiva

Concurso para seleccionar candidatos idóneos para ingresar a la profesión docente

Objetivo

Avence en la carrera Acceso a para acceder a una otra trayectoria nueva trayectoria profesional profesional – con aportación al plan de desarrollo

Evaluación para el desarrollo

(Certificando la práctica y el acceso a funciones nuevas)

Dentro Evaluación con de la misma fines de avance trayectoria profesional profesional

(Certificar la idoneidad para la profesión)

Periodo de prueba

(Ingreso a la profesión)

Concurso Nacional para el Otorgamiento de Plazas Docentes

Evaluación

Cuadro 4.5 Un marco para la evaluación de los maestros de México

132 – 4. LA EVALUACIÓN DE LOS MAESTROS

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 133

Establecer estándares de enseñanza que guíen el desarrollo profesional del maestro y su evaluación Deben continuarse los trabajos para elaborar estándares para la profesión docente y de directivos. El proceso lanzado en el 2007 para la elaboración de estos estándares implicó una participación considerable de los principales actores, se puso a prueba en varias escuelas y, por tanto, no debe perderse la experiencia obtenida.

Desarrollo de estándares que definan una enseñanza eficaz y un buen liderazgo México necesita tener una referencia básica de lo que significa una enseñanza y un liderazgo escolar eficaces. Como lo ha explicado la OCDE (OCDE , 2010, 2011a, 2011b; Mancera y Schmelkes, 2010), esto significa establecer un conjunto claro de estándares coherentes para la enseñanza, que indique a los maestros y a la sociedad en conjunto los conocimientos, habilidades y valores que están relacionados con una enseñanza eficaz en las diferentes etapas de una trayectoria profesional docente. Los estándares de la enseñanza (y del liderazgo escolar) deben contener criterios o indicadores de calidad para la práctica docente (y directiva), y deben aplicarse en las evaluaciones individuales de desempeño (consulte también OCDE , 2010). Deben estar fundamentados en el trabajo logrado desde 2007 y enmarcados en el contexto de los objetivos generales de la escuela. Las prácticas y competencias que los maestros (y directivos) requieren para ser eficaces deben reflejar los objetivos del aprendizaje de los alumnos que el sistema escolar desea alcanzar. Es necesario que los estándares de la enseñanza (y del liderazgo escolar) se informen mediante investigación y que expresen la sofisticación y complejidad de lo que se espera que los maestros eficaces sepan y puedan hacer. Asímismo, deben expresar los diferentes niveles de desempeño y responsabilidades que se esperan en las diferentes etapas de la trayectoria docente (y directiva) (más sobre el tema posteriormente). México ha desarrollado estándares de enseñanza mediante la observación de las prácticas docentes en escuelas eficientes. Si bien este enfoque es innovador, quizá no sea suficiente si el objetivo es promover el profesionalismo del maestro, puesto que estos estándares pueden ser demasiado limitantes y específicos (OCDE , 2010; Barrera y Myers, 2011). Barrera y Myers (2011) indican que el conjunto de estándares propuesto puede ser demasiado estrecho en comparación con los modelos de Danielson y Perrenoud, que son más completos; los estándares existentes se enfocan en describir los trabajos y otorgar puntos. También llama la atención el hecho que en México se ha hablado poco sobre el contenido de los estándares. De cualquier manera, este conjunto de estándares podría implementarse como un punto inicial, y adaptarse y enriquecerse gradualmente mediante mecanismos de retroalimentación, con la participación de docentes, expertos en educación, autoridades estatales y organismos a cargo de la evaluación de los maestros. La consulta y validación de los estándares podría emprenderse de la siguiente manera (OCDE , 2011c): • Establecer mecanismos de consulta: un órgano colegiado de actores sociales y académicos puede establecer un proceso para monitorear la implementación más allá de las versiones convenidas al inicio. • Desarrollar una estrategia para la consulta nacional: una variedad de actores en diferentes niveles y de diferentes contextos debe participar en el proceso de consulta para generar conocimientos y apropiación de los estándares en todo el país. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

134 – 4. LA EVALUACIÓN DE LOS MAESTROS

• Asegurar mecanismos de retroalimentación adecuados: después de su implementación, los estándares pueden sujetarse a revisiones periódicas para asegurar que permanezcan alineados con otros elementos del sistema y que sean útiles en la promoción del profesionalismo docente.

Uso de estándares para guiar los elementos clave de la profesión docente (y del liderazgo escolar) Los estándares de enseñanza deben desarrollarse de manera que ofrezcan una base común para guiar los elementos clave de la profesión docente, como la formación inicial, la formación continua, el avance profesional y, por supuesto, la evaluación docente (incluyendo la alineación de sus diferentes componentes). Es evidente que los estándares profesionales bien estructurados y ampliamente soportados para los maestros pueden constituir un mecanismo poderoso para alinear los diversos elementos que implica el desarrollo de las competencias docentes (OCDE , 2005). Lo mismo es aplicable a los estándares para los directivos escolares en relación con el liderazgo escolar.

Socializar los estándares y el sistema de evaluación a fin de que los maestros los incluyan en su práctica normal Otro objetivo es que los maestros entiendan perfectamente estos estándares y el sistema de evaluación. El que los estándares “tengan sentido” para los docentes es esencial para transformar su práctica. Esto facilitará incluir los principios deseados en su trabajo cotidiano en el aula. La socialización de los estándares puede hacerse en varias etapas de la carrera docente (NBRC , 2010): • Durante los cursos de formación inicial docente, de manera que los maestros que están iniciando ya tengan un entendimiento claro de lo que se espera de ellos. • Durante los programas de inducción y tutoría para facilitar la transición entre la educación inicial y la práctica en la escuela (Hobson et al., 2009, en OCDE , 2010). • A los maestros en servicio se les debe dar capacitación sobre el uso de los estándares y sus implicaciones en la práctica en el aula. La formación debe atacar los aspectos que se espera demuestre un maestro eficaz, como: conocimiento, habilidades, actitudes y resultados (Mancera y Schmelkes, 2010).

Establecer un órgano independiente para regir la profesión docente En México la profesión docente es larga y compleja, su gestión no está coordinada y a menudo implica influencias diferentes a las educativas. Se invierten importantes recursos en la evaluación de los maestros como un componente dominante del marco de evaluación. Esta realidad puede ser un llamado a la creación de un órgano independiente a nivel federal que coordine los trabajos de gestión y mejora del personal docente en el país. En el momento de la visita de revisión, el Senado estaba discutiendo una propuesta para crear un “Servicio Profesional para el Docente” (Ortuño, 2011). La discusión de esta iniciativa por los actores pertinentes puede ser un buen punto de inicio para definir las características principales de este órgano independiente. Considerando las complejidades de la profesión docente en México, alcanzar un consenso sobre la naturaleza y configuración de tal órgano puede ser REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 135

todo un reto. Sin embargo, podría considerarse como una meta a mediano plazo con gran posibilidad de avanzar significativamente a la coordinación de la profesión docente, que todas las partes interesadas deben tratar de alcanzar. Dicho órgano podría adoptar este tipo de responsabilidades: • • • •

Desarrollo e implementación de los estándares de enseñanza; Establecimiento de una estructura a nivel nacional de la carrera docente; Creación de un sistema de evaluación de maestros que cubra a todos los docentes del país; Desarrollo de herramientas y lineamientos para las escuelas a fin de establecer la evaluación de los maestros como desarrollo interno; • Apoyo a las autoridades estatales en la administración de su personal docente; y • Uso de desarrollos pertinentes de investigación y asesorías basadas en evidencia para desarrollar políticas docentes. El fundamento principal de este órgano debe ser su capacidad técnica —de manera similar a la del INEE para el sistema global de la educación—. Sus integrantes deben incluir a todos los actores pertinentes, tales como la SEP , las autoridades educativas estatales, el SNTE , representantes de la formación inicial docente, prestadores de desarrollo profesional, expertos académicos, y maestros y directivos distinguidos. Un aspecto especialmente importante es reconocer el papel central de las autoridades educativas estatales en la administración de los maestros y asumir la responsabilidad de los componentes de la evaluación de los maestros basada en la escuela de manera más enfocada a la mejora y el desarrollo (véase más adelante). En otros países existen referencias valiosas. Por ejemplo, España está trabajando actualmente en una iniciativa para impulsar la profesionalización del cuerpo docente, inspirada en un sistema similar para la profesión médica. En Portugal, la Secretaría de Educación estableció en 2007 el Consejo Científico para la Evaluación del Docente a manera de un órgano de consulta para supervisar y monitorear la implementación de la evaluación de los maestros (Santiago et al., 2012). Además, en los países nórdicos como Suecia (por medio de Skolverket) y Finlandia (el Ubildningstyrelsen), existe la tradición de apoyarse en organismos profesionalmente orientados al desarrollo de políticas educativas.

Crear una estructura de carrera docente con diferentes trayectorias y escalafón salarial Hemos notado que la ausencia de oportunidades en la trayectoria de los maestros eficientes mina la función de la evaluación. En México no hay oportunidades para la promoción ni la diversificación de las funciones de los docentes que desean permanecer en el aula. En consecuencia, las escuelas y los maestros podrían recibir el beneficio de una estructura de la carrera docente que incluya, digamos, tres trayectorias profesionales: maestro competente, maestro establecido, y maestro consumado/experto. Las diferentes trayectorias profesionales deben relacionarse con las distintas funciones en las escuelas con determinados niveles de experiencia docente. Por ejemplo, un maestro establecido puede asumir la responsabilidad de tutor de los maestros principiantes y un maestro experto puede tomar la responsabilidad de coordinar el desarrollo profesional en las escuelas. El acceso voluntario a cada una de las trayectorias profesionales debe estar relacionado con procesos formales de evaluación mediante un sistema de certificación del maestro (véase más adelante). Además, cada una de las trayectorias debe organizarse de acuerdo con los pasos que indiquen un claro progreso salarial. A un maestro que quiera permanecer en el aula y no desee asumir nuevas responsabilidades se le debe dar la oportunidad de progresar dentro REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

136 – 4. LA EVALUACIÓN DE LOS MAESTROS

de la trayectoria profesional como “maestro competente”. Tal progreso debe estar regulado por medio de un proceso de certificación docente (véase más adelante). La estructura de la carrera docente debe coincidir con los diferentes niveles de experiencia que se reflejan en los estándares de enseñanza. Esta alineación reflejaría el principio de estímulos para los maestros por alcanzar niveles más altos de experiencia mediante el avance en su trayectoria y reforzaría los vínculos entre las funciones y responsabilidades en las escuelas (según se refleja en las estructuras de la carrera) y los niveles de experiencia necesarios para realizarlos (según se refleja en los estándares de la enseñanza). Es probable que una estructura de la carrera docente que refleje diferentes niveles de experiencia mejore los vínculos entre la evaluación de los maestros, el desarrollo profesional y el avance en la carrera.

Buscar un mayor equilibrio a largo plazo entre las funciones sumativas y formativas de la evaluación de los maestros Incluir la evaluación para el desarrollo y mejora del docente en la práctica normal de la escuela Es necesario dar un mayor énfasis a la evaluación de los maestros con fines de mejora (es decir evaluación para el desarrollo). Considerando que existe el riesgo que la función de mejora se vea obstaculizada por la evaluación de alto impacto de los maestros (adoptar la forma de un proceso de certificación como se sugiere más adelante), proponemos crear un componente dedicado predominantemente a la evaluación para el desarrollo, que sea totalmente interna de la escuela. Como se explica en OCDE (2005), La evaluación informal continua, dirigida a la mejora del maestro debe distinguirse de la evaluación necesaria en las etapas clave de la trayectoria profesional docente, al igual que cuando pasa del “estado de prueba” al de “maestro establecido”, o cuando se solicita una promoción. Tales evaluaciones, que son de naturaleza más sumativa, requieren tener un componente externo sólido y procesos más formales, también ser atractivas para los maestros quienes sienten que no reciben un trato equitativo. Esta evaluación tendría como objetivo principal la mejora continua de las prácticas docentes en la escuela. Sería un proceso interno llevado a cabo por gestores de línea, colegas superiores y la gestión escolar. Los estándares de referencia serían los estándares de enseñanza, pero con indicadores y criterios basados en la escuela. Esta evaluación también debe tomar en cuenta los objetivos y el contexto de la escuela. El resultado principal sería la retroalimentación sobre el desempeño en la enseñanza, que pudiera conducir a un plan para el desarrollo profesional. Puede ser de bajo perfil y bajo costo, e incluir autoevaluación, evaluación entre pares, observación en el aula, conversaciones estructuradas y retroalimentación regular por parte de la gestión escolar y los compañeros con experiencia. También podría utilizarse un instrumento similar al ENAMS para identificar las necesidades de desarrollo profesional de cada uno de los maestros (en una versión mejorada, con trabajos que capten mejor las competencias de instrucción docente). Podrían organizarse una vez al año para cada maestro o con menos frecuencia dependiendo de la evaluación anterior. El aspecto clave es que debe dar como resultado un informe significativo con recomendaciones para el desarrollo profesional. Existen ventajas en hacer que los directivos y/u otros maestros sean los evaluadores para el desarrollo ya que están familiarizados con el contexto en el cual trabajan los maestros, tienen REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 137

conciencia de las necesidades de la escuela y capacidad para dar retroalimentación rápida e informada al maestro. Sin embargo, puede ser difícil que los directores realicen una evaluación profunda de cada maestro de la escuela. Además, la mayoría de los directores (u otros miembros de la gestión escolar) no han tenido formación previa en los métodos de evaluación y quizá no tengan experiencia en el contenido relevante para las áreas de enseñanza del maestro que se están evaluando. Por lo tanto, puede ser valioso crear capacidad en los métodos de evaluación a nivel escolar mediante la preparación de integrantes del grupo de gestión o maestros con experiencia para realizar las funciones específicas de evaluación dentro de la escuela. Para garantizar la aplicación sistemática y articulada de la evaluación para el desarrollo en todas las escuelas mexicanas, sería importante tomar la validación externa de los respectivos procesos de la escuela. Una opción es que los futuros procesos de evaluación de la escuela (como se recomienda en el capítulo 5), en su monitoreo de la calidad de la enseñanza y el aprendizaje, incluyan la auditoría de los procedimientos en lugar de organizar una evaluación del desarrollo, haciendo que el director escolar sea responsable, según se requiera. Las estructuras de supervisión y los organismos estatales responsables de la evaluación de las escuelas podrían desempeñar un importante papel de apoyo para asegurar que las escuelas desarrollen procesos ambiciosos de evaluación para el desarrollo debidamente documentados en los informes de la actividad escolar.

Establecer un sistema de certificación docente para determinar el avance en la carrera, el cual incluya requisitos para el ingreso y un periodo de prueba La función sumativa de la evaluación docente que se lleva a cabo actualmente por medio del PNCM , la Evaluación Universal y los principios del Escalafón vertical (en el sentido de las etapas de la carrera dentro de la enseñanza) podría constituirse en un solo proceso de evaluación de los maestros para fines de avance profesional mediante un proceso de certificación relacionado con la estructura de la carrera docente que se sugirió arriba —con progreso dentro de las trayectorias de la docencia y acceso a distintas trayectorias de carrera—. Esto formalizaría el principio de avance con base en méritos, relacionado con oportunidades en la carrera de los maestros eficientes, con promociones verticales y horizontales. Cada docente permanente en el sistema requeriría sujetarse periódicamente (digamos cada cuatro años) a una evaluación formal para la certificación (o recertificación). El objetivo sería certificar periódicamente a los maestros en cuanto a su idoneidad para la profesión. La evaluación también influiría en la velocidad a la que el maestro avanza dentro de la trayectoria de la carrera (por ejemplo, si es excelente el maestro avanzaría dos pasos salariales al mismo tiempo; si es bueno/ regular, el maestro avanzaría un paso salarial; y si es deficiente, el maestro permanecería en el mismo nivel salarial). De esta manera la evaluación de los maestros determinaría los niveles salariales solamente de manera indirecta por medio del avance en la carrera (en lugar de generar bonos de salario para el maestro). Esta es una opción deseable ya que los vínculos entre el desempeño del maestro y el salario han creado resultados combinados, de acuerdo con la literatura de investigación (Harvey-Beavis, 2003; OCDE , 2005). Dicha evaluación también identificaría el bajo desempeño, por ejemplo, en el caso de una evaluación deficiente se establecería un plan de desarrollo profesional obligatorio y se requeriría una nueva evaluación un año más tarde; y dos evaluaciones consecutivas deficientes implicarían el retiro de la plaza docente. Una vez que los maestros reúnan determinados requisitos (relacionados con la experiencia y el desempeño), podrían además solicitar voluntariamente una evaluación formal para acceder REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

138 – 4. LA EVALUACIÓN DE LOS MAESTROS

a una nueva trayectoria en la carrera (como maestro “establecido” o “consumado/ experto”). Tanto la evaluación para la certificación como el acceso a una nueva trayectoria en la carrera, de naturaleza más sumativa, requerirían un componente externo a la escuela y procesos más formales. Estos procesos podrían ser regidos por una comisión acreditada, organizada por el organismo estatal, que tuviera la responsabilidad de administrar la profesión docente (pudiendo ser el organismo que asume la responsabilidad de la evaluación de las escuelas, como se sugiere en el capítulo 5). Tales comisiones podrían estar formadas por docentes y directivos distinguidos, al igual que por representantes de las autoridades educativas estatales. El director y el supervisor de la escuela correspondiente también deben contribuir a la evaluación de un maestro determinado. La evaluación de los maestros para certificación (o avance en la carrera) tendría como objetivos principales responsabilizar a los maestros de su práctica, determinar el avance en la carrera y sustentar el plan de desarrollo profesional del maestro. Este enfoque transmitiría el mensaje que alcanzar estándares de desempeño altos es el camino principal para el avance en la carrera docente. El sistema de evaluación relacionado con el proceso de certificación debe fundamentarse en el marco nacional de estándares de enseñanza. Sin embargo, es importante que la evaluación de los maestros con fines de certificación (o avance en la carrera) considere el contexto escolar, incluyendo los puntos de vista del director y del supervisor escolar. Las escuelas han respondido a diferentes necesidades dependiendo del contexto local y enfrentan circunstancias diferentes, especialmente en un sistema tan diverso y descentralizado como el de México. Por lo tanto, es deseable que cada maestro sea evaluado en relación con los estándares de referencia, con criterios que tomen en cuenta los objetivos y el contexto de su escuela. Como paso inicial en el proceso de certificación debe conservarse y redefinirse el Concurso Nacional para el Otorgamiento de Plazas Docentes. Esta iniciativa es muy positiva y puede ayudar a asegurar cierto control de calidad en los programas de formación inicial docente (en ausencia de un buen sistema de acreditación de la calidad en la educación superior). Para ampliar las recomendaciones anteriores en esta área: • El concurso debe ser aplicable a todas las plazas docentes y debe establecerse un proceso similar para el acceso a las plazas de directores (OCDE , 2010). • El Examen Nacional de Conocimientos y Habilidades Docentes (ENCHD ), actualmente con 80 reactivos, debe hacerse más completo para cubrir las áreas clave que debe dominar un buen candidato. • Se deben usar otros instrumentos como los actuales portafolios propuestos para complementar el ENCHD y ofrecer una visión más completa del potencial de enseñanza de los candidatos. Como segundo paso principal en el proceso de certificación se debe introducir un proceso formal de periodo de prueba para los maestros nuevos, según lo sugirió anteriormente la OCDE (2010). Esto puede dar una oportunidad tanto a los maestros nuevos como a sus empleadores de evaluar si la docencia es la carrera correcta para ellos. La terminación satisfactoria de un periodo de prueba docente, con una duración de uno a dos años, debe ser obligatoria antes de la certificación (en el primer nivel del sistema de certificación como maestro “competente”), dando como resultado la confirmación de la plaza docente definitiva. A los maestros que están comenzando se les debe dar toda oportunidad para que trabajen en un ambiente escolar estable y bien apoyado, y la decisión de la certificación debe estar a cargo de una comisión acreditada que estén bien capacitada y cuente con recursos para evaluar a los nuevos maestros (como se sugirió antes).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 139

Asegurar vínculos entre la evaluación para el desarrollo profesional y la evaluación para avance profesional La evaluación para el desarrollo profesional y la evaluación para la certificación deben estar vinculadas. Un vínculo posible es que la evaluación para la certificación tome en cuenta las evaluaciones cualitativas creadas por medio de la evaluación para el desarrollo, incluyendo las recomendaciones realizadas para las áreas de mejora. La evaluación para el desarrollo debe además tener una función para identificar un bajo rendimiento sostenido. De igual manera, los resultados de las evaluaciones para la certificación pueden también informar el desarrollo profesional de cada docente.

Diversificar los instrumentos que se utilizan para la evaluación de los maestros y reducir el peso de los resultados de la evaluación estandarizada de los alumnos En México, se necesita diversificar los instrumentos utilizados para la evaluación de los maestros y otorgarles mayor importancia para que capten mejor la calidad de las prácticas docentes en el aula. Existe la costumbre de usar los resultados de ENLACE para inferir la calidad de los docentes, pero es necesario complementar esto con recursos que sean más contundentes para sustentar la mejora de las prácticas docentes. Manera y Schmelkes (2009) desarrollaron una propuesta detallada para el sistema de evaluación de los maestros en servicio en México, la cual tiene como base la escuela y el aula (recuadro 4.2). Ellos proponen una variedad de instrumentos para reflejar mejor las actuales prácticas docentes en el aula, como la observación en el aula, el portafolio del maestro, las evidencias del aprendizaje de los alumnos, el establecimiento de objetivos y entrevistas. El Centro Nacional de Recursos del Consejo (NBRC , 2010) también propone varias fuentes de evidencia, como el desempeño en labores auténticas que demuestren el aprendizaje de los contenidos; la presentación de paquetes de evidencia de evaluaciones formativas que muestren patrones de mejora en el alumno, junto con indicadores como asistencia, inscripción a cursos avanzados, índices de graduación, consecución de educación superior y éxito en el lugar de trabajo. La evaluación de los maestros debe basarse firmemente en la observación en el aula. La mayoría de los aspectos clave de la docencia se hacen aparentes cuando los maestros interactúan con sus alumnos en el aula. También debe incluir oportunidades para que los maestros expresen sus puntos de vista sobre el desempeño y reflejar factores personales, de organización e institucionales que afectan su enseñanza, por medio de un instrumento de autoevaluación. Un portafolio también permitiría a los docentes mencionar formas específicas en las que consideran que sus prácticas profesionales están promoviendo el aprendizaje de los alumnos, y podría incluir elementos como planes para la clase y materiales para la enseñanza, muestras de los trabajos de los alumnos y comentarios sobre la evaluación de los alumnos, cuestionarios y hojas de reflexión reportadas por el propio maestro (consulte Isoré, 2009). Debido a la elevada importancia de la evaluación para la certificación, las decisiones deben tomarse con varios tipos de evidencia, realizarse por varios evaluadores independientes e incluir el alcance completo del trabajo del docente. Como se describió antes, los resultados de ENLACE son determinantes como instrumento para la evaluación de los maestros, lo cual ocasiona graves problemas de inequidad entre los maestros y posibles efectos no deseados en las prácticas pedagógicas en las escuelas. El contexto específico de México, que exige que se utilicen medidas “objetivas” al igual que la necesidad de transmitir un mensaje sólido sobre la importancia de los resultados de los alumnos, REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

140 – 4. LA EVALUACIÓN DE LOS MAESTROS

seguirá otorgando a los resultados de ENLACE una función importante en la evaluación de docentes. Sin embargo, a medida que aumenta la capacidad en la escuela y en el estado para la evaluación de los maestros, los resultados de ENLACE podrían tomarse en cuenta de formas más cualitativas como sucede con los análisis de los portafolios, las autoevaluaciones y las entrevistas a los maestros. Es por ello que sugerimos que el peso de los resultados de ENLACE , utilizados de manera “mecánica” para evaluar individualmente a los maestros, se reduzca progresivamente a medida que aumenta la capacidad para el uso de instrumentos más sofisticados, como la observación en el aula o los portafolios. Por supuesto, mientras los resultados de ENLACE se sigan utilizando “mecánicamente” para evaluar individualmente a los maestros, se necesitará una labor urgente de contextualización de los resultados para cada maestro, utilizando técnicas de “valor agregado” que sean factibles a nivel de cada docente (OCDE , 2011b). Los resultados de ENLACE se pueden usar de manera más significativa a nivel agregado de la escuela, especialmente si se utilizan técnicas de “valor agregado” (como se sugiere en OCDE , 2011b). Esto implica conservar el Programa de Estímulos a la Calidad Docente en su componente de estímulo colectivo, especialmente si se utiliza el progreso del alumno (en lugar de sus resultados absolutos en un punto en el tiempo) para medir los méritos de cada escuela. Se recomienda la eliminación del componente de estímulo individual del Programa de Estímulos ya que enfrenta graves problemas de equidad (no todos los docentes pueden participar y los resultados de ENLACE no reflejan la aportación de cada maestro al aprendizaje de los alumnos) y, además, ya se entregan recompensas por los resultados de ENLACE en otros componentes del sistema de evaluación de los maestros.

Vínculos seguros entre la evaluación de los maestros, el desarrollo profesional y la mejora de la escuela Es necesario reforzar los vínculos entre la evaluación de los maestros, el desarrollo profesional y la mejora de la escuela. Es poco probable que la evaluación de los maestros produzca resultados eficaces si no está enlazada correctamente con el desarrollo profesional, el cual a su vez requiere estar relacionado con el desarrollo de la escuela, si se desea que la mejora de las prácticas docentes satisfaga las necesidades de la escuela. Las escuelas que relacionan las necesidades individuales con las prioridades de la escuela, y que trabajan las actividades correspondientes de desarrollo profesional, tienen posibilidades de un buen desempeño (Ofsted, 2006). Las escuelas pueden aprender de las fortalezas de los maestros eficaces e implementar programas de desarrollo profesional que remedien sus debilidades. Esto requerirá de mejoras considerables en la planeación y provisión de desarrollo profesional. Como lo analizó OCDE (2010), México necesita priorizar mejor los tipos más eficaces de desarrollo profesional y coordinar mejor el suministro de programas. En la actualidad, es común que las escuelas no cuenten con recursos suficientes ni capacidad de autonomía para organizar una formación basada en la escuela. Esta barrera se puede superar mediante: • El reforzamiento de las redes de supervisores y Asesores Técnicos Pedagógicos (ATP ) y la guía adicional para que las escuelas y los directores identifiquen las necesidades y encuentren la formación adecuada; y • El fomento de proyectos pilotos de formación basada en la escuela, en algunos estados, y el otorgamiento de licencias a los maestros para que puedan disponer del tiempo suficiente para participar en esta formación.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 141

Asegurar que los estados estén activamente comprometidos en el diseño e implementación de la evaluación de los maestros Un movimiento hacia un mayor énfasis en la mejora (o desarrollo) de la evaluación de los maestros requiere inevitablemente una mayor participación de las estructuras educativas cercanas a las escuelas, que es donde se lleva a cabo el proceso de enseñanza-aprendizaje. Un sistema de evaluación docente administrado centralmente no puede captar las complejidades de dicho proceso ni del contexto en donde se realiza. La retroalimentación con fines de mejora y el reconocimiento de las circunstancias laborales de los maestros requieren la participación de los actores locales. Sin duda, para lo anterior es necesario que las autoridades educativas estatales participen más activamente en los procesos de evaluación de los maestros. Como reflejo de sus responsabilidades en la contratación de los docentes, las autoridades educativas estatales deben tomar la iniciativa de organizar los procesos de evaluación docente. Esto debe llevarse a cabo en el contexto del marco nacional con la guía, el apoyo y la coordinación de las autoridades federales (posiblemente el órgano independiente antes sugerido para administrar la profesión docente en México). Para ello sería necesario establecer una estructura estatal, posiblemente dentro de un organismo que asuma la responsabilidad de evaluar la educación en la entidad (según se recomienda en el capítulo 5) para administrar la profesión docente y la evaluación de los maestros. Esta estructura organizaría comisiones acreditadas que adoptarían la responsabilidad de la evaluación con fines de avance en la carrera y desplegarían la capacidad en la estructura de supervisión, para apoyar a las escuelas en los procesos de evaluación de los maestros. También tendría la responsabilidad de validar externamente la evaluación del desarrollo del maestro, basada en la escuela.

Desarrollar capacidad a nivel local para participar en la evaluación de los maestros y prepararlos para su evaluación El mayor énfasis recomendado en los procedimientos de evaluación de los maestros, con base en instrumentos más cercanos a la práctica en el aula, implica la necesidad de una inversión importante en la capacidad local para guiar los procesos de evaluación. Se requiere un tiempo considerable para explicar el sistema, comunicarlo, crear consenso en el ámbito de la educación en cuanto a los indicadores y estándares que forman la calidad de la escuela o del maestro, preparar y formar evaluadores en términos de metodología, técnicas y enfoques, y proporcionar tiempo y recursos para el desarrollo del instrumento. El enfoque sugerido en la evaluación con fines de avance en la carrera docente requiere que se desarrolle una capacidad considerable en los organismos que manejan la profesión docente en los estados, al igual que capacitación importante para las comisiones acreditadas, a cargo de realizar las evaluaciones. Es necesario dar capacitación específica para esta función a los evaluadores de estas comisiones, en especial sobre los métodos basados en estándares para evaluar la evidencia del desempeño docente, y se requeriría que estuvieran acreditados por la organización pertinente (es decir el organismo estatal que administra la profesión docente). El éxito de la evaluación de los docentes dependerá en gran medida de la capacitación profunda de los evaluadores. La experiencia de otros países sugiere que los evaluadores deben tener una gama de características y competencias, que incluyen: (i) antecedentes en la docencia; (ii) conocimiento de las teorías y metodologías de evaluación educativa; (iii) comprensión de los conceptos de calidad en la enseñanza; (iv) familiarización con los sistemas y procedimientos del aseguramiento de la calidad educativa y escolar, incluyendo la función de la calidad REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

142 – 4. LA EVALUACIÓN DE LOS MAESTROS

de la enseñanza en la calidad de la escuela, y la función de la calidad de la enseñanza en el desarrollo profesional; (v) conocimiento sobre del desarrollo del instrumento, incluyendo la confiabilidad y validez de la observación y de otras herramientas de evaluación; (vi) comprensión de los aspectos psicológicos de la evaluación; (vii) experiencia en la clasificación cuantitativa de una evaluación; y (vii) dominio de la comunicación relacionada con la evaluación y habilidad para dar retroalimentación. Los evaluadores para el avance en la carrera deben, en especial, estar altamente calificados en todas estas áreas. Se debe capacitar a los evaluadores para que ofrezcan retroalimentación constructiva al docente con la finalidad de incrementar la mejora en la práctica. Esto es especialmente importante en el caso de los directivos y supervisores escolares como responsables de la evaluación del desarrollo del docente. Una capacitación que se ofrezca a los directivos y supervisores escolares podría enfocarse al desarrollo de los recursos humanos y el aseguramiento de la calidad escolar, incluyendo la autoevaluación de la escuela. Esto incluiría el manejo de personal con aspectos de interacción estructurada entre los maestros, establecimiento de objetivos, vinculación de los objetivos de la escuela con los planes de desarrollo del personal y retroalimentación. Además, deben ofrecerse actividades sustanciales para el desarrollo profesional docente sobre cómo utilizar mejor los procesos de evaluación. Es de vital importancia apoyar a los maestros para que comprendan los procedimientos de evaluación y aprovechen los resultados de la misma. También se espera que la evaluación y la retroalimentación se conviertan en los aspectos centrales ofrecidos en la formación inicial docente.

Crear capacidad pedagógica y de liderazgo, y dar a los directivos una función en la evaluación de los maestros Una operación eficaz de la evaluación docente y su aportación al desarrollo escolar dependerá en gran medida del liderazgo pedagógico de los directores escolares. Sin este liderazgo es difícil visualizar la eficacia de la evaluación de los maestros o el desarrollo efectivo de la escuela. Otros sistemas de educación reconocen la importancia creciente del liderazgo escolar en los estándares de nuevo surgimiento, como se sostiene en un informe de la OCDE (Pont et al., 2008). La evaluación de los maestros solamente tendrá éxito con los recientes estándares educativos, si los directores escolares asumen la responsabilidad directa de ejercer liderazgo pedagógico y se ocupan de la calidad de la educación en sus escuelas. Los directores (al igual que otros integrantes del equipo de gestión escolar) tienen más probabilidad de dar retroalimentación continua informal a los docentes, a lo largo del año. De manera más general, son esenciales para hacer de la mejora en el desempeño un imperativo estratégico, en especial si consideramos que la evaluación de los maestros es indispensable para tener políticas docentes y escolares más amplias (Heneman et al., 2007; Robinson, 2007; Pont et al., 2008). Por lo tanto es vital que los directores de escuela (y otros integrantes del equipo de gestión escolar) desempeñen una función en la evaluación de los maestros. Esto se sugirió antes mediante su liderazgo en la evaluación del desarrollo docente, basada en la escuela, y su aportación a la evaluación de los maestros para su progreso en la carrera. El papel central de los directivos implica establecer una carrera bien definida para ellos, independiente de la de los maestros, donde se defina claramente qué es lo que se espera de un director, se fomente la formación inicial en liderazgo, se promueva un proceso transparente de selección y reclutamiento, se organicen programas de inducción, se diseñe un proceso de evaluación (como se recomienda en el capítulo 5), y se garantice una capacitación adecuada durante el servicio. Es necesario incluir más firmemente el concepto de las necesidades de liderazgo compartido en las escuelas para apoyar a los actuales directores, permitiéndoles REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 143

que se concentren en su papel pedagógico, pero también promoviendo el desarrollo de estas habilidades entre los maestros de la escuela (OCDE , 2010). Conectar la evaluación de los maestros con la evaluación de las escuelas El análisis de TALIS (OCDE , 2009) sugiere que la evaluación de las escuelas puede ser un componente esencial de un marco de evaluación que pueda fomentar y posiblemente dar forma a la evaluación y la retroalimentación de los maestros. Considerando que los sistemas de evaluación de las escuelas y de evaluación y retroalimentación de los maestros tienen el objetivo de mantener estándares y mejorar el desempeño de los alumnos, existe la posibilidad de obtener beneficios mayores de las sinergias entre la evaluación de las escuelas y la evaluación de los maestros. Para lograr el mayor impacto, el enfoque de la evaluación escolar debe vincularse con el enfoque de la evaluación docente o tener un efecto en la misma (OCDE , 2009). Esto sugiere que las evaluaciones externas de las escuelas deben incluir el monitoreo de la calidad de la enseñanza y del aprendizaje. Además, como se indicó, la evaluación de las escuelas (junto con las líneas que se sugieren en el capítulo 5) debe incluir la validación externa de los procesos instalados para organizar la evaluación del desarrollo, haciendo que el director escolar rinda cuentas según se requiera. Los vínculos entre la evaluación de las escuelas y la evaluación de los maestros también se beneficiarían de la mejora en las habilidades y competencias para la evaluación entre los estados, principalmente en la estructura de la supervisión y mediante la creación de un organismo para la evaluación. En el contexto de la autoevaluación también es importante asegurar el enfoque en la evaluación de la calidad de la enseñanza y la evaluación individual de los maestros. La calidad de la enseñanza y los resultados en el aprendizaje de los alumnos se consideran predominantemente una responsabilidad de los grupos de maestros o de la escuela en general. En este contexto, es necesario que la autoevaluación de la escuela enfatice la evaluación de la idoneidad de los mecanismos tanto para la evaluación interna del desarrollo como para el seguimiento de los resultados de la evaluación para la certificación (o con fines de avance en la carrera).

Notas 1 La descripción en esta sección considera la revisión más reciente del 2011. 2 El nivel de marginación se mide mediante el índice de marginación de CONAPO (Consejo Nacional de Población). El índice tiene cuatro dimensiones básicas: 1) Educación (analfabetismo, parte de la población sin educación primaria terminada); 2) Vivienda (casa sin los servicios básicos como drenaje, agua entubada, electricidad, piso de concreto o hacinamiento); 3) Distribución de la población (proporción de la población en localidades con menos de 5 000 habitantes) y; 4) Ingreso (proporción de la población con ingresos menores de dos salarios mínimos). Si desea más información consulte CONAPO (2010).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

144 – 4. LA EVALUACIÓN DE LOS MAESTROS

Bibliografía Aguerrondo, I., F. Benavides y B. Pont (2009), School Management and Teacher Professionalisation in Mexico: Context, Challenges and Preliminary Policy Orientations, OECD , París. Barrera, I. y R. Myers (2011), Estándares y evaluación docente en México: El estado del debate, Programa de Promoción de la Reforma Educativa en América Latina y el Caribe / Partnership for Educational Revitalization in the Americas (PREAL ), No. 59, December 2011. Braun, H. (2005), Using Student Progress to Evaluate Teachers: A Primer on Value-Added Models, Educational Testing Service (ETS ). Chamberlin, R., T. Wragg, G. Haynes y C. Wragg (2002), “Performance-related Pay and the Teaching Profession: a Review of the Literature”, Research Papers in Education, 17(1), pp. 31-49. CONAPO (Consejo Nacional de Población) (2010), Índice de marginación por entidad federativa y municipio 2010, CONAPO , México, www.conapo.gob.mx/publicaciones/marginacion2011/ CapitulosPDF/1_4.pdf, accessed 18 March 2012. Danielson, C. (2001), “New Trends in Teacher Evaluation”, Educational Leadership, Vol. 58, No. 5, pp. 12-15. Darling-Hammond, L. (2012), “Value-Added Evaluation Hurts Teaching”, Education Week, published on line 5 March 2012, www.edweek.org/ew/articles/2012/03/05/24darlinghammond_ ep.h31.html?tkn=YWWFF11Lv7Z2uyCoHOXjHA0O1f25UHS2AQjG&cmp=ENL-EUVIEWS1. Goe, L. (2007), The Link Between Teacher Quality and Student Outcomes: A Research Synthesis, National Comprehensive Center for Teacher Quality, 2007. Harvey-Beavis, O. (2003), “Performance-Based Rewards for Teachers: A Literature Review”, paper distributed at the third workshop of participating countries on OECD Activity “Attracting, Developing and Retaining Effective Teachers”, Athens, Greece, 4-5 June, www.oecd.org/edu/teacherpolicy. Heneman, H., A. Milanowski y S. Kimball (2007), Teacher Performance Pay: Synthesis of Plans, Research, and Guidelines for Practice, Consortium for Policy Research in Education (CPRE ) Policy Briefs RB-46. Hobson, A.J. (2009), “On Being Bottom of the Pecking Order: Beginner Teachers’ Perceptions and Experiences of Support”, Teacher Development: An International Journal of Teachers’ Professional Development, Vol. 13, No. 4, pp. 299. Ingvarson, L., E. Kleinhenz y J. Wilkinson (2007), Research on Performance Pay for Teachers, Australian Council for Educational Research (ACER ). Isoré, M. (2009), “Teacher Evaluation: Current Practices in OECD Countries and a Literature Review”, OECD Education Working Papers, No. 23, OECD , París, www.oecd.org/edu/ workingpapers. Kane, T. y D. Staiger (2002), “Volatility in School Test Scores: Implications for Test-Based Accountability Systems”, Brooking Papers on Education Policy, Washington DC . Mancera, C. y S. Schmelkes (2010), “Specific Policy Recommendations on the Development of a Comprehensive In-Service Teacher Evaluation Framework”, Analytical Paper, OECD , París. Margo, J., M. Benton, K. Withers y S. Sodha (2008), Those Who Can?, Institute for Public Policy Research (IPPR ) Publications, 2008. McCaffrey D.F., J.R. Lockwood, D. Koretz y L. Hamilton (2003), Evaluating Value-Added Models for Teacher Accountability, Rand Corporation. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

4. LA EVALUACIÓN DE LOS MAESTROS – 145

Milanowski, A. y S. Kimball (2003), “The Framework-based Teacher Performance Assessment Systems in Cincinnati and Washoe”, CPRE Working Paper Series, TC‑03-07. Morris, A. (2011), “Student Standardised Testing: Current Practices in OECD Countries and a Literature Review”, OECD Education Working Papers, No. 65, OECD , París, www.oecd.org/ edu/workingpapers. National Research Council (2009), Letter Report to the U.S. Department of Education on the Race to the Top Fund, National Academies Press, Washington, D.C. NBRC (National Board Resource Center (2010), A Quality Teacher in Every Classroom: Creating a Teacher Evaluation System that Works for California, National Board Resource Center, Stanford University, http://nbrc.stanford.edu/sites/default/files/ACT-a%20quality%20 teacher%20in%20every%20classroom_0.pdf. Nieto de Pascual Pola, D.M. (2009), Análisis de las Políticas para Maestros de Educación Básica en México, analytical paper commissioned by Universidad Iberoamericana for the OCDE , OECD , París. OCDE (2005), Teachers Matter: Attracting, Developing and Retaining Effective Teachers, OECD , París. OCDE (2009), Creating Effective Teaching and Learning Environments: First Results from TALIS , OECD , París, www.oecd.org/edu/talis. OCDE (2010), Improving Schools: Strategies for Action in Mexico, OECD , París. OCDE (2011a), Progress with Educational Reform in Basic Education in Mexico. An OECD Perspective, advance version, OECD , París. OCDE (2011b), Establishing a Framework for Evaluation and Teacher Incentives: Considerations for Mexico, OECD , París. OCDE (2011c), Reviews of National Policies for Education: Improving Lower Secondary Schools in Norway, OECD , París. OCDE (2012), Preparing Teachers and Developing School Leaders for the 21st Century: Lessons from around the World, edited by A. Schleicher, OECD , París. Ofsted (Office for Standards in Education) (2006), The Logical Chain: Continuing Professional Development in Effective Schools, OFSTED Publications No. 2639, United Kingdom. Ortiz Jiménez, M. (2003), Carrera Magisterial. Un proyecto de desarrollo profesional, Secretaría de Educación Pública, Subsecretaría de Educación Básica y Normal, México, http://ses2.sep.gob.mx/dg/dgespe/cuader/cuad12/cud12.pdf. Ortuño, T. (2011), Propone Ortuno Gurza crear el Servicio Profesional Magisterial para Regular el Ingreso y Promoción al Sistema Educativo, Boletín, 29 December 2011, www.tereortuno.org/index.php. Pont, B., D. Nusche y H. Moorman (2008), Improving School Leadership, Volume 1: Policy and Practice, OECD , París. Richardson, R. (1999), Performance Related Pay in Schools: An Assessment of the Green Papers, A report prepared for the National Union of Teachers, The London School of Economics and Political Science. Robinson, V. (2007), “School Leadership y Student Outcomes: Identifying What Works and Why”, ACEL Monograph Series, No. 41, Australian Council for Educational Leaders. Rosenkvist, M. (2010), “Using Student Test Results for Accountability and Improvement: A Literature Review”, OECD Education Working Papers, No. 54, OECD , París, www.oecd. org/edu/workingpapers. Santiago, P. y F. Benavides (2009), “Teacher Evaluation: A Conceptual Framework and Examples of Country Practices”, paper presented at the OECD -Mexico Workshop “Towards a Teacher REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

146 – 4. LA EVALUACIÓN DE LOS MAESTROS

Evaluation Framework in Mexico: International Practices, Criteria and Mechanisms”, Mexico City, 1-2 December 2009, OECD , París, www.oecd.org/edu/evaluationpolicy. Santiago, P., G. Donaldson, A. Looney y D. Nusche (2012), OECD Reviews of Evaluation and Assessment in Education: Portugal, OECD , París, www.oecd.org/edu/evaluationpolicy. Santibáñez, L. (2002), “¿Están mal pagados los maestros en México? Estimado de los salarios relativos del magisterio”, Revista Latinoamericana de Estudios Educativos, Vol. XXXII , No. 2, pp. 9-41. SEP (Secretaría de Educación Pública) (2010-2011), “Folleto informativo para el sustentante: La educación ambiental en la educación básica (BM07)”, Exámenes Nacionales para la Actualización de los Maestros en Servicio, http://actualizacion.sev.gob.mx/servicios/ folletos_informativos/BM07.pdf, accessed 7 March 2012. SEP (2011), Sistema Educativo de los Estados Unidos Mexicanos: Principales cifras ciclo Escolar 2010-2011, México, D.F. SEP (Secretaría de Educación Pública) e INEE (Instituto Nacional para la Evaluación de la Educación (próximamente), Country Background Report for Mexico, prepared for the OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, to be available from www.oecd.org/edu/evaluationpolicy. SEP -SNTE (Secretaría de Educación Pública y Sindicato Nacional de los Trabajadores de la Educación) (2010), Programa de Estímulos a la Calidad Docente: Lineamientos que regulan el programa de estímulos a la calidad docente, SEP -SNTE , México. SEP -SNTE (2011), Acuerdo para la Evaluación Universal de Docentes y Directivos en Servicio de Educación Básica, SEP -SNTE , México. Stecher, B.M. (2002), “Consequences of Large-Scale, High-Stakes Testing on School and Classroom Practices”, en L. Hamilton, B. Stecher y S. Klein (eds.), Making Sense of TestBased Accountability in Education, RAND , Santa Monica, California, pp. 79-100. Storey, A. (2000), “A Leap of Faith? Performance Pay for Teachers”, Journal of Education Policy, 15(5), pp. 509-23. UNESCO (2007), Evaluación del Desempeño y Carrera Profesional Docente: Una panorámica de América y Europa, Oficina Regional de Educación para América Latina y el Caribe, UNESCO Santiago. Zúñiga Molina, L. y J. L. Gaviria (2010), Challenges and Opportunities for the Further Development of the ENLACE Assessment for Evaluation and Teacher Incentives in Mexico, expert paper commissioned by the OECD for the Co-operation Agreement between the OECD and the government of Mexico.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 147

Capítulo 5 La evaluación de centros escolares

No existe un enfoque bien establecido y sistemático para la evaluación de las escuelas en México. Los datos agregados a nivel escuela, incluyendo los resultados de las evaluaciones ENLACE , proporcionan información general sobre el desempeño del alumno en comparación con el promedio estatal y nacional, pero no en el contexto en el que operan las escuelas. Se fomenta que las escuelas participen en la autoevaluación y en asesoría, para lo cual se proporcionan instrumentos a nivel nacional. La participación es voluntaria, excepto en aquellos casos en los que la escuela forma parte de uno de los programas federales de educación, como el Programa Escuelas de Calidad. No existe una evaluación de las escuelas sistemática externa. Existe una tradición largamente establecida de supervisión del trabajo escolar por parte de supervisores y de otro personal externo a la escuela, pero su función se ha centrado principalmente en asegurar que las escuelas cumplan los reglamentos y otros trabajos administrativos. Las características especialmente positivas de la evaluación de las escuelas incluyen: la creciente atención de las políticas de evaluación de centros escolares; el creciente énfasis en la capacitación en liderazgo escolar; el apoyo a la autoevaluación de la escuela proporcionado a nivel federal; la posibilidad de recursos humanos existentes para evaluar las escuelas y promover la mejora; y la posibilidad del nuevo sistema de información RNAME para incluir tanto declaraciones cuantitativas como cualitativas a nivel de escuela individual. Los retos clave para México son mejorar el papel y la función de los supervisores; introducir una evaluación más sistemática a nivel escuela; crear capacidad entre los directores, otros líderes escolares y supervisores escolares; asegurar un mayor enfoque en la calidad del aprendizaje y de la enseñanza y no solamente en los resultados de las pruebas; proporcionar niveles más altos de autonomía para las escuelas; mejorar la evaluación de los líderes escolares; y establecer líneas claras de responsabilidad en cuanto a la manera en que se ejercerá tal autonomía.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

148 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

En este capítulo se analizan los enfoques de la evaluación de las escuelas dentro del marco de evaluación en México. La evaluación de las escuelas se refiere a la evaluación individual de las escuelas como organizaciones. Este capítulo cubre tanto la evaluación interna de las escuelas (es decir la autoevaluación de la escuela) como la evaluación externa de las escuelas. Considera una historia breve de la evaluación en el contexto escolar y describe los intentos durante los últimos 20 años para introducir elementos de prácticas de evaluación, aquellas relacionadas notablemente con la autoevaluación de la escuela. Establece los retos que aún hay que enfrentar si México desea desarrollar e implantar un enfoque total a la evaluación de las escuelas, lo que contribuirá a la mejora de la escuela y por lo tanto a mejorar las oportunidades de vida de los alumnos mexicanos.

Contexto y características Panorama México, como un país federal, ha delegado a los estados la responsabilidad de la evaluación de las escuelas. Corresponde a las entidades federativas tomar las decisiones sobre si la autoevaluación de la escuela debe ser obligatoria, sobre cómo se complementará la autoevaluación con alguna forma de evaluación externa y sobre cómo debe medirse el impacto de la evaluación de las escuelas. No existe un enfoque bien establecido y sistemático para la evaluación de las escuelas en México. Los datos agregados a nivel escuela, incluyendo los resultados de las evaluaciones ENLACE , de un periodo de casi tres años, ofrecen información general sobre el desempeño del estudiante en comparación con el promedio estatal y nacional, pero no en el contexto dentro del cual se están alcanzando los resultados. Se fomenta que las escuelas participen en la autoevaluación, asesoría de buena calidad, para lo cual se han proporcionado instrumentos a nivel nacional. La participación es voluntaria, excepto en aquellos casos en los que la escuela forma parte de uno de los programas federales de educación, como el Programa Escuelas de Calidad (PEC ). En este caso se requiere que las escuelas elaboren un reporte sobre la calidad y un plan de mejora como condición para recibir los recursos adicionales que están disponibles por medio del programa específico. No existe un enfoque sistemático de evaluación externa que apoye y comente la autoevaluación o que reporte la calidad de la educación en las escuelas que no están en un programa. Existe una tradición largamente establecida de supervisión del trabajo escolar por parte de supervisores y de otro personal externo a la escuela, pero su función se ha limitado principalmente a asegurar que las escuelas cumplan los deberes obligatorios y otros trabajos administrativos. Las escuelas tienen un margen estrecho para determinar su propia forma para satisfacer las necesidades de sus alumnos y de su comunidad local. Los directores de escuela carecen de las capacidades necesarias para impulsar la mejora escolar y dicen invertir la gran parte de su tiempo en trabajos administrativos.

Gestión escolar y liderazgo En México, el director de escuela es la persona a cargo del funcionamiento, organización y administración de la escuela. El Informe de Antecedentes del País (Informe de las prácticas de la Evaluación de la Educación Básica en México, 2010 indica que las labores principales de los directores escolares son: guiar la transformación pedagógica de las escuelas; analizar el avance en aprendizaje de los alumnos; y apoyar el desarrollo del personal (como se define REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 149

en el conjunto de competencias deseables, la superación profesional debe promoverse en los directores de escuela, de acuerdo con el Sistema Nacional de Formación Continua y Mejora Profesional de los Maestros en Servicio de la Educación Básica). Normalmente el director no es la única persona que adopta la función de liderazgo en las escuelas. En el nivel de secundaria existe también un subdirector. Las escuelas primarias y escuelas secundarias más grandes pueden tener también asesores técnicos pedagógicos (ATP ) o tener el beneficio de los servicios de ATP que cubren varias escuelas. La función de los ATP varía considerablemente entre las escuelas, fluctuando de funciones administrativas a liderazgo pedagógico (consulte el capítulo 1 para más detalles). Algunas de las funciones administrativas de las escuelas las realizan también los maestros que no obstante no tienen una responsabilidad formal de estas funciones (OCDE , 2010). El Consejo Técnico Escolar es un órgano asesor adicional que se establece en las escuelas con cuando menos cuatro a cinco maestros, presididos por el director, el cual hace recomendaciones en varias áreas pedagógicas. Además, en las escuelas de secundaria es típico establecer academias que conjuntan a todos los maestros que pertenecen a un área académica o especialidad (consulte el capítulo 1 para más detalles). Las escuelas también tienen un Consejo Escolar de Participación Social para asegurar la participación de la comunidad de la escuela en las actividades escolares. El consejo tiene gran variedad de miembros, incluyendo padres, maestros, miembros del sindicato, miembros de gestión escolar, y miembros de la comunidad en cuestión. Estos consejos tienen algunas funciones administrativas, pedagógicas y de relación, pero estas funciones no están totalmente implantadas (consulte el capítulo 1 para más detalles).

Una tradición de supervisión como el componente externo de la evaluación de las escuelas Cada estado organiza su propio sistema de supervisión de las escuelas que enlaza cada escuela con las autoridades educativas estatales. Las prácticas varían entre las escuelas pero siguen un patrón común. La administración escolar por parte de los estados está estructurada de acuerdo con las áreas geográficas en dos niveles: sectores y zonas. Los sectores están formados por un número de zonas (aproximadamente 10) y cada zona incluye un número de escuelas (normalmente entre 8 y 20 escuelas). Los supervisores (o inspectores como se les denomina comúnmente a nivel de secundaria) toman bajo su responsabilidad cada zona (y las escuelas correspondientes) y reportan a los Jefes de Sector, algunas veces denominados Supervisores Generales o Inspectores Generales). Los supervisores fungen como el enlace directo entre las escuelas y las autoridades de educación, evalúan el cumplimiento de las políticas educativas de las escuelas, promueven el desarrollo escolar y apoyan las actividades de las escuelas (UNESCO IBE , 2010). Otra función, de naturaleza más de instrucción, en el nivel de secundaria, es el Jefe de Enseñanza para ayudar en el trabajo del supervisor en áreas disciplinarias específicas. Los supervisores cubren subsectores específicos (por ejemplo escuelas secundarias técnicas, escuelas primarias indígenas, cursos comunitarios) y las escuelas privadas importantes en sus zonas. También hay asesores técnicos pedagógicos (ATP ) y asesores técnico-administrativos, (ATA ) en los niveles zona y sector que apoyan el trabajo de los supervisores y jefes de sector en cuestiones pedagógicas y administrativas respectivamente. Además de la estructura de supervisión, otros grupos ofrecen apoyo externo a las escuelas de forma individual: equipos de apoyo estatal para implantar programas específicos de educación; centros de formación docente; y apoyo para la educación de alumnos con necesidades especiales. El nombramiento de directores escolares, jefes de enseñanza, supervisores y jefes de sector se hace de acuerdo con el Escalafón vertical, instituido desde 1973 (consulte el capítulo 4 para más detalles). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

150 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

México tiene una larga tradición de supervisión escolar que data de las últimas décadas del siglo XIX . Al igual que con varios sistemas de inspección establecidos, en México los supervisores tenían varios papeles y funciones, relacionados con los reglamentos, control, operación administrativa de las escuelas, y además, a diferencia de otros sistemas de inspección, la supervisión de los puntos de vista políticos e ideológicos de los maestros. La historia de las funciones de los supervisores a lo largo de casi 140 años está bien documentada en el informe INEE Hacia un nuevo modelo de supervisión escolar para las primarias mexicanas (INEE , 2008). La nota final en la historia, se da en el 2008 hacia adelante, es decir en el marco de la Alianza por la Calidad de la Educación (ACE ); donde se señala que las funciones y labores de los supervisores serán dar apoyo a las escuelas y participar de manera sistemática en la evaluación de las escuelas. Sin embargo, a diferencia de otros sistemas de inspección ampliamente establecidos como el de Inglaterra, Escocia y los Países Bajos, los principios y procesos de supervisión en México no han sufrido cambios constantes y consistentes década tras década, de manera que las labores y trabajos se mantengan a la par con las necesidades educativas actuales. El resultado parecería ser que las funciones de los supervisores no responden correctamente a las necesidades ni del sistema educativo ni de la gente joven en México del siglo XXI .

Una gama de iniciativas para promover la autoevaluación de la escuela Guía y herramientas para la autoevaluación de la escuela México, a nivel federal, ha realizado varios esfuerzos durante los últimos 12 a 15 años para dar cierto enfoque en la autoevaluación de la escuela y desarrollar modelos y materiales específicos de apoyo para tal fin. En un enfoque digno de elogio hacia el exterior se emprendió una investigación a principio de la década de los 2000 para encontrar ideas de otros países sobre la trayectoria de la evaluación de las escuelas. Este trabajo dio como resultado la creación de una serie de materiales de apoyo para la autoevaluación. Estos materiales incluyeron: • Una guía para la autoevaluación —“Las Escuelas Públicas Mexicanas de Educación Básica: Algunos aspectos a considerar en la Autoevaluación Escolar (SEP , 2002)— la cual, de acuerdo con las autoridades federales, llegó a 10 000 escuelas. • Una adaptación del contexto de materiales mexicanos, incluyendo indicadores de calidad desarrollados en Escocia y conocidos bajo el título How Good is Our School? (HMIE , 1995, 2002, 2006 y posterior), traducido como ¿Qué tan buena es nuestra escuela? (SEP , 2003). Estos materiales e indicadores estaban destinados a dar apoyo a las escuelas que participaban en la autoevaluación y se hicieron 40 000 copias impresas. • Una publicación que delinea las características clave de las escuelas con los resultados académicos más altos (¿Cómo puedo mejorar mi escuela?, SEP , 2007), incluyendo una adaptación adicional de los aspectos del sistema escocés que representan los indicadores que los inspectores utilizan en ese país (que en ese país son los mismos que aquellos utilizados para la autoevaluación). Se distribuyeron cien mil copias.

La autoevaluación como un requisito de los programas federales de educación Durante los últimos 15 años se han puesto en práctica varios programas federales de educación, todos con la intención de mejorar las escuelas por medio de un enfoque en la gestión, autoevaluación y planeación, y con un enfoque concomitante en el desarrollo REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 151

de un proyecto escolar. Los programas individuales están relacionados con la gestión escolar (Programa de Gestión Escolar, introducido en 1995), la calidad en las escuelas (Programa Escuelas de Calidad, 2001), la seguridad en las escuelas (Programa Escuela Segura, 2006), las escuelas de tiempo completo (Programa Escuelas de Tiempo Completo, 2006), (consulte otros ejemplos en el capítulo 1). Estos son programas federales de compensación que ofrecen apoyo a los establecimientos individuales, mayormente en forma de recursos federales adicionales. Una condición para la participación en tales programas es que la escuela lleve a cabo un ejercicio de autoevaluación y elabore un plan estratégico para mejorarla. Este plan se conoce de forma variada como el Plan Estratégico de Transformación Escolar —PETE , el Proyecto Escolar, o el Plan Estratégico de Mejora Escolar—. También es requisito un Plan Anual de Trabajo. El Informe de las prácticas de la Evaluación de la Educación Básica en México, 2010 (SEP e INEE ,) indica que unas 66 000 escuelas están participando en los principales programas, y que se puede asumir que cuando menos el mismo número participará en cierta forma de autoevaluación.

Desarrollos recientes en la autoevaluación y la acreditación de calidad En el 2007 el gobierno federal vio la necesidad de introducir un elemento de educación en el enfoque general de la gestión de la calidad total, Modelo Nacional para la Calidad Total de México. Este elemento de educación —“Sistema para la autoevaluación de las escuelas para una Gestión de Calidad” (mostrado en el recuadro 5.1)— se publicó en el 2007 como un conjunto de guías, materiales de apoyo e instrumentos para la autoevaluación, y se distribuyó a todas las escuelas primarias y secundarias del país. Más recientemente la SEP recomendó a las autoridades estatales de educación en el 2010, que elaboraran e implantaran un plan estratégico para el uso del sistema en todos los establecimientos estatales de educación. Recuadro 5.1 Sistema para la autoevaluación de las escuelas para una Gestión de Calidad

El sistema sugiere introducir la autoevaluación a través del trabajo en cuatro fases de actividades en cada escuela: • Sensibilizar al personal de la escuela sobre los elementos clave y los propósitos de la autoevaluación, con recomendación para apoyar las sesiones de capacitación. • La formación de un grupo de trabajo en autoevaluación escolar el cual coordine las actividades relacionadas con la obtención, análisis e interpretación de evidencias. • Implantar la autoevaluación por medio de un proceso para identificar las fortalezas y debilidades de la escuela, a partir de la evidencia recabada y analizada, preparando un informe de la autoevaluación y estableciendo las prioridades de mejora; y • La creación de un plan de mejora y formación de grupos para desarrollar planes de acción y fomentar la mejora a través de la implantación de estos planes. Se incluye asesoría detallada sobre cómo llevar a cabo las evaluaciones y su aplicación en ocho aspectos principales del trabajo escolar: recursos, liderazgo, planeación, información y conocimiento, personal, procesos, responsabilidad social y competitividad. A cada uno de ellos se le otorga un número de puntos para dar un total de la escuela. En los materiales se incluye cuestionarios para los maestros, alumnos y padres.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

152 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

Una iniciativa sobre la acreditación de las escuelas en curso actualmente Desde el 2009 la SEP ha estado considerando el desarrollo e introducción de un sistema de acreditación para la calidad de la escuela, el Sistema Nacional de Acreditación de Centros Escolares de Educación Básica (SNACEEB ). Por medio del SNACEEB , la intención es enfocarse en estándares de gestión como apoyo a la autoevaluación escolar e introducir un enfoque más formalizado a la evaluación externa de las escuelas. Las dimensiones que los estándares de gestión tomaron en consideración son actualmente: Pedagógica curricular, organizativa, administrativa y de participación social. Tal parece que esto está tomado de los principios establecidos por la Organización para la Estandarización (ISO ), donde la serie ISO 9000 trata los fundamentos de los sistemas de gestión de la calidad. En el documento donde se presenta este proyecto, los autores establecen claramente que primero deberá establecerse los estándares, y después se tendrá que desarrollar una manera para evaluar si se alcanzó estos estándares.

El INEE apoya la evaluación de las escuelas con herramientas e información pertinente El INEE está contribuyendo a la evaluación de las escuelas en dos formas principalmente. La primera consiste en el desarrollo de herramientas conceptuales y metodológicas para la autoevaluación, que utilizarán los agentes escolares —supervisores, directores, maestros, alumnos y padres—. Estas son además de las que desarrolló la SEP . Las herramientas incluyen manuales de aplicación con información sobre las bases teóricas, consideraciones y recomendaciones para su aplicación, procedimientos de calificación, interpretación de los datos obtenidos y actividades sugeridas para el uso de los resultados de la evaluación para mejorar las escuelas. Algunos ejemplos incluyen: (i) “Herramientas para evaluar las funciones del director de escuela primaria”; (ii) “Evaluación de la participación de los padres en las escuelas primarias”; (iii) “Evaluación del funcionamiento general de la escuela”; (iv) “Herramientas para evaluar el ambiente escolar en las escuelas primarias” y (v) “Herramientas para la evaluación y autoevaluación de los agentes de la educación de la escuela primaria”. La segunda está relacionada con estudios sobre las condiciones para la prestación de servicios educativos en colaboración con las autoridades estatales y las escuelas. Esto implica recabar datos mediante cuestionarios de contexto dirigidos a los padres de familia, directores, maestros y alumnos, que se aplican al mismo tiempo que la evaluación E XCALE . Los aspectos analizados incluyen la eficiencia y pertinencia de los materiales didácticos, la calidad de la infraestructura escolar, la idoneidad de los recursos (humanos, financieros y de organización) y de los procesos escolares (enseñanza, gestión, formación docente y relaciones con la comunidad).

Uso de datos para la evaluación de las escuelas Al sistema de la educación se introdujo un sistema de información de gestión recién desarrollado —el Registro Nacional de Alumnos Maestros y Escuelas (Registro Nacional de Alumnos, Maestros y Escuelas, RNAME ) (consulte el capítulo 6)—. La parte “Escuelas” de esta base de datos —Sistema Nacional de Información de Escuelas— contiene información útil sobre la mayoría de las escuelas en el país y representa un paso importante en la apertura de la información sobre las escuelas al público en general y a los padres de familia en las comunidades locales. La partida de cada escuela incluye información administrativa que cubre: REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 153

• Detalles básicos, como el tipo de escuela, su dirección y ubicación, incluyendo un mapa, y el nombre del director; • Número y grupos de alumnos, número de maestros y otros trabajadores de la educación en el establecimiento; • Un indicativo de los programas federales de educación en los que participa la escuela; • Información sobre los recursos e infraestructura de la escuela. • Además, también se incluye algunas partes de información que empiezan a reflejar aspectos de calidad. Estas son : • Indicadores que muestran el porcentaje de alumnos que abandonan la escuela de forma temprana (deserción) y aquellos que repiten un año escolar (reprobación); y • Hasta ahora solamente en algunos casos —relacionados con escuelas primarias— un anexo estadístico con información sobre: -- El porcentaje de alumnos, por grado, que alcanzó cada uno de los cuatro niveles de desempeño posibles en las evaluaciones ENLACE de español y matemáticas en más de tres años y en historia en el 2010, establecidos con el promedio estatal y nacional; -- Los promedios de ENLACE que alcanzaron todos los alumnos de cada grado, en cada materia, con comparadores estatales y nacionales; y -- El porcentaje de escuelas con promedios en ENLACE por debajo de aquellos indicaros para la escuela en cuestión.

Fortalezas La mejora de la gestión escolar y la creación de condiciones para reforzar la evaluación de las escuelas han recibido atención importante de la política educativa En general, está claro que la calidad de la gestión escolar con un enfoque en la mejora ha recibido atención importante por parte de las autoridades educativas. Los desarrollos durante los años recientes crearon trabajos establecidos, como el Programa Escuelas de Calidad (PEC ) (consulte el capítulo 1). Este programa nacional de educación es lógico y loable en principio, con su requisito de enfocar a las escuelas en la buena toma de decisiones, liderazgo compartido, trabajo en equipo, participación de la comunidad y responsabilidad. El hecho que a cada escuela se le exija participar en la autoevaluación cuyo resultado es un plan de mejora de la escuela (Plan Estratégico de Transformación Escolar, PETE ), y en un Plan Anual de Trabajo (PAT ) ha fomentado actividad en estos aspectos importantes del trabajo escolar. Los siguientes pasos serán asegurar que exista más cobertura general de tales principios en todas las escuelas y que se ponga en práctica un sistema para asegurar que la autoevaluación y el trabajo de planeación de la mejora sean de buena calidad y tengan un impacto claro en los resultados y los procesos de aprendizaje de la escuela. Además en este contexto, el desarrollo actual de estándares para la gestión de las escuelas y el plan para que la SEP -DGEP cree un sistema de acreditación de la escuela demuestra el reconocimiento continuo de que mejorar la calidad del liderazgo y la gestión en las escuelas debe contribuir a la mejora. Esto podría constituir una buena base para reforzar los procesos de autoevaluación e introducir un modelo completo de evaluación externa de las escuelas. Será importante para aquellos responsables de conceptualizar el sistema de acreditación crear sobre el buen trabajo existente, en lugar de crear un conjunto de principios y materiales totalmente nuevo. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

154 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

Existe un buen enfoque en la formación en liderazgo escolar como estímulo a la autoevaluación y mejora Existen algunas iniciativas para reforzar los programas de liderazgo escolar y los cursos de capacitación para directores de escuela. Durante los últimos años se ha llevado a cabo capacitación en liderazgo para los directores de escuelas de Educación Media Superior, y la intención es que tal capacitación llegue a los directores de las escuelas de educación básica. El informe de la OCDE Mejorar las Escuelas: Estrategias para la Acción en México (OCDE , 2012) describe la situación de la siguiente manera: En el caso de los directores de escuela en educación básica, se han dado algunos pasos para desarrollar la certificación para directores dentro del ámbito de los programas PEC . La certificación del director implica crear un conjunto de estándares que describen las competencias o niveles de desempeño que se requieren de los directores. El objetivo es preparar una Norma Técnica de Competencia Laboral para los Directores de Educación Básica, la cual actualmente está en desarrollo. La Norma Técnica incluirá tres tipos de competencias que el director de escuela debe tener para coordinar; elaborar; ejecutar; y dar seguimiento a la evaluación de los planes estratégicos de cinco años de las escuelas (Plan Estratégico de Transformación Escolar, PETE ). Para el 2012 la meta del gobierno es certificar 50 000 directores de escuela por medio de colaboración con el SNTE y la sociedad civil, aunque estos desarrollos son lentos y aún no se han introducido. La conciencia entre las autoridades educativas del papel clave del liderazgo en la agenda de la mejora está bien sustentada y aún se tiene la intención de realizar formación en liderazgo y gestión. Sin embargo, aún no se ha emprendido la acción.

La autoevaluación de la escuela está bien apoyada a nivel federal Durante los últimos 10 a 15 años ha habido un enfoque considerable en la autoevaluación de la escuela como una forma para dar atención a la calidad y promover la mejora. México mismo ha mostrado apertura a influencias externas y ha realizado una buena investigación de los sistemas y prácticas en otros países relacionados con la autoevaluación. Se tomó una decisión útil al ver especialmente el modelo escocés y adaptar algunos instrumentos y procesos al contexto mexicano. Los materiales creados para apoyar la autoevaluación a nivel escolar, están detallados, completos y son de buena calidad. Incluyen asesoría, instrumentos y opciones para la autoevaluación y para la elaboración e implantación de un plan efectivo de mejora escolar como uno de los resultados del proceso de autoevaluación. Estos instrumentos y materiales podrían servir de forma fácil y útil como instrumentos para el sistema de acreditación planeado o para otras formas de evaluación externa de las escuelas, ya que existe una necesidad de asegurar que todos los actores en el sistema hablen un idioma común de calidad. Además, las herramientas desarrolladas por el INEE son un buen complemento ya que permiten que las escuelas participen en una autoevaluación más detallada de aspectos específicos de la escuela, como el ambiente escolar o las relaciones con los padres. Otro desarrollo positivo ha sido el desarrollo del sistema para la autoevaluación de las escuelas para una gestión de calidad de la SEP (consulte el recuadro 5.1). De manera general, el sistema se ajusta a las prácticas relacionadas con la autoevaluación y la planeación de REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 155

mejora escolar establecidas ya en muchos países. Los instrumentos y asesoría relacionados, que son desarrollos de materiales anteriores, son prácticos, adecuados y con buena calidad de presentación. El sistema sugiere la introducción de un sistema por puntos, que puede ser útil aunque pudiera complicar las cosas innecesariamente. Pudiera tener el resultado no intencional de contribuir a un supuesto de que la autoevaluación es más bien un proceso mecanicista con elementos cuantitativos aplicables que llevan a una evaluación general pseudo-estadística. En realidad, la autoevaluación es muy difícil, requiere recabar evidencia adecuada, triangulación de conjuntos diferentes de evidencia y un juicio fino de la calidad que inevitablemente tiene un elemento contextual si no es que subjetivo.

Los recursos humanos existentes tienen un potencial considerable para evaluar a las escuelas y promover la mejora Ya existe en México un número de agencias escolares clave y tipos de personal con potencial para apoyar la autoevaluación en todas las escuelas y adoptar nuevas funciones en una evaluación más completa y efectiva de las escuelas modelo. Esto incluye: • Supervisores, asesores técnico pedagógicos (ATP ) y otro personal zonal y sectorial, según se describió antes, cuyas funciones pudieran aclararse, redefinirse y hacerse más consistentes y sistemáticas dentro del marco de evaluación; y • El Consejo Técnico Escolar en cada escuela, Academias de Docentes nuevas y el Consejo Escolar de Participación Social, todos los cuales pueden desde sus diferentes puntos de vista y comprensiones, contribuir cualitativamente tanto a la evaluación de las escuelas como a la acción resultante en las prioridades de mejora. Existe evidencia de algunos supervisores que trabajan de manera efectiva en el aula, que son aceptados por los maestros, que dan retroalimentación y comentan las observaciones con los directores de escuela, aún cuando el Equipo de Revisión de la OCDE también escuchó evidencia que los supervisores dan mayor énfasis a lo administrativo y a los detalles burocráticos que evitan un claro enfoque en el aprendizaje, enseñanza y resultados del alumno y en la mejora general de la escuela. El Equipo de Revisión de la OCDE también obtuvo evidencia del efecto positivo en una entidad, respecto a los centros locales de maestros que están operando talleres de trabajo específicos para los docentes y que están contribuyendo a la difusión de las buenas prácticas.

Hay ejemplos de desarrollos importantes a nivel estatal en la evaluación de las escuelas Las entrevistas realizadas al personal de las Subsecretarias de la SEP , Direcciones Generales, UPEPE e INEE y la evidencia del Informe de Antecedentes del País (SEP e INEE ,) sugieren que en pocas entidades, hay algunos ejemplos de actividades que se enfocan a aspectos de la evaluación a nivel escuela. Se informó de algunas iniciativas que aún no se han sustentado. Otros han reportado que son modestas en naturaleza. Incluso otros pueden prometer ampliarse a enfoques más coherentes y sistemáticos con posibilidad de impactar la calidad de los servicios educativos. El Equipo de Revisión de la OCDE se reunió con personal del estado de Puebla y del Estado de México quienes buscaban activamente mejorar su conocimiento de las escuelas y maneras para evaluar la calidad y los resultados. Sin embargo, está claro que los estados REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

156 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

necesitan ser más activos y responsables en este aspecto y que se requiere más información a nivel federal sobre las actividades realizadas en las entidades.

El nuevo sistema de información (RNAME ) tiene gran potencial para incluir aspectos cuantitativos y cualitativos de evaluación a nivel de cada escuela La base de datos de información recién establecida en el RNAME ofrece información útil sobre cada escuela, incluyendo datos cuantitativos sobre los resultados del estudiante en las evaluaciones ENLACE . Esto representa un buen paso hacia adelante para dar a los padres, comunidades locales, educadores y al público en general información clave sobre las escuelas, tanto global como individualmente. La inclusión de datos a nivel escuela de los resultados de los estudiantes en las evaluaciones ENLACE durante un periodo de tres años es un inicio muy útil para la evaluación de las escuelas, las cuales deben tener en su centro evidencia de la calidad de los resultados del estudiante. Existen otros desarrollos que muestran estos resultados no solamente en comparación con los promedios estatales y nacionales, sino también en comparación con los promedios de las escuelas con características similares que están en etapa embrionaria de planeación. El sistema tiene el potencial para incluir, en una fecha posterior, información relacionada por ejemplo con la calidad de los procesos de aprendizaje, de la relación con padres y la comunidad, además del liderazgo escolar, todos los cuales contribuirán a una imagen más redondeada de la calidad de una escuela individual y a promover el reconocimiento de las escuelas con éxito, independientemente del contexto y las circunstancias.

Retos No ha permeado una cultura de evaluación de las escuelas La noción de la evaluación de las escuelas aún no está inmersa en los principios y prácticas de la educación en México. Por el contrario, parece que los intentos por introducir la evaluación en este contexto tuvieron que enfrentarse primero a fuertes sentimientos de aprensión e inquietud entre los docentes y directores de escuela. La evaluación e inspección se ha relacionado con negatividad y censura, no con la mejora. Esta pronunciada creencia conceptual ha desmerecido los esfuerzos a nivel federal por introducir un sistema de evaluación de las escuelas y pudiera haber dado como resultado una sobre dependencia en el poder de las autoevaluaciones con poco apoyo para efectuar el cambio. Por lo tanto, México tiene mucho trabajo en el futuro para superar las asociaciones negativas anteriores e idear un enfoque que sea similar al enfoque actual en varios países donde se relaciona la inspección y la evaluación con desarrollo y mejora. En general, existe una compresión e incluso conciencia aún limitada, excluyendo algunos pocos expertos, de las cuestiones clave relacionadas con la evaluación de las escuelas, las cuales cuando se llevan a cabo bien e incluyen todos los componentes necesarios del sistema, pueden: • Tener el poder de impulsar una agenda mejorada. • Englobar otras formas de evaluación, utilizándolas también para presentar una visión equilibrada de lo que constituye la calidad en la escuela. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 157

• Ayudar a empoderar a las partes interesadas principales, proporcionándoles perspectiva, visiones y propiedad informada de los problemas que pueden afectar y por lo tanto mejorar. • Ayudar a aprovechar el potencial de los padres y de la comunidad para apoyar el impulso a mejorar de la escuela. • Proporcionar a los padres y al público en general informes bien fundamentados sobre la calidad, que respondan al nivel local de su derecho a conocer la calidad de la educación que se ofrece en su escuela local. • Facilitar, dentro de un marco de responsabilidad, la producción de informes cualitativos a niveles más amplios — zona, municipio, estatal, nacional— para obtener datos e informes cuantitativos, como los de la evaluación internacional de los alumnos. • Contribuir al análisis de las necesidades a nivel del sistema para informar a los legisladores, locales, estatales y nacionales sobre el impacto real de las políticas de educación e indicar posibles necesidades de política a futuro (consulte el capítulo 6).

Falta un sistema completo de la evaluación de las escuelas, incluyendo un enfoque significativo de la evaluación externa de las escuelas El reto clave para México es desarrollar un sistema completo de la evaluación de las escuelas. En general, en los enfoques actualmente adoptados en México faltan componentes clave para el desarrollo e implantación de políticas de éxito para la evaluación y mejora de las escuelas. Es necesario contar con un sistema sostenido y significativo para la evaluación externa de las escuelas. Actualmente, el monitoreo externo de las escuelas lo realiza el sistema de supervisión establecido en los diferentes estados. Sin embargo, este sistema no constituye un enfoque auténtico de la evaluación externa de las escuelas. Los supervisores pueden o no tener una base educativa y pueden desempeñar una o más de las funciones, dependiendo de los arreglos educativos municipales y estatales, y algunas veces un arreglo hecho a niveles más locales. Sus funciones pueden incluir: observación individual de los maestros y discusión sobre enseñanza y estrategias de aprendizaje con los maestros y con los directores; apoyo a los directores de escuela y otros gestores en la creación e implementación de un plan escolar; y valoración del trabajo de los directores de escuela. El Equipo de Revisión de la OCDE tiene evidencias de tales actividades realizadas en las escuelas visitadas durante el curso de la visita de revisión. Sin embargo, se informó que en general existe mucha variación en la calidad de la asesoría y apoyo que los supervisores pueden ofrecer a las escuelas. La capacidad de los supervisores en general para participar en la evaluación de las escuelas de manera que promueva la mejora escolar y el resultado de una evaluación exacta de la evaluación del trabajo de la escuela está limitada en las condiciones actuales. Un informe de evaluación sobre un estudio de supervisión en México, realizado bajo el auspicio del Instituto Internacional para la Planeación de la Educación de la UNESCO (Calvo Pontón et al., 2002), dirigió la atención hacia la falta de información sólida sobre números, puestos y funciones de los supervisores, que lleva a superficialidad y subjetividad en las discusiones estratégicas sobre supervisión. Indicó que los supervisores bien pudieran cumplir con una función útil en el apoyo al personal escolar y en la promoción de mejora. Sin embargo, sugiere que en la realidad se carecen de condiciones para realizar con efectividad tales funciones. Además resalta la falta de un núcleo fuerte de supervisores profesionalmente capacitados, y una tendencia a que los supervisores se enfoquen más en actividades administrativas, burocráticas y del sindicato, lo que toma tiempo de la escuela y tienen un enfoque alejado de la mejora de los resultados. El informe describe también tres proyectos prometedores de desarrollo de la supervisión actualmente en los estados de Aguascalientes, Chihuahua y Nuevo León. La revisión de la OCDE REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

158 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

no incluye una visita a estos estados, o a otros, incluyendo Veracruz, Chiapas y Oaxaca (solamente se visitó el Estado de México y Puebla), mencionados a nivel federal como aquellos que tienen el mismo progreso en la evaluación de las escuelas, o donde las escuelas han emprendido evaluación de los proyectos educativos en programas federales. Sin embargo, a partir de las pláticas sostenidas con personal de la SEP , INEE y otros, y a partir del Informe de Antecedentes del País (SEP e INEE , posteriores), parece que lejos de moverse uniformemente hacia adelante, algunos proyectos prometedores se han deteriorado. No parece existir o planearse un sistema fuerte y moderno para la evaluación de las escuelas. Hay oportunidades para que los estados hagan un uso flexible e innovador de los recursos humanos existentes, incluyendo asesores pedagógicos (ATP ), jefes de enseñanza, supervisores, o jefes de sector de forma que puedan impulsar y transformar a las escuelas, participando en forma de evaluación de las escuelas que tengan la posibilidad de llevar a la mejora escolar. Sin embargo, al Equipo de Revisión de OCDE cuenta con poca evidencia que sugiera que en el horizonte exista el desarrollo de un modelo de evaluación externa de las escuelas utilizando la cantidad considerable de tal personal. Lo que existe actualmente está enfocado en los resultados del estudiante. Ellos son, y continúan siendo clave en toda evaluación de calidad. Sin embargo, un reto claro para México es evaluar la calidad de esos resultados de manera que proporcione información significativa a las partes interesadas y que incluya otros resultados y procesos en una evaluación más holística. El sistema actual no incluye aspectos cualitativos que sean confiables y estén validados, y que contribuyan a contar la historia completa de cualquier escuela. Sin evaluación externa existe el peligro que los juicios de la calidad de la escuela se hagan con base en información muy estrecha. La evaluación externa de la escuela y del sistema ofrece una narración que puede incluir la complejidad de una escuela y dar a las partes interesadas y al público en general una visión redondeada. Dentro del proceso debe estar la autoevaluación de la escuela, que junto con la evaluación externa puede hacer una diferencia para los estudiantes. Como se indicó, México ha buscado sensiblemente en otros países ideas sobre la evaluación de las escuelas y, en especial, ha adaptado características de los procesos de autoevaluación del sistema educativo escocés. Sin embargo, ese sistema tiene otros componentes que son factores críticos para su éxito en la guía de la escuela hacia la mejora, y que incluyen apoyo y reto de las autoridades locales y un sistema riguroso de evaluación externa. Además sin un enfoque claro en los resultados y procesos de aprendizaje, modelos consistentes y sistemáticos que se enfoquen a estos resultados clave, buena planeación estatal, formación y capacitación adecuada para todo el personal y algunos procedimientos adicionales para la verificación del objetivo basados en el contacto real con las escuelas, es probable que los enfoques y planes más recientes no sólo tengan un impacto mínimo en la calidad de la escuela y los resultados del estudiante, sino que, en el peor de los casos, genere una industria de trabajo que continúe restando tiempo y esfuerzo de las características más importantes de una educación con éxito.

Las prácticas de autoevaluación de la escuela permanecen incipientes Los instrumentos y materiales creados por la SEP con fines de autoevaluación son muy buenos. Sin embargo el reto para México es asegurar que estos materiales útiles se comprendan y utilicen consistentemente en todas las escuelas, que tengan un impacto sostenido e importante, y que desempeñen un papel más amplio para la autoevaluación en todo el país. Además, la plétora de guías, materiales e instrumentos aunque bien concebidos y con valor, REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 159

indudablemente han confundido a las escuelas al buscar el enfoque recomendado y se han presentado demasiadas opciones. El personal federal no proporcionó al Equipo de Revisión de la OCDE cifras aunque fueran aproximadas sobre el número de las escuelas que han utilizado los materiales o participado en la autoevaluación en general. Se tienen algunos datos disponibles sobre el número de escuelas en diversos programas federales que exigen la autoevaluación como una condición para ser aceptadas en el programa, pero además de eso, no se tienen datos disponibles sobre la penetración de los materiales o conceptos. En la muestra pequeña de escuelas visitadas por el Equipo de Revisión de la OCDE , pocos directores y docentes conocían estos materiales, participaran o no en los programas nacionales. En el contexto de la autoevaluación emprendida como parte de los programas federales de educación, no se presentó evidencia al Equipo de Revisión de la OCDE sobre la calidad de esa autoevaluación ni de los planes de mejora escolar resultantes, y muy poca sobre el impacto de los programas mismos en general. Los planes observados en algunas escuelas eran ciertamente completos, pero con mucho énfasis en el trabajo administrativo y poco énfasis en la calidad del aprendizaje y la enseñanza y otros aspectos clave responsables de contribuir a mejores resultados del estudiante. Además la relación de la autoevaluación con los programas federales de educación puede dejar a otras escuelas con la impresión de que la autoevaluación es únicamente para escuelas con dificultades o que requieren mucho apoyo para crear infraestructura o recursos. En cuanto al desarrollo del Sistema Nacional de Acreditación para Escuelas de Educación Básica (SNACEEB ), en caso de introducirse, será importante que la SEP no reinvente la rueda nuevamente. Elegir indicadores ya desarrollados (como aquellos propuestos en el sistema para la Autoevaluación de las Escuelas para una Gestión de Calidad) sería un enfoque sensible a corto plazo. Además, un reto claro para los diseñadores de este sistema será crear un pensamiento a futuro, un modelo de desafío que evite el enfoque más bien mecanicista y cuantitativo de los sistemas de gestión de la calidad total, y en lugar de ello se enfoque a la flexibilidad, innovación, fluidez y capacidad de respuesta a la necesidad local en el contexto de la educación, y no en el mundo comercial.

Actualmente existe una carencia de información sobre los aspectos cualitativos del trabajo de las escuelas Un reto claro para el sistema mexicano es encontrar formas efectivas para informar la calidad de la educación en todos los niveles. Existe una carencia actual de información sobre los aspectos cualitativos del trabajo de cada escuela para los padres y otras partes interesadas. Aún no hay una manera para informar sobre la calidad de los procesos educativos y en general interpretar los datos cuantitativos de modo que ofrezcan una imagen más completa que presente la calidad actual de la educación a nivel de las escuelas. Por lo tanto no existen oportunidades buenas para agregar informes a nivel escuela que presenten una imagen de la calidad de la educación a nivel local, estatal y nacional, como las que existen en muchos países. Estos informes pudieran ser portadores útiles de la buena práctica, útiles específicamente para los directores de escuela y para los maestros de aula. Un objetivo aceptado de la evaluación es informar a las autoridades educativas el impacto real de la política en el punto de entrega (la escuela y el aula) y proporcionar puntos de vista cualitativos reportados sobre las prioridades en las políticas a futuro. Sin un sistema de información establecido que proporcione datos cualitativos, existe el peligro de que las autoridades dependan excesivamente de datos de evaluaciones ideológicas o pseudocientíficas y por ende busquen el “medio educativo” más nuevo. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

160 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

Además, los datos que se hicieron del conocimiento público por medio de RNAME representan un avance indudable en el informe de la calidad de los resultados individuales de las escuelas. Una característica especialmente buena es la inclusión de los datos de más de tres años, que permite al lector consultar las tendencias y hacer algunas conclusiones sobre la mejora. Sin embargo, sin análisis cuantitativos más sofisticados o un elemento cualitativo que poner paralelamente a los datos, existe el riesgo de una interpretación simplista de lo que constituye la calidad a nivel escuela, surgida de una narración incompleta que cuente la “historia” de la escuela en su contexto y circunstancias particulares.

Los resultados publicados del estudiante a nivel escuela no están contextualizados Otra inquietud está relacionada con hacer comparaciones justas de los resultados del estudiante en todas las escuelas. En este momento los resultados de ENLACE se publican a nivel escuela, ocasionando inevitablemente que los medios publiquen las clasificaciones escolares sin tomar en cuenta las circunstancias específicas de las escuelas. Esto puede distorsionar considerablemente las consideraciones sobre la efectividad de cada escuela ya que los resultados no reflejan el valor agregado de la escuela a los resultados del estudiante. Los peligros de utilizar las tablas de clasificación para comparar el desempeño de las escuelas (y por lo tanto hacer que los resultados de ENLACE sean de “alto impacto” para las escuelas) son de amplio espectro, y deben reconocerse y evitarse. Como se comentó y documentó en el capítulo 3, esto trae como consecuencia que los docentes y las escuelas adopten prácticas que maximizan el “resultado” de su clase/escuela, como: (i) que los maestros se enfoquen únicamente a los resultados del aprendizaje que se evaluará en la evaluación nacional, en lugar de en toda la gama de competencias del currículum (“enseñar para la prueba”); (ii) que los maestros ignoren la importancia de los resultados del aprendizaje curricular cruzado; (iii) que se pase el tiempo de clase practicando para la prueba; y (iv) que las escuelas fomenten que solamente los alumnos más capaces se presenten cuando se administra la prueba, etc. (consulte también Santiago et al., 2011). Consulte Morris (2011) y Rosenkvist (2010) para conocer un comentario más detallado. El personal federal informó al Equipo de Revisión de la OCDE que se estaba pensando en desarrollar modelos para comparar las escuelas con características similares y modelos para medir el valor agregado de las escuelas de manera que los resultados de las comparaciones de las escuelas pudieran tener mayor significado. Esto ayudaría a evitar que los resultados de la evaluación de los alumnos a nivel escuela meramente confirmaran el factor bien establecido de que los jóvenes con antecedentes socio económicamente más favorecidos tiene un desempeño a niveles académicos más altos que aquellos con antecedentes menos aventajados. Aún no está en operación una planeación específica para el desarrollo de este tipo de datos estadísticos.

Las escuelas tienen una autonomía limitada A pesar de que la descentralización ha sido una característica del sistema educativo durante 20 años, parece que las escuelas tienen poca autonomía real en lo que hacen y cómo lo hacen, en términos, por ejemplo, del currículo y satisfacción de las necesidades de los alumnos (consulte el capítulo 1 para más detalles). En la educación básica se crean libros de texto a nivel federal y el currículo se determina en el centro (consulte el capítulo 2). Esto, junto con la preparación para ENLACE y PISA puede estar dando como resultado un contenido curricular que no tiene REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 161

relación con las circunstancias locales. El Equipo de Revisión de la OCDE encontró evidencia de asesoría a los maestros sobre como mejorar los resultados de la prueba haciendo que los alumnos practiquen las materias de la prueba (consulte también el capítulo 3). Aún cuando el resultado deseado es muy aceptable, el enfoque estrecho en mejorar los resultados del examen al aumentar la práctica para resolver la prueba es culpable de tener un efecto importante de estrechamiento en los programas de aprendizaje y elimina mucha de la autonomía escolar para hacer que el currículo responda a la localidad y los individuos. Además, el enfásis de México en el cumplimiento de los reglamentos escolares, destinados para los buenos alumnos, ha tenido el resultado no intencional de dirigir la atención y actividades de la escuela hacia trabajos no relacionados con la mejora en los procesos de aprendizaje y necesidades del alumno. Las escuelas tienen poca autonomía en otras áreas importantes que impactan en la capacidad para dar pasos hacia la mejora. Fundamentalmente, en la selección de docentes y el control de recursos de la escuela para mejorar la toma de decisiones y rendición de cuentas.

La rendición de cuentas de los estados en la prestación de educación de calidad es escasa A nivel estatal ya existe autonomía considerable. Sin embargo, un reto importante es encontrar formas para asegurar que los estados efectivamente rindan cuentas ante el gobierno federal y ante la sociedad por la calidad de los servicios que otorgan en sus escuelas y los logros obtenidos. Aún cuando la responsabilidad de la evaluación de las escuelas está en manos de los estados, el gobierno federal no requiere a los gobiernos estatales que informen sobre la calidad de la educación básica en sus escuelas, y esta falta indudablemente afecta la seriedad con la que los gobiernos estatales enfocan la evaluación de las escuelas. Aparentemente no hay medios reconocibles para determinar directamente qué tan bien —o lo contrario— pueden los estados informar la calidad de la educación en su jurisdicción. No hay enfoques sistemáticos y consistentes para la evaluación de las escuelas a nivel estatal. Además, no se ha realizado un estudio de los recursos obtenidos relacionados con la supervisión de la escuela, con el resultado de que no existe un indicador claro de qué tan eficientemente se están gastando los recursos involucrados. Varios estados han establecido una agencia de evaluación, similar al INEE a nivel federal, pero parece que hasta ahora se ha realizado poco trabajo consistente para asegurar que tales agencias desempeñen una función importante en fomentar la calidad de los procesos y resultados, evaluar los resultados de varias maneras, difundiendo ejemplos de buenas prácticas e informando tanto al público en general como a las autoridades federales sobre la calidad de las escuelas y la educación en general.

El trabajo de los directores está demasiado centrado en los requisitos administrativos El conjunto de competencias deseables para los directores escolares desarrollado por la SEP es muy amplio y aspiracional. Sin embargo, parece haber una ruptura entre, por una parte, los trabajos estatales y las competencias esperadas y, por otra, la realidad del trabajo realizado por los directores de escuela cotidianamente y las competencias que tienen o que pueden demostrar en la práctica. La administración de los servicios escolares, así como asegurar una infraestructura segura y el cumplimiento de normas parece ser el enfoque actual del trabajo de los directores de escuela. Aunque tales aspectos son importantes para el contexto del aprendizaje REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

162 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

y la rendición de cuentas, dejan poco tiempo para que los directores se enfoquen en aspectos que tienen un mayor efecto en la calidad. Muchos documentos de investigación y otros informes como el Informe McKinsey (McKinsey & Company, 2007) sobre los sistemas de más alto desempeño del mundo apoyan claramente el punto de vista que para mejorar los resultados de los alumnos, el personal en las escuelas debe tener un enfoque claro en el aprendizaje. El punto está bien presentado en el informe Donalson sobre el futuro de los maestros y la enseñanza en Escocia (Gobierno de Escocia, 2011): La importancia del liderazgo para la mejora escolar se ha investigado y documentado bien. Los hallazgos de la Encuesta de Enseñanza y Aprendizaje (OCDE , 2009) sugieren que el liderazgo efectivo en la escuela es una aportación importante en el desarrollo de otros docentes en una escuela. Los hallazgos de McKinsey & Company sugieren que, “el desempeño general de una escuela casi nunca superan la calidad de su liderazgo y gestión”. Los líderes escolares que demuestran un fuerte liderazgo tienen mayor probabilidad de utilizar un desarrollo profesional para abordar las debilidades de los docentes, fomentar una mejor relación alumno-docente y colaboración del docente, y reconocer a los maestros por prácticas de enseñanza innovadoras de éxito.

La evaluación de los directores no es adecuada No hay un sistema riguroso y transparente para la designación de directores de escuela. Además, la calidad de su trabajo una vez designados generalmente se evalúa mediante su participación voluntaria en el Programa Nacional de Carrera Magisterial (PNCM ). Dentro de ese contexto, a los directores se les evalúa a través de pruebas relacionadas específicamente con la gestión escolar. Tal sistema puede permitir que las autoridades tengan una visión del conocimiento de algunos directores sobre leyes y teorías de gestión. Sin embargo, no muestra los niveles de aquellos tipos de cualidades de liderazgo que se necesitan para que la escuela se comprometa a una autoevaluación escolar efectiva, a impulsar la mejora en los procesos clave como aprendizaje y enseñanza, impulsar a los padres y a la localidad para que formen parte de la comunidad de aprendizaje y, como resultado de tales acciones mejorar tanto los resultados como las oportunidades de vida de los jóvenes a quienes atiende la escuela. Se informa que los supervisores escolares tienen una función en la evaluación de las actividades del director, pero dichas funciones no se llevan a cabo de forma rutinaria.

Recomendaciones de política educativa La escala de los retos que enfrenta México para modernizar y mejorar su sistema de educación en beneficio de los jóvenes y del país como un todo es indudablemente de enormes proporciones. Las autoridades educativas han hecho muchos intentos por mejorar el sistema durante los últimos 20 años. El tiempo es propicio para enfocarse en algunos puntos clave que pueden apoyar la mejora y sostenerla en el futuro. En el contexto de la mejora escolar basada en evaluaciones efectivas a nivel escuela, a continuación se hacen varias recomendaciones:

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 163

Desarrollar un plan a largo plazo y realizar acciones para introducir un sistema completo y objetivo de la evaluación de las escuelas La planeación a largo plazo debe incluir la meta de introducir un sistema completo de evaluación de las escuelas. Esto implica tomar los elementos individuales positivos que ya existen y desarrollarlos en un modelo totalmente redondeado de la evaluación de las escuelas, con todos los componentes necesarios. Esto incluiría cuando menos los siguientes elementos: • Asegurar que la asesoría nacional sobre autoevaluación penetre el sistema y promueva la participación de todas las escuelas; • Reforzar la conciencia no solamente de los procesos de autoevaluación sino también del rigor necesario para hacer que la autoevaluación lleve a la mejora; • Asegurar que todos los estados recomienden o requieran que todas las escuelas participen en la autoevaluación; • Promover y fomentar que los estados tengan mecanismos por medio de los cuales puedan participar en la evaluación externa de las escuelas utilizando criterios transparentes y conocidos; • Asegurar que los mensajes clave de otras formas de evaluación —resultados de los alumnos, la evaluación de los maestros y evaluación del director de la escuela— estén ligados a la creación de una evaluación holística de la escuela; • Reforzar y ampliar la función de los supervisores como posibles evaluadores externos, para desempeñar una función clave en la evaluación de las escuelas y así apoyar la mejora a nivel de aula y escuela; y • Utilizar los resultados de la evaluación de las escuelas para crear informes autorizados para los legisladores a nivel estatal y federal sobre el efecto de la política y en las necesidades del sistema. Todo sistema completo de la evaluación de las escuelas debe tener un número de objetivos, incluyendo, por ejemplo: • Juzgar el valor del dinero obtenido por el servicio educativo; • Asegurar que a las partes interesadas clave se les informe sobre la calidad de la prestación educativa; • Proporcionar evidencia útil, confiable y profunda a los legisladores sobre los efectos de las políticas y sobre las necesidades actuales y futuras; • Utilizar el proceso de evaluación para impulsar la mejora en la escuela y de la educación; y • Asegurar que la prestación de educación sea de la más alta calidad posible. Debido a las implicaciones para seleccionar personal nuevo y bien formado para las plazas docentes, de directores y supervisores, y para asegurar que los docentes, directores de escuela y supervisores en servicio desarrollen capacidades adecuadas, esta no puede ser una meta a corto plazo. El demás personal, incluyendo a nivel estatal, debe tener conocimiento de la función y de los objetivos de la evaluación de la escuela y de cómo hacer que sea un componente que impregne el trabajo de todos. El desarrollo del personal debe además apoyar orientación sobre cómo utilizar las demás evaluaciones existentes —de los resultados de los alumnos, y del trabajo de cada maestro— como componente de la evaluación de las escuelas basada en evidencia que considera el contexto local. Para incrementar los principios actuales, debe empoderarse a los consejos escolares de participación social para que apoyen las actividades de evaluación de las escuelas, ya sea en contexto de autoevaluación o de evaluación externa. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

164 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

Tal objetivo requiere un compromiso a largo plazo por parte de las autoridades, una visión fresca de los procedimientos existentes, desarrollo efectivo de todo el personal, incluyendo supervisores y un cambio en la actitud de los actores clave del sistema educativo.

Asegurar que la autoevaluación impregne el sistema, se adopte como una práctica común en todas las escuelas y esté apoyado por desarrollo del personal para que sea parte efectiva e importante de la mejora escolar En este momento la autoevaluación a nivel escuela está relacionada claramente con los programas de educación como el PEC que estuvo en práctica durante algún tiempo. Aquí el reto es apoyar y consolidar lo que ya está y tomar acción para hacerlo permeable, consistente y sostenido. Todas las escuelas deben participar en la autoevaluación, y no solamente aquellas que están en programas federales de educación. Esto implica un cambio de participación voluntaria a obligatoria en todas las escuelas. Tal cambio también significará un reto para México para proporcionar mecanismos sustanciales de apoyo dentro de un marco de desarrollo enfocado del personal. Se debe fomentar que las escuelas consulten la autoevaluación como un medio para tener más control y propiedad de sus actividades, con procesos que se conviertan en un componente instintivo de todo trabajo, y no una carga administrativa adicional. La consolidación de esta parte del modelo de evaluación de las escuelas sería un buen punto de inicio para ampliar el concepto, al cual se pueden alinear otros aspectos, como se mencionó arriba. Para que esto suceda, México deberá trabajar arduamente para asegurar que se movilice gente con el conocimiento y experiencia adecuada de la evaluación de las escuelas, que pueda usar su experiencia en la evaluación de la calidad a fin de crear capacidad en todo el sistema a nivel federal, estatal, sectorial, zonal y por escuela. En este aspecto todo el personal tendrá que desarrollar capacidades adecuadas. • Los directores de escuela deben tener capacidad para dirigir la autoevaluación de la escuela y tener una estructura magisterial que promueva su desarrollo profesional. La formación de liderazgo deberá asegurar que todos los directores de escuela desarrollen las competencias necesarias para coordinar y dirigir la escuela, los trabajos de padres y de la comunidad para evaluar la calidad de la escuela globalmente. Los directores de escuela deben convertirse en líderes para el aprendizaje y centrarse en mejorar el aprendizaje en lugar del cumplimiento de requisitos administrativos. • El personal de la escuela, incluyendo a todos los docentes, debe comprender los principios de la autoevaluación y tener el apoyo en este contexto mediante el desarrollo pertinente del personal dentro y fuera de la escuela y escuchando sobre buenas prácticas en otros lados. Los directores de escuela y personal local y estatal deben aprovechar la información tomada de la evaluación de los maestros (en un buen sistema de evaluación de los maestros), y utilizarla tanto para evaluar las fortalezas y debilidades que son comunes en una escuela, como para crear cursos pertinentes de desarrollo profesional de docente en los contextos locales y de todo el estado. Al trabajar en la evaluación de las escuelas no debe olvidarse que el agente más poderoso para la mejora es la calidad de los maestros y de la enseñanza dentro de la escuela, y que el apoyo a los maestros para que mejoren el aprendizaje debe estar en el centro de las actividades de evaluación (McKinsey & Company 2007; Gobierno de Escocia, 2011). • Además de los directores de escuela y el personal, todos los demás actores clave deben contar con experiencia en desarrollo profesional que los habilite con capacidades adecuadas REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 165

no solamente para apoyar y desafiar a los directores de escuela y docentes en sus funciones enfocadas al aprendizaje sino para que desempeñen su parte en un proceso de evaluación completo a nivel escuela. Esto se refiere específicamente a los supervisores y otro personal equivalente en los niveles local, sectorial y estatal. El recuadro 5.2 muestra los hallazgos de un proyecto de la Conferencia Internacional Permanente de Servicios de Inspección de Educación sobre las características de los sistemas de autoevaluación de las escuelas eficientes. Recuadro 5.2 Resultados del proyecto de Autoevaluación de escuelas eficientes del SICI

El proyecto de Autoevaluación de Escuelas Eficientes, emprendido por la Conferencia Internacional Permanente de Servicios de Inspección de Educación (SICI ) con financiamiento de la Comisión Europea incluyó el análisis de la calidad de la efectividad de la autoevaluación de la escuela en 14 estados miembro dentro de la Unión Europea. El proyecto concluyó que la autoevaluación requiere varios elementos de apoyo nacional si se desea que sea totalmente efectiva como impulso para la mejora. Se resalta cinco elementos principales de apoyo nacional: • La provisión de datos de alta calidad sobre los resultados del estudiante y los procesos clave, analizados y presentados a las escuelas de manera que les facilite establecer a ellos mismos un punto de referencia adecuado en comparación con escuelas similares. • El desarrollo y mantenimiento de un conjunto común de indicadores de calidad, junto con herramientas y guías para apoyar su uso, estableciendo un idioma compartido y un criterio compartido para la evaluación. • Programas de desarrollo profesional y otros apoyos para los docentes y los líderes escolares que les den las habilidades para realizar de manera efectiva la autoevaluación y mejora. • Programas organizados nacional o regionalmente de revisiones o inspecciones externas ocasionales para moderar y calibrar la autoevaluación consistentemente en todo el país, y proporcionar la base para el desarrollo de indicadores y herramientas nacionales. • Un marco nacional coherente de legislación, políticas y asesoría que indique las labores y responsabilidades adecuadas de las escuelas para evaluar y mejorar su prestación. Fuente: SICI (2003).

Cambiar el enfoque del trabajo de los directores de escuela en pro del aprendizaje y la mejora, y redefinir los estándares del director de escuela Una prioridad importante es asegurar que los directores de escuela tengan o desarrollen las capacidades para desempeñar tal función. Tendrán que encontrarse formas para liberarlos de cargas excesivas de trabajo administrativo, para permitirles que se enfoquen más en los alumnos, docentes y el aprendizaje. Esto implica el desarrollo de programas de formación de liderazgo, incluyendo componentes como proyectos prácticos dentro de la escuela, apoyo a la autoevaluación e investigación de acción, tutoría o asesoría de directores de escuela con éxito y la reducción de trabajo no productivo o trabajo administrativo que podrían realizar mejor administradores profesionales. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

166 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

También debe verse de nuevo el papel, función y capacidades existentes de los directores de escuela. Como se mencionó en este capítulo, se ha definido los trabajos del director de escuela y se redactó las competencias que deben tener. Esto pudiera formar una base para la definición de los estándares alcanzados en comparación contra estas competencias. Deberán darse pasos para asegurar que se cumpla estos estándares mediante la introducción de programas de desarrollo del personal en actividades de liderazgo, tutoría y asesoría, difundiendo ejemplos de buenas prácticas y actividades de apoyo y reto por parte de los supervisores escolares y otros líderes y gestores externos.

Desarrollo de un sistema separado de evaluación del liderazgo escolar La evaluación del trabajo de los directores de escuela debe separarse de la evaluación de los maestros y debe incluir la evaluación de subconjuntos adecuados de los estándares, incluyendo aspectos tales como trabajo en equipo del personal, mejoras en aprendizaje y enseñanza, mejora en los resultados del alumno a nivel escuela, la calidad de las sociedades con padres y la comunidad y los valores en general de la escuela, ninguno de los cuales se puede evaluar de manera efectiva por medio de una prueba escrita o una entrevista. Es clave una capacidad sólida en liderazgo escolar para la autoevaluación de la escuela y la mejora de la misma. Mejorar aún más las evaluaciones del desempeño de los directores de escuela es una manera de contribuir a crear y mejorar la función de los directores como líderes en la educación. La evaluación efectiva del director de escuela debe ayudar a dar retroalimentación externa constructiva, identificar áreas donde se requiere mejora y ofrecer apoyo enfocado para mejorar la práctica. Para reforzar la evaluación del liderazgo escolar, se recomienda el desarrollo de un marco de liderazgo escolar o normas que proporcionen una referencia fiable para la evaluación de los directores de escuela. Tal marco puede ayudar a mejorar la objetividad y equidad del proceso de evaluación y evitar complacencia entre los líderes que pueden tener un buen desempeño pero que aún pueden mejorar su práctica (Reeves, 2009). Tales estándares deberán informarse mediante investigación y expresar la complejidad de lo que se espera que los líderes eficientes de escuela sepan y puedan hacer. Al mismo tiempo es importante reconocer la naturaleza situacional de los trabajos de los líderes de escuela y permitir que los estándares estén en equilibrio con las ideas locales (Pashiardis y Brauckmann, 2008; Kimball et al., 2009). El marco nacional de estándares para el liderazgo escolar no debe considerarse como una plantilla o lista de verificación contra la cual se evalúen a los directores. En lugar de ello debe ser un punto de partida para la reflexión sobre los criterios localmente importantes en relación con los puntos de referencia nacionales (si desea más detalles consulte Radinger,). Para que los estándares de liderazgo escolar sean importantes y los “adopten” los directores de escuela en México, también es importante que los profesionales en liderazgo escolar tengan una buena participación en el desarrollo de los mismos. Finalmente, la selección de directores escolares dentro de la escuela debe realizarse de manera más transparente. Como primer paso para asegurar tal transparencia es necesario tomar un examen similar al Examen Nacional de Conocimientos, Habilidades y Competencias Docentes (ENCHD ) para obtener una plaza permanente como director escolar.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 167

Redefinir, en el corto plazo, la función del supervisor para fomentar un mayor enfoque en su apoyo a las escuelas para la autoevaluación e incluir un componente de evaluación externa La autoevaluación no es suficiente para asegurar que se hagan mejoras a los procesos de la escuela y a lo más importante, a la calidad general del aprendizaje y enseñanza y en consecuencia, a los resultados del estudiante. Para fomentar que la autoevaluación sea de buena calidad y tenga un efecto, debe introducirse un aspecto de la evaluación externa de las escuelas de manera más consistente y enfocada en todo el país. El sistema existente que utiliza supervisores de educación a nivel local puede utilizarse de forma flexible e innovadora para evaluar la calidad de la educación a nivel escolar. Sin embargo, para que esto tenga alguna oportunidad de éxito requerirá un ejercicio de renovación, una redefinición de la función de los supervisores lejos de revisar los procesos administrativos y hacia un mayor enfoque en el apoyo de las escuelas en la autoevaluación, además de desafiarlas para que mejoren. Esto implica capacitación intensiva de los supervisores con alguna plaza sobre cómo realizar la evaluación de las escuelas y los procedimientos de un reclutamiento transparente que asegure que el personal recién designado a determinada función sea capaz de realizar este trabajo complejo.

Crear condiciones para una mayor autonomía en las escuelas y desarrollar e intensificar la rendición de cuentas en todos los niveles del sistema de educación En la práctica, las escuelas en México tienen poca autonomía en lo que hacen. Los motivos son comprensibles ya que los gobiernos a niveles nacional y estatal buscan asegurar niveles de calidad básicos por medio del cumplimiento a la legislación. Sin embargo, otros sistemas nacionales muestran que es posible mejorar la calidad dando más autonomía dentro de la cual es posible abordar mejor y de manera flexible la necesidad local. Deben tomarse medidas para aumentar la autonomía de la escuela en términos de currículum, de los materiales de enseñanza, de aspectos de finanzas y de reclutamiento de personal. Sin embargo con más autonomía viene la necesidad de incrementar la responsabilidad y rendición de cuentas en todos los niveles. Dentro de las escuelas, los procesos de autoevaluación, con juicios de calidad basados en evidencia segura y significativa, son un punto de inicio clave. Conjuntamente con la evaluación externa, se puede incentivar a las escuelas para que acepten la propiedad de la calidad de su trabajo y de la mejora a futuro. Los informes de las escuelas sobre la calidad de sus servicios y sus prioridades clave para el desarrollo y mejora deben ser públicos para los padres y la comunidad local. De igual forma, los resultados de la evaluación externa también deben publicarse para cada una de las escuelas. Más allá del nivel escuela, el gobierno federal ha delegado a los estados la responsabilidad de la evaluación de las escuelas y por lo tanto de la calidad de los servicios educativos. Sin embargo, el gobierno federal no ha conservado la responsabilidad concomitante para asegurar que los estados sean responsables de la calidad de la evaluación de las escuelas y de la mejora. Aparte de los resultados de la prueba ENLACE , no es posible proporcionar información confiable sobre la calidad de la educación en el país, o a nivel estatal o individual. El gobierno federal debe tomar medidas para asegurar que los estados sean responsables ante la sociedad, para comunicar que tienen sistemas efectivos para reunir evidencias sobre la calidad y para fomentar la mejora a nivel estatal y local, así como para informar correcta y efectivamente sobre la calidad general de la educación en sus escuelas. Los estados deben considerar la creación de una agencia para la evaluación de las escuelas, tal vez unidos a los institutos estatales de evaluación en los lugares donde existen. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

168 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

Estas agencias estatales deben tener la responsabilidad de planear y realizar las evaluaciones externas, validar la autoevaluación, difundir las buenas prácticas y ofrecer sugerencias para el desarrollo que requieran las áreas de personal docente, directores de escuela y los supervisores mismos, resultado de los análisis y las evaluaciones realizadas. Dentro del marco global para la evaluación en México, estas agencias estatales deben estar ligadas a un órgano nacional —el cual puede ser una agencia nueva o una extensión del INEE que se enfoque a los aspectos de la calidad y al programa nacional de evaluación de escuelas—. Esta agencia podría utilizar los resultados de los datos cualitativos estatales para crear, como objetivo a largo plazo, informes sobre la calidad de la educación en México conjuntamente con otros datos como los resultados de EXCALE y ENLACE , y el desempeño de México en PISA y para proporcionar información basada en evidencia a los legisladores (véase más adelante).

Informar a todos los niveles la calidad de las escuelas, de una manera que sea de apoyo y tenga impacto para las escuelas y las autoridades educativas a nivel estatal y federal Otra meta a largo plazo debe ser un completo sistema de información. Se requieren varios componentes relacionados tanto con las actividades de evaluación como con el informe de los resultados de estas actividades a medida que se cree el componente anterior: • Procesos de evaluación a nivel escuela apoyados por los supervisores con capacidades adecuadas para apoyar y desafiar la autoevaluación de la escuela; • Informes anuales escolares y resumen de los planes de mejora publicados y disponibles a todos los padres; • Información sobre la autoevaluación validada por supervisores mediante evaluación externa, dentro de un informe individual de la escuela; • Informes de la escuela: informe a nivel local con las fortalezas y aspectos comunes que es necesario desarrollar; • Validación a nivel estatal de los informes locales por una agencia de calidad o el personal adecuado y su unión para elaborar un informe sobre la calidad de la educación a nivel estatal; y • Datos a nivel estatal adicionados a nivel federal por el personal o agencias pertinentes, como el INEE , para elaborar un informa nacional sobre la calidad de la educación con recomendaciones de acción a nivel nacional y estatal. Los informes pueden ser de gran alcance o estar enfocados al impacto de políticas educativas específicas de alto nivel. Tales informes “temáticos” sobre aspectos de la educación en muestras de escuelas, pudieran como lo hacen en algunos países, establecer informes” más completos sobre la calidad educativa del país. Por ejemplo, podría elaborarse un informe temático sobre el uso y efecto de la tecnología en el aprendizaje y la enseñanza, que ha sido el enfoque reciente de las políticas. En algunas escuelas, aún cuando existen computadoras, éstas pueden ser viejas o no tener buen mantenimiento. Además los docentes pudieran no tener la capacidad para usar de manera eficiente la tecnología como apoyo para el aprendizaje. Aún cuando pudiera haber excepciones, este aspecto no se evalúa dentro de la evaluación de maestros y parece no ser el enfoque de la autoevaluación de la escuela o alguna forma de evaluación externa llevada a cabo por los supervisores. El punto es especialmente importante en el caso de las telesecundarias, donde la entrega de todo el currículo depende de tecnología de buena calidad y con buen mantenimiento, REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 169

utilizada por maestros con habilidad. El problema no se solucionará meramente adquiriendo computadores nuevas, pizarrones interactivos u otras tecnologías —aunque indudablemente ayudará—, sino que se requiere una infraestructura de mantenimiento de respaldo, reparación y desarrollo del personal docente. Un informe temático podría incluir secciones sobre: • Evaluación de la prestación y mantenimiento de tecnología en las escuelas. • Su uso en la enseñanza, incluyendo estudio de casos y ejemplos de buenas prácticas. • El impacto en el aprendizaje de los alumnos en comparación con el indudablemente costo alto de tecnología nueva, mantenimiento y renovación y desarrollo de apoyo de soporte. Otro ejemplo pudiera relacionarse con el uso de las bibliotecas de aula. Se ha informado que cuatro de cinco aulas de primaria urbana tienen una biblioteca. Las que se observaron durante la visita de revisión del Equipo de Revisión de la OCDE eran modestas en el rango de material de lectura. El uso efectivo de materiales de lectura adicionales para apoyar un enriquecimiento del currículo para los alumnos en todo el espectro de habilidades es un problema del que los docentes pueden aprender fácilmente unos de otros mediante un informe temático. El reto claro en el desarrollo e implantación de tal sistema de informe de la calidad reside en asegurar que se tenga personal con las habilidades pertinentes para que realicen las actividades importantes, en escoger un marco de tiempo adecuado para cada etapa y poner en operación estrategias que aseguren que el sistema opere con fluidez, con control de la calidad, de manera eficiente y que no ser demasiado intensivo en tiempo en todos los niveles.

Ampliar el sistema de información de la escuela para que incluya más y más sofisticados datos cuantitativos y, en su momento, aspectos cualitativos Deben darse pasos para desarrollar formas efectivas para utilizar los datos estadísticos a nivel escuela que ya están disponibles mediante la ampliación del sistema de información de escuelas (RNAME ). Los desarrollos pueden incluir, junto con las calificaciones de ENLACE, datos cuantitativos, como comparación de los resultados de cada escuela individual contra los promedios obtenidos por las escuelas con características similares. Además, una medición del valor agregado de cada alumno en los grados de primaria y del final de la primaria hasta el final de la secundaria proporcionaría una narrativa significativa en los datos. Tales características adicionales requerirán que se les explique en términos claros tanto a las escuelas como al público en general. También deberá contarse con ayuda a largo plazo que incluya algunos aspectos cualitativos en los informes sobre cada escuela, o un enlace a un informe de la evaluación externa de la escuela.

Hacer comparaciones significativas entre las escuelas si los resultados de los alumnos se publican a nivel escuela En México, los resultados de las evaluaciones ENLACE se publican a nivel escuela sin considerar su contexto socio económico. Mejorar los datos de los antecedentes socioeconómicos de los alumnos (consulte el capítulo 6) y desarrollar los indicadores relacionados a nivel escuela permitiría hacer la comparación de los resultados de grupos de escuelas “similares” (escuelas con alumnos con antecedentes similares). Como ya se explicó, actualmente la SEP está realizando algún trabajo en esta área.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

170 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

Además, la dimensión longitudinal de ENLACE ofrece la oportunidad de poder desarrollar medidas del valor agregado por las escuelas, una posibilidad que se está explorando actualmente. En Inglaterra se espera que las escuelas cumplan metas en cuanto al avance que se espera en el alumno entre las etapas claves que se han especificado durante la educación escolar. Tales medidas del avance se complementan con un indicador estadístico de “calificación de Valor Agregado Contextual (CVA )”. Estas calificaciones muestran el avance logrado por los alumnos del final de una etapa clave al final de otra etapa clave utilizando los resultados de la prueba. La CVA toma en cuenta los puntos de inicio variantes de los resultados de la prueba de cada uno de los alumnos y los ajusta con factores que están fuera del control de la escuela (como género, movilidad y niveles de privación) que se ha observado que afectan los resultados del estudiante. Varios sistemas en Estados Unidos intentan también medir el “crecimiento anual adecuado”. Se ha investigado y usado en la práctica varios modelos. En los modelos de valor agregado a menudo se compara las calificaciones reales de la prueba de los alumnos contra las calificaciones proyectadas, y las calificaciones en aula y de la escuela que superan los valores proyectados se consideran una evidencia positiva de efectividad en la instrucción. De esta manera los modelos de valor agregado se pueden utilizar para identificar a los docentes y las escuelas que han superado el crecimiento esperado antes mencionado, a pesar de las diversas circunstancias de reto. Es importante indicar que los modelos de valor agregado aún están en desarrollo, y por lo tanto tienen predisposición a error (Koretz, 2008), aunque se considera que son más justos que el uso de los resultados sin procesar en términos de promedios de la escuela. En OCDE (2008) se describe las mejores prácticas para medir el valor agregado de las escuelas. En trabajo anterior con México, la OCDE apoyó la pertinencia de utilizar los modelos de valor agregado para evaluar el desempeño de una escuela y dar asesoría en cuanto a cómo implantar tales modelos. Se sugirieron cuatro fases diferentes para el proceso del establecimiento del modelo de valor agregado (OCDE , 2011): • Estratificación de escuelas similares (con base en el tipo e información socioeconómica u otra pertinente) para hacer las comparaciones dentro del grupo de los resultados promedio de las calificaciones sin procesar; • Los ejercicios internos con modelos de valor agregado realizados por las autoridades de educación para seleccionar los modelos y abordar los problemas técnicos con los datos; • Información pública, conocimiento y compromiso con las partes interesadas sobre los méritos, retos y oportunidades de los modelos de valor agregado; y • Consecuencias (baja participación en el inicio) para las escuelas con bajo desempeño (mayor exploración, observación y asistencia), al igual que para aquellas con alto desempeño.

Asegurar que las buenas prácticas en todos los aspectos de las actividades de la escuela, se reúnan y pongan a disponibilidad del personal profesional Ayudar a las escuelas y a que su personal se ayude a sí mismo es una característica clave de la autonomía y un medio para obtener niveles más altos de corresponsabilidad en la mejora. Un buen punto de inicio sería que las escuelas celebraran reuniones periódicas, en las cuales los docentes pudieran enfocarse a las estrategias de aprendizaje y enseñanza, y compartieran ideas. De igual forma, reuniones locales ocasionales de los directores con enfoque al liderazgo, manejo del personal y estrategias para la mejora de la escuela, podrían evitar sentimientos de aislamiento y fomentar la difusión de ideas útiles. Asimismo, reuniones locales de los docentes por grado o por tipo de escuela, encabezadas por personal de la autoridad local y nuevamente REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 171

con enfoque en estrategias de aprendizaje y enseñanza, podrían apoyar la mejora. Tales reuniones requerirían apoyo mediante financiamiento para contratar un lugar y para los gastos de viaje. También se necesitará incluirlas como obligaciones para el desarrollo del personal. En otros sistemas han promovido la expresión de ideas nuevas y han mejorado la enseñanza y aprendizaje en el aula, considerando su enfoque altamente práctico y su duración corta. Una meta a largo plazo pudiera ser recolectar y publicar ejemplos de buenas prácticas a nivel estatal y nacional. Parte de los materiales ¿Cómo puedo mejorar mi escuela? proporcionaron un análisis de las características de la escuela que tuvieron éxito en las evaluaciones nacionales del alumno. El Equipo de Revisión de la OCDE informó que los intentos posteriores para formular estudios de caso de buenas prácticas tuvieron resultados desalentadores. Sin embargo, los ejercicios a nivel escuela y local pueden eventualmente promover la idea de difundir las buenas prácticas más allá de cada una de las escuelas. Una meta a largo plazo pudiera ser desarrollar un portal en Internet con ejemplos, estudios de caso, y video clips que se enfoquen a la calidad y mejora en aspectos específicos de la prestación del servicio, clasificados por tipo de escuela y etapa del alumno, como se ha desarrollado en Escocia. A manera de complemento para el Catálogo Nacional de Formación Continua y Superación Profesional para Maestros de Educación Básica, tal base de datos de ejemplos de buenas prácticas con acceso en línea podría reducir la cantidad de tiempo que los docentes y los directores de escuela tendrían que pasar fuera de la escuela.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

172 – 5. LA EVALUACIÓN DE CENTROS ESCOLARES

Bibliografía Calvo Pontón, B., M. M. Zorrilla Fierro, G. Tapia García y S. L. Conde Flores (2002), La supervisión escolar de la educación primaria en México: Prácticas, desafíos y reformas, International Institute for Educational Planning, UNESCO , París. HMIE (Her Majesty’s Inspectorate of Education Scotland) (now Education Scotland) (1995, 2002, 2006 y próximamente), How Good Is Our School?, www.hmie.gov.uk. HMIE (now Education Scotland) (on-going), Journey to Excellence, Part 5, www.hmie.gov.uk or www.educationscotland.gov.uk. INEE (Instituto Nacional para la Evaluación de la Educación) (2008), Hacia un nuevo modelo de supervisión escolar para las primarias mexicanas, coordinado por B. García Cabrero y L. Zendejas Frutos, México, D.F. Kimball, S.M., A. Milanowski y S.A. McKinney (2009), “Assessing the Promise of StandardsBased Performance Evaluation for Principals: Results from a Randomized Trial”, Leadership and Policy in Schools, Vol. 8 (3), pp. 233-263. Koretz, D. (2008), “A Measured Approach: Maximizing the Promise, and Minimizing the Pitfalls of Value-Added Models”, American Educator, Vol. 32, No. 2, pp. 18-39. McKinsey & Company (2007), How the World’s Best-Performing School Systems Come out on Top, www.mckinsey.com/App_Media/Reports/SSO/Worlds_School_Systems_Final.pdf. Morris, A. (2011), “Student Standardised Testing: Current Practices in OECD Countries and a Literature Review”, OECD Education Working Papers, No. 65, OECD , París, www.oecd. org/edu/workingpapers. OCDE (2008), Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value Added of Schools, OECD , París, www.oecd.org/edu/talis. OCDE (2009), Creating Effective Teaching and Learning Environments: First Results from TALIS , OECD , París, www.oecd.org/edu/talis. OCDE (2010), Improving Schools: Strategies for Action in Mexico, OECD , París. OCDE (2011), Establishing a Framework for Evaluation and Teacher Incentives: Considerations for Mexico, OECD , París. Pashiardis, P. y S. Brauckmann (2008), “Evaluation of School Principals”, en J. Lumby, G. Crow y P. Pashiardis (eds.), International Handbook on the Preparation and Development of School Leaders, Routledge, Nueva York, Londres, pp. 263-280. Radinger, T. (próximamente), School Leadership Appraisal: Current Practices and a Literature Review, OECD , París. Reeves, D.B. (2009), Assessing Educational Leaders: Evaluating Performance for Improved Individual and Organizational Results, 2nd Edition, Thousand Oaks, California. Rosenkvist, M. (2010), “Using Student Test Results for Accountability and Improvement: A Literature Review”, OECD Education Working Papers, No. 54, OECD , París, www.oecd. org/edu/workingpapers. Santiago, P., G. Donaldson, J. Herman y C. Shewbridge (2011), OECD Reviews of Evaluation and Assessment in Education: Australia, OECD , París, www.oecd.org/edu/evaluationpolicy. Scottish Government (2011), Teaching Scotland’s Future: Report of a Review of Teacher Education in Scotland (“The Donaldson Report”), Scottish Government, Edinburgh. SEP (Secretaría de Educación Pública) (2002), Las escuelas públicas mexicanas de educación básica: Algunos aspectos a considerar en la autoevaluación escolar, México, D.F., www.comipems.org.mx/autoevaluacion/Autoevaluacion/Descargas/AutoevalMNCT/ESC_ PUB_MEX.pdf. SEP (2003), ¿Qué tan buena es nuestra escuela? Adaptación de los principales indicadores de desempeño para la autoevaluación en los Centros Escolares de Educación Básica. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

5. LA EVALUACIÓN DE CENTROS ESCOLARES – 173

México, D.F., www.comipems.org.mx/autoevaluacion/Autoevaluacion/Descargas/Autoeval MNCT/QUE_TAN_BUENA_ES_NUESTRA_ESCUELA.pdf. SEP (2007), ¿Cómo puedo mejorar mi escuela? Algunos aspectos a considerar en su autoevaluación, México, D.F., www.escuelasdeavanzada.org/documentos/recuros_autoevaluacion/mexico/6_ Como_mejorar_miescuela.pdf. SEP (Secretaría de Educación Pública) e INEE (Instituto Nacional para la Evaluación de la Educación) (próximamente), Country Background Report for Mexico, prepared for the OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, to be available from www.oecd.org/edu/evaluationpolicy. SICI (Standing International Conference of Inspectorates of Education) (2003), Effective School Self-Evaluation, SICI . UNESCO -IBE (United Nations Educational, Scientific y Cultural Organization – International Bureau of Education) (2010), World Data on Education VII Ed. 2010-2011: Mexico, www. ibe.unesco.org/fileadmin/user_upload/Publications/WDE/2010/pdf-versions/Mexico.pdf.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 175

Capítulo 6 La evaluación del sistema educativo

La Secretaría de Educación Pública (SEP ) es responsable del monitoreo y evaluación general del sistema educativo con el apoyo del Instituto Nacional para la Evaluación de la Educación (INEE ). Se utilizan diversas herramientas para monitorear el desempeño del sistema educativo. Se obtiene información sobre los resultados del aprendizaje de los alumnos de los Exámenes de Calidad y Logro Educativo (EXCALE ) al final del tercer grado de preescolar, tercer grado de primaria, sexto grado de primaria, tercer grado de secundaria y tercer grado de bachillerato incluyendo español, matemáticas, ciencias naturales y ciencias sociales. El sistema de información también incluye estadísticas sobre educación de los datos recabados de escuelas en un formato estandarizado. Éstas son la base para las publicaciones anuales de indicadores a nivel sistema sobre la educación. Además, las referencias internacionales del desempeño del alumno proporcionadas por los estudios internacionales del alumno como PISA han influido en el impulso de políticas a nivel sistema. Los estados complementan las iniciativas a nivel nacional con sus propios enfoques a la evaluación de su subsistema y algunos han creado un instituto de evaluación. Las características positivas de la evaluación del sistema son: la atención que recibe dentro de la política educativa; la recopilación de estadísticas nacionales y un sistema de registro establecidos; la existencia de información de todo el sistema sobre los resultados del aprendizaje de los alumnos; la perspectiva autónoma de un instituto nacional dedicado a la evaluación del sistema educativo; y los trabajos importantes para emprender metódicamente evaluaciones de programas. Sin embargo, la evaluación del sistema enfrenta varios retos. Hay áreas de oportunidad para una mejor explotación de la información a nivel sistema; la rendición de cuentas interna limitada de los estados; la necesidad de reforzar la importancia de E XCALE ; la atención limitada a estudios temáticos; algunas brechas en los datos del sistema nacional de información, como el contexto socioeconómico de las escuelas; y el uso irregular de la evaluación del programa.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

176 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

Este capítulo considera la evaluación del sistema educativo dentro del marco general de evaluación en México. Se refiere a los enfoques para monitorear y evaluar el desempeño de la educación a nivel nacional y estatal. Las metas principales de la evaluación del sistema educativo son proporcionar información y rendición de cuentas al público y mejorar los procesos y resultados educativos.

Contexto y características Responsabilidades en la evaluación del sistema educativo La Secretaría de Educación Pública (SEP ) es responsable del monitoreo y evaluación general del sistema educativo. De acuerdo con la Ley General de Educación (LGE ), las autoridades educativas federales están a cargo de la realización de evaluaciones sistemáticas y periódicas para asegurar que los docentes y las autoridades educativas cumplen con las herramientas para respetar los derechos de los alumnos. La SEP también realiza y evalúa la planeación y programación educativa y establece lineamientos para las evaluaciones que llevarán a cabo el estado o las autoridades locales. Dentro de la SEP , la Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE ) está a cargo del desarrollo del Sistema Nacional de Evaluación Educativa (SNEE ) a nivel federal, lo cual hace en colaboración con otras unidades dentro de la SEP , los estados, agencias especializadas y unidades administrativas competentes. La evaluación del sistema a nivel nacional está apoyada además por agencias técnicas especializadas, como el Instituto Nacional para la Evaluación de la Educación (INEE ). El INEE fue creado con la misión de contribuir a la mejora de la calidad educativa a través de la evaluación y con el objetivo de apoyar la toma de decisiones, la mejora pedagógica en las escuelas y la rendición de cuentas. Otras agencias importantes son el Centro Nacional de Evaluación para la Educación Superior (C ENEVAL ), asociación civil no lucrativa, y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL ), agencia autónoma descentralizada de la administración pública federal. Las autoridades estatales pueden complementar las evaluaciones y mediciones nacionales con sus propios enfoques. La LGE establece que tanto las evaluaciones nacionales como estatales deben ser sistemáticas y que los resultados se deben usar para facilitar la toma de decisiones de política educativa. Desde el establecimiento del Acuerdo Nacional para la Modernización de la Educación Básica (ANMEB ) en 1992, se han orientado los esfuerzos para crear y reforzar las responsabilidades de evaluación a nivel estatal, y de agencias estatales responsables de la evaluación. A la fecha cinco estados tienen institutos autónomos de evaluación y nueve, tienen su propia evaluación a nivel estatal. Más aún, todos los estados participan en evaluaciones internacionales como TIMSS o PISA , y 26 estados consideran la evaluación en su legislación estatal de educación.

Herramientas principales para monitorear el desempeño del sistema educativo Evaluaciones nacionales del desempeño del alumno El avance hacia el logro de las metas del currículum nacional se mide en etapas clave de la educación por medio de los Exámenes de Calidad y Logro Educativo (EXCALE ). Estas pruebas han sido implementadas por el INEE desde el 2005 y cubren las materias de español, matemáticas, REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 177

ciencias naturales y ciencias sociales. Se aplican en el tercer año de educación primaria y en el último grado de cada ciclo escolar (tercer grado de preescolar; sexto grado de primaria; tercer grado de secundaria; y tercer grado de educación media superior). Desde 2009, el EXCALE sigue un ciclo de cuatro años para cada uno de los grados involucrados. Por lo tanto el EXCALE se realiza todos los años, pero evalúa uno o dos grados diferentes cada año. Por ejemplo, en 2013 las pruebas se aplicarán para el sexto grado de educación primaria y en 2014 se aplicarán para el tercer grado de educación primaria (consulte el cuadro 6.1). También existe la posibilidad de llevar a cabo pruebas adicionales intermedias en los ciclos de cuatro años (recuadros sombreados de el cuadro 6.1). Cuadro 6.1 Ciclos de evaluación de EXCALE Grados

Años 2005

2006

Tercero de preescolar

2007

2008

2009

2010

E, M

Tercero de primaria

E, M

Tercero de secundaria

E, M

Tercero de educación media superior

2012

2013

2014

E, M

E, M N,S

Sexto de primaria

2011

E, M N, S E, M N, S

E, M N, S E, M N, S

E, M E, M N, S

E, M

E, M

2016

E, M

E, M N, S E, M

2015

E, M N, S

E, M E, M N, S

E, M E, M N, S

Notas: E = español, M = matemáticas, N = ciencias naturales, S = ciencias sociales. Fuente: INEE (2005).

Las pruebas se aplican a una muestra representativa de alumnos en cada estado. Para cubrir una gama amplia de reactivos sin sobrecargar a los alumnos, se crean varios grupos de alumnos para cada materia, donde a cada grupo se le somete a prueba con un número limitado de tareas. Se tienen aproximadamente 130 reactivos de prueba para cada grado. La mayoría de ellos son de opción múltiple, pero se han agregado gradualmente algunos ítems de respuesta elaborada para evaluar habilidades más complejas. Estas pruebas tienen referencia a criterio (por ejemplo se califican con estándares de referencia). Hay cuatro niveles de desempeño: “avanzado”, “medio”, “básico” y “por debajo del básico”. De 2003 a 2006, los resultados junto con los indicadores del contexto (con base en los cuestionarios que llenaron los alumnos en el momento de la prueba) se reportaron en un informe anual sobre la Calidad de la Educación Básica en México, publicado por el INEE , para cada una de las áreas evaluadas. Estos informes son públicos, no tienen costo y están disponibles tanto en línea como impresos. Desde su quinta edición en 2007, los informes anuales ya no ofrecen un panorama de la calidad de la educación básica, sino que informan los resultados de EXCALE con un enfoque en un tema específico cada año. Los temas recientes incluyeron la educación para grupos de alumnos vulnerables (2007), tendencias y perspectivas de la educación básica (2008), el derecho a la educación (2009) y los retos que enfrenta la educación media superior (2010-2011). Además, aún cuando ENLACE (consulte el capítulo 3) no está diseñado para cumplir una función de evaluación del sistema, sus resultados de facto se utilizan a menudo para analizar el desempeño del sistema educativo nacional y sus subsistemas. Por ejemplo, la SEP agrega los resultados de ENLACE por estado, y los resultados se utilizan para comparar el desempeño REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

178 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

educativo entre los estados. Las autoridades educativas estatales que entrevistó el Equipo de Revisión de OCDE se refirieron a ENLACE como la herramienta más importante para monitorear la calidad de sus sistemas de educación estatales. Tal parece que dada su cobertura, cohorte completa y a la alta participación que se le atribuye, ENLACE ha ganado más visibilidad que EXCALE como evaluación de los resultados del sistema educativo.

Indicadores a nivel sistema Con el objeto de monitorear todo el sistema educativo se recaba una amplia variedad de datos administrativos y sociodemográficos a nivel nacional. La SEP recaba información estadística de escuelas por medio del llamado Cuestionario 911. Este conjunto de datos reúne información sobre el número de alumnos, personal, docentes, aulas y gasto familiar para la educación. Los datos proporcionados por las escuelas son revisados y los hace oficiales el Secretario o Director de Educación del estado correspondiente y finalmente son validados a nivel nacional por la Dirección General de Planeación y Estadística Educativa (DGPEE ). Con base en esta información validada, la SEP calcula indicadores educativos como cobertura, índices de reprobación y deserción. La información de los Cuestionarios 911 también alimenta a una gama de bases de datos,1 que están disponibles en línea por medio del Sistema Nacional de Información Educativa (SNIE ). El sistema ofrece una consulta interactiva a las estadísticas básicas, series históricas y pronósticos nacionales y por entidad. Para ir más lejos, la DGPEE y el INEE han realizado trabajo conjunto para crear un Sistema Nacional de Indicadores Educativos (SININDE ) para las dos agencias, con el objeto de evaluar la calidad de la educación y mejorar la política educativa. Este trabajo ha redundado en el desarrollo de un Sistema de Indicadores Educativos (SIE ). Este sistema reúne una amplia variedad de datos recabados de varias fuentes de información tales como los Cuestionarios 911, EXCALE , el Programa Nacional de Carrera Magisterial (PNCM , consulte el capítulo 4) y datos sociodemográficos recabados por el Instituto Nacional de Estadística y Geografía (INEGI ) en áreas como vivienda, ingreso y empleo. Esta información se conjunta en el SIE para calcular los indicadores del contexto social y los resultados de educación. Los indicadores están agrupados en cinco categorías: (1) contexto social; (2) agentes y recursos en el sistema; (3) acceso y trayectorias; (4) procesos educativos y gestión; y (5) resultados educativos. También se desagregan con base en criterios como estado, tipo de localidad, nivel educativo y género. Todos los indicadores se encuentran disponibles en línea y anualmente se publica una selección en el anuario Panorama Educativo de México. Indicadores del Sistema Educativo Nacional. Un aspecto interesante del monitoreo del sistema en México es la alta participación de las organizaciones de la sociedad civil en el desarrollo de indicadores de la educación. La presión de las organizaciones de la sociedad civil para recibir información de las escuelas ha contribuido considerablemente al desarrollo del SNIE . Además, varias organizaciones de la sociedad civil desarrollaron sus propios indicadores. La organización Mexicanos Primero, por ejemplo, publica el informe anual Metas: Estado de la Educación en México, que incluye diversos indicadores de equidad del sector educativo.

Evaluación de la política y de programas En años recientes se ha presentado un creciente interés en la evaluación de las políticas, los programas y acciones implementados por instituciones públicas en México. El CONEVAL es responsable de las evaluaciones de los programas federales de desarrollo social, que incluyen los programas del sector educativo. CONEVAL emite un Programa Anual de Evaluación (PAE ) REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 179

el cual determina qué programas se deben evaluar cada año. En la evaluación de los programas federales de educación C ONEVAL coopera con la Secretaría de la Función Pública (SFP ), la Secretaría de Hacienda y Crédito Público (SHCP ) y con áreas de la SEP , especialmente con la UPEPE y la Dirección General de Evaluación de Políticas (DGEP ). Para la evaluación de los programas educativos federales, la SEP y las autoridades estatales establecen conjuntamente una Unidad Responsable del Programa (UR ) para coordinar con CONEVAL cada etapa del proceso de evaluación, incluyendo la definición del programa, contratación, supervisión y seguimiento de la evaluación. Esta UR no está relacionada con la operación del programa mismo. Los programas que se evaluaron varias veces están incluidos en el Sistema de Información para Monitoreo de Programas Federales de UPEPE susceptibles a evaluación (SISEPF ). Esto permite capturar y analizar información sobre los programas federales dentro de la SEP . El sistema de información también permite verificar el cumplimiento de los programas a los reglamentos e informar el seguimiento y proceso para toma de decisiones relacionadas con los programas federales.

Evaluación de los recursos y procesos Como parte de la evaluación de la calidad general del sistema educativo mexicano, el INEE realiza también evaluaciones ocasionales de los recursos y procesos de la educación escolar. Estas incluyen evaluaciones cualitativas de temas relacionados con recursos humanos, materiales y de organización, acceso a la educación y trayectorias del alumno, prácticas en el aula y liderazgo educativo. El objetivo de la evaluación de tales estudios es ir más allá de la medición de los resultados por medio de la evaluación de los alumnos y de la información que puede recabarse mediante los cuestionarios del contexto EXCALE (INEE , 2008). El cuadro 6.2 muestra un panorama de las evaluaciones de recursos y procesos publicadas por el INEE hasta ahora. Los estudios a gran escala publicados por el INEE en su sitio web se han centrado en temas como infraestructura y equipamiento en escuelas primarias y secundarias en educación básica, así como violencia, disciplina y adicciones; prácticas de enseñanza para desarrollar la comprensión de lectura en escuelas primarias; y la evaluación de las prácticas de los alumnos en las escuelas primarias. En el diseño e implementación de estas revisiones, el INEE utiliza varios instrumentos de evaluación incluyendo cuestionarios, guías de observación, análisis de documentos y entrevistas (INEE , 2008). Cuadro 6.2 Evaluaciones del INEE sobre los recursos y procesos de la educación Años

Nivel educativo

Enfoque

Número de participantes Docentes

Alumnos

Secundaria

Gestión, implementación de la reforma a la educación secundaria

—

—

2006

Primaria

Infraestructura

—

—

2006

Secundaria

Infraestructura

—

—

2006

Primaria

Violencia, disciplina, adicciones

22 369

47 858

2006

Secundaria

Violencia, disciplina, adicciones

6 171

52 251

2006

Primaria

Prácticas de enseñanza: comprensión de lectura

5 427

7 945

2007

Preescolar

Oferta educativa

506

4 902

2008

Preescolar

Oferta educativa

4 908

23 370

2008

Primaria

Evaluación de las prácticas de los alumnos

3 534

17 908

2005-2006

Fuentes: INEE (2008, 2011).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

180 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

Además de los estudios publicados en el sitio web hasta ahora, el INEE llevó a cabo una evaluación del aprendizaje de los alumnos en español y matemáticas en la educac ión preescolar y una evaluación de la aportación de la tutoría al aprendizaje de los adolescentes en educación secundaria. La revisión de la educación preescolar implicó un análisis de los resultados de EXCALE junto con una evaluación a gran escala de las prácticas de enseñanza, en las que los docentes describieron sus prácticas y el apoyo recibido. El objetivo fue identificar las relaciones existentes entre las prácticas de enseñanza y los resultados del estudiante en EXCALE . La evaluación realizada en la educación secundaria implicó la elaboración y validación de cuestionarios para estudiantes y docentes en relación con prácticas de tutoría. Después de aplicar los cuestionarios, el INEE trianguló las respuestas de los diferentes grupos.

Participación en la evaluación internacional de alumnos México participa activamente en los estudios internacionales que miden y comparan el desempeño/logro de los alumnos entre los diferentes países. • México ha participado en el Programa para la Evaluación Internacional de Alumnos (PISA ) de la OCDE desde su inicio en el 2000. PISA mide competencias en lectura, matemáticas y ciencias de alumnos con 15 años de edad. En las dos últimas aplicaciones en el 2006 y 2009 se vio la necesidad de incluir muestras representativas de cada uno de los estados. También se ha realizado un análisis complejo de los resultados y trabajos adicionales para difundir los resultados a las diferentes audiencias. • México también participa en el Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS ) de la Asociación Internacional para la Evaluación del Logro Educativo (IEA ), que evalúa aprendizajes en matemáticas y ciencias en alumnos de 4 y 8 años. México ha participado en el TIMS desde su primera evaluación aproximadamente en 1995, aún cuando los resultados de 1995 no estuvieron disponibles públicamente. Desde el 2003, el INEE analiza y transmite al público los resultados de la evaluación del TIMSS . • Por último, México participó en la Evaluación de la Calidad Educativa (LLECE) en 1997 y en el 2006 del Laboratorio Latinoamericano de la UNESCO . En 1997, el LLECE cubrió habilidades en lectura, escritura y matemáticas en el tercer y cuarto año. En el 2006 evaluó las mismas áreas en el tercero y sexto año, más una evaluación de ciencias naturales del sexto año. Las pruebas del LLECE se diseñan con base en áreas comunes del currículo de los países latinoamericanos, junto con un enfoque en las “competencias para la vida”, según promueve la UNESCO . La participación en tales estudios internacionales ofrece información de referencia internacional sobre el desempeño del sistema educativo y además permiten monitorear su progreso en el tiempo, por ejemplo, por medio de los datos de tendencias disponibles de PISA . Los resultados de estos estudios, especialmente los resultados PISA han influido mucho como guía en la política y práctica educativa en México. Por ejemplo, en el Programa Sectorial de Educación 2007-2012 se estableció un objetivo en términos del logro nacional en PISA 2012 (consulte el capítulo 1), y las autoridades educativas publicaron material guía para los docentes, a fin de fomentar que utilicen reactivos de evaluación “tipo PISA ” en su trabajo de evaluación en el aula (consulte el capítulo 3).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 181

Participación en revisiones internacionales Además, México participa en el Estudio Internacional sobre Docencia y Aprendizaje (TALIS ). TALIS recaba información sobre docentes y directores de escuelas de secundaria para ofrecer un panorama comparativo de las características de los docentes y la enseñanza en la educación. Ofrece información en áreas como desarrollo profesional de docentes, creencias y actitudes relacionadas con la enseñanza, al igual que percepciones relacionadas con su propia práctica, su ambiente de aprendizaje y los contextos escolares en los que trabajan. En la primera ronda de TALIS participaron individualmente nueve estados. México también ha participado en revisiones internacionales de política educativa, incluyendo la reciente participación en el Informe sobre las prácticas de la evaluación en educación básica y Marcos de Evaluación.

Fortalezas La evaluación del sistema es una prioridad en México El monitoreo de la calidad del sistema educativo es un componente bien desarrollado dentro del enfoque de la evaluación en México. Las autoridades educativas y la sociedad civil han puesto mucha atención en el desarrollo de indicadores a nivel nacional y estatal para medir la calidad del progreso del sistema educativo en general. En el 2000 la política educativa dio un papel estratégico a la evaluación como parte esencial para la planeación, seguimiento y rendición de cuentas de las autoridades educativas (SEP e INEE , posteriormente). Este enfoque clave sobre la evaluación del sistema se refleja en el establecimiento de sistemas completos de información y evaluaciones nacionales basadas en muestras que se han perfeccionado continuamente a lo largo de la última década. Esto también es visible en el informe transparente de indicadores y las medidas de resultados educativos en las bases de datos en línea y en las publicaciones anuales sobre el estado del sistema educativo. Desde el inicio de la década del 2000 se ha puesto cada vez mayor atención en la amplia publicación y diseminación de información en diferentes formatos entre las autoridades de educación, directivos, familias y el público en general. Existe una amplia aceptación del principio que indica que las políticas y los programas educativos deben monitorearse y evaluarse continuamente para informar el desarrollo de políticas y la planeación de la educación a futuro. Además hay una gran apertura hacia las evaluaciones externas y la evaluación internacional de los alumnos que puede ayudar a establecer un punto de referencia para el desempeño educativo de México en relación con otros países. México ha estado participando en diferentes estudios internacionales de evaluación de alumnos y ha trabajado para utilizar internamente los resultados. También se siguen de cerca las buenas prácticas internacionales y a menudo se invita a debate nacional a expertos de diferentes países para pedir su aporte y punto de vista externo.

Los objetivos de la política e indicadores para informar el avance ofrecen una referencia para la evaluación del sistema El enfoque para la evaluación del sistema educativo se determina por medio de las prioridades que se establecen en el Plan Nacional de Desarrollo 2007-2012 y el Programa Sectorial REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

182 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

de Educación (PROSEDU ). Para este periodo, el PROSEDU estableció seis objetivos de política claros para el sector educativo. En resumen, los objetivos se refieren a: (1) elevar la calidad de la educación; (2) reducir las desigualdades entre los grupos sociales; (3) fomentar el uso de las tecnologías de la información y comunicación (TIC ); (4) ofrecer educación integral incluyendo la formación de valores cívicos, democráticos e interculturales; (5) enfatizar la responsabilidad social y la participación en la fuerza de trabajo; y (6) fomentar una gestión escolar e institucional que fortalezca la participación de las partes interesadas locales y escolares en la toma de decisiones (consulte el capítulo 2). En torno a estos seis objetivos de política, el PROSEDU establece un conjunto de 41 indicadores, 22 de los cuales se refieren a la educación básica. Para cada indicador, el programa determina la unidad de medida al igual que un objetivo a alcanzar en el 2012. Por ejemplo, para el Objetivo 3 sobre la promoción de las TIC en la educación, las metas para el 2012 se refieren a equipar salas de medios, aumentar el número de computadoras por alumno, establecer conexiones de Internet en bibliotecas y la formación de docentes en el uso educativo de las computadoras (TIC ) (consulte otros ejemplos en el capítulo 2). El establecimiento de objetivos claros de política junto con indicadores y metas ayuda a tener una referencia en relación con la cual se pueda medir la importancia y efectividad de las políticas educativas. También asegura un mayor enfoque en los principales retos que el sistema educativo está enfrentando y fomenta que las partes interesadas de todos los niveles desarrollen estrategias para responder a ellos.

Está bien establecido un sistema nacional de estadística y registro Una fortaleza clave del enfoque de México en la evaluación del sistema, es la creación de un sistema nacional de estadísticas e indicadores. Como se describió antes, el desarrollo del SNIE , SININDE y SIE reflejan un trabajo importante para recabar datos sobre el desempeño de la educación y los diversos factores que lo influyen, para monitorear las tendencias en el tiempo y analizar el estado del sistema educativo. En años recientes, se ha observado un fuerte interés en la integración de información de diferentes fuentes y bases de datos a fin de mejorar la exactitud y utilidad de la información para el análisis y toma de decisiones. La iniciativa de política más reciente para reforzar los sistemas de información fue el desarrollo del Registro Nacional de Alumnos, Maestros y Escuelas (RNAME ). Su desarrollo es el resultado de una serie de reformas legislativas y administrativas implementadas en el 2011. El RNAME está dirigido a consolidar y mejorar la información sobre el registro de alumnos, docentes y escuelas. Como una parte del RNAME , el Registro Nacional de Alumnos ahora incluye un identificador individual por alumno que rastrea la información individual de inscripción, transferencias y resultados de ENLACE . El Registro Nacional de Docentes incluye además datos sobre varios aspectos de la trayectoria individual de docentes, incluyendo información sobre salarios, participación en programas de evaluación y desempeño en el examen del Concurso Nacional para el Otorgamiento de Plazas Docentes. Se planea establecer enlaces entre el registro de alumnos y el registro de docentes para facilitar el análisis de los factores que influyen en la enseñanza y aprendizaje (consulte el capítulo 5 para información más detallada sobre la parte correspondiente a las Escuelas parte de RNAME ). Los posibles beneficios del nuevo sistema RNAME incluyen posibilidades mejoradas para realizar análisis longitudinales e identificar tendencias y riesgos. Puede ayudar a facilitar el informe por parte de agencias de la educación, el análisis de los datos del alumno y del maestro con el tiempo, moviendo los datos entre los diversos sistemas de información y aplicaciones, y emitiendo documentación que los alumnos pudieran necesitar presentar a las instituciones o empleados de la educación. La información más exacta y actualizada sobre REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 183

los movimientos entre escuelas del alumno y del docente también permitirá una asignación más eficiente de recursos a las escuelas que más lo necesitan. En general, el sistema integrado tiene gran posibilidad de contribuir a mejorar la transparencia y rendición de cuentas del sistema educativo.

Se cuenta con información confiable de todo el sistema sobre los resultados del aprendizaje de los alumnos EXCALE ofrece información de todo el sistema sobre los resultados del aprendizaje de los alumnos. Una de las fortalezas de estas evaluaciones es la claridad de su objetivo. EXCALE tiene como meta ofrecer una imagen nacional de los resultados del aprendizaje en etapas claves de la educación en lugar de informar individualmente sobre los alumnos, docentes o escuelas. El objetivo principal es obtener y analizar información sobre los resultados del aprendizaje de los alumnos de manera que se pueda monitorear el avance del sistema educativo nacional y de los subsistemas estatales, y proporcionar información para mejorar la política y práctica educativa. Existen varios elementos que hacen que EXCALE sea especialmente adecuado para este fin. Primero, EXCALE está referenciado con el currículo mexicano, y como tal permite medir el avance hacia las metas nacionales de educación y ampliar el debate nacional más allá de los resultados de los estudios nacionales. Las pruebas no miden las competencias transversales sino que se enfocan en el contenido específico que se cubre en las materias que se están evaluando. En México se facilita la identificación de los resultados nacionales esperados de aprendizaje por el currículo, los libros de texto y materiales de enseñanza, debido a que el sistema de educación magisterial es relativamente uniforme en todo el país. Las pruebas tienen referencia a criterios, por ejemplo las calificaciones describen el desempeño del estudiante en relación con los objetivos nacionales de aprendizaje de los alumnos. Segundo, el diseño de la matriz de EXCALE está destinado a asegurar una amplia cobertura del currículo. Los reactivos de la prueba están agrupados por bloques y no todos los alumnos responden las mismas preguntas. Esto permite someter a prueba una amplia variedad de conocimientos y habilidades sin sobrecargar a cada alumno evaluado. Además, debido a que se aplica cada cuatro años a una muestra, de una proporción relativamente pequeña de un grupo de alumnos, hay más posibilidades de incluir reactivos con respuesta elaborada, que en ENLACE que se aplica a millones de alumnos cada año. Los reactivos incluidos en EXCALE son más complejos y requieren que los alumnos demuestren niveles más altos de desarrollo cognitivo. Por lo tanto los resultados ofrecen información más detallada a las autoridades educativas y al público en general en relación con las competencias desarrolladas en el sistema educativo nacional. Tercero, EXCALE no sólo mide los resultados sino que también reúne información sobre las características de alumnos y sobre los factores que pudieran contribuir a explicar sus resultados. Los alumnos que participan en las evaluaciones se muestrean de manera que puedan desglosarse los resultados por servicio educativo, estado, género y edad. Esto permite conocer las diferencias en los logros de estos grupos. Las evaluaciones están acompañadas por cuestionarios de contexto para los alumnos, docentes y directores de escuela. El conjunto de esta información facilita la identificación de factores sociales y escolares que posiblemente están relacionados con los logros.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

184 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

Una mayor fortaleza es la perspectiva de un instituto nacional autónomo, dedicado a la evaluación del sistema educativo La evaluación en México se ha visto reforzada considerablemente con la creación del Instituto Nacional para la Evaluación de la Educación (INEE ) como un órgano responsable dedicado a la evaluación del sistema educativo. El INEE es responsable de la evaluación de la calidad del sistema educativo, pero no cuenta con facultades para evaluar individualmente alumnos, docentes o escuelas. El decreto presidencial que creó el INEE en el 2002 cita entre las funciones del nuevo instituto: desarrollo de un sistema nacional de indicadores y evaluaciones de los resultados del aprendizaje; diseño de instrumentos de evaluación adaptados para cada nivel del sistema educativo; colaboración con la SEP y los gobiernos estatales en la evaluación; desarrollo del modelo de evaluación de las escuelas; fomento y refuerzo de una cultura de evaluación; difusión de los resultados; creación de capacidades en los niveles diferentes; evaluación de proyectos específicos y desarrollo de investigación relacionada con la evaluación. Como se describió en el capítulo 2, en 2012 se reformó el Decreto Presidencial que refuerza la autonomía del INEE , fortalece su experiencia técnica, y ofrece mayor independencia de la SEP . Una de las fortalezas clave de tener un instituto nacional responsable de la evaluación del sistema educativo es su autonomía técnica de las autoridades de la educación. Esta autonomía le permite la distancia necesaria de la toma de decisiones políticas cuando es necesario y ser imparcial en sus conclusiones sobre el sistema educativo. Por lo tanto puede proporcionar un punto de vista externo fresco y constructivo que informe en debate nacional. Una garantía institucional importante de esta autonomía técnica es la composición del Consejo Técnico y los Consejos Técnicos Especializados del INEE , formados por académicos distinguidos y especialistas en educación de todo México y otros países (INEE , 2006a). La creación del INEE se alineó también con un cambio en la política hacia una mayor transparencia en la difusión de los resultados de las evaluaciones y mediciones. El INEE tiene una relación estrecha tanto con las autoridades educativas como con organizaciones interesadas, a fin de influir tanto en la política como en la práctica. Su estrategia de comunicación incluye varios elementos. Un elemento clave es la elaboración de publicaciones en diferentes formatos que incluyen libros, informes anuales, folletos técnicos, hojas informativas y cartelones que ofrecen información con grados diferentes de detalle y complejidad. Las publicaciones están contenidas en un catálogo y todas están disponibles en línea. Además, el INEE organiza conferencias que reúnen aproximadamente 500 personas, incluyendo representantes de las autoridades estatales, supervisores, jefes de sector, organizaciones de la sociedad civil y especialistas en educación. También participa en la creación de capacidad con las autoridades estatales de evaluación, con vista a reforzar las habilidades técnicas, estadísticas y analíticas de los equipos de evaluación. Finalmente, el INEE también estableció relaciones sólidas con los medios destinados a informar el debate nacional sobre educación por medio de boletines de prensa, entrevistas y cursos a periodistas sobre la interpretación de los datos de educación (INEE , 2006b).

Existen esfuerzos importantes para emprender sistemáticamente evaluaciones de los programas Otra fortaleza del marco de evaluación de México es el enfoque sistemático a evaluar los programas, lo cual se plasmó con la creación del CONEVAL en el 2005. El principio básico que indica que los programas federales de educación deben evaluarse está ampliamente aceptado REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 185

en todos los niveles de formulación de políticas en México. De acuerdo con la legislación, deben evaluarse todos los programas que están sujetos a reglas de operación. Existe tres tipos de evaluaciones de programa: evaluación del diseño, evaluación del desempeño, y evaluación del impacto, aplicándose los primeros dos con mayor frecuencia que la evaluación del impacto. El CONEVAL está a cargo de la aprobación y supervisión de las evaluaciones y ha promovido la importancia de la evaluación de programas en el sector social, incluyendo la educación. También existe la buena intención de dar seguimiento a las evaluaciones de programas. El administrador del programa necesita responder a todas las recomendaciones señaladas por el evaluador. Entonces la siguiente evaluación tomará en cuenta las recomendaciones realizadas previamente y supervisará el avance del programa atendiendo a las mismas. Los informes y recomendaciones de la evaluación se envían a CONEVAL , a la Administración Pública Federal, a la Auditoría Superior de la Federación y a la Cámara de Diputados. La Cámara de Diputados misma también puede realizar evaluaciones de programas, y con base en los resultados solicitar financiamiento adicional para proyectos específicos. Aún cuando existen varios retos en la implementación de las evaluaciones de programas en el sector educativo (más adelante se abunda al respecto), el fuerte deseo político de hacer de la evaluación de programas un componente sistemático del marco de evaluación de México es una fortaleza importante.

Retos Existe espacio para reforzar el uso de la información a nivel sistema Es recomendable el enfoque en la evaluación del sistema educativo en México y se ha logrado un avance importante al recabar datos en los sistemas nacional y estatal de educación, incluyendo los resultados del aprendizaje de los alumnos. Ahora se tiene una gran cantidad de información disponible por medio de las diferentes bases de datos y los sistemas de información nacional y estatal y se reforzarán aún más por medio de la introducción del RNAME . El reto clave identificado por el Equipo de Revisión de la OCDE es, entonces, asegurar que todas las partes interesadas hagan uso efectivo de los datos disponibles.

Uso de los datos para fundamentar la planeación y desarrollo de políticas Los datos a nivel sistema no se explotan bien para fundamentar el desarrollo de las políticas. Actualmente la mayoría del enfoque nacional se centra en recabar los datos y en la operación de las evaluaciones, poniendo poca atención en cómo se pueden usar tales resultados para determinar las prioridades y establecer estrategias. Parece que hay una capacidad y/o interés limitado a nivel estatal y nacional para emprender un análisis más profundo e interpretar los resultados. Las autoridades educativas estatales y federales indicaron no tener información en un formato que pudiera ser útil inmediatamente para el desarrollo de políticas. Cuando se preguntó sobre las prioridades a futuro en el monitoreo del sistema, parecía haber un mayor enfoque en recabar más información e integrar diversas fuentes de información, pero poca reflexión sobre cómo se puede usar tal información para mejorar las políticas y prácticas en el logro de mejores resultados de aprendizaje en los alumnos.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

186 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

El uso de los sistemas de información a nivel local y escolar Otro reto es facilitar el uso de los datos por parte de los profesionales a nivel escuela. Considerando la fuerte tradición centralista en México, el flujo de los datos en el sistema va en su mayoría en una dirección, de las escuelas hacia los niveles más altos de la administración educativa, pero hay interacción y retroalimentación limitada a las escuelas en cuanto a la información que proporcionan. Aún cuando las escuelas reciben los resultados de la evaluación de los alumnos, se podría hacer más para apoyarlos en su análisis interno y mayor planeación, por ejemplo permitiéndoles rastrear sus propios resultados en el tiempo y tener puntos de referencia de sí mismos en comparación con escuelas con composición similar de alumnos (consulte el capítulo 5). La base de datos del Sistema Nacional de Información de Escuelas proporciona información básica sobre el número de alumnos inscritos en la escuela, infraestructura y resultados promedio de ENLACE , ofreciendo así una valiosa fuente de datos disponibles en una base nacional consistente (consulte el capítulo 5). A nivel nacional se presenta cierto análisis limitado, por ejemplo la comparación de los resultados de la escuela en ENLACE contra los promedios nacionales. Este sistema de información de la escuela proporciona tanto al público como al personal escolar fácil acceso a los datos básicos y resultados para su propia escuela. Sin embargo, el Equipo de Revisión de la OCDE encontró que existe conocimiento y uso limitado de este sistema entre los directores y supervisores, lo que sugiere que no se le considera una fuente importante de apoyo para la evaluación y procesos de planeación de la propia escuela.

La rendición de cuentas interna de las entidades federativas es limitada A los estados se les da una función importante en el marco de evaluación en México. Ellos recaban datos de las escuelas, aplican la evaluación nacional de los alumnos a nivel estatal y pueden complementar el sistema nacional de evaluación con sus propios enfoques. Según se describió antes, existen desarrollos importantes dentro de algunas entidades en relación con la recopilación y uso de los datos, y en algunas están creando sus propios institutos de evaluación, desarrollando evaluaciones a nivel estado o participando en pruebas internacionales con alumnos. Además existe una obligación legal para que las administraciones estatales tengan un plan estratégico a seis años que defina las metas y prioridades para el sector educativo estatal. Sin embargo, a partir de las entrevistas del Equipo de Revisión de la OCDE parece que continúa siendo limitado el grado en que las entidades se apropian de la evaluación y diseñan sus propias estrategias de evaluación. Muchas entidades no tienen equipos locales especializados que sean responsables de la evaluación y tienen capacidad limitada para recabar, analizar, interpretar y diseminar los datos. Pocas entidades tienen sus propios sistemas de información; es más común que tomen la información compilada y difundida por las autoridades federales. Se ha dado poco enfoque al análisis y uso de los resultados para informar las estrategias de mejora. Parece que el objetivo clave de trabajar con indicadores y resultados de la evaluación es informar sobre la toma de decisiones financieras, por ejemplo, cómo distribuir y administrar el financiamiento, en lugar de analizar qué es lo que funciona y desarrollar políticas. Aún cuando las entidades podrían posiblemente desempeñar una función poderosa en la preparación y/o apoyo a los sistemas de evaluación local de escuelas y docentes, actualmente no es el caso. Las entidades normalmente monitorean los resultados de las escuelas en la evaluación nacional de los alumnos, pero no hay indicativo de que participen sistemáticamente en los procesos de evaluación de la escuela ni que apoyen a las escuelas en su propio trabajo REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 187

de autoevaluación. Normalmente el monitoreo de la calidad de la escuela por parte de las autoridades educativas estatales se hace con base en indicadores y no ha habido mucho enfoque, en la realización de evaluaciones más cualitativas de los procesos escolares (consulte el capítulo 5).

Para asegurar la continua pertinencia de las evaluaciones EXCALE se requieren mejoras El conjunto actual de evaluaciones EXCALE es anterior a la última reforma del currículum (Reforma Integral para la Educación Básica, RIEB ). En el 2011, México introdujo un nuevo currículum, articulado en un plan de estudios para la educación básica que cubre los 12 años de educación básica, de preescolar hasta la educación secundaria. Establece continuidad en cuatro dominios curriculares clave (lengua y comunicación; pensamiento matemático; exploración y antecedentes del mundo natural y social; desarrollo personal y social) y está destinado a facilitar las transiciones de un nivel de educación al siguiente. El plan de estudio define los resultados de aprendizaje esperados al igual que los estándares curriculares para las etapas clave de la educación. Está más enfocado al desarrollo de competencias complejas que a la obtención de conocimiento y habilidades aisladas (consulte los capítulos 1 y 2). En este contexto, uno de los retos clave es asegurar que EXCALE refleje correctamente los nuevos resultados de aprendizaje esperado y los estándares curriculares. Los reactivos de la prueba EXCALE actual no están adaptados de forma adecuada a un currículum enfocado al desarrollo de competencias. El EXCALE incluye en su mayoría reactivos de opción múltiple y algunos con respuesta elaborada que evalúan la respuesta escrita pero no captan las competencias más amplias o “competencias para la vida” que se estipulan en el currículo. Actualmente no se tiene claro a qué grado se cambiará el conjunto de evaluaciones EXCALE para que refleje los requisitos del nuevo currículo. El hecho de que las evaluaciones requerirán revisarse considerablemente posee retos importantes para el seguimiento longitudinal de los resultados. Otro reto es optimizar el uso del EXCALE para monitorear la equidad de los resultados de aprendizaje en todos los grupos de alumnos a nivel nacional. Existe una gama de cuestiones de equidad cultural y lingüística en torno al EXCALE que es necesario considerar. Actualmente el EXCALE se aplica únicamente en español, aunque se encuentran en curso los trabajos para traducir las evaluaciones a las diferentes lenguas indígenas. Además, existen inquietudes en cuanto a la validez de los reactivos de la prueba para los diferentes grupos culturales, ya que algunas preguntas pueden contener bibliografía cultural que no tiene sentido para todos los grupos de alumnos. Además no existen disposiciones específicas para alumnos con necesidades especiales. Aunque los informes anuales del INEE —en el 2007 y el 2009— se han enfocado a los resultados educativos de grupos de alumnos vulnerables, parece no haber un informe regular anual de los resultados EXCALE de grupos específicos en riesgo, en comparación con la población convencional. Por último, la importancia de EXCALE como el instrumento clave para monitorear el sistema está también amenazada por la marcada atención que se pone en los resultados de ENLACE en todos los niveles del sistema, incluyendo a nivel estatal y nacional. Como se comentó en el capítulo 3, aunque ENLACE se diseñó originalmente con fines de diagnóstico y evaluación formativa, cada vez se está utilizando más para la evaluación de los docentes, escuelas, tanto en los sistemas educativos estatales como a nivel nacional. El uso de ENLACE para la evaluación del sistema no es adecuado por varios motivos. No solamente cubre un rango más limitado de resultados del aprendizaje que el EXCALE , sino que también existe menos supervisión sobre REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

188 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

la administración de los exámenes en el aula, lo cual lo hace más vulnerable a copiar (Vidal, 2009). Existe necesidad de que las autoridades estatales aseguren que cada sistema nacional de evaluación se utilice con el fin para el cual fue diseñado y que el EXCALE permanezca como la herramienta primaria para monitorear los resultados del sistema educativo.

Los estudios temáticos requieren mayor desarrollo Aún cuando la evaluación del sistema en México se enfoca firmemente a recabar datos relacionados con entrada de datos (números de inscripciones, infraestructura, equipo, etc.) y a los resultados de aprendizaje (según se mide mediante las evaluaciones estandarizadas), existe relativamente menos atención en la evaluación de los procesos escolares desde una perspectiva a nivel nacional o estatal. Existe un amplio margen para un mayor desarrollo de tipos cualitativos de evaluación respecto a diferentes aspectos de la enseñanza, que pueden influir en los resultados del aprendizaje (consulte también el capítulo 5). Con excepción de las evaluaciones temáticas realizadas por el INEE , no ha habido mucho énfasis en la recopilación de datos de las evaluaciones sobre temas educativos específicos, que podrían servir para fundamentar las políticas y la práctica. Existe una gama de aspectos de la enseñanza que merece una investigación más profunda, por ejemplo, la implementación del currículo nuevo a nivel escuela, didáctica en materias específicas, enfoques a la educación especial, ambientes psicosociales en las escuelas, enfoque para la autoevaluación de la escuela, el uso de prácticas formativas de evaluación por parte de los docentes, etc. Actualmente no existe un organismo nacional que sea específicamente responsable de realizar tales estudios temáticos y las autoridades estatales e institutos estatales de evaluación no se han comprometido a reunir evidencia temática de evaluación de sus escuelas.

En el sistema de monitoreo nacional aún existen algunas brechas en los datos El desarrollo de sistemas de registro e información ha sido una prioridad clave en el sistema mexicano de información y mucho se ha logrado. Para facilitar el análisis y uso de los resultados para la mejora hay algunas áreas donde debe desarrollarse aún más la recopilación de datos. Existen algunas brechas en los sistemas de información En México continúa siendo un reto importante el rastreo individual de la trayectoria de alumnos y maestros, y el RNAME tiene aún un largo camino para atender este desafío. México ha enfrentado dificultades para recabar de manera precisa información actualizada sobre sus 30 millones de alumnos, 1.45 millones de maestros y 240 000 escuelas (SEP , 2011), y especialmente en seguir el movimiento de cada alumno y maestro entre escuelas, municipios y entidades (OCDE , 2012). Existe una alta tasa de migración interna dentro de México, que ocasiona que el número de estudiantes dentro de cada estado fluctúe considerablemente durante el año escolar. De acuerdo con las autoridades estatales y nacionales con los que platicó el Equipo de Revisión de la OCDE , existe la necesidad de mejorar la captación de esta migración interna en las estadísticas de la escuela. En algunos casos, las autoridades estatales y nacionales carecen de conocimiento sobre la infraestructura exacta de las escuelas. Estas incertidumbres hacen que la asignación de recursos de manera eficiente y equitativa sea un reto para las autoridades.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 189

Existen retos en el monitoreo de la equidad de los resultados del aprendizaje En la información nacional del sistema educativo debe ponerse más atención al informe sistemático de las inequidades en los resultados del aprendizaje de diferentes grupos de alumnos, por ejemplo alumnos con antecedentes socioeconómicos distintos. Por ejemplo, los resultados EXCALE que se publicaron en el reporte Panorama Educativo de México normalmente se proporcionan por estado, género y tipo de escuela, pero no están desagregados para grupos específicos de alumnos, como alumnos indígenas, migrantes, con una discapacidad o con antecedentes socioeconómicos en desventaja.2 Aún cuando el Programa Sectorial de Educación 2007-2012 contempla “disminuir las inequidades entre los grupos sociales, cerrar las brechas y promover la calidad” (Objetivo 2), las metas e indicadores concretos que se proporcionan para medir el avance se refieren a factores de datos de entrada en lugar de resultados del aprendizaje de los alumnos. Los indicadores establecidos se refieren en su mayoría a las becas entregadas a los alumnos en desventaja, al equipo en las escuelas en desventajas, y los índices de inscripción en los distintos niveles educativos. No se pone suficiente atención al monitoreo de cómo se desempeñan grupos diferentes de alumnos.

No se mide de manera adecuada el contexto socioeconómico de la escuela Otro vacío de información se refiere a la valoración del contexto socioeconómico de la escuela. Al informar los resultados de las evaluaciones nacionales, se ha tratado de contextualizar los resultados escolares mediante el establecimiento de una clasificación de las escuelas en “zonas”, de acuerdo con una serie de indicadores (ubicación urbana o rural, educación primaria o secundaria, educación indígena o general, telesecundaria, escuela general o técnica y el nivel de marginación del área donde se localiza la escuela). Sin embargo, tales indicadores basados ​​ en zonas quizá no reflejen la composición real de los alumnos de una escuela determinada. En Australia, un informe encargado por el Consejo Ministerial de Educación, Empleo, Capacitación y Asuntos de la Juventud advierte contra el uso de una valoración basada en áreas de desarrollo socioeconómico (Marks et al., 2000). El informe sostiene que el uso de una evaluación basada en áreas de desarrollo socioeconómico para estimar la situación socioeconómica de un individuo está sujeto a: un considerable error de clasificación, sobre todo en las regiones y zonas rurales; no es rentable; a menudo se basa en información desactualizada; socava conclusiones sobre diferencias entre el sistema y con el tiempo, en la importancia de la situación socioeconómica en los resultados educativos; no puede utilizarse para categorizar a cada alumno desfavorecido socioeconómicamente, al informar los resultados de aprendizaje; y no permite el análisis que “controle” las diferencias entre los grupos de alumnos, por ejemplo, los estudiantes indígenas y no indígenas, dentro de una escuela (Santiago et al., 2011).

Se cuenta con poca información disponible sobre el bienestar y el ambiente de aprendizaje del alumno No hay mucha información disponible sobre los aspectos generales de la calidad de la educación, tales como las actitudes de los alumnos, su motivación y bienestar general, y el entorno global de la enseñanza-aprendizaje en las escuelas. Dichos factores son importantes ya que el ambiente de aprendizaje puede influir en el desempeño y progreso de los alumnos. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

190 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

Es más probable que los alumnos seguros y motivados continúen en el sistema educativo y aprendan durante toda su vida. La información sobre las opiniones de los actores educativos acerca del ambiente de aprendizaje permitiría analizar la asociación entre el logro educativo y los aspectos cualitativos del entorno escolar. La información actual que tenemos proviene de cuestionarios de contexto distribuidos en las evaluaciones de E XCALE y exámenes internacionales, como PISA . El único trabajo en esta área es el del INEE a través de sus estudios sobre las condiciones para la prestación de servicios educativos. Los cuestionarios abordan aspectos como la calidad de la infraestructura educativa, la adecuación de los recursos o las relaciones con la comunidad. Sin embargo, en México, no se cuenta con una compilación a gran escala de las percepciones de los alumnos, padres de familia o maestros a través de encuestas organizadas centralmente.

La evaluación de programas no es lo suficientemente sistemática Si bien, como ya se describió, existe una fuerte intención de evaluar sistemáticamente los programas federales de educación, esto no siempre se logra. De acuerdo con el CONEVAL , aún cuando alrededor del 70% de los proveedores de programas de la SEP solicitan evaluaciones de impacto, estas se llevan a cabo sólo en una pequeña proporción debido a una serie de limitaciones financieras y de viabilidad. En primer lugar, un programa puede no ser evaluado porque no hay recursos suficientes para llevar a cabo evaluaciones exhaustivas para cada uno de ellos. En segundo lugar, los programas anteriores a la legislación vigente y a la creación del CONEVAL a menudo carecen de un componente de evaluación en su concepto y diseño original. Cuando la evaluación no se ha integrado en el programa desde el principio, resulta difícil desarrollar un modelo de evaluación posterior. El programa no puede ser concebido en términos de indicadores y quizá no haya un grupo de control o referencia con el cual se pueda evaluar el progreso. En estos casos, la evaluación de programas se percibe como una imposición externa que viene al final del proceso, y no como un “termómetro” interno para monitorear el progreso y ajustar los procesos. En tercer lugar, la dimensión misma del sistema educativo mexicano puede hacer que la evaluación de los programas federales se complique. De hecho, para los estados es opcional su participación en los programas federales y son los estados los que están gestionando la participación de las escuelas individuales. En algunos casos, la implementación en las entidades no se corresponde con las normas federales establecidas para el programa. Por ejemplo, hay indicios de que algunas escuelas fueron incluidas en los programas federales diseñados específicamente para las escuelas marginadas a pesar de que no tienen las características necesarias para participar (es decir, no eran marginadas). El hecho de que los beneficiarios del programa no fueran parte del grupo objetivo inicial hace que sea muy difícil llevar a cabo una evaluación que tenga un impacto significativo. En cuarto lugar, también parece necesaria la mejora en el seguimiento y el uso de los resultados de la evaluación de programas. De hecho, la SEP , como iniciadora de los programas federales de educación, no está en condiciones de tomar decisiones sobre si un programa debe ser replicado o darse por finalizado. El poder clave de la toma de decisiones sobre la continuación de un programa recae en CONEVAL . Sin embargo, al Equipo de Revisión de la OCDE le pareció que era poco probable que el CONEVAL pudiera conocer los detalles de cada uno de los programas. Si bien CONEVAL juega un papel decisivo en la prestación de asesoramiento y evaluación independiente para apoyar la toma de decisiones, parecería más lógico que la SEP tuviese el poder de cambiar, reproducir o poner fin a los programas que ha diseñado, con base en los resultados de la evaluación. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 191

Recomendaciones de política educativa Optimizar la presentación de informes y el uso de los datos a nivel de sistema para sustentar la política y la práctica educativa En los últimos años, México ha puesto en marcha un sistema nacional de información que incluye una amplia gama de estadísticas e indicadores. El Equipo de Revisión de la OCDE elogia a las autoridades mexicanas por su trabajo continuo para fortalecer los sistemas nacionales de información. Como se indicó, muchos de los datos recopilados a nivel nacional están siendo subutilizados. En esta etapa, las autoridades educativas nacionales junto con el INEE deben elaborar una estrategia para optimizar el uso de los datos existentes a nivel de sistema por parte de todos los actores educativos.

Fortalecer el uso de los datos para la elaboración de políticas educativas Una de las prioridades debe ser mejorar aún más el uso de la información del sistema para la planificación y el desarrollo de políticas educativas. Aunque, de hecho, en México existe una gran cantidad de información a nivel de sistema, el enfoque fundamental en los próximos años debería ser el de aprovechar esta información para desarrollar estrategias de mejora en la educación a nivel estatal y nacional. Los nuevos estudios deberían centrarse en los retos clave que los responsables de la política educativa, supervisores y profesionales locales de la educación deben abordar con el fin de mejorar la calidad y equidad de los resultados de la educación, así como ofrecer ejemplos en los que se ha tenido éxito. El INEE debe consultar a los interlocutores clave en las Áreas de Evaluación de los estados sobre cómo reportar de manera óptima la información existente, en el formato que mejor se adapte a las necesidades de los responsables de las políticas educativas en el estado. Estas consultas pueden revelar las limitaciones de la información actual, pero también pueden alimentar a los planes futuros para recopilar datos que se adapten mejor a las demandas locales. También se requieren nuevos esfuerzos de comunicación para asegurar que los resultados de los instrumentos de evaluación sean utilizados para el propósito diseñado, y en particular para evitar el mal uso de los resultados de ENLACE para la evaluación del sistema. Como se analizará en detalle más adelante, esto también requiere de una mayor inversión para desarrollar la capacidad analítica de las autoridades educativas estatales.

Mejorar el uso de los resultados del sistema nacional de monitoreo en las escuelas Otras medidas podrían tomarse para comunicar más eficazmente los resultados del sistema nacional de monitoreo de manera que se fomente su uso por los diferentes interesados. Como Tolley y Shulruf (2009) señalan, para optimizar el uso de los datos en el sistema educativo es fundamental que las escuelas no sean consideradas simplemente como proveedores de datos, sino que se conviertan en parte de un proceso de colaboración de intercambio de datos y análisis. Esto significa que la información no sólo fluiría hacia arriba en dirección de las autoridades educativas, sino que los análisis y la retroalimentación también fluirían de los administradores de la educación a las localidades y escuelas. Si bien México ha desarrollado algunos buenos sistemas nacionales de información, no se aprovecha todo su potencia a nivel local y escolar REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

192 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

debido a las limitaciones en el análisis y presentación de los datos, y al relativamente bajo nivel de competencia en el uso de los datos a nivel local. Para fortalecer el uso y el impacto de los datos escolares disponibles a nivel nacional, la SEP en colaboración con la INEE deben estudiar la presentación simplificada de los análisis, diseñar interfaces y enfoques de presentación que ayuden a los usuarios no técnicos con la interpretación y el uso de análisis específicos. Sería útil desarrollar áreas de acceso personalizadas para diferentes usuarios, de manera que se ofrezca un conjunto de datos y análisis adecuados que respondan a las necesidades de diversos grupos: supervisores escolares, jefes de sector y autoridades municipales. Para ser creíble en el ámbito escolar, es importante que los análisis faciliten comparaciones “justas” entre las escuelas. Con este fin, podría llevarse a cabo un trabajo para explorar la posibilidad de dar acceso a las escuelas al “valor agregado” o comparar “escuelas similares”, lo que ayudaría a evitar los efectos a veces no deseados de comparar escuelas con poblaciones atípicas de alumnos mediante promedios nacionales (consulte también el capítulo 5). Las autoridades nacionales en colaboración con los gobiernos estatales también deben establecer un programa de desarrollo diseñado para elevar substancialmente la concientización sobre los sistemas de información y los datos que contienen. Los esfuerzos deben orientarse al aumento de las capacidades de la escuela y el personal local en el uso e interpretación de sus propios datos para la mejora de la escuela. Este procedimiento incluirá tanto los recursos de capacitación como los programas de desarrollo, trabajando con los grupos de escuelas, las instituciones de educación superior y los programas de formación docente. Los departamentos de educación estatales y los institutos de evaluación, que están más cerca de las escuelas que el nivel nacional, deben desempeñar un papel clave para entablar un diálogo profesional significativo con las escuelas y los supervisores sobre la base de la información disponible en los estados.

Construir capacidad de evaluación en los estados Las autoridades educativas estatales deben desempeñar un papel clave en la evaluación del sistema educativo mexicano. Dadas las dimensiones del sistema, las posibilidades de que el nivel central desarrolle procesos de evaluación más ricos son limitadas. Si las evaluaciones son diseñadas e implementadas de forma centralizada por el gobierno nacional, es muy probable que se limiten a evaluaciones estandarizadas de los alumnos y la recopilación de datos. Con el fin de ir más allá de los instrumentos estandarizados y promover el estudio más profundo y el análisis sobre la calidad de la escuela, es importante contar con las entidades que están más cerca de las escuelas. La administración de los subsistemas de educación por parte de las autoridades estatales ofrece la posibilidad de un monitoreo más estricto de las prácticas escolares que lo que permitiría un sistema totalmente centralizado, además de proporcionar la oportunidad de reconocer las realidades y limitaciones regionales. Las autoridades estatales también pueden desempeñar un papel clave en el apoyo a la creación de redes entre municipios, zonas escolares y sectores, permitiendo que los profesionales locales se reúnan con sus compañeros. Estas redes pueden ser una plataforma para compartir experiencias entre las escuelas, analizar los resultados de las evaluaciones nacionales de los alumnos, discutir estrategias locales para la autoevaluación, la evaluación de los maestros y la evaluación de los alumnos, y desarrollar proyectos, materiales y enfoques comunes. También pueden ser un punto de partida para identificar las necesidades de desarrollo profesional locales y desarrollar estrategias comunes para la creación de capacidades. En algunos estados, existe una actividad incipiente en los institutos estatales de evaluación para organizar reuniones y talleres regionales con un enfoque en la construcción de la capacidad de evaluación. En el Estado de REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 193

México, por ejemplo, esas reuniones regionales fueron organizadas atendiendo a las escuelas con más bajos resultados. Si bien la capacidad evaluativa de las autoridades educativas estatales sigue siendo limitada, parece estar creciendo la conciencia y el interés en estas funciones. La creación de institutos de evaluación del estado es una excelente oportunidad para que las autoridades estatales se apropien más de la evaluación y construyan un diálogo formal con los profesionales locales y escolares. Para optimizar el papel de las autoridades estatales de educación, es importante definir claramente el papel de los diferentes actores en el monitoreo del sistema y subsistemas educativos. Para ello, el Equipo de Revisión de la OCDE recomienda desarrollar un plan estratégico que aclare el papel de cada nivel administrativo en el marco de evaluación (consulte el capítulo 2). En particular, es importante que los institutos estatales de evaluación (o departamentos equivalentes con estas responsabilidades) no se limiten a repetir lo que ya hace el INEE a nivel nacional. Los institutos de evaluación deben participar más estrechamente en la evaluación de cada maestro y escuela, y apoyar a los centros escolares en sus actividades de autoevaluación y evaluación interna. Es evidente que como los estados son los encargados de la gestión del personal docente, deben asumir una mayor responsabilidad en la gestión de los procesos de evaluación de los maestros (consulte el capítulo 2). El plan estratégico de la evaluación debe ser desarrollado por la SEP y el INEE en colaboración con las autoridades estatales, y debe proporcionar descripciones de las competencias para evaluar al personal de cada nivel. En colaboración con instituciones de educación superior y los programas de formación docente, el plan debe ser objeto de seguimiento y se debe crear oportunidades de desarrollo profesional para el personal administrativo de la educación en todos los niveles, incluidas las autoridades estatales, municipales, jefes de sector y supervisores. Es importante que cada nivel comprenda su papel no sólo en la recopilación de datos desde los niveles inferiores de la administración, sino también en el suministro de análisis, retroalimentación y apoyo a la escuela y el aula con el fin de mejorar las prácticas docentes.

Revisar continuamente EXCALE y garantizar su pertinencia en relación con los objetivos nacionales de la educación El Equipo de Revisión de la OCDE elogia a las autoridades mexicanas por el desarrollo de EXCALE como un examen por muestreo enfocado especialmente en el seguimiento de los resultados del aprendizaje a nivel nacional. Sin embargo, la introducción del nuevo plan de estudios para la educación básica en 2011 (RIEB ) plantea retos a las evaluaciones existentes, como se indica más arriba. Por lo tanto, es importante aclarar los métodos para que la actual serie de evaluaciones E XCALE sea revisada ​​de manera que refleje el nuevo plan de estudios y los estándares, en particular su enfoque más explícito en el desarrollo de competencias. Sería importante revisar las evaluaciones EXCALE en relación a su alineación con los requisitos del nuevo plan de estudios para garantizar que las evaluaciones sigan siendo pertinentes para el sistema de evaluación y monitoreo longitudinal de los resultados. Si bien E XCALE incluye algunos reactivos de respuesta construida, actualmente las evaluaciones no pueden capturar competencias más amplias, o “habilidades para la vida”, tal como se indica en el plan de estudios de 2011. Por lo tanto, en el mediano y largo plazo, México podría considerar la introducción de reactivos de evaluación que evalúen competencias más amplias y reflejen el desempeño de los alumnos en situaciones reales. En Nueva Zelanda, por ejemplo, el Proyecto de Monitoreo de Educación Nacional (NEMP , por sus siglas en inglés) incluye entrevistas personales y trabajo en equipo que exigen que los alumnos transfieran el aprendizaje a situaciones auténticas que se asemejan más a la vida real (Nusche et al., 2012). REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

194 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

Sin embargo, es evidente que la implementación de dichas evaluaciones basadas en el desempeño aumentaría considerablemente el costo del sistema actual, ya que requiere de la interacción individual entre los evaluadores capacitados y los alumnos. En Suecia, por otra parte, las pruebas nacionales basadas en el desempeño que abarcan las competencias como la comunicación oral y la resolución de problemas en colaboración son llevadas a cabo por los mismos maestros de los alumnos. Si bien esto reduce el costo de implementar estas evaluaciones, aumenta las preocupaciones sobre la confiabilidad y la equidad de las calificaciones en todo el país (Nusche et al., 2011a). Existen otras opciones para ampliar el alcance de los resultados de aprendizaje cubiertos, incluso en mantener un formato de evaluación estandarizada escrita. En Australia, por ejemplo, las evaluaciones trienales de las muestras incluyen una evaluación de educación cívica y habilidades cívicas. En Finlandia, se utiliza una evaluación nacional para supervisar las habilidades “aprendiendo a aprender” de los alumnos. También es importante revisar la capacidad de respuesta de EXCALE a diferentes grupos lingüísticos y culturales en México. Los resultados de la evaluación pueden estar sesgados para ciertos grupos de alumnos indígenas y otros, si el instrumento de evaluación mide las habilidades del lenguaje o referencias culturales, al mismo tiempo que mide otras asignaturas. Si bien la confiabilidad y la validez de la evaluación son condiciones necesarias para una evaluación eficaz, no se puede suponer que estas condiciones se cumplan o transfieran a todos los diferentes subgrupos de la población. Se requiere de evidencia de validez diferencial para determinar si la validez de pruebas separadas es necesaria para cada grupo (Shultz y Whitney, 2005). Esta es la razón por la que los problemas de traducción y adaptación de los instrumentos de evaluación son tan importantes en los sistemas lingüísticamente diversos como México. Hay tres opciones principales para hacer que las evaluaciones estandarizadas de los alumnos sean más pertinentes, especialmente para las zonas indígenas: (1) traducir y adaptar los instrumentos de evaluación actuales, (2) desarrollar instrumentos de evaluación específicos para las escuelas indígenas, y (3) desarrollar reactivos ancla en los instrumentos de evaluación en diferentes lenguas, por ejemplo, con un núcleo de reactivos que sean iguales (excepto por la traducción y la adaptación) y que otras partes de la evaluación sean exclusivas para cada grupo.3 Cada una de estas opciones requiere de mucha atención y recursos y de la colaboración de maestros bilingües y expertos que moderen la construcción de las pruebas en diferentes lenguas (Nusche et al., 2012). Además, EXCALE debería ser más inclusivo mediante el desarrollo de adaptaciones especiales para los alumnos con necesidades especiales. También existe la posibilidad de aprovechar más EXCALE para supervisar el progreso del sistema educativo mexicano hacia el logro de sus objetivos de equidad. Con este fin, el INEE debe considerar reportar sistemáticamente los resultados desagregados para los grupos pertinentes de alumnos: indígenas, de origen inmigrante y de diferentes orígenes socioeconómicos. El objetivo sería evaluar el éxito del sistema educativo para responder a las necesidades de los diversos alumnos.

Desarrollar evaluaciones temáticas como elemento clave de la evaluación del sistema educativo En la actualidad, las revisiones temáticas nacionales de los diferentes aspectos de la educación son un componente subdesarrollado del marco de evaluación del sistema mexicano. Estas revisiones serían útiles para las autoridades educativas nacionales y estatales a fin de que comprendieran mejor ciertos temas prioritarios y desarrollaran políticas educativas. Aprovechar las metodologías ya utilizadas por sus recientes revisiones, permitiría al INEE desarrollar una capacidad más fuerte de evaluación temática. Si los estados desarrollan mejores sistemas REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 195

escolares de evaluación externa, las evaluaciones de cada escuela también podrían incidir en los estudios temáticos más generales sobre una serie de temas prioritarios (consulte el capítulo 5). Las evaluaciones temáticas deben apoyarse en los resultados de evaluación recabados en las escuelas, con base en ​​ la observación de las prácticas y/o la recolección de las percepciones de los interesados ​​a través de entrevistas o encuestas. También deben basarse en la investigación nacional e internacional y en la participación de especialistas en los temas evaluados para desarrollar indicadores adecuados a la evaluación de los procesos escolares. Los resultados de las evaluaciones nacionales podrían tener como base una muestra de escuelas que sean inspeccionadas externamente o en un caso de estudio más confiable que provea información detallada sobre la práctica observada en las escuelas con un alto desempeño. En Nueva Zelanda, por ejemplo, existen tres tipos diferentes de evaluaciones temáticas: informes sobre temas nacionales de evaluación, informes de buenas prácticas e informes elaborados por los equipos de especialistas en educación (recuadro 6.1).

Recuadro 6.1 Informes nacionales de evaluación de la educación en Nueva Zelanda

Informes sobre Temas Nacionales de Evaluación: Los Temas Nacionales de Evaluación (TNE) reflejan temas de de interés actual para el gobierno. Para informar sobre los TNE , la Oficina de Revisión de Educación (ERO , por sus siglas en inglés) recaba los resultados evaluativos como parte de las revisiones de cada escuela. Los temas nacionales de evaluación proporcionan evidencia a través de la que ERO investiga los aspectos clave del desempeño de cada escuela, a la vez que recopila información que se sintetiza en un informe de Evaluación de la Educación Nacional. La recopilación de evidencia para los TNE suele tener lugar en uno o dos períodos escolares. ERO tiene algunos TNE continuos que siempre son una parte de las revisiones de ERO en las escuelas, que incluyen Success for Māori students y Success for Pasifika students. ERO revisa aproximadamente 600 escuelas de primaria y secundaria cada año, por lo que los informes de evaluación de la educación reflejan los resultados de un importante número de escuelas. Informes de Buenas Prácticas: Algunas de las escuelas identificadas en las evaluaciones de los TNE pueden ser utilizadas para producir los Informes Nacionales de Educación que exponen las buenas prácticas. Normalmente, estos informes utilizan un enfoque de estudio de caso para identificar, con mayor detalle, la naturaleza de la práctica eficaz en las escuelas. Estos informes ayudan a proporcionar una referencia de calidad para los líderes escolares y los encargados de la política educativa. Informes preparados por los equipos de especialistas en medición: Otros Informes Nacionales de Evaluación de la Educación pueden ser preparados por los equipos de evaluación especializados. Estos incluyen pequeños grupos de personal de ERO que son expertos en el área que está siendo evaluada. Ejemplos recientes incluyen las evaluaciones de ERO sobre escuelas primarias de educación científica y enseñanza Te Reo Māori. Estos equipos de especialistas desarrollan metodologías de evaluación, preguntas, indicadores e instrumentos de recolección de información. Algunas de estas investigaciones también pueden utilizar un enfoque de buenas prácticas, como los informes recientes de ERO sobre la Educación de los varones y las Buenas Prácticas en la Educación Alternativa. Fuente: Nusche et al. (2012).

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

196 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

Estos informes de evaluación temática sobre los procesos escolares también podrían ser útiles para que las escuelas mejoraran su gestión, organización, enseñanza y logro de los alumnos. En Nueva Zelanda, por ejemplo, los informes de evaluación temática contienen una variedad de herramientas para los educadores y los padres de familia, dependiendo de la naturaleza de la evaluación. Por ejemplo, pueden proporcionar indicadores que los oficiales de revisión utilizaron para hacer sus juicios sobre la calidad, proporcionar preguntas de enfoque para la autoevaluación de las escuelas, describir ejemplos de prácticas de alta y baja calidad y proponer preguntas que los padres pueden utilizar al debatir temas relacionados con los profesionales escolares. También es importante establecer vínculos globales más estrechos con la comunidad científica y garantizar que la investigación cualitativa puede alimentar las políticas y prácticas de la educación. El INEE podría fortalecer los vínculos entre la comunidad científica y el desarrollo de políticas, por ejemplo, recogiendo revisiones de investigaciones en diferentes áreas temáticas. También podría llevar a cabo revisiones sistemáticas de investigación y compartir los resultados en un formato fácilmente accesible a las escuelas.

Responder a vacíos de información en el sistema nacional de información Como se indicó, existen muchas posibilidades de participar en la investigación y el análisis de la información que ya está disponible a nivel nacional. Al mismo tiempo, debería haber un enfoque concurrente para revisar vacíos en el sistema actual de recopilación de la información y para desarrollar una estrategia de mediano y largo plazo para mejorar la recopilación de datos y las herramientas de medición a fin de responder a las necesidades de información restantes. En el contexto de las cambiantes demandas sociales, económicas y ambientales, el desarrollo y el reporte de los indicadores pertinentes siempre será un trabajo continuo, y el seguimiento de las demandas prioritarias que van surgiendo plantea un desafío permanente para cualquier sistema de monitoreo. Durante su visita, el Equipo de Revisión de la OCDE identificó una serie de áreas en las que la recopilación de información adicional ayudaría a mejorar la supervisión del sistema. En primer lugar, es necesario que los responsables de las políticas educativas a nivel local, estatal y nacional tengan una mejor comprensión de las cifras y movimientos básicos de los alumnos y maestros entre las escuelas, municipios y estados. El desarrollo de RNAME pretende dar respuesta a este reto mediante la administración de grandes cantidades de datos y la comunicación de los diferentes sistemas de información. Este proyecto es encomiable y quizá mejore considerablemente las posibilidades de explotar los datos nacionales para los análisis y estudios de investigación más profundos. Un foco especial debe ser mejorar la calidad de los datos reportados por las escuelas. En segundo lugar, hay espacio para dar más importancia a la vigilancia de las desigualdades en los resultados de aprendizaje entre grupos de estudiantes específicos. El valor de los informes anuales de seguimiento podría mejorarse informando regularmente sobre los resultados del aprendizaje de los estudiantes de los grupos donde hay evidencia de bajo rendimiento. Esto permitiría un seguimiento del progreso del sistema educativo para responder a las necesidades de los diversos grupos. En Nueva Zelanda, por ejemplo, los datos de informes estándar están desagregados para los tres grupos étnicos principales (europeos, los maoríes y Pasifika) y el avance hacia el logro de las metas del gobierno para el éxito educativo de los estudiantes maoríes se presenta en una serie de informes anuales (Nusche et al., 2012). Además, al proporcionar datos de la evaluación de los alumnos en las escuelas, es importante contextualizar los resultados en relación con sus antecedentes demográficos y socioeconómicos REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 197

reales en una escuela determinada, y no con medidas basadas en las zonas de marginación. Esto fomentará formas más analíticas de comparación, en particular los análisis que permitan contrastar el desempeño de las escuelas con perfiles socioeconómicos similares. Tales análisis promueven un buen uso de los datos de las escuelas, sobre todo porque es más probable que el personal de la escuela considere “justas” las comparaciones; además, pueden actuar como un catalizador para la creación de redes entre las escuelas que enfrentan problemas similares en sus entornos locales (consulte también el capítulo 5). En tercer lugar, debe considerarse cómo incluir mejor las percepciones de los actores ​​ sobre el ambiente de enseñanza-aprendizaje en el sistema nacional de monitoreo. Una de las opciones para esto es administar un cuestionario a nivel nacional a una muestra de alumnos, padres de familia, directores y maestros de escuela del sistema para recoger sus opiniones y puntos de vista sobre una serie de aspectos, tales como las actitudes hacia el aprendizaje y la evaluación, las percepciones sobre la implementación de las políticas, el bienestar, el compromiso, la satisfacción, etc. En Noruega, por ejemplo, una encuesta estudiantil se introdujo en 2005 y los resultados constituyen una parte clave de la presentación de informes nacionales sobre el sistema educativo. En el informe anual resumido sobre la educación noruega (The Education Mirror) siempre se cuenta con una clara presentación y análisis de los resultados de la encuesta, que se alimentan en el debate político nacional (Nusche et al., 2011b). El uso de encuestas entre los padres de familia y los alumnos también podría alentarse en las escuelas, a través del desarrollo de un modelo nacional al que las escuelas podrían agregar temas más relacionados con sus circunstancias específicas.

Asegurar las evaluaciones y el seguimiento sistemático de los programas El compromiso de México con la evaluación sistemática de los programas federales de educación es loable. Sin embargo, se podría hacer más para garantizar que las evaluaciones de los programas se realicen de manera consistente en todos los programas de educación y para permitir el uso eficaz de sus resultados. Para facilitar la evaluación de la eficacia e impacto de los programas, es importante que los nuevos programas tengan un componente de evaluación en su diseño original. Los nuevos programas deben ser aprobados sólo si su plan incluye elementos que faciliten su evaluación, como los objetivos y los indicadores de referencia. También es importante que los programas realmente beneficien a su grupo objetivo original. Por lo tanto, los proveedores de programas federales deben garantizar que sólo se permita participar a las escuelas que cumplan con las características requeridas en un programa determinado. Por último, sería importante revisar el papel de la SEP en el uso de los resultados de la evaluación de los programas y tomar decisiones sobre su continuidad, replicabilidad o suspensión. La SEP , como diseñadora del programa, debe estar en condiciones de utilizar los resultados para tomar decisiones estratégicas sobre ellos. Las evaluaciones sólo darán lugar a futuras mejoras en el diseño, desarrollo e implementación de programas si al proveedor se le da suficiente espacio para utilizar los resultados en el diseño de políticas públicas. Si bien tiene sentido que un órgano independiente como el CONEVAL supervise las evaluaciones, el Equipo de Revisión de la OCDE recomienda que se proporcione un mayor alcance a la evaluación de los resultados de manera que sustente la toma de decisiones estratégicas a nivel federal.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

198 – 6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO

Notas 1 La información se introduce en los siguientes sistemas: las Estadísticas Básicas del Sistema Nacional de Educación (EBSEN ), los Sistemas de Análisis de las Estadísticas de la Educación (S ISTESEP ) y el Sistema de Información Estadística de la Educación Básica (SIEEB ), así como la Programación Detallada (PRODET ), que recaba información sobre el aumento de la matrícula y la necesidad de nuevas plazas docentes y escuelas 2 Si bien se proporciona información sobre los resultados de las escuelas indígenas, no se capturan datos de los alumnos indígenas que asisten a otro tipo de escuela. 3 En Nueva Zelanda, por ejemplo, la encuesta nacional de monitoreo se interrumpió en las escuelas medias Māori, porque las pruebas utilizadas fueron traducciones directas de los reactivos en inglés y no se consideraron bien adaptados al sector de educación media Māori. El Ministerio de Educación de Nueva Zelanda está colaborando con expertos en evaluación Māori para elaborar una encuesta nacional de monitoreo específica para este sector Māori (Nusche et al., 2012).

Bibliografía (Instituto Nacional para la Evaluación de la Educación) (2005), EXCALE  - Exámenes de la calidad y el logro educativos: Proceso de construcción y características básicas, Los Temas de la Evaluación No. 8, Colección de Folletos, Instituto Nacional para la Evaluación de la Educación, México, D.F. INEE (2006a), Breve recorrido por la evaluación de la Educación básica en México, Los Temas de la Evaluación No. 17, Colección de Folletos, Instituto Nacional para la Evaluación de la Educación, México, D.F. INEE (2006b), La difusión de los resultados de las evaluaciones, Los Temas de la Evaluación No. 20, Colección de Folletos, Instituto Nacional para la Evaluación de la Educación, México, D.F. INEE (2008), El INEE de 2002 a 2008: Una autoevaluación, Cuadernos de Investigación No. 30, Resultados de Investigación, Instituto Nacional para la Evaluación de la Educación, México, D.F. INEE (2011), Evaluación de los aprendizajes en el aula: Opiniones y prácticas de docentes de primaria en México, Instituto Nacional para la Evaluación de la Educación, México, D.F. Marks, G.N., J. McMillan, F.L. Jones y J. Ainley (2000), The Measurement of Socioeconomic Status for the Reporting of Nationally Comparable Outcomes of Schooling, Draft Report by the National Education Performance Monitoring Taskforce, Australian Council for Educational Research and Sociology Program, Research School of Social Sciences, Australian National University, www.mceecdya.edu.au/verve/_resources/socioeconomicstatus_file.pdf. Nusche, D., G. Halász, J. Looney, P. Santiago y C. Shewbridge (2011a), OECD Reviews of Evaluation and Assessment in Education: Sweden, OECD , París, www.oecd.org/edu/ evaluationpolicy. Nusche, D., L. Earl, W. Maxwell, C. Shewbridge (2011b), OECD Reviews of Evaluation and Assessment in Education: Norway, OECD , París, www.oecd.org/edu/evaluationpolicy. Nusche, D., D. Laveault, J. MacBeath y P. Santiago (2012), OECD Reviews of Evaluation and Assessment in Education: New Zealand, OECD , París, www.oecd.org/edu/evaluationpolicy. OCDE (2012), Progress with Educational Reform in Basic Education in Mexico: An OECD Perspective, OECD , París. INEE

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

6. LA EVALUACIÓN DEL SISTEMA EDUCATIVO – 199

Santiago, P., G. Donaldson, J. Herman y C. Shewbridge (2011), OECD Reviews of Evaluation and Assessment in Education: Australia, OECD , París, www.oecd.org/edu/evaluationpolicy. SEP (Secretaría de Educación Pública) (2011), Sistema Educativo de los Estados Unidos Mexicanos: Principales cifras ciclo escolar 2010-2011, Secretaría de Educación Pública, México, D.F. SEP (Secretaría de Educación Pública) e INEE (Instituto Nacional para la Evaluación de la Educación) (próximamente), Country Background Report for Mexico, prepared for the OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, to be available from www.oecd.org/edu/evaluationpolicy. Shultz, K.S. y D.J. Whitney (2005), Measurement Theory in Action, Sage Publications, Thousand Oaks. Tolley, H. y B. Shulruf (2009), “From Data to Knowledge: The Interaction between Data Management Systems in Educational Institutions and the Delivery of Quality Education”, Computers and Education, 53, pp. 1199-1206. Vidal, R. (2009), ¿ENLACE , EXANI , EXCALE o PISA ?, Centro Nacional de Evaluación para la Educación Superior (CENEVAL ), México, D.F.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 201

Conclusiones y recomendaciones El contexto del sistema educativo Los resultados del aprendizaje de los alumnos están por debajo del promedio de la OCDE pero muestran un avance En México, los resultados del aprendizaje de los alumnos están considerablemente por debajo del promedio de la OCDE . En 2009, los niveles de logro de los alumnos en el Programa para la Evaluación Internacional de Alumnos (PISA ) estuvieron estadísticamente por debajo de todos los demás países de la OCDE en las áreas evaluadas de competencia lectora, matemáticas y ciencias. Sin embargo, los análisis de tendencias de los resultados de PISA han mostrado cierta mejora alentadora en los resultados de aprendizaje, en particular en el área de matemáticas. A pesar de la impresionante expansión del sistema educativo en las últimas décadas, el nivel de la educación sigue siendo un desafío. Es el tercero más bajo de la zona para la población en edad de trabajar. En 2009, sólo 35% de las personas de 25 a 64 años de edad había terminado al menos la educación media superior (en comparación con un promedio de 73% de la OCDE ). El alto porcentaje de alumnos que abandonan el sistema educativo de forma temprana y con habilidades deficientes sigue siendo un problema importante. Las fuertes desigualdades sociales en el sistema escolar son preocupantes Existe evidencia de que los resultados de los alumnos están fuertemente influidos por factores socioculturales. La investigación realizada por el Instituto Nacional para la Evaluación de la Educación (INEE ) sobre las evaluaciones nacionales de los alumnos de educación básica muestra que existe una relación fuerte y positiva entre el desempeño de los alumnos y las condiciones socioculturales de la familia. La investigación concluyó que: (i) existen enormes brechas educativas entre los alumnos dentro de un mismo grado, que puede alcanzar el equivalente a más de cuatro años de educación; (ii) en gran parte estas lagunas son el producto de las desigualdades sociales, que se reproducen de manera muy similar en el sistema educativo; y (iii) las condiciones socioculturales de los alumnos explican la mayor parte de las variaciones en el desempeño educativo en México. Una serie de iniciativas de política educativa refuerza el papel de la evaluación El papel de la evaluación como herramienta clave para lograr la calidad y la equidad en la educación se ve reforzado por una serie de iniciativas de política educativa. México presentó recientemente una amplia reforma curricular para mejorar la articulación del sistema y su enfoque en el desempeño de los alumnos: la Reforma Integral para la Educación Básica (RIEB ). La reforma implica la elaboración de planes y programas de estudio actualizados que se ajustan REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

202 – CONCLUSIONES Y RECOMENDACIONES

a una enseñanza pertinente, con expectativas claramente definidas para los aprendizajes que se deben adquirir en cada grado y materia, una mejor formación para los directores y maestros de escuela y procesos participativos en la gestión escolar. Asimismo, el gobierno federal financia la educación pública en parte a través de los programas educativos, que suelen requerir una solicitud por cada centro educativo, implican recursos adicionales para las escuelas e incluyen un componente de evaluación importante. Además, la Alianza por la Calidad de la Educación, un acuerdo nacional sobre educación firmado en 2008 por la Presidencia de la República y el Sindicato Nacional de Trabajadores de la Educación (SNTE ) ha contribuido a dar forma a la política educativa desde su creación, con iniciativas que abordan la modernización de las escuelas, la profesionalización de los actores educativos y la evaluación educativa.

Fortalezas y retos Se cuenta con una serie de iniciativas de fortalecimiento para el marco de evaluación que, sin embargo, sigue estando incompleto y no sintegrado México ha logrado un notable progreso en el desarrollo de las bases para un marco de evaluación. A partir de la década del 2000, la política educativa confirió un papel estratégico fundamental a la evaluación como herramienta imprescindible para la planeación, la rendición de cuentas y la elaboración de políticas educativas. Hitos en el desarrollo de la evaluación en México fueron la creación del Instituto Nacional para la Evaluación de la Educación (INEE ) en 2002 y la aplicación de las evaluaciones nacionales estandarizadas sobre la base de una muestra (EXCALE en 2005) y sobre la base de un censo (ENLACE en 2006). En la actualidad, la evaluación sigue siendo una prioridad de la política educativa. El Programa Sectorial de Educación (PROSEDU ) 2007-2012 coloca a la evaluación como un tema transversal en todos los objetivos de la educación, con tres funciones principales: rendición de cuentas de los actores educativos, información a los padres de familia y el apoyo a las políticas públicas de educación. El papel central de la evaluación en la agenda educativa ha dado como resultado el desarrollo reciente de una serie de iniciativas que pueden fortalecer la evaluación en el sistema escolar; sin embargo, en la actualidad, no existe un marco de evaluación integrado. Al igual que en otros países de la OCDE , los diferentes componentes de la evaluación se han desarrollado de manera independiente en el tiempo. Existen disposiciones para la evaluación de los alumnos, la evaluación de las escuelas, la evaluación de los maestros y la evaluación del sistema, pero no están explícitamente integradas ni alineadas. El marco actual no se percibe como un todo articulado y no vincula todos los diferentes componentes. Hay referencias comunes a nivel nacional, pero se necesita seguir trabajando para alinearlas con la Reforma Integral para la Educación Básica Se cuenta con referencias comunes que pueden servir de base para la evaluación. A nivel de sistema, el gobierno federal establece las prioridades de la política educativa, que proporcionan el marco para su desarrollo. También se han establecido los objetivos educativos que deben alcanzarse para el año 2012, con los indicadores correspondientes para monitorear su cumplimiento. Estas son referencias importantes para dar forma al marco de evaluación y para sustentar, en particular, la evaluación del sistema. La Ley General de Educación también REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 203

proporciona objetivos claros para la educación enfatizando el desarrollo de las personas y la promoción de valores y actitudes. En el ámbito de los objetivos de aprendizaje de los alumnos, existe una base para los aprendizajes esperados de la escolarización. En la educación básica, se cuenta con un plan de estudios nacional sustentado en el Plan de Estudio General 2011 para la educación básica y los Programas de Estudio 2011 específicos para cada grado y materia. Todos ellos han sido revisados como parte de la Reforma Integral para la Educación Básica (RIEB ), una reforma de amplio alcance que puede tener efectos de largo plazo en el aprendizaje de los alumnos mexicanos. La reforma pone énfasis en conceptos como la evaluación para el aprendizaje, los aprendizajes esperados, el aprendizaje colaborativo, el trabajo basado en proyectos, la autoevaluación del alumno, la evaluación por compañeros y la calificación basada en criterios, todos los cuales colocan a los alumnos en el centro del aprendizaje. Un aspecto crucial para la implementación exitosa de la RIEB es su alineación con el marco de evaluación, que se encuentra en su fase inicial. Si bien se ha avanzado en la alineación de ENLACE con la RIEB , es necesario volver a alinear EXCALE con los estándares curriculares propuestos en la RIEB , desarrollar la capacidad docente para evaluar en base a los objetivos de aprendizaje de la RIEB y asegurar la alineación de los estándares de enseñanza y gestión escolar con la RIEB . La administración y operación del marco de evaluación plantea algunas preocupaciones La distribución de responsabilidades dentro del marco de evaluación plantea algunas preocupaciones. En primer lugar, aún cuando la Ley General de Educación establece claramente que la evaluación del sistema educativo es una responsabilidad exclusiva de la SEP , en la práctica, la división del trabajo entre la SEP y el INEE sigue siendo incierta. Existe un traslape considerable entre el trabajo de las dos instituciones, por ejemplo, en el desarrollo de indicadores educativos, la producción de informes anuales sobre el estado de la educación en México o el desarrollo de una visión para la evaluación de la escuela. Si bien el INEE tiene autonomía técnica sobre su trabajo, durante la visita del Equipo de Revisión de la OCDE , seguía dependiendo política y financieramente de la SEP . Sin embargo, las modificaciones de 2012 al Decreto Presidencial del 2002, que dio pie a la creación del INEE , le otorgan una autonomía más explícita y una mayor independencia de la SEP . En segundo lugar, aún cuando los estados tienen la obligación de implementar las políticas de evaluación dictadas por el gobierno federal, permitiéndoles desarrollar iniciativas complementarias, los ámbitos de responsabilidad en el marco de evaluación no están claros. Esto se suma a un déficit de estructuras para la evaluación a nivel local, que apoyen el trabajo de las escuelas. En tercer lugar, la evaluación de los maestros, que recibe una gran parte de los recursos invertidos en el marco de evaluación, está muy politizada y no se beneficia de una gestión coordinada a nivel nacional. El concepto que se tiene de la evaluación es estrecho y todavía se puede fortalecer su función de mejora Los propósitos y el potencial de la evaluación no se han entendido del todo. La evaluación se sigue percibiendo principalmente como instrumento de rendición de cuentas, para “controlar” y estimar el cumplimiento con la normatividad. Esto es evidente en todos los niveles; el enfoque común es determinar si se cumplen los requisitos formales, poniendo menos atención a la calidad de las prácticas y las formas para mejorar. Por ejemplo, para las estructuras de supervisión escolar de los estados lo importante son los aspectos administrativos, no los pedagógicos; REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

204 – CONCLUSIONES Y RECOMENDACIONES

la evaluación de los alumnos se mantiene centrada en los resultados sumativos y la evaluación de los maestros apunta principalmente a la progresión salarial y las recompensas monetarias. La idea de que el objetivo último de la evaluación es mejorar el aprendizaje de los alumnos y la enseñanza de los docentes no se ha madurado por completo en el marco de evaluación en México. De igual forma, la evaluación se entiende en gran parte como “medición”, lo que se refleja en el predominio de ENLACE dentro del marco de evaluación. Además de la evaluación formativa de los alumnos que era la función principal para la que fue concebida ENLACE , ahora también sus resultados constituyen el instrumento principal en la evaluación de los maestros en servicio, el factor central en la rendición de cuentas de las escuelas (a través de la publicación de los resultados a nivel escolar) y el elemento clave de facto en la evaluación del sistema nacional y los subsistemas estatales de educación. En general, es evidente que las iniciativas de política en materia de evaluación de los últimos años han hecho hincapié en la rendición de cuentas en lugar de la mejora. Existe una enorme capacidad de evaluación a nivel nacional, pero también persiste la necesidad de fortalecer las competencias de evaluación en todo el sistema La capacidad de evaluación a nivel federal es impresionante. Cada año se procesan millones de evaluaciones de alumnos y exámenes de maestros, para lo cual se requiere una gran capacidad logística y un alto nivel de conocimientos técnicos. Este es el resultado de una considerable experiencia técnica acumulada en una institución como el Centro Nacional de Evaluación para la Educación Superior (CENEVAL ), la orientación metodológica de primer nivel del INEE , y la sólida capacidad de generar y ejecutar políticas de la SEP . En México, áreas como la medición educativa, la psicometría, el desarrollo de pruebas, la validación de reactivos o los métodos de escalación están muy desarrollados. Sin embargo, aunque se han registrado importantes esfuerzos nacionales para estimular una cultura de evaluación a través del fortalecimiento de sus actividades, las competencias de evaluación del sistema educativo todavía son limitadas, en especial a nivel estatal y local. Por otra parte, en su mayoría, las estructuras de supervisión escolar de los estados siguen centrándose en las tareas administrativas en lugar de entablar un diálogo en torno a los aspectos pedagógicos con cada escuela. La capacidad de los supervisores, jefes de enseñanza y jefes de sector para participar de manera eficaz en las prácticas de control de calidad y brindar apoyo a las escuelas, es muy variada. También es necesario mejorar las competencias en evaluación de los directores escolares, en particular en lo que respecta a garantizar un proceso significativo de autoevaluación escolar y proporcionar orientación pedagógica y capacitación individual a los maestros. Otras áreas en las que el desarrollo de capacidades es un reto considerable son: las competencias docentes en evaluación (formativa y sumativa) de los alumnos, las habilidades de manejo de datos de los actores escolares (por ejemplo, para utilizar los resultados de ENLACE ) y la capacidad de análisis para la planeación y el desarrollo de políticas educativas para todo el sistema. La evaluación se considera parte de la función profesional de los maestros, pero los enfoques de aprendizaje y evaluación siguen siendo muy tradicionales En México, los maestros juegan un papel importante en la evaluación de los alumnos, ya que la evaluación formativa continua y la sumativa son una parte esencial de sus responsabilidades profesionales. La evaluación es parte integral del trabajo docente. La evidencia del aprendizaje de los alumnos se recaba periódicamente y varios aspectos son tomados en cuenta para su REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 205

evaluación: tareas, esfuerzo, presentaciones, pruebas y proyectos. Sin embargo, la enseñanza, el aprendizaje y la evaluación se siguen llevando a cabo de manera un tanto “tradicional”; en general, el maestro expone su clase al frente del salón, los alumnos no participan en la planeación ni en la organización de sus clases y la evaluación se concentra en calificaciones sumativas. La reforma curricular tiene mucho potencial para mejorar las prácticas de evaluación de los alumnos La RIEB aporta a la educación un enfoque fundamentado para la evaluación dentro del aula. Con la unificación de los esfuerzos curriculares alrededor de los resultados de aprendizaje esperados, la RIEB está generando un movimiento positivo de un plan de estudios basado en contenidos a uno orientado en competencias. Esto constituye un importante avance para México. La RIEB incluye un enfoque claro e interesante para la evaluación del alumno en el aula, con fines formativos y sumativos. Amplía el significado de la evaluación, concibiéndolo como una parte esencial de la enseñanza y el aprendizaje; propone el uso de una amplia gama de instrumentos de evaluación; destaca la finalidad formativa de la evaluación dentro del aula e introduce un cambio fundamental al dar un nuevo significado a las calificaciones. La RIEB pretende responder a una serie de retos actuales en la evaluación de los alumnos. Los maestros parecen no entender por completo la evaluación formativa; dar retroalimentación a los alumnos se concibe como darles calificaciones o puntos por una tarea, indicarles si su trabajo es o no aceptable o pedirles que revisen su trabajo y hagan un esfuerzo extra. Además, las prácticas de calificación carecen de significado pedagógico. En México, la asignación de calificación consiste en asignar puntos a los alumnos por una serie de tareas y conductas, para luego promediarlos y obtener una calificación. Los puntos son asignados de manera normativa, a través de la comparación de los alumnos de la clase y el otorgamiento del mayor número de puntos al “mejor”, independientemente de si los estándares son realmente excelentes. También se requiere mejorar los instrumentos para reportar las calificaciones. tiene demasiados objetivos y algunos efectos no deseados en las prácticas escolares

ENLACE

Si bien ENLACE era originalmente un instrumento de evaluación diagnóstica y formativa, nuevos objetivos y consecuencias fueron añadidos después, siendo el más importante el uso de sus resultados para rendición de cuentas en las escuelas y proporcionar incentivos económicos a los maestros y directores escolares. ENLACE ha aportado considerables beneficios, como que el maestro atienda el logro de los alumnos, en particular el de aquellos con bajo desempeño, o una mayor conciencia de la importancia de la lectura de comprensión. Sin embargo, sus efectos no deseados también son visibles en el sistema educativo mexicano. Enseñar para la prueba se ha convertido en una práctica pedagógica muy extendida. Los directores de escuela, maestros y alumnos consideran que practicar las evaluaciones estandarizadas es la mejor estrategia para mejorar el desempeño. Se descuidan importantes objetivos educativos, que no son evaluados en ENLACE ; y como las pruebas estandarizadas cubren un rango limitado de competencias y habilidades curriculares, enseñar para la prueba limita las experiencias de aprendizaje de los alumnos. Por otra parte, un problema importante en la evaluación externa de los alumnos es el uso casi exclusivo de los exámenes de opción múltiple, con posibles efectos distorsionadores sobre la educación de los niños. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

206 – CONCLUSIONES Y RECOMENDACIONES

La evaluación de los alumnos en todas las escuelas y clases no es lo suficientemente consistente Las escuelas no tienen criterios explícitos de calificación y, por lo general, no documentan sus métodos de evaluación. Este hecho junto con la falta de procedimientos de ponderación para alinear el significado de las calificaciones, ocasiona que su significado difiera de una región a otra, de una escuela a otra, e incluso de un aula a otra dentro de la misma escuela y de un alumno a otro dentro de la misma aula. Existe un consenso generalizado sobre la necesidad de evaluar a los maestros pero el marco general es complejo y está fragmentado La evaluación de los maestros es reconocida como una importante herramienta para mejorar el aprendizaje de los alumnos y es fundamental en el marco global de evaluación. Esto se refleja en el enfoque integral para evaluar a los maestros en México, que cuenta con innumerables esquemas y programas. En general, la evaluación docente se percibe de manera positiva como un componente regular de la profesión. Los maestros no están en contra de ser evaluados y parecen estar abiertos a la retroalimentación externa de una fuente confiable. Sin embargo, esta evaluación parece compleja y fragmentada. El sistema global de evaluación docente es el resultado de la acumulación de programas aislados e iniciativas que evolucionaron de manera independiente en el tiempo y no parecen formar un conjunto coherente. Dada la multitud de instrumentos y componentes de evaluación, los docentes no reciben señales coherentes y claras acerca de lo que deben hacer para ser un “buen maestro”. Además, el marco de evaluación docente tiene vacíos. Uno de los principales es que una vez que el maestro está ejerciendo su profesión, la evaluación no es obligatoria, por lo que un buen porcentaje de los docentes no se someten a evaluaciones de desempeño. Ahora, la Evaluación Universal está tratando de atender esta necesidad. Además, la evaluación de los maestros en servicio que prefieren permanecer en el aula se limita a esquemas de progresión salarial (Programa Nacional de Carrera Magisterial, PNCM ) y estímulos financieros (Programa de Estímulos a la Calidad Docente). Como resultado, no se cuenta con una evaluación formal para los maestros que desean hacer una carrera en la docencia ni con retroalimentación para mejorar sus prácticas. En las escuelas se lleva a cabo una retroalimentación informal para la mejora (a través de la gestión escolar y los supervisores), pero no hay una validación externa formal de tales prácticas. La introducción del Concurso Nacional de Plazas Docentes ofrece una mayor transparencia a la contratación de docentes Un hecho positivo importante ha sido la introducción del Concurso Nacional para el Otorgamiento de Plazas Docentes, en una primera etapa a través del Examen Nacional de Conocimientos, Habilidades y Competencias Docentes (ENCHD ). Este concurso cumple dos funciones importantes: (i) aporta más transparencia al proceso de contratación del personal docente, reduciendo significativamente el número de plazas asignadas de forma inadecuada; e (ii)  identifica a los maestros con una preparación deficiente en los programas de formación inicial. En la actualidad no existe un entendimiento común de lo que implica la enseñanza de alta calidad, pero se están realizando esfuerzos para desarrollar estándares de enseñanza A pesar de los recientes esfuerzos que se han realizado para desarrollar estándares de enseñanza en México, todavía no se aprecian sus resultados y el sistema educativo actual carece REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 207

de un marco nacional que defina los estándares para la profesión docente. En consecuencia, por el momento no hay una definición o perfil claro y conciso de lo que los maestros deben saber y ser capaces de hacer. A nivel nacional, no existen criterios uniformes de desempeño ni marcos de referencia para evaluar a los maestros. La mejora de la calidad de la enseñanza no está en el centro de la evaluación docente Uno de los retos para México es que la evaluación de los maestros en servicio es fundamentalmente un mecanismo para otorgar recompensas, que se basa principalmente en instrumentos que sólo miden la calidad de la enseñanza de manera indirecta (los resultados de ENLACE y los exámenes estandarizados para los maestros). La evaluación de los maestros, como se concibe actualmente, no subraya el fomento de la mejora docente. Los maestros reciben poca retroalimentación y asesoría para mejorar sus prácticas. No hay suficiente énfasis en las estrategias para promover la mejora de la calidad de la enseñanza como consecuencia de la evaluación. Además, parece que, en general, hay pocas consecuencias negativas de las evaluaciones. Esto significa que incluso cuando se identifica a maestros con un bajo desempeño, hay poca presión o incentivos para que trabajen activamente en la superación. El uso de las evaluaciones estandarizadas de los alumnos para la evaluación docente plantea una serie de preocupaciones En México, los resultados de ENLACE funcionan como el principal instrumento en la evaluación formal de los maestros en servicio. Los incentivos en el Programa de Estímulos tienen como base ENLACE y tanto en el PNCM como en la Evaluación Universal, ENLACE cuenta para el 50% de la “puntuación” de los maestros. A pesar de su atractivo, el uso de los resultados de las pruebas estandarizadas de los alumnos como un instrumento para evaluar a los maestros enfrenta numerosos retos. En primer lugar, el aprendizaje de los alumnos depende de muchos factores. Los resultados de ENLACE expresan mucho más que la influencia del maestro evaluado, también reflejan el impacto de la familia, el aprendizaje previo del alumno y los recursos de la escuela, por citar algunos ejemplos. En segundo lugar, las evaluaciones estandarizadas utilizadas para diferenciar a los alumnos no están diseñadas específicamente para evaluar a los maestros. Los resultados de la evaluación estandarizada de los alumnos todavía no se han validado como una medida del desempeño docente. En tercer lugar, el impacto de los maestros en los educandos no se limita a las áreas evaluadas en las evaluaciones estandarizadas —que por lo general se limitan a lectura y matemáticas— sino que también incluyen la transferencia de habilidades psicológicas, cívicas y de aprendizaje para la vida. Además, el uso de estas evaluaciones para calificar a cada maestro puede traer efectos perjudiciales. Por ejemplo, enseñar para el examen es una práctica extendida en las escuelas mexicanas. El enfoque desproporcionado en ENLACE corre el riesgo de convertirse en el plan de estudios nacional, cuando ENLACE sólo mide el desempeño en un subconjunto de objetivos de aprendizaje en español y matemáticas. Por último, los procesos actuales de evaluación de los maestros en servicio no otorgan igualdad de oportunidades para asegurar que todos los docentes reciban los beneficios asociados. La evaluación con los resultados de ENLACE pone en una desventaja considerable a los maestros que trabajan en circunstancias más difíciles. Los maestros que no están “cubiertos” por ENLACE también están excluidos del componente de incentivos individuales del Programa de Estímulos. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

208 – CONCLUSIONES Y RECOMENDACIONES

La evaluación de los maestros no está inmersa en una estructura de trayectoria docente claramente definida En México no existe un plan de carrera para los docentes eficaces. La promoción a través del Escalafón vertical consiste únicamente en ascensos a un puesto de gestión escolar, lo que implica que el maestro debe salir del aula. A su vez, el PNCM consiste en esencia en una progresión salarial que no conlleva mayores responsabilidades ni funciones nuevas dentro de la escuela. Por consiguiente, dentro de un rol docente hay pocas oportunidades de ascenso o de un mayor reconocimiento o responsabilidad. No hay niveles de carrera en el desarrollo docente (por ejemplo, principiante, maestro de aula y docente experimentado), que permitan una mejor adecuación entre las competencias y habilidades docentes y las tareas a realizar en las escuelas. Los directores escolares y las autoridades educativas estatales tienen un papel muy pequeño en la evaluación de los maestros En México, la evaluación de los maestros no confiere a los directores escolares herramientas para dirigir el ejercicio medular de sus escuelas: el proceso de enseñanza-aprendizaje. En la actualidad, los líderes escolares no participan en la evaluación formal de los maestros en servicio. Sólo están involucrados en evaluar la aptitud, disciplina y puntualidad de los candidatos a los puestos de gestión escolar en el Escalafón vertical. Es evidente que el sistema de evaluación docente no está diseñado para fomentar el liderazgo pedagógico de los directivos escolares. Por otra parte, las autoridades educativas estatales y sus estructuras de supervisión no tienen un papel significativo en la evaluación formal de los maestros en servicio. Esto es sorprendente a la luz del hecho que las autoridades educativas estatales son los empleadores de los maestros. Lo anterior se traduce en una separación inadecuada entre la administración del cuerpo docente (por parte de las autoridades educativas estatales) y el sistema para su evaluación y estímulos (por parte de las autoridades federales de educación). No existe una cultura arraigada de evaluación de escuelas ni un sistema de evaluación integral En México, el concepto de evaluación de escuelas no está bien integrado en los principios y prácticas de la educación. Por el contrario, parece que los intentos para introducir la evaluación en este contexto primero han tenido que hacer frente a fuertes sentimientos de aprensión y desconfianza entre los maestros y directores de escuela. La evaluación o inspección se ha asociado con negatividad y censura, no con la mejora. Esta pronunciada creencia ha minado los esfuerzos federales para introducir un sistema de evaluación de escuelas y pudo traer como resultado un exceso de dependencia y haber debilitado la autoevaluación para efectuar el cambio. El principal reto es desarrollar un sistema integral de evaluación de escuelas. En general, los componentes fundamentales del desarrollo y aplicación de política educativas exitosas para la evaluación y mejora de las escuelas no se encuentran en los enfoques adoptados actualmente. Se carece de un sistema continuo y significativo de evaluación escolar externa. El sistema de supervisión de los diferentes estados es el encargado de la inspección externa de las escuelas. Sin embargo, este sistema no constituye un enfoque auténtico de evaluación externa de los centros escolares. Los supervisores pueden o no tener experiencia en el ámbito educativo y es posible que desempeñen una o más funciones. En las condiciones actuales, la capacidad de los supervisores en general para participar en evaluaciones escolares que fomenten la mejora REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 209

de la escuela y produzcan una evaluación precisa de la calidad del trabajo de la escuela es limitada. El sistema no incluye aspectos cualitativos confiables y validados, que contribuyan a describir el trabajo completo de las escuelas. Sin evaluación externa, existe el peligro de que los juicios sobre la calidad escolar se tomen sobre la base de una información muy escasa. La autoevaluación de la escuela cuenta con un apoyo federal adecuado, pero las prácticas siguen siendo incipientes Durante los últimos 10 a 15 años, la autoevaluación escolar ha generado un considerable interés como una forma de llamar la atención a la calidad y la promoción de la mejora. México se ha mostrado abierto a las influencias externas y ha investigado a profundidad los sistemas y prácticas de otros países en relación con la autoevaluación. Los materiales producidos en apoyo de la autoevaluación escolar son detallados, completos y de buena calidad. Incluyen asesoría, instrumentos y opciones de autoevaluación y construcción e implementación de un plan eficaz de mejora escolar como una de las consecuencias del proceso de autoevaluación. Sin embargo, el reto es lograr que estos útiles materiales sean bien entendidos y se utilicen de manera habitual en todos los centros educativos, que tengan un impacto significativo y sostenido, y que sean utilizados ampliamente por el personal para la evaluación externa de la escuela. La realidad es que este trabajo no produjo ningún enfoque sostenido y uniforme para la autoevaluación en el país. No se cuenta con reportes sobre los aspectos cualitativos del trabajo de las escuelas y los resultados de los alumnos no están contextualizados Un claro desafío para el sistema mexicano es encontrar formas eficaces de informar sobre la calidad de la educación en todos los niveles. No se cuenta con reportes sobre los aspectos cualitativos del trabajo de cada escuela para los padres de familia y otros interesados. No existen aún informes acerca de la calidad de los procesos educativos y, en general, de la interpretación de los datos cuantitativos, de manera que se tenga un panorama más completo de la calidad de la educación escolar. La información que se difunden públicamente a través del Registro Nacional de Alumnos Maestros y Escuelas (RNAME ) representa un avance indudable en el reporte sobre la calidad de los resultados en cada escuela. Sin embargo, sin un análisis cuantitativo más sofisticado o un elemento cualitativo en los datos, se corre el riesgo de una interpretación simplista de lo que significa la calidad de la escuela, que surgiría de un recuento incompleto de la “historia” de la escuela en su contexto y circunstancias particulares. Otra preocupación se refiere a hacer comparaciones justas de los resultados de los alumnos en las escuelas. Por el momento, se publican los promedios de los resultados de ENLACE a nivel escolar, lo que inevitablemente lleva a los medios de comunicación a publicar clasificaciones que no tienen en cuenta las circunstancias específicas de las escuelas. Lo anterior puede distorsionar considerablemente las deliberaciones acerca de la eficiencia de cada escuela, ya que los resultados crudos no reflejan el valor agregado por la escuela a los resultados de los alumnos. El trabajo de los directores de escuela está muy orientado a las tareas administrativas y su evaluación es inadecuada La administración de los servicios escolares, tales como asegurar una infraestructura segura y el cumplimiento de la normatividad, parece ser el eje real del trabajo de los directores de escuela. REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

210 – CONCLUSIONES Y RECOMENDACIONES

Si bien estos aspectos son importantes para el contexto del aprendizaje y para un determinado tipo de rendición de cuentas, dejan poco tiempo para que lo directores de escuela se concentren en aquellos aspectos que tienen un mayor impacto en la calidad educativa. Además, la eficacia de su trabajo una vez que ha sido nombrado, en general se evalúa a través de su participación voluntaria en el Programa Nacional de Carrera Magisterial (PNCM ). En estas circunstancias, los directores son evaluados con una serie de reactivos específicos sobre la gestión escolar. Tal sistema puede permitir a las autoridades obtener un panorama de algunos conocimientos legales y teorías de administración que tienen los directores. Pero esto no tiene nada que ver con demostrar las cualidades de liderazgo necesarias para lograr que la escuela participe en una autoevaluación eficaz, para impulsar mejoras en los procesos clave de enseñanza-aprendizaje y para estimular la participación de los padres de familia y la población local en una comunidad de aprendizaje. La evaluación del sistema es una prioridad, pero se debe fortalecer el uso de la información en este nivel El monitoreo de la calidad del sistema educativo es un componente muy avanzado del marco mexicano de evaluación. Los responsables de la elaboración de las políticas educativas y la sociedad civil han estado muy atentos al desarrollo de indicadores nacionales y estatales para medir la calidad y el progreso del sistema educativo en su conjunto. Este enfoque clave para evaluar el sistema se refleja en el establecimiento de sistemas de información integrales y evaluaciones basadas en muestras nacionales que se han ido perfeccionando continuamente durante la última década. Existe una amplia aceptación del principio de que las políticas y programas de educación deben ser observados y evaluados para sustentar el desarrollo a futuro de las políticas y la planeación educativas. Sin embargo, el reto principal es garantizar que los actores de todo el sistema educativo utilicen eficazmente los datos disponibles. La información del sistema no se aprovecha lo suficiente para fundamentar el desarrollo de políticas educativas. En la actualidad, el principal interés nacional es la recopilación de datos y la aplicación de las evaluaciones. Se deja a un lado la forma de aprovechar estos resultados para determinar las prioridades y estrategias de información. Parece haber una capacidad limitada y/o poco interés a nivel estatal y nacional para participar en un análisis e interpretación más profundos de los resultados. Otro reto es facilitar a los profesionales el uso de los datos en el ámbito escolar. Dada la fuerte tradición centralista de México, el flujo de datos en el sistema fluye prácticamente en una sola dirección, de las escuelas a los niveles superiores de la administración educativa, pero la retroalimentación y la interacción con las escuelas acerca de la información que proporcionan son escasas. Se cuenta con un sistema integral de registro y estadísticas nacionales bien establecido, pero hay vacíos de información en el sistema nacional de información Una de las ventajas clave del enfoque de México en la evaluación del sistema educativo es que se centra en la construcción de un sistema integral de indicadores y estadísticas nacionales. La recopilación de datos sobre el desempeño educativo y los diversos factores que influyen en él, el monitoreo de las tendencias en el tiempo y el análisis de la situación del sistema educativo conllevan un enorme esfuerzo. En los últimos años, la integración de la información de varias fuentes y bases de datos diferentes para mejorar la exactitud y utilidad de los datos para el análisis y la toma de decisiones ha sido objeto de mucha atención. La iniciativa más reciente en política educativa para fortalecer los sistemas de información ha sido la creación del Registro Nacional de Alumnos, Maestros y Escuelas (RNAME ), el cual puede contribuir REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 211

a mejorar la transparencia y la rendición de cuentas del sistema educativo. Sin embargo, la recopilación de datos debe fortalecerse en algunas áreas. El seguimiento de la trayectoria de cada alumno y maestro sigue siendo un reto importante, aún cuando el RNAME representa un gran avance para hacerle frente. También se puede dar más atención al reporte sistemático de información de las desigualdades en los resultados de aprendizaje de los diferentes grupos de alumnos, por ejemplo los que provienen de distintos orígenes étnicos o socioeconómicos. Otro vacío de información se refiere a la medición del contexto socioeconómico de la escuela. Por último, no se dispone de mucha información sobre los aspectos universales de la calidad de la educación, como las actitudes, la motivación y el bienestar general de los alumnos y el ambiente de enseñanza-aprendizaje en las escuelas. Se cuenta con información fidedigna de todo el sistema en cuanto a los resultados del aprendizaje de los alumnos, pero se necesita un esfuerzo extra EXCALE ofrece información sobre los resultados del aprendizaje de los alumnos de todo el sistema. El propósito principal es obtener y analizar los datos para monitorear el progreso del sistema nacional y los subsistemas estatales de educación y proporcionar información para mejorar la política y la práctica educativa. Varios elementos hacen que EXCALE sea particularmente adecuado para este propósito. En primer lugar, hace referencia al plan de estudios de México y, como tal, permite medir el avance hacia las metas nacionales de educación y ampliar el debate nacional más allá de los resultados de los estudios internacionales. En segundo lugar, el diseño de matriz de EXCALE permite evaluar una gama más amplia de conocimientos y habilidades sin sobrecargar a cada alumno. En tercer lugar, EXCALE no sólo mide los resultados, sino también recopila información sobre las características de los alumnos y los factores que pueden contribuir a explicar los resultados. Sin embargo, se requieren mejoras adicionales para asegurar la pertinencia de EXCALE . Los retos principales son garantizar que EXCALE refleje adecuadamente los resultados de aprendizaje esperados y los estándares curriculares propuestos en la RIEB ; hacerla más inclusiva para las minorías culturales y lingüísticas; y que no se vea amenazada como instrumento clave para la supervisión del sistema por la atención desproporcionada que reciben los resultados de ENLACE en todo el sistema.

Recomendaciones de política educativa Mantener los esfuerzos para fortalecer la evaluación y poner mayor énfasis en su función de mejora Las políticas nacionales para la evaluación deben mantener un rumbo fijo, atendiendo las preocupaciones fundadas y haciendo los ajustes necesarios para que la evaluación se convierta en un ejercicio significativo y valioso en las escuelas y las aulas. El actual marco de evaluación provee una buena base para un mayor desarrollo. Es integral, incluye la mayoría de los dominios de evaluación y una amplia gama de fuentes de datos y genera resultados útiles para el desarrollo de políticas educativas. Sin embargo, se requieren algunos ajustes para consolidar el significado de la evaluación en el sistema educativo mexicano. Una de las prioridades es reforzar la función de mejora de la evaluación y analizar los métodos óptimos de evaluación para mejorar el aprendizaje de los alumnos. Aprovechar el potencial del marco REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

212 – CONCLUSIONES Y RECOMENDACIONES

de evaluación requiere el establecimiento de estrategias para fortalecer los vínculos con la práctica del aula, que es donde se lleva a cabo la mejora del aprendizaje. Esto implica reforzar el papel de las autoridades educativas estatales para que establezcan procedimientos de evaluación escolar y proporcionen el seguimiento necesario que impulse la mejora de la escuela. La articulación de la evaluación a nivel local es esencial para establecer vínculos entre las políticas educativas nacionales y la mejora de las prácticas de aula. Un elemento crítico para que el marco de evaluación sea eficaz es su correcta alineación con la RIEB . La RIEB demanda un mayor énfasis en la función de mejora de la evaluación, lo que implica importantes reorientaciones para la mayoría de los componentes del marco. Por ejemplo, poner más atención a la evaluación formativa de los alumnos, más énfasis en la autoreflexión de todos los actores escolares, mayor orientación en la mejora continua de la evaluación de los maestros y mejor uso de los resultados para la retroalimentación. Integrar el marco de evaluación El potencial de la evaluación no se realizará hasta que el marco esté totalmente integrado y se perciba como un todo coherente. Un primer paso importante es el desarrollo de un plan o marco estratégico que conceptualice un marco integral de evaluación y articule los caminos para lograr la coherencia entre sus diferentes componentes. Para ello se requiere la participación de los diferentes niveles de administración y operación de la educación, en particular las autoridades educativas estatales de manera que sus responsabilidades y funciones estén claramente establecidas en el marco. Básicamente, el plan debe definir un marco de referencia común para la evaluación educativa de todo el país, con el objetivo último de integrar la evaluación como una parte continua e imprescindible del profesionalismo de los actores del sistema educativo. Debe constituir un fundamento claro para la evaluación y un tratado convincente sobre cómo alinear la evaluación con los diferentes elementos del programa de la reforma educativa. Debe describir cómo cada uno de los componentes del marco puede producir resultados útiles para la práctica en el aula y las actividades de mejora escolar. Debe incluir estrategias para fortalecer algunos de los componentes del marco y desarrollar las vinculaciones entre los componentes. Ajustar la administración y operación del marco de evaluación Algunos ajustes importantes podrían mejorar la administración y operación del marco de evaluación, en un contexto donde la SEP mantenga el liderazgo en la definición de la estrategia educativa y el desarrollo de políticas educativas, así como su papel en la aplicación de todos los componentes del marco de evaluación. Un primer ajuste recomendado es la expansión considerable de la autonomía del INEE de manera que pueda liderar las actividades de evaluación en el país. El objetivo sería instaurar al INEE como la voz autorizada de la evaluación en México, con una elevada credibilidad por su experiencia y capacidad técnica, encargada de formular las directrices para la implementación de los procedimientos de evaluación en el país. El 16 de mayo de 2012 se avanzó considerablemente en esa dirección con la modificación del Decreto Presidencial de 2002, que creó el INEE . Las enmiendas, que entrarán en vigor en septiembre de 2012, reforzarán su autonomía, fortalecerán su experiencia técnica y le otorgarán una mayor independencia de la SEP . Un segundo ajuste importante consiste en exigir (o dar incentivos) a las autoridades estatales de educación que establezcan estructuras para organizar formalmente la evaluación externa de las escuelas, supervisar la autoevaluación escolar y validar los enfoques de evaluación docente basados en la escuela. Esto podría lograrse a través REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 213

de la creación de organismos (o institutos) responsables de la supervisión y la mejora escolar. Un tercer ajuste es asegurar una mejor coordinación de la profesión docente, mediante la creación de un organismo independiente a nivel federal que coordinara los esfuerzos de gestión y mejora de los maestros de todo el país. Se requiere una importante inversión para desarrollar la capacidad de evaluación de todo el sistema escolar A medida que el marco de evaluación se desarrolle y adquiera coherencia, una importante área de políticas sería consolidar los esfuerzos para mejorar la capacidad evaluativa. Entre las prioridades se encuentra mejorar las competencias en evaluación de las autoridades educativas estatales y el personal de supervisión (inspectores, jefes de enseñanza, jefes de sector). También es necesario reforzar las habilidades de liderazgo educativo de los directores escolares, ya que su papel sigue enfocándose en las áreas tradicionales de las tareas administrativas. El objetivo es que los líderes escolares apliquen mecanismos eficaces de retroalimentación, asesoría y evaluación de su personal, y dirijan eficazmente los procesos de evaluación integral de su escuela. Los maestros también pueden beneficiarse con una amplia gama de oportunidades de desarrollo, entre ellas, mejorar sus habilidades de evaluación formativa, por ejemplo, involucrar a los alumnos en sus evaluación; mejorar su capacidad para evaluar el aprendizaje teniendo como referencia los objetivos definidos en la RIEB , que incluyen el fomento del trabajo colaborativo entre los docentes en torno a la evaluación sumativa de los alumnos; y mejorar la capacidad de reunir y analizar la información para la autosuperación. Asegurar una estrategia coherente e integral para la implementación de la reforma curricular En la situación actual, para mejorar la evaluación dentro del aula en México es necesario trabajarla con la implementación de la RIEB , dada la inclusión de las pertinentes iniciativas sobre evaluación formativa y sumativa. Además, la aplicación y el impacto de la RIEB dependen fundamentalmente de la introducción exitosa de los cambios en las prácticas de evaluación de los alumnos y de su alineación con los resultados de aprendizaje esperados y los estándares definidos en el nuevo plan de estudios. En especial se debe garantizar que en la evaluación de los alumnos se mantenga el alcance del plan de estudios y las metas de aprendizaje establecidas, asegurándose de que se atiendan todas las asignaturas y objetivos. Esto implica no sólo la evaluación dentro del aula, sino también las evaluaciones externas. En cuanto a la evaluación dentro del aula, los maestros deben integrar una gama mucho más amplia de actividades e instrumentos en sus prácticas para promover y abarcar procesos cognitivos más complejos. Deben recibir apoyo y capacitación con el fin de pasar de una visión bastante tradicional de la enseñanza, concebida como explicar temas y conceptos, a un concepto más amplio basado en facilitar el aprendizaje y el desarrollo de competencias. En este sentido, el repertorio de enfoques para el aprendizaje y la evaluación necesita ampliarse, alejándose de la asignación de numerosos ejercicios y prácticas de pruebas. Además, si se desea alinear uniformemente, en todo el país, las calificaciones de los alumnos con los resultados esperados de aprendizaje y los estándares de la RIEB , entonces una de las prioridades debe ser establecer mecanismos para ponderar la asignación de calificaciones, en y entre las escuelas.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

214 – CONCLUSIONES Y RECOMENDACIONES

Desarrollar estrategias para hacer frente a los efectos no deseados de ENLACE Una de las principales prioridades de la política educativa debe ser el desarrollo de estrategias para eliminar o al menos reducir los actuales efectos no deseados de ENLACE , un esfuerzo que amerita un estudio a profundidad sobre el impacto de ENLACE en las prácticas educativas y escolares. Varias opciones son posibles. Una estrategia podría ser la reducción del alto impacto de ENLACE . Otra posibilidad es rediseñar los objetivos de ENLACE , incluyendo un regreso a su razón original como herramienta puramente diagnóstica y formativa para la evaluación de los alumnos. Otra posibilidad más es asignar a este objetivo original algún papel en el sistema de evaluación para determinar si se logran o no los objetivos de aprendizaje de los alumnos en las materias reguladas por ENLACE , a nivel nacional. Si se mantiene el objetivo del uso de ENLACE para la rendición de cuentas de las escuelas (publicación de los resultados de ENLACE en el nivel de la escuela) y la evaluación docente entonces es imperativo el desarrollo de modelos de valor agregado que capturen el impacto real de las distintas escuelas y reduzcan considerablemente el peso de los resultados de la prueba en la evaluación docente. Otra estrategia es transformar ENLACE en una herramienta para la evaluación externa sumativa de los alumnos, es decir, en un sistema de exámenes externos. Esto implicaría ampliar la gama de objetivos de aprendizaje de los alumnos evaluados, mediante la inclusión de más temas y variedad en las tareas asignadas. También tendría consecuencias para los alumnos, por ejemplo, que fuera parte de la calificación final o un mecanismo de certificación al final de las etapas clave de la educación (final de los ciclos educativos). Promover el uso formativo de las evaluaciones estandarizadas de los alumnos Una prioridad de la política educativa debería ser promover adecuadamente el uso formativo de las evaluaciones estandarizadas de los alumnos, como ENLACE y PISA , y desalentar los incentivos otorgados a las escuelas para practicar las pruebas. Además, debe haber un análisis sobre cómo mejorar la puntualidad de la entrega resultados de manera que puedan orientar las estrategias de aprendizaje en el mismo año escolar que se aplica ENLACE . En el caso de PISA , las autoridades deberían centrar la atención docente en la comprensión de su marco —qué es lo que PISA evalúa— y en la reflexión y discusión sobre cómo desarrollar en el aula las competencias evaluadas. Consolidar la evaluación de los maestros con el desarrollo de una visión de mediano plazo México ha trabajado arduamente para implementar la evaluación docente y desarrollar una cultura de evaluación entre los actores educativos. Colocar la evaluación de los maestros en el centro de las reformas escolares logró un amplio consenso entre el magisterio, que aceptó que la evaluación significativa de los docentes era indispensable. Aunque el desarrollo de esta evaluación está en una fase temprana y tiene un éxito parcial, es importante que no se pierda el terreno ganado. Si bien se reconocen los logros alcanzados hasta la fecha, incluyendo la Evaluación Universal, que trata de abarcar a todos los maestros del sistema y propone un nuevo énfasis formativo para la evaluación docente, se requiere que México desarrolle una visión de mediano plazo para esta evaluación. El enfoque más prometedor para la evaluación docente, REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 215

que tendría un impacto fuerte y sostenido en el aprendizaje de los alumnos sería aquel cuyo resultado fuese que los maestros participaran en ejercicios de análisis y reflexión, estudiaran sus prácticas docentes, y compartiesen su experiencia con sus compañeros, como una parte rutinaria de la vida profesional. Implementar estándares de enseñanza para guiar la evaluación de los maestros y el desarrollo profesional México necesita tener una referencia básica de lo que significa la buena enseñanza. Esto implica establecer un conjunto de estándares docentes claros y coherentes que indiquen a los maestros y a la sociedad en su conjunto, los conocimientos, habilidades y valores fundamentales, relacionados con una enseñanza eficaz, en las diferentes etapas de la trayectoria profesional docente. Los estándares de enseñanza deben desarrollarse de manera que provean una base común que guíe los elementos clave de la profesión: la formación inicial docente, el desarrollo y promoción profesional y, por supuesto, la evaluación de los maestros (incluyendo la alineación de sus diferentes componentes). Los estándares profesionales claros, bien estructurados y con un amplio apoyo pueden ser un poderoso mecanismo para alinear los distintos elementos que intervienen en el desarrollo de las competencias docentes. Buscar un mayor equilibrio de largo plazo entre las funciones sumativa y formativa de la evaluación de los maestros Se requiere un mayor énfasis en la evaluación de los maestros con fines de mejora (es decir, evaluación para el desarrollo). Dado que existen riesgos de que la función de mejora se vea obstaculizada por una evaluación docente de alto impacto, se propone la creación de un componente exclusivo de evaluación para el desarrollo, que sea totalmente propio de la escuela. Esta evaluación para el desarrollo tendría como objetivo principal la mejora continua de las prácticas de enseñanza escolares. Sería un proceso interno realizado por los directivos, los compañeros con un mayor rango y la gestión escolar. El resultado principal sería la retroalimentación sobre el desempeño docente que daría lugar a un plan de desarrollo profesional. Con el fin de garantizar la aplicación sistemática y coherente de la evaluación para el desarrollo en las escuelas mexicanas, sería importante realizar la validación externa de los correspondientes procesos escolares. Además de la evaluación para el desarrollo, la función sumativa de la evaluación docente que actualmente se logra a través del PNCM , la Evaluación Universal y los principios del Escalafón vertical (en el sentido de las etapas de carrera dentro de la enseñanza), podría reunirse en un solo proceso de evaluación docente para el avance profesional a través de un proceso de certificación asociado a una estructura de carrera docente a crear (con la progresión en las trayectorias profesionales y el acceso a distintas carreras). Esto formalizaría el principio de promoción por mérito, asociado a las oportunidades de carrera para los docentes eficaces que reúnan tanto las promociones verticales como horizontales. Se pediría a cada maestro con plaza definitiva en el sistema que se sujetase a una evaluación formal periódica (por ejemplo, cada cuatro años) para la certificación (o recertificación). La finalidad sería certificar a los maestros periódicamente en sus aptitudes para la profesión. Tanto la evaluación para el desarrollo como la evaluación para la certificación deben reducir el peso de los resultados de la evaluación estandarizada de los alumnos y basarse en una mayor variedad de instrumentos, donde se incluyeran la observación en el aula y la preparación de un portafolio.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

216 – CONCLUSIONES Y RECOMENDACIONES

Asegurarse de que los estados participen activamente en la evaluación de los maestros y otorgar un papel más destacado a los directores escolares Un movimiento hacia un mayor énfasis en la función de mejora (o desarrollo) de la evaluación de los maestros requiere ineludiblemente de una mayor participación de las autoridades educativas estatales en los procesos de evaluación docente. Las autoridades educativas estatales deberían dirigir la organización de los procesos de evaluación de los maestros, ya que son los responsables de su contratación. Esto debe hacerse en el contexto de un marco nacional de orientación, apoyo y coordinación de las autoridades federales. Además, la operación eficaz de la evaluación docente y su contribución al desarrollo escolar dependerán en gran medida del liderazgo pedagógico de los directores. La evaluación de los maestros tendrá éxito en elevar los niveles educativos sólo si los directores de los centros escolares asumen la responsabilidad directa de ejercer el liderazgo pedagógico y se ocupan de la calidad de la educación en sus escuelas. Por lo tanto, es vital que los directores de las escuelas (y los demás miembros del equipo directivo de la escuela) participen en la evaluación de los maestros. Desarrollar un plan de largo plazo y tomar medidas para instaurar un sistema integral y objetivo para evaluar a las escuelas La planeación a largo plazo debe incluir la introducción de un sistema integral de evaluación de los centros escolares. Se trata de aprovechar todos los elementos positivos actuales y convertirlo en un modelo totalmente integral de evaluación escolar, con todos los componentes necesarios. El sistema deberá incluir como mínimo lo siguiente: asegurar que la exhortación nacional a la autoevaluación impregne todo el sistema y promueva la participación de todas las escuelas; reforzar la concientización no sólo de los procesos de autoevaluación, sino del rigor necesario para lograr que la autoevaluación conduzca a la mejora; garantizar que todos los estados recomienden o exijan a las escuelas su participación en la autoevaluación; estimular y alentar a los estados para que dispongan de mecanismos mediante los cuales puedan participar en la evaluación externa de los centros escolares, con criterios transparentes y conocidos; y fortalecer y ampliar el papel de los supervisores como posibles evaluadores externos —para que tengan un papel clave en la evaluación escolar y con ello apoyen la mejora en el aula y la escuela. En este sentido, todos los estados deberían considerar la posibilidad de crear un organismo para la evaluación de las escuelas, tal vez hermanado a los institutos de evaluación estatales, en su caso. Como resultado de los análisis de las evaluaciones realizadas, estos organismos estatales serían responsables de planificar y llevar a cabo las evaluaciones externas, validar la autoevaluación, difundir las buenas prácticas y ofrecer sugerencias para las áreas necesarias de desarrollo personal de los maestros, directores de escuela y los propios supervisores. Cambiar el enfoque de trabajo de los directores escolares hacia el aprendizaje y la mejora, y desarrollar un sistema independiente de evaluación del liderazgo escolar Una prioridad importante es asegurar que los directores de las escuelas tengan o desarrollen las capacidades necesarias para cumplir su función. Se tendrá que encontrar medios para liberarlos de las cargas excesivas de trabajo administrativo, esto les permitirá centrarse más en los alumnos, los maestros y el aprendizaje. Para ello será necesario desarrollar programas de formación de directores, que incluyan proyectos prácticos dentro de la escuela, apoyo e investigación de acciones para la autoevaluación, tutoría o asesoría de los directores de REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

CONCLUSIONES Y RECOMENDACIONES – 217

escuelas exitosas y la reducción de trabajo administrativo o no productivo que puede ser mejor realizado por administradores profesionales. Además, la evaluación del trabajo de los directores escolares debe separarse de la evaluación docente e incluir una evaluación de las diversas normas apropiadas, con aspectos de trabajo en equipo, mejoras en el aprendizaje, la enseñanza y los resultados de los alumnos en la escuela, la calidad de la colaboración con los padres y la comunidad, los valores y actitudes generales de la escuela, ninguno de los cuales puede evaluarse eficazmente con pruebas escritas. Informar sobre la calidad de las escuelas de manera que apoyen y tengan impacto en las escuelas y en los responsables de la elaboración de políticas a nivel estatal y federal Otro objetivo a más largo plazo debe ser contar con un sistema de información integral, que necesita varios componentes: procesos de evaluación escolar apuntalados por supervisores con las capacidades adecuadas para apoyar la autoevaluación escolar; informes escolares anuales y planes resumidos de mejora publicados y disponibles para todos los padres de familia; información sobre la autoevaluación validada por los supervisores a través de la evaluación externa, en un informe de cada escuela; informes escolares agregados en un reporte local con las fortalezas y aspectos comunes que deben desarrollarse; validación de los informes locales a nivel estatal, por parte de un organismo de calidad o el personal apropiado, para producir una informe sobre la calidad de la educación en el estado; y datos estatales agregados a nivel federal por el personal u organismos apropiados, como el INEE , para producir un informe nacional sobre la calidad de la educación, con recomendaciones para la acción a nivel nacional y estatal. Ampliar el sistema de información escolar y realizar comparaciones más significativas entre las escuelas Se deben tomar medidas para desarrollar métodos eficaces que permitan utilizar los datos estadísticos disponibles a nivel escolar, mediante la ampliación del sistema de información (RNAME ). Los métodos podrían incluir, además de los resultados crudos de las pruebas de ENLACE , datos cuantitativos, como la comparación de los resultados de una sola escuela con los promedios alcanzados por los centros escolares con características similares. Además, una medida de valor agregado para cada alumno en el transcurso de los grados de primaria y de finales de primaria hasta el final de la educación secundaria y media superior, aportaría un significado descriptivo a los datos. También debe haber un objetivo de largo plazo que incluya algunos aspectos cualitativos en los informes sobre las escuelas individuales, o un enlace a un informe de evaluación externa escolar. Además, mejorar los datos sobre los antecedentes socioeconómicos de los alumnos y desarrollar los indicadores asociados a nivel de escuela, permitiría una comparación más significativa de los resultados de los alumnos para grupos de escuelas “similares” (centros escolares con alumnos procedentes de entornos similares). Optimizar la presentación de informes y el uso de los datos del sistema para sustentar la política y la práctica educativa Las autoridades nacionales de educación en colaboración con el INEE deben elaborar una estrategia para optimizar el uso de los actuales datos del sistema por parte de los actores REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

218 – CONCLUSIONES Y RECOMENDACIONES

educativos. Una de las prioridades debe ser mejorar aún más el uso de la información del sistema para la planeación y el desarrollo de políticas educativas. Aunque, de hecho, México cuenta con una gran cantidad de información del sistema, el enfoque clave en los próximos años debe ser aprovechar esta información para desarrollar estrategias que mejoren la educación estatal y nacional. Otras medidas podrían tomarse para comunicar de manera más eficaz los resultados del sistema nacional de información a fin de fomentar su uso por los actores pertinentes. Es esencial que las escuelas no sean consideradas simplemente como proveedoras de datos, sino que se conviertan en parte de un proceso colaborativo de intercambio de datos y análisis. La SEP y el INEE deben explorar cómo presentar los análisis de manera que puedan ser utilizados con facilidad, diseñar interfaces y métodos de presentación que proporcionen ayuda a los usuarios no técnicos con la interpretación y el uso de análisis específicos. Responder a los vacíos de información en el sistema nacional de información Se debe poner atención a la revisión de las lagunas del sistema de recopilación de datos actual y el desarrollo de una estrategia de mediano y largo plazo para mejorar la recolección de datos y las herramientas de medición para responder a las necesidades de información restantes. Las áreas donde la recopilación de información adicional ayudaría a mejorar la supervisión del sistema son: trayectorias individuales de alumnos y docentes en el sistema escolar; el monitoreo de las inequidades en los resultados de aprendizaje entre grupos de alumnos específicos; antecedentes socioeconómicos y demográficos de los alumnos; y las percepciones de los interesados ​​sobre el ambiente de enseñanza y aprendizaje. Revisar continuamente EXCALE y garantizar su pertinencia en relación con los objetivos nacionales de la educación Sería importante revisar las evaluaciones EXCALE en relación con su alineación con los requisitos del nuevo plan de estudios para garantizar que las evaluaciones mantengan su pertinencia para la evaluación del sistema y el monitoreo longitudinal de los resultados. Además, es importante revisar la capacidad de respuesta de EXCALE a diferentes grupos lingüísticos y culturales y asegurar que sea más inclusiva mediante el desarrollo de adaptaciones especiales para los alumnos con necesidades especiales. También existe la posibilidad de aprovechar E XCALE para supervisar el progreso del sistema educativo mexicano hacia el logro de sus objetivos de equidad. Con este fin, el INEE debe considerar el reporte sistemático de los resultados desagregados de ciertos grupos: alumnos indígenas, inmigrantes y de diferentes orígenes socioeconómicos.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO A – 219

Anexo A. La Revisión de la OCDE sobre los Marcos de Evaluación para Mejorar los Resultados Escolares

La Revisión de la OCDE sobre los Marcos de Evaluación para Mejorar los Resultados Escolares está diseñada para responder al fuerte interés en temas de evaluación a nivel nacional e internacional. La revisión proporciona una descripción del diseño, implementación y uso de los procedimientos de evaluación en diversos países; analiza fortalezas y debilidades de los distintos enfoques; y ofrece recomendaciones para la mejora. El informe examina los diversos componentes de los marcos de evaluación que utilizan los países con el objetivo de mejorar los resultados de los alumnos. Entre ellos la evaluación de los alumnos, maestros, escuelas y sistemas. La revisión se centra en la educación primaria y secundaria.1 El objetivo general es explorar cómo utilizar los sistemas de evaluación para mejorar la calidad, la equidad y la eficiencia de la educación escolar.2 La pregunta general en el ámbito de la política educativa es “¿Cómo pueden trabajar de manera más eficaz las políticas de evaluación para mejorar los resultados de los alumnos en las escuelas primarias y secundarias?” Más adelante, la revisión examina cinco aspectos clave para el análisis: (i) Diseñar un marco sistémico para la evaluación; (ii) Asegurar la eficacia de los procedimientos de evaluación; (iii) Desarrollar competencias para la evaluación y para el uso de la retroalimentación; (iv) Utilizar mejor los resultados de la evaluación; y (v) Implementar las políticas de evaluación. Veintitrés países con diversos contextos económicos y sociales participaron de manera activa en la revisión, cada uno con enfoques muy diferentes para la evaluación de los sistemas escolares. Lo anterior permite una perspectiva comparativa sobre los temas clave de la política educativa. Cada país prepara un informe de antecedentes detallado, siguiendo un conjunto estándar de lineamientos. Los países también pueden optar por una revisión detallada, llevada a cabo por un equipo de integrantes de la Secretaría de la OCDE y expertos externos. Doce países de la OCDE optaron por un informe / revisión del país. El informe comparativo final de la Revisión de la OCDE , que reúne las experiencias de todos los países, estará listo en 2012. El proyecto es supervisado por el Grupo de Expertos Nacionales sobre Evaluación, que se creó como un órgano subsidiario del Comité de Políticas de Educación de la OCDE con el fin de orientar los métodos, tiempos y principios de la Revisión. En el sitio web dedicado a la revisión pueden encontrarse más detalles: www.OECD.org/edu/evaluationpolicy

Notas 1 El alcance de la revisión no incluye la educación y atención de la primera infancia, el aprendizaje en la educación y capacitación vocacional ni la educación de adultos. 2 Los fines y el alcance del proyecto se detallan en el documento de 2009, de la OCDE , titulado “Revisión de los marcos de evaluación de OCDE para mejorar los resultados de las escuelas: Diseño y y plan de implementación para la revisión”, que está disponible en el sitio web del proyecto: www.OECD.org/edu/evaluationpolicy .

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

220 – ANEXO B

Anexo B. Programa de la visita

Martes 7 de febrero de 2012, Ciudad de México 08:30 – 09:30

Subsecretario de Educación Básica (SEB ), Lic. Francisco Ciscomani Freaner, y Titular de la Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE), Lic. Bernardo Rojas Nájera Evaluación del Sistema Nacional de Educación

10:00 – 11:15

- Director General de Planeación y Estadística Educativa (DGPEE ) - Director de Evaluación y Análisis del Proceso Educativo, Dirección General de Evaluación de Políticas (DGEP ) - Director de Indicadores, Instituto Nacional para la Evaluación de la Educación (INEE ) - Director de Pruebas y Medición, Instituto Nacional para la Evaluación de la Educación (INEE ) Evaluación de los maestros

11:15 – 12:45

- Director de Evaluación y Análisis del Proceso Educativo, Dirección General de Evaluación de Políticas (DGEP ) - Director de Normatividad, Coordinación Nacional del Programa Carrera Magisterial - Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE)

13:00 – 14:00

Secretaría Técnica del Consejo Nacional de Participación Social en la Educación (CONAPASE )

15:15 – 16:00

Evaluación de los maestros - Director General, Dirección General de Educación Superior para Profesionales de la Educación (DGESPE) El Sistema Nacional de Educación y las Perspectivas de Evaluación de la Educación Básica en México

16:00 – 17:30

- Titular de la Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE) - Director General, Instituto Nacional para la Evaluación de la Educación (INEE ) - Jefe de Proyecto, Instituto Nacional para la Evaluación de la Educación (INEE ) (autor del Informe de Antecedentes del País) - Director de Evaluación y Análisis del Proceso Educativo, Dirección General de Evaluación de Políticas (DGEP ) Evaluación de los alumnos

17:30 – 19:00

- Director General de Evaluación de Políticas, Dirección General de Evaluación de Políticas (DGEP ) - Director General, Dirección General de Desarrollo Curricular (DGDC ) - Subdirector General, Dirección General de Materiales e Informática Educativa (DGMIE ) - Secretario Privado, Dirección General de Materiales e Informática Educativa (DGMIE ) - Director General, Dirección General de Formación Continua para Maestro en Servicios (DGFCMS ) - Director de Pruebas y Medición, Instituto Nacional para la Evaluación de la Educación (INEE ) Evaluación de Alumnos con Necesidades Especiales

19:00 – 19:45

- Programa de Fortalecimiento de la Educación Especial y de la Integración Educativa, Dirección General de Desarrollo Curricular (DGDC ) - Director de Educación Especial, Administración Federal de Servicios Educativos en el Distrito Federal (AFSEDF) - Confederación Mexicana de Organizaciones de Personas con Discapacidad Intelectual (CONFE A.C. )

Miércoles 8 de febrero de 2012, Ciudad de México Evaluación de las escuelas 08:00 – 09:15

- Director de Evaluación Escolar, Instituto Nacional para la Evaluación de la Educación (INEE ) - Jefe de Proyecto, Instituto Nacional para la Evaluación de la Educación (INEE ) - Director de Política Educativa y Evaluación de Sistemas, Dirección General de Evaluación de Políticas (DGEP ) Evaluación de los Programas Federales del Sector de Educación

09:15 – 10:15

- Coordinador del Programa de Evaluación, Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE) - Titular de la Dirección de Desarrollo de Investigaciones, Dirección General de Desarrollo de la Gestión e Innovación Educativa (DGDGIE )

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO B – 221

Educación Indígena 10:15 – 11:15

- Director de Educación y Desarrollo Profesional para los Maestros de Educación Indígena, Dirección General de Educación Indígena (DGEI ) - Coordinador Nacional del Programa de Educación Preescolar y Primaria para Niñas y Niños de Familias Jornaleras Agrícolas Migrantes (PRONIM ) Instituciones involucradas en la implementación de actividades de evaluación educativa, Centro Nacional de Evaluación para la Educación Superior (CENEVAL )

11:15 –12:15

13:00 – 14:00

- Director General, Centro Nacional de Evaluación para la Educación Superior (CENEVAL ) - Subdirector General para Programas Especiales - Director de Programas de Educación Formal - Director de Programas de Administración Pública Sindicato Nacional de Trabajadores de la Educación (SNTE ) (La reunión no se llevó a cabo debido a la ausencia de los representantes del SNTE ) Visita a la escuela secundaria Ramón Beteta, Ciudad de México

15:30 – 18:30

- Reunión con el equipo de liderazgo escolar - Reunión con un grupo de maestros - Reunión con un grupo de alumnos

Jueves, 9 de febrero de 2012, Ciudad de México Visita a la Telesecundaria 3, Ciudad de México 08:00 – 10:30

- Reunión con el equipo de liderazgo escolar - Reunión con un grupo de maestros - Reunión con un grupo de alumnos

13:00 – 14:00

Comisión de Educación del Senado de la República Visita a la escuela primaria Alberto Correa, Ciudad de México

16:00 – 18:20

- Reunión con un grupo de alumnos - Reunión con un grupo de maestros - Reunión con el personal de supervisión - Reunión con el equipo de liderazgo escolar Organizaciones de la Sociedad Civil

18:30 – 19:30

- Mexicanos Primero, A . C . - Servicios a la Juventud, A . C . - Suma por la Educación - Hacia una Cultura Democrática, A . C . - Proeducación (IAP )

Viernes 10 de febrero de 2012, Estado de México Visita a la escuela primaria Niños Héroes, Ocoyoacac, Estado de México 10:15 – 13:00

- Reunión con el equipo de liderazgo escolar - Reunión con un grupo de maestros - Reunión con un grupo de alumnos

13:30 – 14:30

Secretaría de Educación Pública del Estado de México, Lic. Raymundo E. Martínez Carbajal Visita a la escuela secundaria técnica No.196, Toluca, Estado de México

16:00 – 19:00

- Reunión con el equipo de liderazgo escolar - Reunión con un grupo de maestros - Reunión con un grupo de alumnos

19:30 – 20:30

Director General, Instituto de Evaluación del Estado de México

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

222 – ANEXO B

Lunes 13 de febrero de 2012, Ciudad de México 09:30 – 19:00

Reuniones del Equipo de Revisión de la OCDE

Martes 14 de febrero de 2012, Estado de Puebla Visita a la escuela primaria Quetzalcóatl, Puebla 10:15 – 13:00

- Reunión con el equipo de liderazgo escolar - Reunión con un grupo de maestros - Reunión con el personal de supervisión - Reunión con un grupo de alumnos Visita a la escuela secundaria Presidente Cárdenas, Heróica Puebla de Zaragoza

14:30 – 17:30

18:00 – 19:00

- Reunión con el equipo de liderazgo escolar - Reunión con un grupo de maestros - Reunión con el personal de supervisión - Reunión con un grupo de alumnos Secretaría de Educación Pública del Estado de Puebla, Lic. Luis Maldonado Venegas Reunión con representantes del Departamento de Evaluación Educativa

19:00 – 20:00

- Director General de Evaluación y Política Educativa - Director de Política Educativa - Director de Evaluación Educativa

Miércoles 15 de febrero de 2012, Ciudad de México 08:00 – 09:00

Congreso Nacional de Educación Indígena e Intercultural Organizaciones de padres de familia a nivel federal

09:00 – 10:00

- Unión Nacional de Padres de Familia (UNPF) - Federación Nacional de Asociaciones de Padres de Familia (FENAP) - Presidente de la Asociación de Padres de Familia del Estado de Hidalgo - Presidente de la Asociación de Padres de Familia del Estado de Morelos Administración Federal de Servicios Educativos en el Distrito Federal (AFSEDF)

10:00 – 11:00

- Director General de Planeación y Evaluación - Director General de Operaciones de Servicios Educativos en el Distrito Federal Seminario con investigadores

11:00 – 12:30

12:30 – 13:30

- Dra. Sylvia Schmelkes del Valle, Instituto de Investigación para el Desarrollo de la Educación, Universidad Iberoamericana - Dr. Ángel Díaz Barriga, Instituto de Investigaciones sobre la Universidad y la Educación, Universidad Nacional Autónoma de México - Lic. Carlos Mancera Corcuera, Director Valora Consulting Group, ex subsecretario de Planeación y Coordinación de la SEP - Dra. Sylvia Ortega Salazar, Rectora, Universidad Pedagógica Nacional - Dr. Bernardo Naranjo, Director General de Proyecto Educativo Educación Docente Inicial y Continua Rector de la Universidad Pedagógica Nacional Informe oral del Equipo de Revisión de la OCDE con las conclusiones preliminares

14:30 – 16:30

- Subsecretario de Educación Básica (SEB ), Lic. Francisco Ciscomani Freaner; - Titular de la Unidad de Planeación y Evaluación de Políticas Educativas (UPEPE), Lic. Bernardo Rojas Nájera - Directora General del Instituto Nacional para la Evaluación de la Educación (INEE ), Dra. Margarita Zorrilla Fierro

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO C – 223

Anexo C. Integrantes del Equipo de Revisión

Isobel McGregor cuenta con 40 años de experiencia trabajando en la educación en Escocia y otros lugares, como maestra, asesora local y funcionaria de educación, e integrante de la Inspección de Educación de Su Majestad (HMIE , por sus siglas en inglés). Isobel ha incursionado en todos los ámbitos educativos (a excepción de la universidad), ha dirigido muchos proyectos y es especialista en mejora de la calidad, autoevaluación y el liderazgo, así como en su campo original de lenguas extranjeras. Ha influido significativamente en el desarrollo de indicadores de calidad para la inspección y la autoevaluación. Ha realizado proyectos internacionales y condujo la producción de un informe clave sobre la educación en Escocia (Improving Scottish Educación, HMIE , 2006). Desde 2006, Isobel trabaja como consultor independiente en el entorno educativo en diversos países, como Argentina, Chile, Francia, Alemania, Italia, Macedonia y Japón. Ha participado en revisiones de educación en diversos Distritos de Connecticut y en varias escuelas de Nueva York. Desde 2009 trabaja a tiempo parcial para La Conferencia Internacional Permanente de Inspecciones (SICI , por sus siglas en inglés) como coordinadora de las actividades relativas a la Academia de inspección de SICI y dirige la participación de SICI en un proyecto patrocinado por el Fondo Social Europeo para capacitar a los inspectores de educación rumanos. Deborah Nusche, alemana, es un analista de políticas de la Dirección para la Educación de la OCDE . Actualmente trabaja en la Revisión de los marcos de evaluación de la OCDE para mejorar los resultados de las escuelas. En la OCDE , trabajó anteriormente en la Revisión Temática de Educación Migrante y en el estudio Mejorar el Liderazgo Escolar. Ha dirigido visitas de revisión sobre educación migrante y participó en visitas de estudio de caso sobre el liderazgo escolar, en diversos países. También es coautora de los informes de la OCDE : Cerrando la Brecha para los Alumnos Inmigrantes (2010) y Mejorar el Liderazgo Escolar (2008). Tiene experiencia previa con la UNESCO y el Banco Mundial, y cuenta con una maestría en Relaciones Internacional de Ciencias Políticas de París. Pedro Ravela, uruguayo, es Especialista Senior y Profesor en temas de evaluación de la educación de la Universidad Católica del Uruguay, donde se desempeña como Director del Instituto de Educación de Evaluación desde 2007. Anteriormente se desempeñó como Gerente de Proyecto Nacional de Uruguay para PISA (2002-2006); como integrante del equipo de coordinación del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) de la UNESCO  / O REALC (2005-2006); y como director de la Unidad Nacional de Evaluación de Uruguay (1996-2001). Tiene una amplia experiencia como consultor y profesor en temas de evaluación educativa en muchos países de América Latina. Ha dirigido varios proyectos de investigación y escrito mucho sobre las prácticas de evaluación en la región. Entre 2002 y 2008 formó parte del Consejo Técnico del INEE en México. Tiene una maestría en Ciencias Sociales y Educación de la Facultad Latinoamericana de Ciencias Sociales (FLACSO ) y tiene experiencia como profesor de filosofía en la educación secundaria. Paulo Santiago, portugués, es Analista Senior de la Dirección para la Educación de la OCDE , desde 2000. En la actualidad es el coordinador de la Revisión de la OCDE sobre los Marcos de Evaluación para Mejorar los Resultados Escolares. Fue responsable de dos importantes revisiones internacionales, donde participaron más de 20 países: una revisión de política docente (entre 2002 y 2005, dando lugar a la publicación de la OCDE Teachers Matter) REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

224 – ANEXO C

y la revisión temática de la educación superior (entre 2005 y 2008, que dio lugar a la publicación de la OCDE Tertiary Education for the Knowledge Society). También ha conducido revisiones de política docente y política de la educación superior en varios países. Tiene un doctorado en Economía por la Universidad de Northwestern, Estados Unidos, donde también ha impartido clases. Con una formación en economía de la educación, se ha especializado en el análisis de la política educativa. Coordinó la revisión y actuó como relator del Equipo de Revisión de la OCDE . Diana Toledo, de nacionalidad mexicana y francesa, es analista de políticas de la Dirección para la Educación de la OCDE . Actualmente trabaja en la revisión de la OCDE para “Mejorar las Escuelas”, que apoya a los países para emprender reformas educativas específicas para el diseño y la implementación de las políticas educativas. Coautora de los informes reciente de la OCDE : Improving Lower Secondary Schools in Norway (2011) y Improving Schools: Strategies for Action in Mexico (2010). Desde 2007 también ha contribuido en otros proyectos de la OCDE , como PISA 2006, TALIS 2008 o Education at a Glance. Anteriormente trabajó con distintas ONG en la UNESCO . Diana tiene un doctorado en Economía Social del Desarrollo por la EHESS (Francia) y una licenciatura en Ciencia Política por el ITAM , México.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 225

Anexo D. Indicadores comparativos sobre evaluación

México

Punto de referencia internacional 1

Posición de México 2

LOGRO EDUCATIVO Fuente: Education at a Glance (OCDE , 2011) Porcentaje de población que ha terminado por lo menos la educación media superior, por grupo de edad (se excluye ISCED 3C programas cortos)3 (2009) Edades 25-64

35

73

31 ⁄ 33

Edades 25-34

42

81

=32 ⁄ 33

Edades 35-44

37

77

31 ⁄ 33

Edades 45-54

32

71

31 ⁄ 33

Edades 55-64

21

61

31 ⁄ 33

Edades 25-64

16

30

=29 ⁄ 34

Edades 25-34

20

37

=31 ⁄ 34

Edades 35-44

15

32

=29 ⁄ 34

Edades 45-54

15

27

29 ⁄ 34

Edades 55-64

10

22

=31 ⁄ 34

Por debajo de la educación media superior

-1.2

-3.4

a

Educación media superior y estudios posteriores no universitarios

3.3

0.9

a

Educación superior

1.9

3.7

a

45

82

=26 ⁄ 27

Porcentaje de población que ha terminado la educación superior, por grupo de edad (2009)

Tasa promedio de crecimiento anual en niveles de logro educativo de 1999 a 2009

Tasas de graduación de educación media superior (2009) Porcentaje de graduados de la educación media superior (graduación por primera vez) para la población en la edad típica de graduación DESEMPEÑO DE LOS ALUMNOS Fuente: Resultados de PISA 2009 (OCDE , 2010a) Desempeño promedio en PISA (Programa para la Evaluación Internacional de Alumnos) (educandos de 15 años de edad) (2009) Lectura

425

493

34 ⁄ 34

Matemáticas

419

496

34 ⁄ 34

Ciencias

416

501

34 ⁄ 34

Porcentaje de alumnos por dominio de lectura en %(2009):   Mejor desempeño (% de alumnos con un dominio en los Niveles 5 o 6)

0.4

7.6

a

  Peor desempeño (% de alumnos con un dominio por debajo del Nivel 2)

40.1

18.8

a

GASTO DEL SISTEMA ESCOLAR Fuente: Education at a Glance (OCDE , 2011) Gasto en instituciones de primaria, secundaria y educación post-secundaria no superior como% del PIB , de escuelas públicas y privadas 1995

3.7

~

14 ⁄ 29

2000

3.5

~

19 ⁄ 32

2008

3.7

3.8

18 ⁄ 32

Gasto público en educación primaria, secundaria y post-secundaria no superior como % de gasto público total (2008) 4

13.6

8.7

Gasto total en educación primaria, secundaria y post-secundaria no superior de escuelas públicas (2008) (%)

82.9

91.0

16 ⁄ 30

Primaria

2246

7153

31 ⁄ 31

Secundaria

1853

8498

29 ⁄ 29

1 ⁄ 32

Gasto anual por alumno por instituciones educativas, (2008) (US $) 5

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

226 – ANEXO D

México

Punto de referencia internacional 1

Posición de México 2

Secundaria superior (Media Superior)

3277

9396

29 ⁄ 30

Total

2333

8971

32 ⁄ 32

Cambio en el gasto por alumno en instituciones educativas, educación primaria, secundaria y post-secundaria no superior, índice de cambio entre 1995, 2000 y 2008 (2000 = 100) 1995

87

87

13 ⁄ 24

2008

117

134

20 ⁄ 29

Compensación de maestros

80.7

63.2

2 ⁄ 20

Compensación de otro personal

12.3

15.6

13 ⁄ 20

Compensación de todo el personal

92.9

79.0

2 ⁄ 30

Otro gasto corriente

7.1

21.0

29 ⁄ 30

Primaria

28.1

16.0

30 ⁄ 30

Secundaria

33.0

13.5

28 ⁄ 28

Secundaria superior (Media Superior)

25.6

13.5

28 ⁄ 28

Total

30.1

13.5

32 ⁄ 32

3.0

3.0

8 ⁄ 23

Maestros de 25-29 años de edad

11.7

12.1

11 ⁄ 23

Maestros de 30-39 años de edad

25.8

28.0

14 ⁄ 23

Maestros de 40-49 años de edad

37.3

29.6

2 ⁄ 23

Maestros de 50-59 años de edad

18.7

23.5

16 ⁄ 23

Gasto corriente – composición, educación primaria, secundaria y post-secundaria no superior (2008)6

CIFRAS DE PERSONAL ESCOLAR Fuente: Education at a Glance (OCDE , 2011) 7 Proporción de alumnos por personal escolar (2009)8

CARACTERÍSTICAS DE LA FUERZA DE TRABAJO DOCENTE (educación secundaria, 2007-2008) Fuente: TALIS (OCDE , 2009) Distribución de edades de maestros Maestros menores de 25 años de edad

Maestros de 60 años de edad y mayores

3.5

3.9

10 ⁄ 23

Distribución por género de maestros (% de mujeres)

53.2

69.3

22 ⁄ 23

86.6

83.7

14 ⁄ 23

86.8

84.5

10 ⁄ 23

Primaria – salario inicial (US $)

15658

29767

29 ⁄ 34

Primaria – 15 años de experiencia (US $)

20415

38914

29 ⁄ 33

Primaria – parte superior de la escala (US $)

33582

48154

17 ⁄ 32

2.14

1.64

5 ⁄ 34

Secundaria – salario inicial (US $)

19957

31687

26 ⁄ 33

Secundaria – 15 años de experiencia (US $)

25905

41701

26 ⁄ 32

Secundaria – parte superior de la escala (US $)

42621

51317

22 ⁄ 33

2.14

1.64

4 ⁄ 33

m

33044

m

Nivel de instrucción de los maestros Porcentaje de maestros que completaron un grado ISCED 5A o superior Situación laboral de los maestros Porcentaje de maestros con plaza definitiva SALARIOS DE LOS MAESTROS en las instituciones públicas Fuente: Education at a Glance (OCDE , 2011) Salarios anuales de los maestros (2009)

Primaria – proporción entre el salario de la parte superior de la escala y el salario inicial

Secundaria – proporción entre el salario de la parte superior de la escala y el salario inicial Secundaria superior ( Media Superior) – salario inicial (US $)

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 227

México

Punto de referencia internacional 1

Posición de México 2

Secundaria superior (Media Superior) – 15 años de experiencia (US $)

m

43711

m

Secundaria superior (Media Superior) – parte superior de la escala (US $)

m

53651

m

Secundaria superior (Media Superior) – proporción entre el salario de la parte superior de la escala y el salario inicial

m

1.64

m

Número de años del salario inicial al superior (educación secundaria) (2009)9 NOTA: menor plazo = 6 años (Escocia); mayor plazo = 40 años (Hungría)

14

Promedio del país: 24

8 ⁄ 31

Decisiones sobre los pagos para los maestros en las escuelas públicas (2009) Criterios para el salario base y pagos adicionales otorgados a los maestros en las instituciones públicas ● Salario base  ■ Pago adicional por año  Δ Pago adicional incidental Años de experiencia como maestro

● ■ Δ

● 33

■ 10

Δ 9

Responsabilidades administrativas adicionales a los deberes docentes

● ■

● 14

■ 20

Δ 8

Enseñar más clases o trabajar más hora que las requeridas en el contrato de tiempo completo

● ■

● 3

■ 15

Δ 19

Tareas especiales (orientación o asesoría profesional)

● ■

● 6

■ 17

Δ 14

Enseñanza en una zona en desventaja, remota o costosa (subsidio por ubicación)

● ■

● 13

■ 19

Δ 5

● 2

■ 12

Δ 14

Actividades especiales (deportes, clubes de teatro y de tareas, escuelas de verano, etc.) Enseñar a alumnos con necesidades de educación especial (en escuelas regulares)

● 11

■ 13

Δ 8

Cursos docentes en un campo particular

● ■

● 5

■ 6

Δ 4

Contar con una preparación educativa inicial más alta que la mínima requerida para entrar en la profesión docente

● ■

● 20

■ 10

Δ 5

Contar con una certificación docente superior a la mínima requerida o formación obtenida durante la vida profesional

● ■

● 17

■ 13

Δ 3

Desempeño destacado en la enseñanza

● ■

● 6

■ 10

Δ 13

Conclusión exitosa de las actividades de desarrollo profesional

● ■

● 15

■ 10

Δ 4

Alcanzar altos puntajes en el examen de preparación/ aptitud

● ■

● 4

■ 3

Δ 3

Contar con un título académico en varias disciplinas

● 3

■ 6

Δ 4

Situación familiar (casado(a), número de hijos)

● 3

■ 10

Δ 1

Edad (independientemente de los años de experiencia como docente)

● 5

■ 4

Δ 2

Otro

● 2

■ 8

Δ 3

DESARROLLO PROFESIONAL DOCENTE (educación secundaria) Fuente: TALIS (OCDE , 2009) Participación del maestro en el desarrollo profesional (2007-2008) Porcentaje de maestros que realizó cierto desarrollo profesional en los 18 meses anteriores

91.5

88.5

10 ⁄ 23

34

15.3

1 ⁄ 23

Días promedio de desarrollo profesional entre los que recibieron cierto desarrollo

37.1

17.3

1 ⁄ 23

Porcentaje promedio de días de desarrollo profesional obligatorio

66.4

51.0

5 ⁄ 23

Cursos y talleres

94.3

81.2

2 ⁄ 23

Conferencias y seminarios sobre Educación

33.1

48.9

21 ⁄ 23

Programas de preparación/ formación

33.5

24.5

6 ⁄ 23

Visitas de observación a otras escuelas

30.5

27.6

8 ⁄ 23

Red de desarrollo profesional

27.5

40.0

17 ⁄ 23

Investigación individual y colaborativa

62.9

35.4

1 ⁄ 23

Tutorías y observación por colegas

38.1

34.9

9 ⁄ 23

Lectura de literatura docente

67.4

77.7

17 ⁄ 23

Diálogo informal para mejorar la enseñanza

88.9

92.6

21 ⁄ 23

Días promedio de desarrollo profesional entre los maestros

Tipos de desarrollo profesional realizado por los maestros (2007-2008)

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

228 – ANEXO D

México

Punto de referencia internacional 1

Posición de México 2

Impacto de diferentes tipos de desarrollo profesional realizado por los maestros (2007-2008) Porcentaje de maestros que reportaron que el desarrollo profesional realizado tuvo un impacto alto o moderado en su desarrollo profesional docente Cursos y talleres

85.4

80.6

7 ⁄ 23

Conferencias y seminarios sobre Educación

82.2

73.9

4 ⁄ 23

Programas de preparación / formación

91.3

87.2

9 ⁄ 23

Visitas de observación a otras escuelas

77.7

74.9

11 ⁄ 23

Red de desarrollo profesional

81.3

80.2

12 ⁄ 23

Investigación individual y colaborativa

91.0

89.3

10 ⁄ 23

Tutorías y observación por colegas

78.3

77.6

11 ⁄ 23

Lectura de literatura docente

84.0

82.8

12 ⁄ 23

Diálogo informal para mejorar la enseñanza

81.6

86.7

20 ⁄ 23

Necesidades de desarrollo profesional superior (2007-2008) Porcentaje de maestros que indicaron que tienen una ‘necesidad de alto nivel’ para su desarrollo profesional en las siguientes áreas Contenidos y estándares de desempeño

13.7

16.0

10 ⁄ 23

Prácticas para la evaluación de los alumnos

15.0

15.7

10 ⁄ 23

Administración del salón de clases

8.8

13.3

14 ⁄ 23

Campo de conocimiento

11.0

17.0

13 ⁄ 23

Prácticas de instrucción

12.3

17.1

14 ⁄ 23

Habilidades docentes ICT

24.9

24.7

11 ⁄ 23

Enseñanza para los alumnos con necesidades especiales

38.8

31.3

5 ⁄ 23

Disciplina y problemas de conducta de los alumnos

21.4

21.4

11 ⁄ 23

Gestión y administración escolar

11.9

9.7

6 ⁄ 23

Enseñanza en un entorno multicultural

18.2

13.9

5 ⁄ 23

Asesoría para los alumnos

25.9

16.7

3 ⁄ 23

PERCEPCIÓN DOCENTE DE SU EFICACIA (educación secundaria) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que está ‘muy de acuerdo’ o ‘de acuerdo’ con la afirmación “Los maestros sienten que están haciendo una diferencia importante en la educación” (2007-2008)

97.2

Porcentaje de maestros que está ‘muy de acuerdo’ o ‘de acuerdo’ con la afirmación “Los maestros sienten que cuando se esfuerzan lo suficiente, puede avanzar hasta con los alumnos más difíciles y desmotivados” (2007-2008)

95.5

92.3

82.7

3 ⁄ 23

2 ⁄ 23

EVALUACIÓN DEL SISTEMA Plan de estudios y normatividad de los exámenes, sólo escuelas públicas Fuente: Education at a Glance (OCDE , 2010c; OCDE , 2011) Educación primaria Se requiere un plan de estudios estándar o parcialmente estandarizado (2008)

Sí

Sí: 27, No: 2

Se ofrece un examen nacional 10 (2009)

No

Sí: 3, No: 29

Que es obligatorio en las escuelas públicas

a

Sí: 2

Sí

Sí: 27, No: 5

Sí

Sí: 16, No: 11

Se requiere un plan de estudios estándar o parcialmente estandarizado (2008)

Sí

Sí: 27, No: 2

Se ofrece un examen nacional (2009)

No

Sí: 13, No: 18

a

Sí: 11, No: 2

Se ofrece una evaluación nacional 11 (2009) Que es obligatoria en las escuelas públicas Educación secundaria

Que es obligatorio en las escuelas públicas

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 229

México Se ofrece una evaluación nacional (2009)

Punto de referencia internacional 1

Posición de México 2

Sí

Sí: 19, No: 13

Sí

Sí: 13, No: 5

Matemáticas

a

Sí: 12

Ciencias naturales

a

Sí: 11, No: 3

Lengua nacional o lengua de instrucción

a

Sí: 13

Ciencias sociales

a

Sí: 8, No: 4

Lenguas extranjeras modernas

a

Sí: 10, No: 2

Tecnología

a

Sí: 4, No: 8

Artes

a

Sí: 5, No: 8

Religión

a

Sí: 4, No: 9

Habilidades prácticas y vocacionales

a

Sí: 4, No: 7, Varía: 1

Otras asignaturas

a

Sí: 2, No: 10

Matemáticas

Sí

Sí: 19

Ciencias naturales

No

Sí: 9, No: 10

Lengua nacional o lengua de instrucción

Sí

Sí: 18

Ciencias sociales

No

Sí: 5, No: 12

Lenguas extranjeras modernas

No

Sí: 8, No: 122

Tecnología

No

Sí: 2, No: 16

Artes

No

Sí: 3, No: 16

Religión

No

No: 19

Habilidades prácticas y vocacionales

No

No: 19

Otras asignaturas

No

Sí: 1, No: 17

Evaluación del desempeño de las escuelas

a

Ninguna: 2, Baja: 1, Moderada: 6, Alta: 8

Evaluación de la administración de las escuelas

a

Ninguna: 9, Baja: 3, Moderada: 3, Alta: 2

Evaluación de cada maestro

a

Ninguna: 4, Baja: 4, Moderada: 7, Alta: 2

Presupuesto acorde al tamaño de la escuela

a

Ninguna: 13, Baja: 3, Moderada: 1, Alta: 0

La provisión de otra recompensa o sanción financiera

a

Ninguna: 13, Baja: 3, Moderada: 0, Alta: 0

La asistencia prestada a los profesores para mejorar sus habilidades de enseñanza

a

Ninguna: 7, Baja: 5, Moderada: 3, Alta: 1

Remuneración y bonos recibidos por los maestros

a

Ninguna: 13, Baja: 2, Moderada: 1, Alta: 0

Probabilidad de que la escuela cierre

a

Ninguna: 12, Baja: 2, Moderada: 2, Alta: 0

Moderada

Ninguna: 3, Baja: 1, Moderada: 8, Alta: 7

Ninguna

Ninguna: 8, Baja: 6, Moderada: 3, Alta: 3

Alta

Ninguna: 8, Baja: 4, Moderada: 6, Alta: 4

Presupuesto acorde al tamaño de la escuela

Ninguna

Ninguna: 19, Baja: 1, Moderada: 1, Alta: 0

La provisión de otra recompensa o sanción financiera

Ninguna

Ninguna: 18, Baja: 2, Moderada: 0, Alta: 0

Moderada

Ninguna: 8, Baja: 3, Moderada: 7, Alta: 3

Alta

Ninguna: 15, Baja: 0, Moderada: 3, Alta: 1

Ninguna

Ninguna: 16, Baja: 1, Moderada: 2, Alta: 1

Que es obligatoria en las escuelas públicas Asignaturas cubiertas en los exámenes nacionales (educación secundaria) (2009) Fuente: Education at a Glance (OCDE , 2011)

Asignaturas cubiertas en las evaluaciones nacionales (educación secundaria) (2009) Fuente: Education at a Glance (OCDE , 2011)

Posible influencia de los exámenes nacionales (2009) Fuente: Education at a Glance (OCDE , 2011)

Posible influencia de las evaluacioes nacionales (2009) Fuente: Education at a Glance (OCDE , 2011) Evaluación del desempeño de las escuelas Evaluación de la administración de las escuelas Evaluación de cada maestro

La asistencia prestada a los profesores para mejorar sus habilidades de enseñanza Remuneración y bonos recibidos por los maestros Probabilidad de que la escuela cierre

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

230 – ANEXO D

México

Punto de referencia internacional 1

a

Norma: 2 Criterio: 10

Posición de México 2

Reporte de resultados de los exámenes nacionales (educación secundaria) (2009) Fuente: Education at a Glance (OCDE , 2011) Basado en la norma o criterio de referencia Los resultados son compartidos con: Audiencia externa además de las autoridades de educación

a

Sí: 12

La administración de la escuela directamente

a

Sí: 11, No: 1

Los maestros del aula directamente

a

Sí: 10, No: 2

Los padres de familia directamente

a

Sí: 10, No: 2

Los alumnos directamente

a

Sí: 12

Los medios de comunicación directamente

a

Sí: 7, No: 5

Nivel de desempeño del año más reciente

a

Sí: 10, No: 3

“Valor agregado” o incremento en desempeño de los alumnos con base en su progreso durante 2(+) años

a

Sí: 2, No: 10

Sensible al contexto

a

Sí: 2, No: 10

Comparado con otros grupos o poblaciones de alumnos

a

Sí: 6, No: 6

Reportado junto con otros indicadores de la calidad de la escuela

a

Sí: 4, No: 7

Utilizado por las autoridades externas a la escuela para sanciones o recompensas

a

Sí: 4, No: 7

Características del informe de resultados

Reporte de resultados de las evaluaciones nacionales (educación secundaria) (2009) Fuente: Education at a Glance (OCDE , 2011) Basado en la norma o criterio de referencia

Criterio

Norma: 7 Criterio: 13

Los resultados son compartidos con: Audiencia externa además de las autoridades de educación

Sí

Sí: 18, No: 1

La administración de la escuela directamente

Sí

Sí: 18, No: 0

Los maestros del aula directamente

Sí

Sí: 13, No: 5

Los padres de familia directamente

Sí

Sí: 13, No: 5

Los alumnos directamente

Sí

Sí: 13, No: 4

Los medios de comunicación directamente

Sí

Sí: 10, No: 8

Nivel de desempeño del año más reciente

Sí

Sí: 10, No: 3

“Valor agregado” o incremento en desempeño de los alumnos con base en su progreso durante2(+) años

Sí

Sí: 5, No: 13

Sensible al contexto

Sí

Sí: 7, No: 7

Comparado con otros grupos o poblaciones de alumnos

Sí

Sí: 10, No: 4

Reportado junto con otros indicadores de la calidad de la escuela

No

Sí: 3, No: 12

Utilizado por las autoridades externas a la escuela para sanciones o recompensas

Sí

Sí: 3, No: 13

Características del informe de resultados

Uso de datos del logro para la rendición de cuentas (2009) (15 años de edad) Fuente: Resultados de PISA 2009: What Makes a School Successful, Vol. IV (OCDE , 2010b) Porcentaje de alumnos en las escuelas cuyo director informó que los datos de desempeño son utilizados en los siguientes procedimientos Difundidos públicamente

33.8

36.6

17 ⁄ 33

Utilizados en la evaluación del desempeño del director

42.9

36.1

15 ⁄ 33

Utilizados en la evaluación del desempeño de los maestros

78.5

44.8

7 ⁄ 33

Utilizados en las decisiones sobre la asignación de recursos de la instrucción para la escuela

32.1

32.7

17 ⁄ 33

Seguimiento en el tiempo por una autoridad administrativa

86.7

66.2

8 ⁄ 33

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 231

México

Punto de referencia internacional 1

Posición de México 2

LA EVALUACIÓN DE LAS ESCUELAS Requisitos para la inspección escolar (2009) Fuente: Education at a Glance (OCDE , 2011) Educación primaria

No

Sí: 23, No: 7

Educación media superior

No

Sí: 24, No: 7

Educación secundaria

No

Sí: 22, No: 7

Las inspecciones escolares son un componente del proceso de acreditación escolar (educación secundaria)

a

Sí: 6, No: 16

Las inspecciones escolares se dirigen a las escuelas con un desempeño deficiente (educación secundaria)

a

Sí: 8, No: 13

Medida en que las inspecciones escolares están estructuradas 12 (educación secundaria)

a

Mucho: 14, En parte: 6, No estructurado: 1

Frecuencia de las inspecciones escolares (educación secundaria, sólo escuelas públicas)

a

Cada 3+ años: 9 Una vez cada 3 años: 3 Una vez cada 2 años: 1 Una vez al año: 2 Más de una vez al año: 3 Sin requisitos: 3

Aspectos abordados durante las inspecciones escolares (educación secundaria):

a

Cumplimiento con los reglamentos y la normatividad

a

Sí: 20, No: 1

Gestión financiera

a

Sí: 13, No: 8

Calidad de la instrucción

a

Sí: 19, No: 2

Desempeño del alumno

a

Sí: 17, No: 4

Satisfacción y percepciones de los alumnos

a

Sí: 14, No: 7

Satisfacción y percepciones de los padres de familia

a

Sí: 13, No: 8

Satisfacción y percepciones del personal

a

Sí: 13, No: 8

Los resultados de las inspecciones escolares son compartidos con (educación secundaria):

a

Audiencia externa además de las autoridades de educación

a

Sí: 19, No: 3

Las autoridades de la alta administración de la educación directamente

a

Sí: 16, No: 3

La administración de la escuela directamente

a

Sí: 19, No: 0

Los maestros del aula directamente

a

Sí: 16, No: 3

Los padres de familia directamente

a

Sí: 11, No: 8

Los alumnos directamente

a

Sí: 8, No: 10

Los medios de comunicación directamente

a

Sí: 9, No: 10

Desempeño de las escuelas

a

Ninguna: 2, Baja: 4, Moderada: 4, Alta: 11, No aplicable: 5

Administración de las escuelas

a

Ninguna: 3, Baja: 3, Moderada: 7, Alta: 8, No aplicable: 5

Cada maestro

a

Ninguna: 3, Baja: 3, Moderada: 7, Alta: 7, No aplicable: 8

Presupuesto acorde al tamaño de la escuela

a

Ninguna: 11, Baja: 8, Moderada: 1, Alta: 0, No aplicable: 6

La provisión de otra recompensa o sanción financiera

a

Ninguna: 9, Baja: 4, Moderada: 2, Alta: 3, No aplicable: 7

Posible influencia de la evaluación por la inspección escolar (o su equivalente) (2009) Fuente: Education at a Glance (OCDE , 2011) Evaluación del desempeño

Recompensas y sanciones

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

232 – ANEXO D

México

Punto de referencia internacional 1

Posición de México 2

La asistencia prestada a los profesores para mejorar sus habilidades de enseñanza

a

Ninguna: 2, Baja: 5, Moderada: 9, Alta: 5, No aplicable: 5

Remuneración y bonos recibidos por los maestros

a

Ninguna: 13, Baja: 0, Moderada: 3, Alta: 0, No aplicable: 9

Probabilidad de que la escuela cierre

a

Ninguna: 7, Baja: 1, Moderada: 2, Alta: 9, No aplicable: 7

No

Sí: 21, No: 10

a

Sí: 13, No: 6

No

Sí: 23, No: 10

Requisitos para las auto evaluaciones de las escuelas (2009) Fuente: Education at a Glance (OCDE , 2011) Educación primaria Componente de las inspecciones escolares Educación media superior Componente de las inspecciones escolares Educación secundaria Componente de las inspecciones escolares

a

Sí: 15, No: 5

No

Sí: 20, No: 10

a

Sí: 13, No: 5

Aspectos abordados durante las autoevaluaciones de las escuelas (educación secundaria)

Tabla 5.10a, 13-19

Cumplimiento con los reglamentos y la normatividad

a

Sí: 14, No: 4

Gestión financiera

a

Sí: 12, No: 5

Calidad de la instrucción

a

Sí: 17, No: 1

Desempeño del alumno

a

Sí: 16, No: 2

Satisfacción y percepciones de los alumnos

a

Sí: 16, No: 2

Satisfacción y percepciones de los padres de familia

a

Sí: 15, No: 3

Satisfacción y percepciones del personal

a

Sí: 13, No: 5

Los resultados de la autoevaluación de la escuela son compartidos con (educación secundaria):

Tabla 5.10a, 20-27

Audiencia externa además de las autoridades de educación

a

Sí: 16, No: 3

Las autoridades de la alta administración de la educación directamente

a

Sí: 9, No: 7

La inspección escolar directamente

a

Sí: 11, No: 1

La administración de la escuela directamente

a

Sí: 14, No: 1

Los maestros del aula directamente

a

Sí: 15, No: 1

Los padres de familia directamente

a

Sí: 10, No: 6

Los alumnos directamente

a

Sí: 8, No: 7

Los medios de comunicación directamente

a

Sí: 5, No: 10

a

Mucho: 3, En parte: 11, No estructurada: 4

Medida en que las autoevaluaciones de las escuelas están estructuradas (educación secundaria) Posible influencia de autoevaluaciones de las escuelas (2009) Fuente: Education at a Glance (OCDE , 2011) Evaluación del desempeño

a

Desempeño de las escuelas

a

Ninguna: 0, Baja: 4, Moderada: 6, Alta: 5, No aplicable: 8

Administración de las escuelas

a

Ninguna: 1, Baja: 6, Moderada: 3, Alta: 6, No aplicable: 8

Cada maestro

a

Ninguna: 2, Baja: 6, Moderada: 2, Alta: 5, No aplicable: 9

a

Tabla D5.11, p. 440, 12-16

a

Ninguna: 9, Baja: 3, Moderada: 1, Alta: 2, No aplicable: 9

Recompensas y sanciones El presupuesto de la escuela

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 233

México

Punto de referencia internacional 1

Posición de México 2

La provisión de otra recompensa o sanción financiera

a

Ninguna: 7, Baja: 5, Moderada: 0, Alta: 1, No aplicable: 10

La asistencia prestada a los profesores para mejorar sus habilidades de enseñanza

a

Ninguna: 3, Baja: 3, Moderada: 7, Alta: 3, No aplicable: 8

Remuneración y bonos recibidos por los maestros

a

Ninguna: 6, Baja: 4, Moderada: 1, Alta: 0, No aplicable: 12

Probabilidad de que la escuela cierre

a

Ninguna: 7, Baja: 4, Moderada: 1, Alta: 1, No aplicable: 11

Frecuencia y tipo de las evaluaciones de las escuelas (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que trabajan en escuelas donde las evaluaciones escolar se realizaron con la siguiente frecuencia en los últimos cinco años Frecuencia de autoevaluación escolar Nunca

20.4

20.2

12 ⁄ 23

En una ocasión

9.5

16.2

20 ⁄ 23

2-4 veces

17.1

18.3

14 ⁄ 23

Una vez al año

32.4

34.9

14 ⁄ 23

Más de una vez al año

20.6

10.3

3 ⁄ 23

Nunca

21.1

30.4

15 ⁄ 23

En una ocasión

11.0

30.8

22 ⁄ 23

2-4 veces

20.0

20.5

12 ⁄ 23

Una vez al año

20.0

11.4

5 ⁄ 23

Más de una vez al año

27.9

7.0

2 ⁄ 23

17.1

13.8

10 ⁄ 23

Frecuencia de la evaluación externa

Sin evaluación de la escuela de ninguna fuente Criterios de las evaluaciones de las escuelas (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009)

Porcentaje de maestros cuyo director de escuela reportó que los siguientes criterios eran considerados de alta o moderada importancia en las autoevaluaciones de las escuelas o en las evaluación externas Puntuaciones de los alumnos en las pruebas

94.0

76.2

3 ⁄ 23

Porcentajes de aprobación y reprobación de los alumnos

97.3

70.8

1 ⁄ 23

Otros resultados del aprendizaje de los alumnos

88.6

78.9

4 ⁄ 23

Retroalimentación de los alumnos sobre la enseñanza que reciben

84.8

72.7

5 ⁄ 23

Retroalimentación de los padres de familia

74.7

77.3

15 ⁄ 23

Qué tan bien trabajan los maestros con el director y sus colegas

89.2

83.7

7 ⁄ 23

Evaluación directa de la enseñanza en el aula

94.4

71.1

3 ⁄ 23

Prácticas docentes innovadoras

86.9

76.7

6 ⁄ 23

Relaciones entre los maestros y los alumnos

90.9

87.1

8 ⁄ 23

Desarrollo profesional realizado por los maestros

88.3

81.5

6 ⁄ 23

Manejo del salón de clases de los maestros

95.7

80.7

2 ⁄ 23

Conocimientos y comprensión de la(s) materia(s) principal(es) del maestro

96.8

78.2

2 ⁄ 23

Conocimientos y comprensión de las prácticas de instrucción en la(s) materia(s) principal(es) del maestro

92.8

77.5

2  ⁄ 23

Enseñanza para los alumnos con necesidades especiales de aprendizaje

72.5

77.2

14 ⁄ 23

Disciplina y conducta de los alumnos

92.7

83.6

4 ⁄ 23

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

234 – ANEXO D

México

Punto de referencia internacional 1

Posición de México 2

Enseñanza en un entorno multicultural

80.4

52.9

3 ⁄ 23

Actividades extra curriculares con los alumnos (por ejemplo, obras de teatro y representaciones escolares, actividades deportivas)

84.6

74.5

8 ⁄ 23

Impacto de las evaluaciones escolares en las escuelas (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros cuyo director de escuela reportó que las evaluaciones de las escuelas (externa o autoevaluación) tenían un nivel de influencia alto o moderada en lo siguiente: Nivel del presupuesto de la escuela o su distribución entre las escuelas

45.1

38.0

7 ⁄ 23

Retroalimentación sobre el desempeño para la escuela

81.1

81.3

13 ⁄ 23

Evaluación del desempeño de la gestión escolar

89.3

78.7

4 ⁄ 23

Evaluación del desempeño de los maestros

91.1

71.1

3 ⁄ 23

Asistencia proporcionada a los maestros para mejorar su enseñanza

85.2

70.3

4 ⁄ 23

Remuneración y bonos para los maestros

50.0

26.1

3 ⁄ 23

Publicados

74.9

55.3

6 ⁄ 23

Utilizados en tablas del desempeño de las escuelas

71.0

28.7

1 ⁄ 23

Publicación de las evaluaciones de las escuelas (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros en las escuelas donde los resultados de la evaluación escolar fueron:

Rendición de cuentas a los padres de familia (2009) (alumnos de 15 años de edad) Fuente: Resultados de PISA 2009: What Makes a School Successful, Vol. IV (OCDE , 2010b) Porcentaje de alumnos en escuelas cuyos directores reportaron que su escuela proporciona información a los padres de familia sobre: El desempeño académico de su hijo en comparación con otros alumnos de la escuela

83.3

46.7

3 ⁄ 32

El desempeño académico de su hijo en relación con referencias nacionales o regionales

57.4

47.3

12 ⁄ 33

El desempeño académico de su hijo, de los alumnos como grupo, en comparación con los alumnos del mismo grado en otras escuelas

38.7

23.5

7 ⁄ 33

LA EVALUACIÓN DE LOS MAESTROS Frecuencia y fuentes de la evaluación y la retroalimentación de los maestros (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que reportaron haber recibido evaluación y/o retroalimentación sobre su trabajo con la siguiente frecuencia de las fuentes que se enumeran a continuación Retroalimentación recibida del director Nunca

16.9

22.0

13 ⁄ 23

Menos de una vez cada dos años

2.7

9.2

23 ⁄ 23

Una vez cada dos años

1.4

4.5

22 ⁄ 23

Una vez al año

15.8

22.8

19 ⁄ 23

Dos veces al año

11.4

12.3

13 ⁄ 23

3 o más veces al año

21.8

17.1

7 ⁄ 23

Mensualmente

19.1

6.6

1 ⁄ 23

Más de una vez al mes

10.7

5.4

2 ⁄ 23

Nunca

34.1

28.6

7 ⁄ 23

Menos de una vez cada dos años

2.5

6.9

23 ⁄ 23

Retroalimentación recibida de otros maestros o integrantes del equipo de gestión escolar

Una vez cada dos años

1.8

2.6

18 ⁄ 23

Una vez al año

10.4

13.3

15 ⁄ 23

Dos veces al año

10.2

9.7

10 ⁄ 23

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 235

México

Punto de referencia internacional 1

Posición de México 2

3 o más veces al año

16.4

19.3

15 ⁄ 23

Mensualmente

15.5

10.4

3 ⁄ 23

Más de una vez al mes

9.1

9.1

11 ⁄ 23

Nunca

24.7

50.7

21 ⁄ 23

Menos de una vez cada dos años

4.4

19.0

22 ⁄ 23

Una vez cada dos años

2.6

5.4

17 ⁄ 23

Una vez al año

22.9

13.2

4 ⁄ 23

Dos veces al año

16.7

5.4

2 ⁄ 23

3 o más veces al año

21.6

4.3

2 ⁄ 23

Mensualmente

5.2

1.2

a

Más de una vez al mes

1.8

0.8

a

4 ⁄ 23

Retroalimentación recibida de una persona u órgano externo (por ejemplo, inspector externo)

Criterios para la evaluación y la retroalimentación de los maestros (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que reportaron que los siguientes criterios fueron considerados de alta o moderada importancia en la evaluación y/o retroalimentación que recibieron Puntuaciones de los alumnos en las pruebas

84.5

65.0

Porcentajes de aprobación y reprobación de los alumnos

86.6

56.2

1 ⁄ 23

Otros resultados del aprendizaje de los alumnos

77.9

68.4

7 ⁄ 23

Retroalimentación de los alumnos sobre la enseñanza que reciben

82.9

72.8

4 ⁄ 23

Retroalimentación de los padres de familia

66.7

69.1

15 ⁄ 23

Qué tan bien trabajan los maestros con el director y sus colegas

75.3

77.5

14 ⁄ 23

Evaluación directa de la enseñanza en el aula

86.6

73.5

5 ⁄ 23

Prácticas docentes innovadoras

80.9

70.7

4 ⁄ 23

Relaciones con los alumnos

84.9

85.2

12 ⁄ 23

Desarrollo profesional realizado

76.4

64.5

6 ⁄ 23

Manejo del salón de clases

79.2

79.7

12 ⁄ 23

Conocimientos y comprensión de la(s) materia(s) principal(es)

88.1

80.0

8 ⁄ 23

Conocimientos y comprensión de las prácticas de instrucción en la(s) materia(s) principal(es)

87.7

78.2

8 ⁄ 23

Enseñanza para los alumnos con necesidades especiales de aprendizaje

64.2

57.2

6 ⁄ 23

Disciplina y conducta de los alumnos

85.5

78.2

6 ⁄ 23

Enseñanza en un entorno multicultural

67.8

45.0

5 ⁄ 23

Actividades extra curriculares con los alumnos (por ejemplo, desempeño de las escuelas, actividades deportivas)

66.2

62.3

11 ⁄ 23

9.1

8 ⁄ 23 11 ⁄ 23

Resultados de la evaluación y la retroalimentación de los maestros (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que reportaron que la evaluación y/o retroalimentación que recibieron causó un cambio moderado o grande en los siguientes aspectos de su trabajo y carreras Un cambio en el salario

10.6

Un bono u otra clase de recompense monetaria

7.3

11.1

Un cambio en la probabilidad de ascenso en la carrera

28.6

16.2

4 ⁄ 23

El reconocimiento público del director y/o sus colegas

33.4

36.4

12 ⁄ 23

Oportunidades para las actividades de desarrollo profesional

27.2

23.7

9 ⁄ 23

Cambios en las responsabilidades del trabajo que hacen la labor docente más atractiva

55.9

26.7

2 ⁄ 23

Una función en las iniciativas de desarrollo escolar (por ejemplo, en el grupo de desarrollo para el plan de estudios)

34.4

29.6

8 ⁄ 23

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

236 – ANEXO D

México

Punto de referencia internacional 1

Posición de México 2

Acciones emprendidas tras la identificación de un punto débil en una evaluación del maestro (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros cuyo director de escuela reportó que ocurría lo siguiente si una evaluación del trabajo de los maestros identificaba una debilidad específica El director asegura que el resultado es reportado al maestro Nunca

0.8

2.6

a

Algunas veces

2.2

9.5

17 ⁄ 23

La mayoría de las veces

38.7

25.8

4 ⁄ 23

Siempre

58.3

62.1

17 ⁄ 23

1.0

a 11 ⁄ 23

El director asegura que las medidas para remediar la debilidad en su enseñanza se discuten con el maestro Nunca

0.5

Algunas veces

5.8

9.4

La mayoría de las veces

39.8

30.7

4 ⁄ 23

Siempre

54.0

58.9

17 ⁄ 23

Nunca

4.2

10.5

19 ⁄ 23

Algunas veces

21.1

33.0

20 ⁄ 23

La mayoría de las veces

40.0

35.9

6 ⁄ 23

Siempre

34.7

20.6

2 ⁄ 23

Nunca

82.0

86.0

18 ⁄ 23

Algunas veces

12.1

11.3

6 ⁄ 23

La mayoría de las veces

3.8

1.8

3 ⁄ 23

Siempre

2.1

0.9

a

Nunca

22.6

51.0

21 ⁄ 23

Algunas veces

30.7

37.3

17 ⁄ 23

La mayoría de las veces

23.3

6.8

1 ⁄ 23

Siempre

23.5

4.9

1 ⁄ 23

El director u otro personal de la escuela establece un plan de capacitación o formación para que el maestro corrija la debilidad de su enseñanza

El director u otro personal de la escuela impone sanciones materiales al maestro (por ejemplo, reduce su incremento anual de sueldo)

El director u otro personal de la escuela informa el bajo desempeño a otro órgano para que tome medidas (por ejemplo, consejo administrativo, autoridad local, inspector escolar)

El director se asegura de que el maestro tenga evaluaciones más frecuentes de su trabajo Nunca

3.1

9.0

18 ⁄ 23

Algunas veces

16.6

34.5

21 ⁄ 23

La mayoría de las veces

50.4

41.3

6 ⁄ 23

Siempre

29.9

15.2

2 ⁄ 23

Percepciones de los maestros sobre la evaluación y/o retroalimentación que recibieron (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que reportaron lo siguiente sobre la evaluación y/o retroalimentación que recibieron en su escuela La evaluación y/o retroalimentación tenía un juicio sobre la calidad del trabajo del maestro

72.8

74.7

14 ⁄ 23

La evaluación y/o retroalimentación tenía sugerencias para mejorar ciertos aspectos del trabajo del maestro

77.5

58.0

2 ⁄ 23

La evaluación y/o retroalimentación fue una valoración justa de su trabajo como maestro en esta escuela Muy en desacuerdo

6.2

4.4

5 ⁄ 23

En desacuerdo

13.6

12.4

7 ⁄ 23

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 237

México

Punto de referencia internacional 1

Posición de México 2

De acuerdo

54.9

63.3

19 ⁄ 23

Muy de acuerdo

25.4

19.9

6 ⁄ 23

La evaluación y/o retroalimentación fue útil en el desarrollo de su trabajo como maestros en esta escuela Muy en desacuerdo

5.3

5.6

10 ⁄ 23

En desacuerdo

9.2

15.9

19 ⁄ 23

De acuerdo

52.6

61.8

20 ⁄ 23

Muy de acuerdo

32.9

16.8

1 ⁄ 23

Percepciones de los maestros sobre el impacto personal de la evaluación y la retroalimentación de los docentes (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que reportaron los siguientes cambios tras la evaluación y/o retroalimentación que recibieron en su escuela o el siguiente impacto personal de la evaluación y la retroalimentación Cambio en la satisfacción de su trabajo Una gran disminución

1.8

2.5

Una pequeña disminución

4.7

4.8

16 ⁄ 23 11 ⁄ 23

Sin cambio

16.4

41.2

22 ⁄ 23

Un pequeño aumento

42.5

37.3

6 ⁄ 23

Un gran aumento

34.6

14.2

1 ⁄ 23

1.6

1.5

a

Cambio en la seguridad de su trabajo Una gran disminución Una pequeña disminución

3.3

3.0

a

Sin cambio

26.1

61.9

23 ⁄ 23

Un pequeño aumento

32.4

21.8

5 ⁄ 23

Un gran aumento

36.6

11.8

1 ⁄ 23

Impacto de la evaluación y la retroalimentación de los maestros en la enseñanza (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que reportaron que la evaluación y/o retroalimentación que recibieron directamente ocasionó o implicó cambios moderados o grandes en lo siguiente Prácticas de manejo del salón de clases

74.8

37.6

2 ⁄ 23

Conocimientos o comprensión de la(s) materia(s) principal(es) del maestro

69.1

33.9

2 ⁄ 23

Conocimientos o comprensión de las prácticas de instrucción

71.3

37.5

2 ⁄ 23

Un pan de capacitación o formación para que los maestros mejoren su enseñanza

74.1

37.4

2 ⁄ 23

Enseñanza para los alumnos con necesidades especiales de aprendizaje

42.0

27.2

2 ⁄ 23

Problemas de disciplina y conducta de los alumnos

67.1

37.2

2 ⁄ 23

Enseñanza de alumnos en un entorno multicultural

53.1

21.5

2 ⁄ 23

Énfasis de los maestros en la enseñanza para mejorar las puntuaciones de los alumnos en las pruebas

76.7

41.2

2 ⁄ 23

La evaluación y la retroalimentación de los maestros y el desarrollo de la escuela (educación secundaria) (2007-2008) Fuente: TALIS (OCDE , 2009) Porcentaje de maestros que estuvo de acuerdo o muy de acuerdo con los siguientes enunciados sobre los aspectos de evaluación y/o retroalimentación en su escuela En esta escuela, el director de la escuela toma medidas para alterar los estímulos monetarios del maestro con un desempeño deficiente continuo

34.5

23.1

6 ⁄ 23

En esta escuela, el desempeño deficiente sostenido de un maestro sería tolerado por el resto del personal

17.7

33.8

22 ⁄ 23

En esta escuela, maestros serían despedidos por un desempeño deficiente sostenido

28.9

27.9

12 ⁄ 23

En esta escuela, el director utiliza métodos efectivos para determinar si los maestros tienen un buen o mal desempeño

88.8

55.4

1 ⁄ 23

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

238 – ANEXO D

México

Punto de referencia internacional 1

Posición de México 2

En esta escuela, se establece un plan de capacitación o formación para que los maestros mejoren su trabajo docente

69.0

59.7

9 ⁄ 23

En esta escuela, los maestros más eficientes reciben los mayores incentivos monetarios o de otro tipo

26.9

26.2

11 ⁄ 23

En esta escuela, si mejoro la calidad de mi enseñanza, recibiré mayores incentivos monetarios o de otro tipo

42.7

25.8

7 ⁄ 23

En esta escuela, si soy más innovador en mi enseñanza, recibiré mayores incentivos monetarios o de otro tipo

39.6

26.0

7 ⁄ 23

En esta escuela, la revisión del trabajo del maestro se realiza principalmente para cumplir con requisitos administrativos

50.2

44.3

6 ⁄ 23

En esta escuela, la revisión del trabajo del maestro tiene poco impacto en la enseñanza de los maestros en el aula

45.3

49.8

14 ⁄ 23

Métodos utilizados para monitorear la práctica de los maestros (2009) (alumnos de 15 años de edad) Fuente: PISA 2009 Resultados: What Makes a School Successful, Vol. IV (OCDE , 2010b) Porcentaje de alumnos en las escuelas cuyo director informó que se había utilizado los siguientes métodos el año anterior para monitorear la práctica de los maestros para la lengua de instrucción en su escuela Pruebas de evaluaciones de desempeño de los alumnos

82.6

58.9

5 ⁄ 32

Revisión por maestros colegas (de planes de clase, instrumentos de evaluación, clases)

79.2

56.8

10 ⁄ 32

Observaciones de clase por el director o personal de rango superior

79.1

68.8

17 ⁄ 33

Observaciones de clase por inspectores u otras personas externas a la escuela

48.4

28.3

6 ⁄ 33

LA EVALUACIÓN DE LOS ALUMNOS Requisitos de finalización para los programas de educación media superior Fuente: Education at a Glance (OCDE , 2011) ●  Examen final ▲ Número específico de horas de curso y examen

■  Serie de exámenes durante el programa ♦ Número específico de horas de curso solamente 13

ISCED

3A

ISCED

3B

a

● 7 ○ 1 ■ 7 □ 1 ▲6 Δ 1 ♦ 0

ISCED

3C

○ ■ ▲

● 13 ○ 6 ■ 18 □ 1 ▲16 Δ 2 ♦ 1

■ ▲

● 16 ○ 7 ■ 20 □ 2 ▲19 Δ 2 ♦ 2 ◊1

Grupos de alumnos por habilidad (2009) (alumnus de 15 años de edad) Fuente: Resultados de PISA 2009: What Makes a School Successful, Vol. IV (OCDE , 2010b) % de alumnos en las escuelas cuyos directores reportaron la siguiente práctica en la escuela Sin agrupamiento por habilidad

30.9

31.9

18 ⁄ 33

Agrupamiento por habilidad para algunas asignaturas

52.8

55.2

18 ⁄ 33

Agrupamiento por habilidad para todas las asignaturas

16.3

12.9

8 ⁄ 33

Autoridades nacionales o regionales de educación (por ejemplo, inspecciones)

39.2

56.6

24 ⁄ 33

Consejo de administración de la escuela

42.5

29.5

8 ⁄ 33

Grupos de padres de familia

10.4

17.3

17 ⁄ 33

Grupos de maestros (por ejemplo, asociación de personal, comités del plan de estudios, sindicatos)

42.4

58.1

24 ⁄ 33

Grupos de alumnos (por ejmplo, asociaciones estudiantiles, organizaciones juveniles)

25.2

22.7

10 ⁄ 33

Consejos/ tribunales examinadores externos

54.5

42.4

8 ⁄ 31

Grupos de influencia en las prácticas de evaluación (2009) (alumnos de 15 años de edad) Fuente: base de datos de PISA 2009 % de alumnos en las escuelas cuyo director reportó que los siguientes grupos ejercieron una influencia directa en la toma de decisiones sonre las prácticas de evaluación

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 239

México

Punto de referencia internacional 1

Posición de México 2

Frecuencia de la evaluación de los alumnos por método (2009) (alumnos de 15 años de edad) Fuente: Resultados de PISA 2009: What Makes a School Successful, Vol. IV (OCDE , 2010b) Porcentaje de alumnos en las escuelas cuyo director reportó que los siguientes métodos de evaluación de los alumnos son utilizados con la frecuencia indicada Pruebas estandarizadas Nunca

20.8

24.4

15 ⁄ 33

1-5 veces al año

64.5

68.7

20 ⁄ 33

Por lo menos una vez al mes

14.7

6.9

7 ⁄ 33

Pruebas elaboradas por el maestro Nunca

0.9

1.6

a

1-5 veces al año

62.1

36.8

5 ⁄ 33

Por lo menos una vez al mes

37.0

61.7

28 ⁄ 33

Clasificaciones de juicio de los maestros Nunca

20.9

5.7

2 ⁄ 33

1-5 veces al año

45.6

35.4

12 ⁄ 33

Por lo menos una vez al mes

33.6

58.8

29 ⁄ 33

Nunca

4.4

23.4

28 ⁄ 33

1-5 veces al año

45.4

56.4

26 ⁄ 33

Por lo menos una vez al mes

50.2

20.1

5 ⁄ 33

Portafolios de los alumnos

Tareas/ proyectos/ trabajos de los alumnos Nunca

1.3

1.0

a

1-5 veces al año

31.7

28.2

13 ⁄ 33

Por lo menos una vez al mes

67.1

70.8

22 ⁄ 33

Para informar a los padres de familia el progreso de sus hijos

98.4

98.1

a

Para tomar decisiones sobre la aprobación o reprobación delos alumnos

93.4

77.8

14 ⁄ 32

Para agrupar a los alumnos con fines de instrucción

67.8

50.5

10 ⁄ 33

Para comparar a la escuela o distrito o desempeño nacional

72.6

53.5

8 ⁄ 33

Para monitorear el progreso de la escuela de un año al otro

88.5

76.7

9 ⁄ 33

Para hacer juicios acerca de la eficacia de los maestros

80.1

47.5

3 ⁄ 33

Para identificar los aspectos de instrucción o el plan de estudios que podrían mejorarse

92.0

77.4

6 ⁄ 33

Para comparar a la escuela con otras escuelas

70.4

45.9

6 ⁄ 33

Porcentaje de alumnos que repitieron uno o más grados de acuerdo con su propio informe (2009) (alumnos de 15 años de edad) Fuente: Resultados de PISA 2009: What Makes a School Successful, Vol. IV (OCDE , 2010b)

21.5

13.0

9 ⁄ 34

Uso de la evaluación de los alumnoss (2009) (alumnos de 15 años de edad) Fuente: Resultados de PISA 2009: What Makes a School Successful, Vol. IV (OCDE , 2010b) Porcentaje alumnos en las escuelas cuyo director reportó que las evaluaciones de los alumnos son utilizadas para los siguientes fines

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

240 – ANEXO D

Notas generales: 1 La columna de referencia internacional proporciona información comparativa en una de dos formas: promedio del país (calculado como el promedio simple de todos los países / sistemas para los cuales se dispone de datos, como se indica en la Guía de Fuentes más adelante); la distribución de los países / sistemas por categoría de resultados (por lo general, las categorías “Sí” y “No”, pero también puede indicar el número de países / sistemas en los que se utiliza un criterio determinado, por ejemplo para las “Decisiones de pago para los maestros en las escuelas públicas”, 29 países utilizan el “Salario base”, 9 utilizan el “Pago anual adicional”, etcétera). Con la excepción de los datos extraídos del Estudio Internacional sobre la Enseñanza y el Aprendizaje (TALIS ), el punto de referencia es únicamente para los países de la OCDE . 2 La “posición de México” indica la clasificación del país cuando los países están categorizados en orden descendente de mayor a menor valor del indicador en cuestión. Por ejemplo, en el indicador de “tasas de graduación de la educación media superior”, el lugar = 26 ⁄ 27 indica que México registró conjuntamente el valor más alto 26 de los 27 países de la OCDE que presentaron datos pertinentes. 3 ISCED es la “Clasificación Internacional Normalizada de la Educación” que se utiliza para describir los niveles (y subcategorías) de la educación. 1 - Educación primaria Diseñada para proporcionar una sólida educación básica en lectura, escritura y matemáticas y una comprensión básica de algunas otras materias. Edad de ingreso: entre 5 y 7 años. Duración: 6 años

ISCED

2 - Educación secundaria Completa la oferta de educación básica, por lo general, de una manera más orientada hacia las asignaturas, con profesores más especializados. El ingreso es posterior a los 6 años de educación primaria, su duración es de 3 años. En algunos países, el final de este nivel marca el término de la educación obligatoria.

ISCED

3 - Educación media superior Especialización más intensa en las asignaturas que en el nivel de secundaria, por lo general, los maestros están más calificados. Se espera que los alumnos hayan completado 9 años de educación o escolaridad de secundaria antes de su ingreso, usualmente tienen alrededor de 15 o 16 años de edad.

ISCED

3A - Educación media superior tipo A Prepara a los alumnos para la educación superior, en el nivel 5A

ISCED

3B - Educación media superior tipo B Para el ingreso a la educación terciaria orientada con orientación vocacional, en el nivel 5B

ISCED

3C - Educación media superior tipo C Prepara a los alumnos para la fuerza de trabajo o para la educación postsecundaria, no universitaria

ISECD

4 - Educación postsecundaria, no universitaria Los programas de este nivel pueden ser considerados a nivel nacional como parte de la educación media superior o postsecundaria, pero en términos de comparación internacional, su situación es menos clara. El contenido del programa quizá no sea mucho más avanzado que el de la educación media superior y, sin duda, es inferior al nivel universitario. Por lo general, el ingreso requiere completar un programa de educación media superior. La duración usualmente equivale a entre 6 meses y 2 años de estudio a tiempo completo.

ISCED

5 - Educación superior 5 es la primera etapa de la educación superior (la segunda – ISCED 6 – consiste en investigación avanzada). En el nivel 5, a menudo es más útil distinguir entre dos subcategorías: 5A, que representan más y más largos programas teóricos; y 5B, donde los programas son más cortos y más orientados a la práctica. Tenga en cuenta, sin embargo, que a medida que la educación superior difiere más entre los países, la demarcación entre estas dos subcategorías no siempre es clara. ISCED ISCED

5A - Superior-tipo A Se trata de programas de larga duración “Long-stream” que se basan en la teoría y buscan preparar a los alumnos para futuras investigaciones o dar acceso a las profesiones altamente calificadas, como medicina o arquitectura. El ingreso está precedido por 13 años de educación, por lo general, los alumnos deben haber completado la educación media superior o postsecundaria no superior. La duración equivale a por lo menos 3 años de estudios a tiempo completo, pero la duración más común es 4 años.

ISCED

5B - Superior-tipo B Se trata de programas de corta duración “Short-stream” que están más orientados a la práctica o se enfocan en las habilidades necesarias para que los alumnos entren directamente a ocupaciones específicas. El ingreso está precedido por 13 años de educación; los alumnos podrían necesitar el dominio de materias específicas estudiadas en los niveles 3B o 4A. La duración equivale a por lo menos 2 años de estudio a tiempo completo, pero la duración más común es 3 años.

ISCED

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 241

4 El gasto público incluye las subvenciones públicas a los hogares por el costo de vida (becas y ayudas a los alumnos / hogares y préstamos a los alumnos), que no se gastan en las instituciones educativas. 5 Expresado en equivalente de dólares de EE . UU ., convertidos utilizando las paridades de poder de compra. 6 El gasto en bienes y servicios consumidos dentro del año en curso que necesita ser incurrido de manera recurrente para sustentar la producción de servicios educativos —se refiere a los gastos corrientes de las escuelas e instituciones educativas postsecundarias no superiores. El porcentaje individual pueden no coincidir con el total debido al redondeo. 7 Las instituciones públicas y privadas están incluidos. Los cálculos se basan en equivalentes de tiempo completo. El “personal docente” se refiere al personal de profesionales directamente implicados en la enseñanza de los alumnos. 8 Aquí “la posición de México” indica su lugar cuando los países están clasificados en orden ascendente de la proporción de alumnos/personal docente más baja hasta la más alta. 9 Aquí “la posición de México” indica su lugar cuando los países están clasificados en orden ascendente del número de años más corto al más largo que se necesita para alcanzar el salario máximo desde el salario inicial. 10 Los “exámenes nacionales” son las pruebas que tienen consecuencias formales para los alumnos. 11 Las “evaluaciones nacionales” son las pruebas que no tienen consecuencias formales para los alumnos. 12 “Muy estructurado” significa que actividades similares se realizan en cada escuela en base a un conjunto específico de herramientas de recopilación de datos. “No estructurado” significa que las actividades en cada escuela varían y dependen de las fortalezas y debilidades del centro escolar. 13 En el caso de los símbolos vacíos (○ □ ∆ ◊) el requisito de terminación dentro de un país varía (por ejemplo, en los sitemas federales entre los estados).

Fuentes: (2009), Creating Effective Teaching and Learning Environments: First Results from TALIS , OECD , París. (2010a), PISA 2009 Results: What Students Know and Can Do, Volume I , OECD , París. OECD (2010b), PISA 2009 Results: What Makes a School Successful? Resources, Policies and Practices, Volume IV , OECD , París. OECD (2010c), Education at a Glance 2010: OECD Indicators, OECD , París. OECD (2011), Education at a Glance 2011: OECD Indicators, OECD , París. OECD OECD

Explicación de los datos: m a ~ =

No hay datos disponibles Los datos no son aplicables porque la categoría no se aplica El promedio no es comparable con otros niveles de educación Por lo menos un país tiene el mismo rango

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

242 – ANEXO D Guía de Fuentes Participación de países por fuente (OCDE , 2009)

TALIS

Education at a Glance (OCDE , 2010c)

PISA 2009 (OCDE , 2010a; OCDE , 2010b)

Education at a Glance (OCDE , 2011)

Alemania

 

●

●

●

Australia

●

●

●

●

Austria

●

●

●

●

  Países de la OCDE

Bélgica

 

 

●

 

Comunidad flamenca

●

●

●

●

Comunidad francesa

 

●

●

●

Comunidad alemana

 

 

 

 

Canadá

 

●

●

●

Chile

 

●

●

●

Corea

●

●

●

●

Dinamarca

●

●

●

●

Eslovenia

●

 

●

 

España

●

●

●

●

Estados Unidos de América

 

●

●

●

Estonia

●

 

●

●

Finlandia

 

●

●

●

Francia

 

●

●

●

Grecia

 

●

●

●

Hungría

●

●

●

●

Irlanda

●

●

●

●

Islandia

●

●

●

●

Israel

 

 

●

●

Italia

●

●

●

●

Japón

 

●

●

●

Luxemburgo

 

●

●

●

México

●

●

●

●

Noruega

●

●

●

●

Nueva Zelanda

 

●

●

●

Países Bajos

 

●

●

●

Polonia

●

●

●

●

Portugal

●

●

●

●

Reino Unido

 

 

 

 

Inglaterra

 

●

●

●

Irlanda del Norte

 

●

●

 

Escocia

 

●

●

●

Gales

 

●

●

 

República Checa

 

●

●

●

República Eslovaca

●

●

●

●

Suecia

 

●

●

●

Suiza

 

●

●

●

Turquía

●

●

●

●

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO D – 243

(OCDE , 2009)

TALIS

Education at a Glance (OCDE , 2010c)

Brasil

●

 

Bulgaria

●

 

Latvia

 

 

Lichtenstein

 

 

Lituania

●

 

Malasia

●

 

Malta

●

 

Rumania

 

 

 

PISA 2009 (OCDE , 2010a; OCDE , 2010b)

Education at a Glance (OCDE , 2011)

Otros

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

               

               

244 – ANEXO E

Anexo E. Instrumentos para la evaluación de los maestros

Etapa

EDUCACIÓN INICIAL IDCIEN

Instrumento

Tiempo

EXANI II

EGEC

Examen Nacional de Ingreso a la Educación Superior

Exámenes Generales e Intermedios de Conocimientos

Exámenes Generales de Egreso de Licenciatura

Selección para ingreso Normales

Seleccción para ingreso a universidades

A 4º y 8º semestre Alumnos de normales

Egreso de licenciaturas (pedagogía, ciencias de la educación) pero las normales pueden aplicarlo

Tras la educación inicial, para obtener una plaza docente u horas docentes

Son pruebas estandarizadas para preescolar, primaria, deportes, alumnosmaestros de educación secundaria

Consiste en esencia de una prueba estandarizada, el Examen Nacional de Conocimientos, Habilidades y Competencias Docentes. En 2010, el gobierno empezó el piloto de portafolios como parte de este proceso

Diseñado y aplicado por el CENEVAL

Diseñado y aplicado por el CENEVAL

Diseñado por el CENEVAL en colaboración con el OEIF , aplicado por la SEP

Diagnóstico que determina si el candidato puede graduarse

Asignación de plazas y horas docentes

Cada institución define para qué se utilizará el examen y umbrales

El umbral varía entre estados dependiendo del número de plazas disponibles y sólo las plazas docentes de nueva creación están abiertas a concurso

Son pruebas estandarizadas para preescolar, primaria, deportes, alumnosmaestros de educación secundaria

Principales componentes

Es una pruena estandarizada

Organismos involucrados

Diseñado por el CENEVAL , aplicado por la SEP

Diseñado por el CENEVAL y aplicado por las universidades

Diagnóstico y selección

Diagnóstico y selección

Diagnóstico

El contenido proviene del plan de estudios de la educación media superior

Relativamente especializado bajo riesgo voluntario para estados, escuelas y candidatos

Algunas notas

EGEL

Instrumento de Diagnóstico y Clasificación para el Ingreso a la Educación Normal

Se compones de dos pruebas estandarizadas, una para selección y otra para diagnóstico

Objetivo

INGRESO

Uno de los objetivos de este examen es proporcionar un diagnóstico inicial del alumno y luego seguir el progreso durante sus estudios (está pendiente)

Concurso Nacional para el Otorgamiento de Plazas Docentes

Fuentes: Barrera, I. y R. Myers (2011), “Estándares y evaluación docente en México: el estado del debate”, Programa de Promoción de la Reforma Educativa en América Latina y el Caribe / Partnership for Educational Revitalization in the America. Centro Nacional de Evaluación para la Educación Superior, http://ceneval.edu.mx/ceneval-web/content.do?page=1738 Evaluación Universal de Docentes y Directivos de Educación Básica, http://evaluacionuniversal.sep.gob.mx/tres.htm Jiménez Franco, V. (2010), “Report on Basic Educational Assessment Practices”, Background report of Mexico for the OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, SEP , México.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

ANEXO E – 245

…continuación Etapa

CAPACITACIÓN DE MAESTROS EN SERVICIO ENAMS

Instrumento

Tiempo

PROMOCIÓN EN INCENTIVOS EV

Exámenes Nacionales de Actualización para Docentes en Servicio

Escalafón vertical

Maestros en servicio (voluntario)

Este “derecho jerárquico” se otorga seis meses tras obtener el puesto inicial

PNCM Programa Nacional de Carrera Magisterial

Evaluación Universal de Docentes y directivos en Servicio de Educación Básica

Programa de Estímulos a la Calidad Docente

Todos con plaza o al menos 10 de enseñanza

Todos los maestros inician en 2012 (aplicación gradual)

Anualmente

Principales componentes

Son pruebas estandarizadas. Hay cerca de 15 tipos distintos de ENAMS . Pero el número puede variar dependiedo de las prioridades nacionales

La ficha escalafonaria asigna los siguientes: 45% por contenido, conocimientos, aptitud, 25% antigüedad y 10% disciplina y puntualidad

Nueva puntuación ENLACE (maestros en servicio 50%, formación continua 20%, antigüedad 5% y activiadades co-curriculares 20%)

Desempeño del alumno (a saber ENLACE, 50%), preparación profesional (5%), formación continua (20%), desempeño profesional (25%)

Basado en los resultados de ENLACE, pero también por el factor de Preparación Profesional del PNCM , proporciona: a) estímulos colectivos a las escuelas y b) estímulos individuales para los maestros calificados

Organismos involucrados

Diseñado por el CENEVAL , aplicado por las autoridades estatales en colaboración con la SEP

Diseñado en colaboración con las Comisiones Mixtas de Escalafón (SEPSNTE ) a nivel nacional y estatal

Diseñada y aplicada por la SEP , en colaboración con la Comisión Académica SEP -SNTE

Diseñada y aplicada por la SEP principalmente en colaboración con otros organismos como el SNTE

Las autoridades de educación estatales son los autores clave para la implementación de este programa

Diagnóstico

Ingreso y progreso en el escalafón vertical

Progreso en el sistema de promoción horizontal

Para evaluar al cuerpo docente en el sistema educativo

Para proporcionar a las escuelas y a los docentes un estímulo económico

Después de tomar la prueba, los participantes reciben cuadernos de diagnóstico que les explican las áreas que necesitan reforzar. Los ENAMS pueden contar para el PNCM

La “ficha escalafonaria” es llenada por el director y subdirector de la escuela donde trabaja el maestro

Las puntuación de los alumnos ha aumentado desde su inicio en 1993 de 7% a 50%

Los instrumentos se están definiendo hoy y se hará una referencia a los estándares nacionales

El uso del componente profesional del PNCM proviene de los esfuerzos del gobierno por ampliar la cobertura del programa a más beneficiarios potenciales

Objetivo

Algunas notas

OECD

(2010), Improving Schools: strategies for action in Mexico, OECD , Paris.

OECD

(2011), Establishing a Framework for Evaluation and Teacher Incentives: Considerations for Mexico, OECD ; Paris.

OECD

(2011), Progress with Educational Reform in Basic Education in Mexico. An OECD Perspective, Advance version, OECD , Paris.

SEP -SNTE ,

2010, “Programa de Estímulos a la Calidad Docente: Lineamientos que regulan el programa de Estímulos a la Calidad Docente”,

SEP -SNTE ,

México.

REVISIONES DE LA OCDE SOBRE LA EVALUACIÓN EN EDUCACIÓN. MÉXICO © SEP-INEE 2014

Organización para la Cooperación y el Desarrollo Económicos (OCDE )

La OCDE constituye un foro único en su género, donde los gobiernos trabajan conjuntamente para afrontar los retos económicos, sociales y medioambientales que plantea la globalización. La OCDE está a la vanguardia de los esfuerzos emprendidos para ayudar a los gobiernos a entender y responder a los cambios y preocupaciones del mundo actual, como el gobierno corporativo, la economía de la información y los retos que genera el envejecimiento de la población. La Organización ofrece a los gobiernos un marco en el que pueden comparar sus experiencias políticas, buscar respuestas a problemas comunes, identificar buenas prácticas y trabajar en la coordinación de políticas nacionales e internacionales. Los países miembros de la OCDE son: Alemania, Australia, Austria, Bélgica, Canadá, Chile, Corea, Dinamarca, Eslovenia, España, Estados Unidos de América, Estonia, Finlandia, Francia, Grecia, Hungría, Irlanda, Islandia, Israel, Italia, Japón, Luxemburgo, México, Noruega, Nueva Zelanda, Países Bajos, Polonia, Portugal, Reino Unido, República Checa, República Eslovaca, Suecia, Suiza y Turquía. La Comisión Europea participa en el trabajo de la OCDE . Las publicaciones de la OCDE aseguran una amplia difusión de los trabajos de la Organización. Éstos incluyen los resultados de la compilación de estadísticas, los trabajos de investigación sobre temas económicos, sociales y medioambientales, así como las convenciones, directrices y los modelos desarrollados por los países miembros.

Revisiones de la ocde sobre la evaluación en educación  México Se terminó de imprimir en septiembre de 2014 en los talleres de Impresora y Encuadernadora Progreso, s.a. de c.v. (iepsa). En su formación se emplearon las familias tipográficas Arial, Caecilia LT Std, Helvetica LT Std y Times New Roman. Esta edición consta de 1 000 ejemplares

Revisiones de la OCDE sobre la Evaluación en Educación

MÉXICO ¿De qué manera la evaluación de los estudiantes, los docentes, las escuelas y el sistema contribuye a lograr avances reales en el desempeño del sistema escolar de un país? Los estudios de país de que se compone esta serie constituyen, desde una perspectiva internacional, un análisis independiente de los principales retos que afrontan el marco de la evaluación, las iniciativas de política pública actuales y los posibles enfoques a futuro. Esta serie forma parte de la Revisión de la OCDE sobre los Marcos de Evaluación para Mejorar los Resultados Escolares. Contenido Capítulo 1. La educación en México Capítulo 2. El marco de evaluación en México Capítulo 3. La evaluación de los alumnos Capítulo 4. La evaluación de los maestros Capítulo 5. La evaluación de centros escolares Capítulo 6. La evaluación del sistema educativo www.oecd.org/edu/evaluationpolicy

La versión original de esta obra se publicó bajo el título OECD Reviews of Evaluation and Assessment in Education: Mexico 2012 (ISBN 9789264172630), © 2012, Organización para la Cooperación y el Desarrollo Económicos (OCDE), París. Esta traducción se publica por acuerdo con la OCDE. No es una traducción oficial de la OCDE. www.oecdbookshop.org - Librería en línea de la OCDE www.oecd-ilibrary.org - Biblioteca en línea de la OCDE www.oecd.org/oecddirect - Avisos de nuevas publicaciones de la OCDE

ISBN 978-607-7675-59-4 978-607-7675-60-0