INFORMES

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

Presidente de la República Juan Manuel Santos Calderón Ministra de Educación Nacional María Fernanda Campo Saavedra Viceministro de Educación Preescolar, Básica y Media Mauricio Perfetti del Corral

Directora General Margarita Peña Borrero Secretaria General Gioconda Piña Elles Jefe de la Oficina Asesora de Comunicaciones y Mercadeo Ana María Uribe González Director de Evaluación Julián Patricio Mariño Von Hildebrand Director de Producción y Operaciones Francisco Ernesto Reyes Jiménez Director de Tecnología Adolfo Serrano Martínez Subdirectora de Análisis y Divulgación Maria Isabel Fernandes Cristovão Subdirectora de Estadística María Nelsy Rodríguez Malagón Elaboración del documento Carolina Lopera Oquendo Álvaro Enrique Uzaheta Berdugo Apoyo técnico Luis Adrián Quintero Sarmiento Jennifer García Naranjo Mónica Amira López Revisión de estilo Fernando Carretero Socha Diseño Sentido Gráfico Ltda ISBN de la versión impresa: 978-958-11-0559-5 ISBN de la versión electrónica: 978-958-11-0558-8 Bogotá, D.C., julio de 2011

INFORMES

Contenido Presentación...........................................................................................................................................13 1. Características del Estudio Internacional de Educación Cívica y Ciudadana - ICCS 2009....15

1.1 Antecedentes...............................................................................................................................15



1.2 Objetivo del ICCS........................................................................................................................18



1.3 Marco de la evaluación...............................................................................................................19



1.3.1 Dominios de contenido.......................................................................................................20



1.3.2 Dominios afectivo-conductuales.........................................................................................22



1.3.3 Dominios cognitivos............................................................................................................23



1.4 Poblaciones y muestras..............................................................................................................25



1.5 Instrumentos de evaluación........................................................................................................26



1.6 ¿Por qué Colombia participó en el ICCS?..................................................................................29



1.7 Aspectos metodológicos y orientaciones para interpretar los resultados del ICCS 2009........32



1.7.1 Puntajes promedio en la escala de conocimiento cívico...................................................32



1.7.2 Niveles de desempeño........................................................................................................33



1.7.3 Índices de actitudes cívicas y ciudadanas..........................................................................33



1.7.4 Cálculo del nivel socioeconómico (NSE)............................................................................34



1.7.5 Países seleccionados para la comparación en las escalas de actitudes..........................36



1.7.6 Advertencias sobre las posibilidades y limitaciones de las interpretaciones de los resultados.................................................................................................................37

2. Resultados de Colombia en ICCS 2009........................................................................................38

2.1 Conocimiento cívico....................................................................................................................38



2.1.1 Puntajes promedio..............................................................................................................38



2.1.2 Puntajes por género, tipo de establecimiento educativo y nivel socioeconómico (NSE)...............................................................................................43



2.1.3 Exploración del efecto de las características de la institución educativa y del estudiante sobre el desempeño en la prueba....................................................................45



2.2 Niveles de desempeño...............................................................................................................51



2.3 Ejemplos de preguntas utilizadas en la prueba.........................................................................57



2.4 Comparación entre los resultados de ICCS 2009 y CIVED 1999..............................................59

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

5

3. Creencias en valores, actitudes y comportamientos: comparación internacional..................61

3.1 Creencias en valores y actitudes................................................................................................62



3.1.1 Sociedad civil y sistemas cívicos........................................................................................62



3.1.2 Principios cívicos.................................................................................................................71



3.1.3 Participación cívica..............................................................................................................82



3.1.4 Identidades cívicas..............................................................................................................89



3.2 Comportamientos e intenciones de comportamiento................................................................95



3.2.1 Comportamientos efectivos................................................................................................95



3.2.2 Intenciones de comportamiento.......................................................................................101

4. La formación ciudadana en la escuela.......................................................................................117

4.1 Percepciones y participación de los estudiantes en la escuela...............................................122



4.2 Percepciones de los profesores...............................................................................................137



4.3 Percepciones de los rectores de establecimientos educativos...............................................147

5. Síntesis y reflexiones finales........................................................................................................154 Referencias ..........................................................................................................................................161 Anexos 1. Caracterización de los niveles socioeconómicos.............................................................................164 2. Resultados en la escala de conocimiento.........................................................................................168 3. Especificación del modelo de análisis multinivel jerárquico.............................................................172 4. Diferencias en los índices de actitudes, valores y comportamientos de los estudiantes y de percepción de docentes y rectores respecto a la cívica y ciudadanía en la escuela por grupos de referencia...................................................................................................................175 5. Percepciones de los estudiantes colombianos y el comportamiento en la escala de conocimiento cívico...........................................................................................................................177 6. Resultados de los índices de percepción de docentes y rectores...................................................199

Advertencia El ICFES se preocupa por utilizar un lenguaje que no discrimine ni marque diferencias entre hombres y mujeres. Por tanto, ha optado por emplear el masculino genérico, en el entendido de que todas las menciones en este último representan siempre a hombres y mujeres.

6

INFORMES

Índice de figuras, tablas, cuadros y gráficos Figuras 1.1 Países participantes en el ICCS 2009.............................................................................................26 1.2 Representación de los puntajes promedio y los errores estándar................................................32 Tablas 1.1 Principales actividades del ICCS....................................................................................................17 1.2 Estructura de la dimensión de contenido en el ICCS 2009...........................................................21 1.3 Cubrimiento de los dominios de contenido, cognitivos y afectivo-conductuales en el ICCS 2009.............24 1.4 Descripción de los factores contextuales establecidos en el ICCS...............................................24 1.5 Instrumentos de evaluación del ICCS 2009...................................................................................28 2.1 Modelos de regresión, vacío y de efectos aleatorios, de la distribución del logro en conocimiento cívico...................................................................................................................47 2.2 Distribución porcentual del nivel socioeconómico, según el tipo de establecimiento..................48 2.3 Estimación de los efectos del sector y del contexto sobre la distribución del desempeño en conocimiento cívico...................................................................................................................49 2.4 Cambios en el conocimiento cívico desde 1999............................................................................60 3.1 Percepción de los estudiantes sobre la importancia de la ciudadanía convencional...................63 3.2 Porcentajes de estudiantes colombianos según sus percepciones sobre la importancia de la ciudadanía convencional y comportamiento en la escala de conocimiento cívico.............65 3.3 Percepción de los estudiantes sobre la importancia de la ciudadanía como movimiento social................66 3.4 Porcentajes de estudiantes colombianos según sus percepciones sobre la importancia de la ciudadanía como movimiento social y comportamiento en la escala de conocimiento cívico........................................................................................................................68 3.5 Confianza de los estudiantes en las instituciones cívicas..............................................................69 3.6 Porcentajes de estudiantes colombianos según la confianza en las instituciones cívicas y el comportamiento en la escala de conocimiento...........................................................71 3.7 Apoyo de los estudiantes a los valores democráticos...................................................................73 3.8 Porcentajes de estudiantes colombianos según su grado de apoyo a los valores democráticos y el comportamiento en la escala de conocimiento cívico.....................................75 3.9 Actitudes de los estudiantes hacia la igualdad de género............................................................76 3.10 Porcentajes de estudiantes colombianos según su actitud hacia la igualdad de género y el comportamiento en la escala de conocimiento cívico................................................78 3.11 Actitudes de los estudiantes hacia la igualdad de derechos para todos los grupos étnicos y raciales.............................................................................................................................79 3.12 Porcentajes de estudiantes colombianos según sus actitudes hacia la igualdad de los grupos étnicos y raciales y el comportamiento en la escala de conocimiento cívico.............81

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

7

3.13 Sentido de eficacia política interna de los estudiantes..................................................................83 3.14 Porcentaje de estudiantes colombianos según sus percepciones sobre eficacia política interna y el comportamiento en la escala de conocimiento cívico...................................85 3.15 Autoeficacia cívica de los estudiantes............................................................................................86 3.16 Porcentaje de estudiantes colombianos según sus percepciones acerca de la autoeficacia cívica y el comportamiento en la escala de conocimiento cívico.............................88 3.17 Interés de los estudiantes por temas políticos y sociales..............................................................90 3.18 Porcentaje de estudiantes colombianos según su grado de interés en temas políticos y sociales y el comportamiento en la escala de conocimiento cívico...........................................92 3.19 Actitudes de los estudiantes hacia sus países...............................................................................93 3.20 Porcentaje de estudiantes colombianos según sus actitudes hacia el país y el comportamiento en la escala de conocimiento cívico...................................................................95 3.21 Participación cívica de los estudiantes en actividades comunitarias............................................96 3.22 Porcentaje de estudiantes colombianos según su participación cívica en la comunidad y el comportamiento en la escala de conocimiento cívico.........................................98 3.23 Participación de los estudiantes en discusiones sobre temas políticos y sociales fuera de la escuela..........................................................................................................................99 3.24 Porcentaje de estudiantes colombianos según frecuencia de discusión sobre temas políticos y sociales fuera de la escuela y el comportamiento en la escala de conocimiento cívico.................................................................................................................101 3.25 Expectativas de los estudiantes en cuanto a la participación futura en actividades electorales.....................................................................................................................................102 3.26 Porcentaje de estudiantes colombianos según sus expectativas de participación electoral futura y el comportamiento en la escala de conocimiento cívico.................................104 3.27 Expectativas de los estudiantes acerca de la participación en actividades políticas cuando adultos.............................................................................................................................105 3.28 Porcentaje de estudiantes colombianos según sus expectativas de participación en actividades políticas cuando sean adultos y el comportamiento en la escala de conocimiento cívico......................................................................................................................107 3.29 Expectativas de los estudiantes en cuanto a actividades de participación política informal en el futuro......................................................................................................................108 3.30 Porcentaje de estudiantes colombianos según sus expectativas de participación política informal futura y el comportamiento en la escala de conocimiento cívico.....................110 3.31 Participación esperada de los estudiantes en protestas legales.................................................111 3.32 Porcentaje de estudiantes colombianos según su perspectiva de participación en protestas legales y el comportamiento en la escala de conocimiento cívico........................113 3.33 Expectativa de participación de los estudiantes en protestas ilegales........................................114 3.34 Porcentaje de estudiantes colombianos según su intención de participar en el futuro en protestas ilegales y el comportamiento en la escala de conocimiento cívico........................116

8

INFORMES

4.1 Participación de los estudiantes en la escuela.............................................................................123 4.2 Porcentaje de estudiantes colombianos según las actividades de participación en la escuela y el comportamiento en la escala de conocimiento cívico.............................................125 4.3 Percepción de los estudiantes colombianos sobre su influencia en las decisiones tomadas en la escuela..................................................................................................................126 4.4 Porcentaje de estudiantes colombianos, según su percepción sobre su influencia en las decisiones de la escuela y el comportamiento en la escala de conocimiento cívico............128 4.5 Percepción de los estudiantes colombianos sobre el valor de la participación en la escuela.....................................................................................................................................129 4.6 Porcentajes de estudiantes colombianos, según su percepción sobre el valor de la participación en la escuela y el comportamiento en la escala de conocimiento cívico..............131 4.7 Percepción de los estudiantes colombianos sobre la apertura para discutir en clases.............132 4.8 Porcentaje de estudiantes colombianos según su percepción sobre la apertura para discutir en clases..........................................................................................................................134 4.9 Percepción de los estudiantes colombianos sobre la relación entre profesores y alumnos en la escuela..................................................................................................................135 4.10 Porcentaje de estudiantes colombianos según su percepción acerca de la relación entre profesores y alumnos en la escuela y el comportamiento en la escala de conocimiento cívico......................................................................................................................137 4.11 Percepción de los profesores sobre la influencia de los estudiantes en las decisiones sobre la escuela............................................................................................................................138 4.12 Porcentajes de docentes colombianos según su percepción de la influencia de los estudiantes en decisiones sobre la escuela.................................................................................140 4.13 Percepción de los profesores sobre las actividades de los estudiantes en la comunidad.........141 4.14 Porcentajes de docentes colombianos en cuanto a la percepción de la participación de los estudiantes en actividades en la comunidad, por grupos de referencia..........................143 4.15 Puntajes promedio en la escala de participación de los estudiantes en las actividades en clases.......................................................................................................................................144 4.16 Frecuencias de participación de los estudiantes en las actividades en clases...........................145 4.17 Confianza de los profesores para enseñar educación cívica y ciudadana.................................146 4.18 Seguridad de los docentes colombianos para enseñar algunos temas de la educación cívica y ciudadana.........................................................................................................................147 4.19 Percepción de los rectores de establecimientos educativos sobre la influencia de los estudiantes en decisiones sobre la escuela.................................................................................148 4.20 Percepción de los rectores colombianos en torno a la influencia de los estudiantes en decisiones sobre la escuela....................................................................................................149 4.21 Percepción de los directores de establecimientos educativos sobre las oportunidades de los estudiantes para participar en actividades en la comunidad............................................150

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

9

4.22 Porcentajes de rectores colombianos acerca de la percepción sobre las oportunidades de los estudiantes para participar en actividades en la comunidad............................................152 4.23 Porcentajes de docentes y rectores colombianos según el objetivo que consideran más importante de la educación cívica y ciudadana, en el establecimiento educativo......................153 Cuadros 2.1 Descripción de las variables utilizadas para el análisis multinivel.................................................46 2.2 Descripción de los niveles de desempeño establecidos en ICCS 2009.......................................52 4.1 Aproximación a los currículos de competencias cívicas y ciudadanía, en el nivel de secundaria de los países participantes en ICCS..........................................................................118 4.2 Énfasis dado a los procesos cívicos en los currículos de los países participantes en ICCS, en el grado objeto de la evaluación...................................................................................120 4.3 Énfasis dado a temas en educación cívica y ciudadana en los currículos de los países participantes en ICCS, en el grado objeto de la evaluación........................................................121 Gráficos 2.1 Puntajes promedio de los países en la escala internacional de conocimiento cívico..................39 2.2 Puntajes promedio por grupo de países en la escala internacional de conocimiento cívico.......40 2.3 Puntajes promedio por país en la escala internacional de conocimiento cívico versus PIB per cápita..................................................................................................................................41 2.4 Puntajes promedio por país en la escala internacional de conocimiento cívico versus IDH........42 2.5 Puntajes promedio de Colombia en la escala de conocimiento cívico desagregados por género.......................................................................................................................................43 2.6 Puntajes promedio de Colombia en la escala de conocimiento cívico desagregados por tipo de establecimiento educativo...........................................................................................44 2.7 Puntajes promedio de Colombia en la escala de conocimiento cívico desagregados por nivel socioeconómico del estudiante (NSE)............................................................................45 2.8 Distribución porcentual de los estudiantes colombianos, según niveles de desempeño en ICCS 2009..................................................................................................................................53 2.9 Distribución porcentual de estudiantes según niveles de desempeño en conocimiento cívico en grupos de países.............................................................................................................54 2.10 Porcentajes de niños y niñas de Colombia, según niveles de desempeño en conocimiento cívico........................................................................................................................55 2.11 Distribución porcentual de estudiantes colombianos, según niveles de desempeño en conocimiento cívico y tipo de establecimiento educativo.........................................................56 2.12 Distribución porcentual de estudiantes colombianos, según niveles de desempeño en conocimiento cívico y niveles socioeconómicos......................................................................57 3.1 Puntajes promedio de los estudiantes colombianos en la percepción sobre la importancia de la ciudadanía convencional, por grupos de referencia.............................................................64

10

INFORMES

3.2 Puntajes promedio de los estudiantes colombianos en la percepción sobre la importancia de la ciudadanía convencional, por grupos de referencia.............................................................67 3.3 Puntajes promedio de los estudiantes colombianos en la percepción sobre la importancia de la ciudadanía como movimiento social, por grupos de referencia...........................................70 3.4 Puntajes promedio de los estudiantes en la confianza en las instituciones cívicas en Colombia, por grupos de referencia...............................................................................................74 3.5 Puntajes promedio de los estudiantes colombianos en apoyo a los valores democráticos, por grupos de referencia................................................................................................................77 3.6 Puntajes promedio de los estudiantes colombianos en actitud hacia la igualdad de género, por grupos de referencia...................................................................................................80 3.7 Puntajes promedio de los estudiantes colombianos en actitud hacia la igualdad de derechos para todos los grupos étnicos y raciales, por grupos de referencia.............................84 3.8 Puntajes promedio de los estudiantes colombianos en la escala de eficacia política interna, por grupos de referencia...................................................................................................87 3.9 Puntajes promedio de los estudiantes colombianos en percepción sobre autoeficacia cívica, por grupos de referencia.....................................................................................................91 3.10 Puntajes promedio de los estudiantes colombianos en interés en temas políticos y sociales, por grupos de referencia.................................................................................................94 3.11 Puntajes de los estudiantes colombianos en la actitud hacia su país, por grupos de referencia...................................................................................................................................97 3.12 Puntajes promedio de los estudiantes colombianos en la participación en actividades en el ámbito comunitario, por grupos de referencia....................................................................100 3.13 Puntajes promedio de los estudiantes colombianos en la discusión de temas políticos y sociales fuera de la escuela, según grupos de referencia........................................................103 3.14 Puntajes promedio de los estudiantes colombianos en la escala de expectativas de participación electoral futura, por grupos de referencia.........................................................106 3.15 Puntajes promedio de los estudiantes colombianos según sus expectativas de participación en actividades políticas cuando sean adultos, por grupos de referencia.............109 3.16 Puntajes promedio de los estudiantes colombianos en expectativa de participación política informal futura, por grupos de referencia........................................................................112 3.17 Puntajes promedio de los estudiantes colombianos, según su expectativa de participación en protestas legales................................................................................................115 4.1 Puntajes promedio de los estudiantes colombianos según su participación en la escuela, por grupos de referencia..............................................................................................................124 4.2 Puntajes promedio de los estudiantes colombianos en la percepción sobre su influencia en las decisiones de la escuela, por grupos de referencia..........................................................127 4.3 Puntajes promedio de los estudiantes colombianos en el índice de valor de la participación en la escuela, por grupos de referencia.................................................................130 4.4 Puntajes promedio de los estudiantes colombianos en la percepción sobre la apertura para discutir en clases, por grupos de referencia........................................................................133

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

11

4.5 Puntajes promedio de los estudiantes colombianos en la percepción sobre la relación docentes/alumnos en la escuela, por grupos de referencia........................................................136 4.6 Puntajes promedio en la escala de percepción de los profesores colombianos sobre la influencia de los estudiantes en las decisiones en la escuela, por grupos de referencia..........139 4.7 Puntajes promedio en la escala de percepción de los profesores colombianos sobre las actividades de los estudiantes en la comunidad, por grupos de referencia.........................142 4.8 Puntajes promedio en la escala de percepción de los rectores colombianos en torno a la influencia de los estudiantes en decisiones sobre la escuela, por grupos de referencia...........149 4.9 Puntajes promedio de la escala de percepción de los rectores colombianos sobre las oportunidades de los estudiantes para participar en actividades en la comunidad, por grupos de referencia..............................................................................................................151

12

INFORMES

Presentación En los últimos años Colombia ha participado en diversas evaluaciones internacionales. Esto le da la oportunidad al país de compararse con otros sistemas educativos e identificar cuáles son sus fortalezas y debilidades relativas, así como los principales factores que inciden en los resultados de los estudiantes. También permite monitorear los avances en el tiempo y definir acciones específicas de mejoramiento basadas en esta información. Una de las evaluaciones en la que el país participó en 2009 fue el Estudio Internacional de Educación Cívica y Ciudadana (ICCS, por sus siglas en inglés), cuyo propósito fue conocer qué tan bien están preparados los jóvenes para asumir su rol como ciudadanos de una sociedad moderna, donde los cambios ocurren con mucha rapidez. La participación de Colombia en ICCS 2009 se hace con base en la política de mejoramiento de la calidad y la pertinencia de la educación, en la que evaluación es uno de los elementos clave para establecer qué saben y saben hacer nuestros estudiantes. De manera particular, los resultados del país en ICCS dan bases para orientar las estrategias de preparación de nuestros estudiantes para desempeñarse como ciudadanos activos y participativos, al propiciar la adquisición de conocimientos y el desarrollo de actitudes, percepciones y valores cívicos. Este documento es el segundo de cuatro informes sobre los resultados de Colombia en ICCS 20091. Su propósito es analizar los principales resultados obtenidos por el país en los instrumentos aplicados en el módulo internacional. Por tanto, se refiere a los resultados relacionados con la escala de conocimientos y los índices de actitudes, creencias, valores y comportamientos de los estudiantes, y la percepción de los docentes y rectores sobre la formación cívica y ciudadana en las instituciones educativas. También compara estos resultados con los obtenidos por el país en CIVED 1999. El tercero y cuarto informes abordan el estudio de factores asociados a los resultados de los estudiantes colombianos en ICCS 2009 y el análisis de resultados del módulo latinoamericano, respectivamente. Ambos se publicarán en el transcurso de 2011. El objetivo de esta serie de publicaciones es generar material de utilidad para docentes, directivos, decisores, investigadores y demás actores educativos para contribuir a las discusiones, tanto académicas como en el ámbito de la política educativa, de manera que enriquezcan y promuevan la toma de decisiones y los esfuerzos para consolidar una formación cívica y ciudadana de calidad para las generaciones presentes y futuras.

El primero fue publicado a finales de junio de 2010 y contiene un resumen ejecutivo de los principales resultados de ICCS 2009. Para mayor información, consúltese Fernandes (2010).

1

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

13

El informe se organiza en cinco capítulos. En el primero se presentan los antecedentes de la evaluación en competencias cívicas y ciudadanía, las características de ICCS 2009 en cuanto a sus objetivos, el marco de la evaluación, las muestras y los instrumentos; además, se indican las razones por las cuales es relevante para Colombia participar en un estudio de esta naturaleza y se formulan algunas recomendaciones metodológicas necesarias para un adecuado análisis e interpretación de los resultados. En el segundo y tercer capítulos se presentan los análisis de los resultados de los estudiantes colombianos en la prueba de conocimientos y en los índices de actitudes, valores y comportamientos, respectivamente, comparados con un conjunto de países seleccionados, así como los resultados desagregados dentro del país por género, tipo de institución educativa y nivel socioeconómico. Los análisis se centran en la distribución del logro de los estudiantes e incluyen perspectivas de nivel simple, es decir, un análisis de promedios y diferencias estadísticas de los resultados, tanto a nivel cognitivo como de los índices de actitudes y percepciones para diferentes grupos. Esta información tiene como propósito mostrar el estado actual de los conocimientos en el área en el país, así como las percepciones y los intereses de los jóvenes acerca de sus disposiciones y actitudes en relación con la educación cívica y ciudadana. El cuarto capítulo recoge los aspectos relacionados con la formación cívica y ciudadana en las instituciones educativas y los resultados frente a los índices de actitudes y percepciones de los docentes y rectores acerca de los temas relacionados con el área. Por último, en el quinto, se formulan las conclusiones y reflexiones derivadas de los análisis realizados en el informe, con el propósito de proporcionar elementos para la formulación o ajustes de políticas y programas. El lector también encontrará anexos con la información complementaria sobre los aspectos evaluados por ICCS 2009, además de los datos estadísticos que soportaron los análisis presentados en este documento y que dan bases para la realización de otros estudios. La elaboración de este informe estuvo a cargo de profesionales de las Subdirecciones de Estadística y de Análisis y Divulgación del ICFES. Agradecemos las orientaciones del DPCIEA (Departamento de Procesamiento de Datos y Centro de Investigación de la Asociación Internacional para la Evaluación del Logro Educativo, por su sigla en inglés), especialmente a Eugenio González y Daniel Caro, quienes brindaron una amplia capacitación sobre el procesamiento y análisis de la información; a los equipos técnicos de los cinco países latinoamericanos, también participantes ICCS, por sus contribuciones y aportes durante todo el desarrollo de los análisis y a la Coordinación del SREDECC (Sistema Regional de Evaluación y Desarrollo de Competencias Ciudadanas) por el apoyo prestado en el entrenamiento y capacitación del equipo responsable de este trabajo.

14

INFORMES

1. Características del Estudio Internacional de Educación Cívica y Ciudadana - ICCS 2009 1.1 Antecedentes En 1971, la Asociación Internacional para la Evaluación del Logro Educativo (IEA, por sus siglas en inglés) realizó el Estudio de Cívica y Ciudadanía, el cual se convirtió en el primer proyecto orientado a investigar el papel de la escolaridad en la preparación de los jóvenes para desempeñar su rol como ciudadanos. La prueba se aplicó a jóvenes entre 10 y 14 años y a estudiantes de último grado de educación media. En total se evaluaron 30.000 alumnos mediante dos instrumentos, uno sobre conocimientos y otro sobre actitudes. Además se encuestaron 5.000 profesores y 1.300 directores y rectores. Estados Unidos, Finlandia, Irlanda, Israel, Italia, Nueva Zelanda, Países Bajos, República Federal de Alemania y Suecia participaron en el estudio. Esta investigación fue un reto inicial y permitió resolver algunas limitaciones conceptuales y metodológicas asociadas con las comparaciones internacionales en esta área de la educación. En esta evaluación, ningún estudiante de 14 años de los países participantes obtuvo buenos resultados en todos los factores valorados. Se presentaron diferencias sustanciales por género: mientras los niños lograron calificaciones más altas en conocimiento cívico y en participación en la discusión política, las niñas obtuvieron mejores resultados en apoyo a los valores democráticos. Por otro lado, se encontró que el énfasis en el aprendizaje memorístico y en el ritual patriótico en el aula tendía a relacionarse de manera negativa con el conocimiento cívico y las actitudes democráticas, mientras que la oportunidad de expresar una opinión en clase tenía un efecto positivo. El estatus socioeconómico de la familia y el tipo de escuela se controlaron estadísticamente en los análisis, y los predictores de éxito fueron similares en las nueve naciones (Torney–Purta, Lehmann, Oswald & Schulz, 2000). En 1995 se inició el segundo Estudio de Educación Cívica, conocido como CIVED. Este investigó las experiencias escolares en el contexto de los cambios que ocurrieron en la vida política y social desde 1971, los cuales incluyeron la crisis del socialismo soviético que contribuyó, especialmente en Europa oriental, al surgimiento de nuevas democracias liberales. Además, la revolución informática, las telecomunicaciones, la ciencia, la tecnología y la generación de conocimiento propiciaron modificaciones importantes en las formas de producción, el intercambio y el consumo de bienes y servicios, lo que facilitó la agilización de los flujos de bienes entre mercados y la estandarización del consumo, y dio paso a lo que actualmente se conoce como globalización. Lo anterior estuvo acompañado de transformaciones en la manera como los ciudadanos perciben y se relacionan con la vida pública y el surgimiento de

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

15

nuevos movimientos sociales interesados en la discusión de los problemas de la diversidad y la protección de las minorías políticas. En CIVED participaron cerca de 90.000 estudiantes de octavo grado de 28 naciones, incluida Colombia2. En 1999 se evaluaron temas relacionados con democracia, identidad nacional, cohesión y diversidad social. Adicionalmente, se aplicaron instrumentos para alumnos, docentes e instituciones educativas que permitieron recopilar información complementaria sobre habilidades, conceptos, actitudes y acciones. En la primera década del siglo XXI, el creciente impacto de la globalización y la modernización de las sociedades, las amenazas externas a la sociedad civil y a sus libertades, el notorio aumento de la importancia de los grupos no gubernamentales a través de los cuales la ciudadanía activa puede agruparse alrededor de propósitos comunes, además del interés y del compromiso limitados de las generaciones jóvenes en la vida pública y política, estimularon una nueva reflexión sobre los significados de la ciudadanía, así como sobre los roles y los métodos de la educación cívica y ciudadana (Schulz, Fraillon, Ainley, Losito & Kerr, 2008). Lo anterior motivó la realización de un nuevo estudio con el fin de recolectar evidencia empírica que pudiera utilizarse como herramienta para mejorar la política y la práctica en esta área de formación. De esta manera, el Estudio Internacional de Cívica y Ciudadanía (ICCS, por sus siglas en inglés) se inició en 2006 y fue liderado por la IEA, institución especializada en el desarrollo de evaluaciones e investigaciones en educación en el ámbito internacional. La IEA también tiene a cargo otros estudios, como el Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS), en el que Colombia participó en 1995 y 2007, y el Estudio Internacional del Progreso en Competencia Lectora (PIRLS), en el que el país participó en 2001 y prepara su aplicación en 2011. El ICCS fue conducido por un consorcio conformado por el Consejo Australiano para la Investigación Educativa (ACER), como institución líder, la Fundacional Nacional para la Investigación Educativa (NFER) del Reino Unido y el Laboratorio de Pedagogía Experimental de la Universidad Tre de Roma, Italia. Esta alianza trabajó en cooperación con la Secretaría de la IEA y el Centro de Procesamiento de Datos (DPC-IEA) de esta entidad. Además, cada país contó con una coordinación nacional encargada de la implementación del estudio y de contribuir al desarrollo del marco de la evaluación. Específicamente, se realizaron actividades como la traducción y adaptación de los instrumentos al contexto Los otros países participantes fueron: Alemania, Australia, Bélgica (francesa), Bulgaria, Chile, Chipre, Dinamarca, Eslovaquia, Estados Unidos, Eslovenia, Estonia, Finlandia, Grecia, Hong Kong, Hungría, Inglaterra, Italia, Letonia, Lituania, Noruega, Polonia, Portugal, República Checa, Rumania, Rusia, Suecia y Suiza.

2

16

INFORMES

nacional, la selección de la muestra, la aplicación de la prueba y la consolidación de las bases de datos. En Colombia, esta labor fue realizada por el Instituto Colombiano de Evaluación de la Educación (ICFES), encabezada por su Dirección General, y tuvo el respaldo del Ministerio de Educación Nacional (MEN). En la tabla 1.1 se resumen las principales actividades del ICCS. Tabla 1.1 Principales actividades del ICCS Año

Actividad

2006

Desarrollo del marco de la evaluación y elaboración de instrumentos preliminares.

2007

Realización del pilotaje de los instrumentos en los países participantes.

2008

Análisis de las pruebas piloto y aplicación definitiva en los países con calendario escolar correspondiente al hemisferio sur.

2009

Aplicación definitiva en los países con calendario escolar correspondiente al hemisferio norte e inicio del análisis de la información.

2010

Análisis de la información, elaboración de informes y divulgación de resultados.

Fuente: Schulz et al. (2008).

La realización del ICCS en Latinoamérica contó además con el apoyo del Sistema Regional de Evaluación y Desarrollo de Competencias Ciudadanas (SREDECC). Este es un proyecto financiado por el Banco Interamericano de Desarrollo (BID) y ejecutado por el Centro Regional para el Fomento del Libro en América Latina y el Caribe (CERLALC), con sede en Colombia. Esa institución, responsable de su ejecución y administración, facilita la integración entre los países y organismos participantes. Por intermedio del SREDECC, seis naciones latinoamericanas participaron en el ICCS: Chile, Colombia, Guatemala, México, Paraguay y República Dominicana. Asimismo, se desarrolló un módulo regional compuesto por una prueba y un cuestionario para estudiantes, en los que se valoraron algunos aspectos relacionados con temáticas de interés para la región. El propósito del SREDECC es la construcción de una ciudadanía democrática, mediante el fortalecimiento de la educación relacionada con este tema en Latinoamérica. Para ello, el SREDECC, considerado un bien público regional, contribuye a impulsar el desarrollo de políticas, programas y prácticas educativas apropiadas para la realidad de la región y sus países. Para cumplir sus objetivos, el SREDECC actuó en tres componentes: 1. Desarrollo del marco de referencia regional de competencias ciudadanas, en el cual se estableció un referente común sobre las características que debe tener un ciudadano en cada uno de los países participantes. Se elaboraron tres productos: • Referentes nacionales: información sobre las competencias ciudadanas, los contenidos y las metodologías de enseñanza de la educación ciudadana en los países participantes.

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

17

• Referente regional: documento que articuló la información obtenida en los referentes nacionales y que permitió tener un modelo para Latinoamérica en el que se incluyen las semejanzas y diferencias entre los países participantes y promover el intercambio de experiencias e información. • Foro regional: presentación y validación de los resultados del Sistema, con el fin de generar una amplia discusión entre expertos y conformar una red de conocimiento relacionada con la educación ciudadana. 2. Desarrollo de la evaluación de competencias ciudadanas y sus factores asociados. El objetivo de este componente fue participar como bloque regional en el ICCS. Para ello se revisaron los aspectos relacionados con la aplicación de la prueba internacional y se capacitaron los equipos técnicos encargados del procesamiento y del análisis de la información. Adicionalmente, en ICCS se incluyó un módulo regional basado en las competencias ciudadanas comunes y más relevantes para Latinoamérica. Su implementación en los países integrantes del SREDECC es la línea de base que les permitirá a estas naciones realizar nuevas evaluaciones y mejorar conjuntamente las políticas y prácticas de educación ciudadana. 3. Creación de un sistema regional de información sobre educación ciudadana, con el fin de desarrollar acciones concretas de decisores e instituciones asociadas al fomento de esta área; y promover la generación de conocimiento, la evaluación de competencias y la discusión pública sobre temas relacionados. Las actividades realizadas en este componente fueron: la evaluación de programas educativos de competencias ciudadanas en los países; la implementación de una herramienta virtual de almacenamiento y difusión de información asociada al SREDECC; y la divulgación de los resultados del proyecto a la sociedad civil, las universidades y los centros de investigación para incentivar el desarrollo de nuevos conocimientos y servicios en este ámbito.

1.2 Objetivo del ICCS El propósito del estudio fue investigar, en un conjunto de países, las maneras como los jóvenes se preparan y, en consecuencia, son capaces de asumir su rol como ciudadanos. Los datos recolectados sobre los contextos de los estudiantes, las instituciones educativas y las naciones contribuyeron a explicar las variaciones en los resultados. El ICCS se basó en las investigaciones previas realizadas por la IEA sobre la educación cívica y ciudadana y es una respuesta al desafío de formar a los jóvenes en los contextos cambiantes de la democracia y de la participación cívica3.

Los aspectos metodológicos y conceptuales del ICCS 2009 pueden consultarse en Schulz, Fraillon, Ainley, Losito y Kerr (2008), disponible en inglés en: http://iccs.acer.edu.au El documento en español puede encontrarse en: http:// www.icfes.gov.co/iccs/index.php/documentos.

3

18

INFORMES

Seis preguntas de investigación configuraron el diseño del estudio y su instrumentación y guiaron el desarrollo del marco de evaluación. Estas se relacionan con el logro de los estudiantes, su disposición para comportarse y sus actitudes en relación con la educación cívica y ciudadana. 1. ¿Qué variaciones existen entre los países y dentro de estos, en cuanto al logro de los estudiantes en las comprensiones y competencias conceptuales en cívica y ciudadanía? 2. ¿Qué cambios en el conocimiento y el compromiso cívicos han ocurrido desde la última evaluación internacional realizada en 1999? 3. ¿Cuál es el alcance del interés y la disposición de los adolescentes para comprometerse en la vida pública y política y qué factores dentro de los países y entre estos se relacionan con ellos? 4. ¿Cuáles son las percepciones de los adolescentes acerca del impacto de las recientes amenazas a la sociedad civil y de las respuestas a estas sobre el desarrollo futuro de esa sociedad? 5. ¿Qué aspectos de las escuelas y de los sistemas educativos se relacionan con el logro en cívica y ciudadanía y con las actitudes hacia ellas? Entre estos se incluyen: • El enfoque general de la educación cívica y ciudadana, el currículo y la estructura y transferencia del contenido de los programas. • Las prácticas de enseñanza, por ejemplo, aquellas que estimulan el pensamiento y el análisis de orden superior en relación con la cívica y la ciudadanía. • Los aspectos de la organización escolar, incluidas las oportunidades para contribuir a la solución de conflictos, así como participar en los procesos de dirección y de toma de decisiones. 6. ¿Qué aspectos de los antecedentes personales y sociales de los estudiantes (como sexo, situación socioeconómica y antecedentes lingüísticos) se relacionan con su logro en la educación cívica y ciudadana y sus actitudes hacia ella?

1.3 Marco de la evaluación Los instrumentos internacionales y regionales se desarrollaron según el marco de la evaluación. Este se sustentó en las investigaciones en el área, integró y recopiló las descripciones curriculares y de contenido desarrolladas por los países y tuvo en cuenta los contextos dentro de los cuales se imparte la educación cívica y ciudadana.

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

19

El marco de la evaluación se compone de dos partes: una de cívica y ciudadanía y una contextual. La primera contiene los aspectos relacionados con la medición de los resultados a través de la prueba cognitiva y del cuestionario de estudiantes; la segunda describe los factores que pueden influir en esos resultados, pues los jóvenes desarrollan sus ideas sobre su rol como ciudadanos mediante experiencias y actividades realizadas en contextos diversos como el hogar, la escuela y la comunidad. El diseño de la evaluación contempló tres dimensiones: contenidos (temas valorados en la prueba), afectiva-conductual (percepciones y actividades de los estudiantes) y cognitiva (procesos de pensamiento implícitos en la aplicación de los conocimientos).

1.3.1 Dominios de contenido En el marco del ICCS se definieron cuatro dominios que, en conjunto, describen el contenido cívico y ciudadano evaluado en la prueba. Estos, a su vez, se dividieron en subdominios. El primer dominio, sociedad civil y sistemas cívicos, comprende los mecanismos formales e informales, los sistemas y organizaciones que fundamentan los contratos cívicos que los ciudadanos deben establecer con sus sociedades, así como el funcionamiento de las mismas. El segundo, principios cívicos, tiene que ver con los fundamentos éticos compartidos de las sociedades civiles. Se consideran el apoyo, la protección y el fomento de tales principios como responsabilidades cívicas y motivaciones para la participación individual o grupal. El tercer dominio, participación cívica, se refiere a las acciones que los individuos realizan en sus comunidades. El cuarto, identidades cívicas, se asocia con las funciones cívicas que la persona cumple y sus percepciones frente a ellas. Se parte del supuesto de que las personas poseen múltiples identidades articuladas; esto significa que influyen en las relaciones que tienen con sus familiares, amigos y comunidades y viceversa. La tabla 1.2 resume la estructura general de la dimensión de contenido utilizada en el estudio.

20

INFORMES

Tabla 1.2 Estructura de la dimensión de contenido en el ICCS 2009 Dominio

Subdominio

Aspectos*

• Roles asignados y deseados por los ciudadanos y los grupos dentro de su sociedad cívica

Ciudadanos

• Derechos asignados y deseados por los ciudadanos y los grupos dentro de su sociedad cívica • Responsabilidades asignadas y deseadas por los ciudadanos y los grupos dentro de su sociedad cívica • Oportunidades y capacidad de los ciudadanos y de los grupos para apoyar el continuo desarrollo de su sociedad cívica • Poderes legislativos / parlamentos • Gobiernos • Cuerpos de autoridad supranacionales e intergubernamentales

Sociedad civil y sistemas cívicos

Instituciones estatales

• Poder judicial • Organismos de ejecución de las leyes • Fuerzas de defensa nacional • Burocracias (servicios civiles o públicos) • Comisiones electorales • Instituciones religiosas • Empresas y corporaciones • Sindicatos • Partidos políticos

Instituciones civiles

• Organizaciones no gubernamentales (ONG) • Grupos de presión • Medios de comunicación • Instituciones educativas • Organizaciones culturales y de intereses especiales

Equidad

• Su premisa fundamental es que todas las personas tienen derecho a un tratamiento justo. Es esencial fomentar la equidad y protegerla para lograr la paz, la armonía y la productividad. El principio de la equidad se deriva de la noción de igualdad, según la cual, desde su nacimiento, todas las personas son semejantes en términos de dignidad y derechos

Libertad

• Se enfoca en el siguiente principio: todas las personas, liberadas del temor y de la miseria, deben tener libertad de creencias y de expresión según lo establece la Declaración Universal de los Derechos Humanos (ONU, 1948, citada por Schulz et al., 2008)

Cohesión social

• Se centra en el sentido de pertenencia, la conexión y la visión común que existe entre las personas y las comunidades dentro de una sociedad. Si es fuerte, se valora la diversidad de los individuos y las comunidades. Las manifestaciones de cohesión social varían según el tipo de sociedad. Además, pueden ocurrir tensiones entre la cohesión y los múltiples puntos de vista y actuaciones; su solución es un motivo de debate continuo en muchas sociedades.

Principios cívicos

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

21

Dominio

Subdominio Toma de decisiones

Aspectos*

• Participación en la gobernanza de las organizaciones. • Votación. • Participación en debates públicos. • Participación en manifestaciones públicas de apoyo o de protesta. • Participación en el desarrollo de políticas.

Participación cívica

Influencia

• Desarrollo de propuestas de acción o apoyo. • Compra selectiva de productos de acuerdo con las creencias éticas sobre la manera como se produjeron (consumo ético o consumismo ético). • Corrupción.

Participación de la comunidad

• Voluntariado. • Participación en organizaciones religiosas, culturales y deportivas. • Mantenerse informado.

Autoimagen cívica

• Se refiere a las vivencias de las personas sobre el lugar que ocupan en sus comunidades cívicas. Se centra en el conocimiento de los valores y roles cívicos y ciudadanos, las actitudes hacia ellos, sus funciones y su manejo, ya sea en armonía o en conflicto con los demás.

Conectividad cívica

• Remite al sentido de conexión de la persona con sus comunidades cívicas y con los distintos roles que desempeña dentro de ellas. Incluye las opiniones y la tolerancia de las personas ante la diversidad (de ideas y acciones cívicas), así como la capacidad de reconocer y comprender los efectos de los valores cívicos y ciudadanos y de los sistemas de creencias de las comunidades sobre sus miembros.

Identidades cívicas

Fuente: Schulz et al. (2008). * Se refiere al contenido que, en gran parte, está dentro de un subdominio específico.

Los dominios y subdominios enunciados tuvieron diferente representatividad en la prueba en términos de la cantidad de preguntas relacionadas con cada uno de ellos. Sin embargo, los resultados de conocimiento cívico se reportaron a través de una única escala de calificación. Esto significa que no se presentaron datos desagregados para cada dominio.

1.3.2 Dominios afectivo-conductuales Esta dimensión también se divide en cuatro subdominios descritos en términos de percepciones y comportamientos de los alumnos relacionados con los dominios de contenido. Los ítems que los valoraron fueron incluidos en el cuestionario de los estudiantes, se estructuraron en escalas Likert y, por sus características, no tenían respuestas correctas o incorrectas. Los subdominios evaluados fueron:

22

INFORMES

• Las creencias sobre valores: convicciones sobre la importancia de conceptos, instituciones, personas e ideas fundamentales, como la libertad, la equidad y la cohesión social. Estas creencias ayudan a las personas a resolver las contradicciones y determinan el modo como se ven ellas mismas y cómo ven a los demás. Los sistemas de valores adoptados por los individuos influyen en sus actitudes y comportamientos. El ICCS midió las creencias de los estudiantes en valores democráticos y ciudadanos. • Las actitudes: estados de ánimo o sentimientos sobre ideas, personas, objetos, acontecimientos, situaciones y relaciones. A diferencia de las creencias, están menos arraigadas y pueden cambiar a lo largo del tiempo. En el ICCS se evaluó la autocognición de los estudiantes relativa a la cívica y a la ciudadanía, así como sus actitudes hacia las instituciones, los derechos y los deberes de los grupos inmersos en la sociedad. • Las intenciones del comportamiento: expectativas de los estudiantes en el futuro cercano o cuando sean adultos sobre sus acciones cívicas para participar en protestas, así como en actividades políticas y ciudadanas. • El comportamiento cívico actual: acerca de la participación presente o pasada en actividades cívicas en la comunidad y en la institución educativa, como grupos de derechos humanos, asociaciones religiosas, clubes juveniles, consejos o gobiernos escolares, etc.

1.3.3 Dominios cognitivos La evaluación abarcó dos procesos cognitivos que los estudiantes debían demostrar en la prueba: • Conocer: se refiere a los tipos de información cívica y ciudadana sobre los que los estudiantes debían demostrar su conocimiento. Dentro de estos se destacan procesos como definir, describir e ilustrar con ejemplos. • Razonar y analizar: especifica los procesos cognitivos que los estudiantes requieren para llegar a conclusiones. Son más amplios que los de cualquier segmento del conocimiento, pues involucran la interpretación de información, el establecimiento de relaciones, la justificación, la integración, la generalización, la evaluación, la resolución de problemas, el planteamiento de hipótesis, además del entendimiento de la motivación y del cambio cívico. En la tabla 1.3 se presenta el número de ítems incluidos en la evaluación según los diferentes dominios.

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

23

Tabla 1.3 Cubrimiento de los dominios de contenido, cognitivos y afectivo-conductuales en el ICCS 2009

Dominios de contenido

Dominio Sociedad y Principios Participación Identidades Total sistemas cívicos cívicos cívica cívicas Cognitivo Saber

15

3

1

0

19

Analizar y razonar

17

22

17

5

61

Total

32 25 18 5 80

Afectivo-conductual Creencias sobre valores

12

12

0

0

24

Actitudes

12

18

18

14

62

Intenciones de comportamiento





21



21

Comportamiento





14



14

Total

24 30 53 14 121

Fuente: Schulz et al. (2010).

En el marco contextual del ICCS se reconoció que el conocimiento, las competencias, disposiciones y creencias de los jóvenes tienen la influencia de variables que pueden situarse en diversos niveles de una estructura multinivel. Esto quiere decir que los adolescentes desarrollan su comprensión sobre sus roles como ciudadanos a través de actividades y experiencias que ocurren en los entornos del hogar, de la institución educativa, del aula y de la comunidad en general. En la tabla 1.4 se consignan los niveles de contexto considerados en el estudio. Tabla 1.4 Descripción de los factores contextuales establecidos en el ICCS Contexto

Descripción

Comunidad

Se refiere al contexto más amplio dentro del cual funcionan los entornos de las instituciones educativas y los hogares. Los factores se pueden encontrar en los niveles local, regional y nacional.

Instituciones educativas y aulas

Comprenden factores relacionados con la educación que los estudiantes reciben, la cultura escolar y el entorno general de la institución educativa.

Ambientes del hogar

Compuestos por factores relacionados con los antecedentes del hogar y el ambiente social de los estudiantes fuera de la escuela (por ejemplo, actividades en grupos de pares).

Individuo

Incluye las características particulares del estudiante, como edad, sexo y desempeños esperados.

Fuente: Schulz et al. (2010).

En el informe sobre factores asociados a los resultados nacionales en el ICCS se profundizarán los aspectos teóricos y metodológicos de las influencias del contexto, además de la forma

24

INFORMES

como la interrelación de los estudiantes con diversos entornos determina los resultados en términos de los conocimientos cívicos y sus percepciones, creencias y valores sobre la cívica y la ciudadanía.

1.4 Poblaciones y muestras La población que participó en el estudio estuvo integrada por estudiantes de octavo grado que tenían 14 años de edad en promedio4. Esta característica es similar a la muestra de CIVED 1999, lo que facilitó las comparaciones entre ambos estudios. En cada institución educativa participante se seleccionó un curso completo de ese grado y se evaluaron todos sus alumnos5. A su vez, la población de docentes correspondió a todos los que enseñaban áreas o asignaturas en octavo grado en cada uno de los colegios seleccionados6. Además, sus rectores respondieron un cuestionario. La participación mínima por país fue de 150 planteles y alrededor de 3.500 estudiantes. Los establecimientos, cursos y docentes se eligieron a través de un muestreo aleatorio estratificado supervisado directamente por el consorcio coordinador del ICCS, con el fin de asegurar la representatividad nacional y la rigurosidad de la selección. Una vez finalizados los operativos de aplicación de los instrumentos y de procesamiento de la información, se exigió una participación del 85% de las instituciones educativas y los estudiantes incluidos en la muestra, para que los resultados del país se consideraran representativos. En Colombia, la muestra la conformaron196 instituciones educativas distribuidas en todo el territorio nacional, pertenecientes a los sectores oficial y privado, así como a las zonas urbana y rural. En total fueron 6.204 estudiantes, 2.010 docentes y 196 rectores. En el ICCS 2009 participaron 38 países7: cinco de Asia, 26 de Europa, seis de Latinoamérica y uno de Oceanía. La figura 1.1 muestra la lista y la ubicación de las naciones participantes en el estudio.

Cuando en un país el promedio de edad en octavo grado fue inferior a 13,5 años se evaluaron estudiantes de noveno grado. En Colombia, la muestra estuvo compuesta por alumnos de octavo con una edad promedio de 14,4 años.

4

Debido al diseño de la muestra, los niveles de escuela y de aula no se pueden separar. Esto significa que los análisis de factores asociados tomarán estos dos niveles de manera conjunta.

5

En los colegios que tenían 20 profesores o menos que enseñaban en el grado objetivo, todos fueron invitados a participar. En los que tenían 21 o más, se sacó una muestra aleatoria de 15 maestros.

6

Algunos participantes en el ICCS 2009 son sistemas educativos dentro de los países. Sin embargo, y de forma similar a los informes internacionales, se utiliza el término “país” para referirse tanto a las naciones como a los sistemas que desarrollaron el estudio.

7

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

25

Figura 1.1 Países participantes en el ICCS 2009

Austria

España

Letonia

Polonia

Bélgica (flamenca)

Estonia

Liechtenstein

República Checa

Bulgaria

Finlandia

Lituania

República Dominicana

Chile

Grecia

Luxemburgo

Rusia

Chipre

Guatemala

Malta

Suecia

Colombia

Hong Kong*

México

Suiza

Corea

Indonesia

Noruega

Tailandia

Dinamarca

Inglaterra

Nueva Zelanda

Taipéi

Eslovenia

Irlanda

Países Bajos*

Eslovaquia

Italia

Paraguay

* Estos países no obtuvieron puntajes válidos debido a que no cumplieron los requerimientos del muestreo. Fuente: Schulz et al. (2010).

1.5 Instrumentos de evaluación La recolección de la información del ICCS 2009 sobre conocimientos, actitudes y contextos se realizó con varios instrumentos. Debido a las características del estudio, los primeros se evaluaron a través de una prueba cognitiva y las segundas mediante un cuestionario diligenciado por los estudiantes. La información de contexto se recopiló de los cuestionarios de los alumnos, los docentes y las instituciones educativas, así como de encuestas sobre los contextos nacionales diligenciadas por los coordinadores del estudio en cada país, con el apoyo de expertos.

26

INFORMES

El instrumento de evaluación de los alumnos tenía dos partes: un instrumento internacional que incluyó la prueba cognitiva y el cuestionario del estudiante y un módulo regional que incluye una prueba y un cuestionario. En el ICCS 2009 se aplicaron tres módulos regionales a los países de Asia, Europa y Latinoamérica8. El módulo regional para América Latina se elaboró con la asesoría de especialistas de la IEA y estuvo a cargo de dos equipos de expertos conformados por representantes de cada uno de los seis países: uno se enfocó en el diseño conceptual de la prueba y el otro en la formulación de los ítems. El módulo incluyó los conocimientos, actitudes y habilidades que se consideran necesarios para un ejercicio competente de la ciudadanía y que responden al contexto específico latinoamericano. Debido a la preocupación por los altos niveles de violencia en el continente americano, el módulo hizo énfasis en la evaluación de conocimientos, actitudes y competencias relacionados con la convivencia pacífica. Como consecuencia, incluyó varias preguntas sobre comportamientos agresivos, actitudes frente a la violencia y competencias ciudadanas como la empatía (capacidad para ponerse en el lugar del otro, como sentirse mal al ver el sufrimiento de las personas). Varios estudios muestran que esta competencia emocional es fundamental para motivar a los individuos a actuar a favor de los demás y evitar acciones que les hagan daño. El componente latinoamericano también evaluó actitudes y percepciones frente a grupos minoritarios. Esta dimensión es especialmente importante en nuestro continente debido a la gran diversidad cultural y étnica de la mayoría de los países de la región. También se incluyeron preguntas sobre corrupción, clientelismo, autoritarismo, populismo, dictaduras, incumplimiento de la ley e identidad latinoamericana. Finalmente, se incluyeron preguntas sobre el clima escolar y la frecuencia de actividades y discusiones en clases sobre temas relacionados con convivencia, diversidad, participación y democracia. Estas dan información sobre el contexto en el que se pretende formar en ciudadanía en la región y pueden contribuir a la reflexión sobre lo que pasa dentro de las instituciones educativas, el tipo de relaciones que se construyen y las opciones reales de participación ofrecidas a los estudiantes y a los demás integrantes de la comunidad educativa. En la tabla 1.5 se resumen los instrumentos de evaluación utilizados en el estudio.

Los instrumentos correspondientes a los módulos regionales fueron administrados después de la aplicación de los dos instrumentos internacionales.

8

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

27

Tabla 1.5 Instrumentos de evaluación del ICCS 2009 Instrumento

Descripción

Duración

Contenía ítems que evaluaron el conocimiento cívico y la habilidad de los estudiantes para analizar y razonar. Prueba cognitiva internacional

Estuvo conformada por 80 ítems agrupados en siete subconjuntos que se rotaron entre igual número de cuadernillos de prueba. Cada estudiante respondió un cuadernillo que contenía tres bloques de ítems.

45 minutos

Se utilizó un conjunto de 17 ítems no publicados de la prueba aplicada en CIVED, con el fin de calcular las medidas de tendencias para aquellos países participantes en ambos estudios.

Cuestionario internacional del estudiante

Módulo latinoamericano

Comprendía aspectos relacionados con los antecedentes de los estudiantes e ítems que permitían establecer los índices sobre creencias, actitudes, comportamientos e intenciones. Evaluó varios componentes medidos en CIVED a través del uso de conjuntos de ítems idénticos o similares. No obstante, ambos cuestionarios no son estrictamente comparables. Contenía una prueba y un cuestionario complementarios a los internacionales. Incluyó información sobre conocimientos, actitudes y habilidades que se consideran necesarias para el ejercicio competente de la ciudadanía en Latinoamérica.

40 minutos

30 minutos

Este instrumento se desarrolló según los lineamientos metodológicos del marco de evaluación del ICCS. Este instrumento fue administrado a docentes de las instituciones seleccionadas que enseñaban cualquier área o asignatura en octavo grado.

Cuestionario para docentes

Recogió información relativa a variables de antecedentes y percepciones de los profesores sobre factores relacionados con el contexto de la educación cívica y ciudadana en sus respectivas instituciones.

30 minutos

Una sección del cuestionario indagó por aspectos específicos para docentes del área más asociada a la formación cívica y ciudadana. En Colombia, ésta se relacionó con ciencias sociales, aunque algunas instituciones informaron tener asignaturas específicas en el tema. Cuestionario para rectores

Encuesta sobre contextos nacionales

Fuente: Schulz et al. (2008).

28

Fue administrado a los rectores de las instituciones educativas seleccionadas con el fin de capturar las características y variables escolares asociadas a la participación cívica y ciudadana, específicamente en aspectos relacionados con el ambiente escolar. Los coordinadores nacionales del ICCS y los expertos de cada país suministraron información relativa a la estructura de los sistemas educativos, el estatus de la educación cívica y ciudadana en los currículos, la formación de los docentes, las metodologías de enseñanza, entre otros. La información obtenida contribuyó a la interpretación de los resultados de los cuestionarios de los estudiantes, los rectores y los docentes, y proporcionó una descripción del contexto de la educación cívica y ciudadana en cada país. En Colombia ésta fue diligenciada por el Ministerio de Educación Nacional con el apoyo del ICFES.

30 minutos

INFORMES

Los instrumentos del ICCS incluyeron diferentes tipos de ítems con el fin de evaluar diversos aspectos cognitivos, afectivo-conductuales y contextuales. La prueba cognitiva contenía dos tipos de ítems: • Selección múltiple (SM): cada ítem contenía cuatro opciones de respuesta; una era la correcta y las demás eran distractores. • Respuesta abierta (RA): se solicitó la escritura de una respuesta corta a una pregunta abierta. Las respuestas fueron calificadas por expertos de los centros nacionales. Seis de los 80 ítems de la prueba del ICCS fueron de este tipo. Por su parte, los cuestionarios de los estudiantes, docentes e instituciones educativas incluyeron las siguientes clases de ítems: • Tipo Likert: en cada ítem se les pidió a los encuestados clasificar un número de afirmaciones, por lo general, sobre una escala de cuatro puntos. Para la mayoría, esta iba desde 1 (completamente de acuerdo) hasta 4 (completamente en desacuerdo). En otras preguntas, las escalas indicaban frecuencias (nunca, raras veces, algunas veces, frecuentemente) o niveles de interés, confianza o importancia. • De respuesta múltiple: los encuestados debían indicar los tres aspectos que consideraban los más importantes. • De respuesta categórica: los encuestados debían seleccionar, entre dos o más categorías de respuesta, aquella que consideraran la más adecuada. Estas preguntas se utilizaron principalmente para recolectar información de contexto, por ejemplo, sexo, nivel educativo de los padres, número de libros en el hogar, áreas o asignaturas enseñadas en la institución educativa y tipo de administración del plantel (oficial o privada). • De respuesta abierta: se les solicitó a los encuestados escribir respuestas cortas que fueron codificadas por los centros nacionales. Estos ítems solo se utilizaron para recolectar información sobre la ocupación de los padres de los estudiantes.

1.6 ¿Por qué Colombia participó en el ICCS? Pese a los avances de las últimas décadas y a los grandes esfuerzos realizados para buscar soluciones a las dificultades sociales y de violencia, corrupción, inequidad, discriminación, violación de derechos humanos y consolidación de la democracia, estos siguen siendo problemas serios (Krug et al., 2002) que están al orden del día en todos los países, incluido Colombia.

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

29

Por tanto, la educación cívica y ciudadana se convierte en una oportunidad fundamental para generar una transformación en la manera como los niños y jóvenes pueden relacionarse de manera pacífica y constructiva con los demás, participar activa y democráticamente en la sociedad, respetar la diversidad, reconocer y valorar las diferencias, promover el respeto a los derechos humanos y ejercer la ciudadanía de forma constructiva (Chaux, Lleras & Velásquez, 2004; Ruiz-Silva & Chaux, 2005). En este contexto, si bien la educación no puede ni debe asumir todo el peso de esas transformaciones, sí está en capacidad de hacer un aporte fundamental, especialmente si contribuye a formar ciudadanos comprometidos con las prácticas democráticas; más respetuosos de la diversidad y de los derechos de los demás; y con el conocimiento, la disposición y las habilidades necesarios para relacionarse pacíficamente con otros y buscar transformaciones sociales por medios democráticos (Chaux & Mejía, 2009). Con este propósito, el país ha recorrido un camino, y los estándares básicos de competencias ciudadanas establecidos por el Ministerio de Educación Nacional han aportado a esta búsqueda que, sin duda, se constituye en un desafío inaplazable que involucra a distintos sectores de la población (MEN, 2006). Por tanto, haber participado en el ICCS 2009 permite establecer de manera muy precisa cómo está Colombia en términos de conocimientos y actitudes hacia la cívica y la ciudadanía en relación con los países de otros continentes y con las naciones latinoamericanas. Además, este estudio sirve para identificar qué tanto se ha avanzado respecto a los resultados de CIVED, y, de este modo, definir metas para los próximos años. Adicionalmente, la evaluación es un elemento fundamental en el diseño e implementación de las políticas educativas porque permite monitorear los avances del país, de las entidades territoriales y de los establecimientos educativos en cuanto a los aprendizajes de los estudiantes de determinados grados, ciclos o niveles, a través de la aplicación periódica de pruebas comparables. También favorece la identificación de fortalezas y debilidades y da las bases para la formulación de acciones concretas de mejoramiento. La información de las evaluaciones propicia la valoración de la gestión de las distintas instancias del sector que tienen a cargo la administración de la educación. La participación en estudios internacionales complementa las evaluaciones realizadas en el país y permite valorar y comparar los aprendizajes y habilidades de los estudiantes colombianos con los de otras naciones de niveles de desarrollo económico y social distintos. Algunas ventajas de la realización de estas investigaciones en el país son:

30

INFORMES

• Los aprendizajes, conocimientos y competencias de los estudiantes se valoran según criterios comunes, lo cual permite que los resultados sean comparables entre países y en el tiempo9. • El carácter periódico de estos estudios facilita la detección de tendencias en los resultados de los estudiantes mediante la comparación en diversos momentos. Así, es factible saber si los resultados mejoraron, disminuyeron o permanecieron constantes en un determinado lapso y cuáles son los factores que podrían explicar las variaciones. • La información generada también permite que cada país compare sus resultados con varios grupos de referencia, por ejemplo, por sector (oficial y privado), zona (urbana y rural), género y nivel socioeconómico. Estos análisis ponen en evidencia aspectos relativos a la equidad en la distribución de esos resultados y contribuyen al establecimiento de estrategias o programas diferenciados y pertinentes para diversas poblaciones. • La información derivada de estos estudios proporciona elementos para establecer relaciones entre los resultados de los estudiantes y las características de los sistemas educativos nacionales, así como entre estos y las diversas variables escolares y extraescolares que los afectan. Estos hallazgos son fundamentales para identificar aquellos contextos en los cuales los estudiantes aprenden mejor y, de esta forma, orientar la definición o el ajuste en las políticas educativas. • Las prácticas pedagógicas reportadas por los directivos, docentes y estudiantes pueden analizarse. También es posible establecer relaciones entre estas y los aprendizajes. Lo anterior permite orientar el diseño y ejecución de políticas de formación y desarrollo profesional de los educadores. • El sistema nacional de evaluación se fortalece con la elaboración de marcos de referencia y especificaciones más sólidas, el diseño de nuevos instrumentos, el desarrollo de procedimientos de aplicación de las pruebas y de análisis de información y resultados, además de la divulgación de estos últimos a diversas audiencias.

9

Es necesario aclarar que cada estudio internacional tiene propósitos específicos, por lo que sus características y resultados que genera corresponden a las particularidades de lo que se pretende evaluar. De manera general, y como se verá a lo largo de este documento, el ICCS 2009 valoró las formas como los estudiantes de 14 años se preparan y adoptan sus roles como ciudadanos. De otra parte, el TIMSS (Estudio Internacional de Tendencias en Matemáticas y Ciencias) exploró lo que los alumnos de educación básica saben y PISA (Programa Internacional de Evaluación de Estudiantes) midió lo que los jóvenes de 15 años (edad que corresponde a la finalización de la educación básica en la mayoría de países) pueden hacer con los conocimientos adquiridos en su proceso educativo formal. Mayor información sobre las características de los estudios internacionales en los que Colombia participa puede encontrarse en el siguiente documento: ICFES (2008). Comparación entre TIMSS, PISA, ICCS y SERCE. Bogotá, Colombia: ICFES. Disponible en: http://hydra.icfes.gov.co/timss/docs/Resultados2007_TablaComparativa.pdf.

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

31

1.7 Aspectos metodológicos y orientaciones para interpretar los resultados del ICCS 2009 En esta sección se desarrollan los elementos explicativos básicos de los tipos de resultados producidos por el ICCS 2009 que serán analizados en este informe, así como las interpretaciones y comparaciones que pueden realizarse a partir de ellos. El propósito es favorecer una lectura adecuada de los datos, de manera que no se formulen conclusiones erróneas. Los tres tipos de resultados analizados en este documento son: puntajes promedio; niveles de desempeño; y los índices de creencias, actitudes, intenciones de comportamiento y comportamientos.

1.7.1 Puntajes promedio en la escala de conocimiento cívico A partir de las respuestas de los estudiantes a los ítems de la prueba cognitiva se construyó la escala de conocimiento cívico. Con base en los puntajes de cada alumno se calcularon los promedios nacionales. Los puntajes se estimaron mediante técnicas psicométricas. Estos resultados se presentan en una escala que tiene un promedio internacional (promedio ICCS) de 500 puntos y una desviación estándar de 100. Con estos parámetros se hicieron comparaciones sobre el desempeño de los países y de diferentes grupos de referencia en la prueba de conocimientos cívicos. Los puntajes promedio obtenidos en el ICCS se asocian a una medida de variabilidad de la estimación debido a que la población del estudio (instituciones educativas, estudiantes, docentes y rectores) proviene de una muestra representativa del país. Esta medida se denomina error estándar y permite establecer cuándo los resultados deben leerse con precaución debido a que tienen una incertidumbre alta. Se recomienda revisar conjuntamente el promedio y el error estándar para sacar conclusiones acertadas sobre la información reportada10. Los puntajes promedio y sus intervalos de confianza del 95% se reportan de manera gráfica. Esto permite hacer una lectura conjunta del promedio y su error estándar, tal como se ilustra en la figura 1.2. Figura 1.2 Representación de los puntajes promedio y los errores estándar

+1,96 (ee)

Puntaje promedio –1,96 (ee)

(ee) Error estándar

En este informe los puntajes promedio de la escala de conocimiento que tienen un error estándar mayor que 20 deben interpretarse con precaución, debido a que las estimaciones tienen una baja confiabilidad.

10

32

INFORMES

1.7.2 Niveles de desempeño Para complementar la información generada por los puntajes promedio y comprender mejor lo que saben y saben hacer los estudiantes frente al conocimiento cívico y ciudadano, el ICCS estableció tres puntos de corte en la escala de resultados, los cuales se usaron como referencia para describir los desempeños. Estos puntos representan los rangos de desempeños, se refieren a los tipos de preguntas que los alumnos contestaron correctamente y son11: • Nivel 1: entre 396 y 479 puntos. • Nivel 2: entre 479 y 563 puntos. • Nivel 3: 563 puntos o más. Los niveles de desempeño son acumulativos: un estudiante ubicado en el nivel 3 puede resolver correctamente preguntas de este y de los niveles precedentes (1 y 2). Los resultados según niveles de desempeño se presentan en porcentajes de alumnos que respondieron correctamente los ítems asociados a ellos. Así es posible comparar los porcentajes de estudiantes colombianos en cada nivel con los de los demás países participantes en el estudio. Para contribuir a la precisión de la lectura de los resultados, al igual que del promedio, el porcentaje de estudiantes en cada nivel de desempeño tiene asociado un error estándar de estimación12.

1.7.3 Índices de actitudes cívicas y ciudadanas En los cuestionarios aplicados a estudiantes, docentes y rectores se indagó sobre las creencias, actitudes, intenciones de conducta y comportamientos frente a temas relacionados con la cívica y la ciudadanía. Como se mencionó, la mayoría de preguntas empleadas fueron de tipo Likert, lo que permitió la construcción de índices sobre los temas indagados en esos instrumentos. Los índices son variables continuas que permiten describir de manera sintética las opiniones de los estudiantes, docentes y rectores. Estas se construyeron según el modelo de Rasch y se estandarizaron a variables con una media de 50 y una desviación estándar de 10. Los análisis de las actitudes se hicieron a partir de promedios estimados con base en estas escalas. Para una correcta lectura de estas estimaciones se presenta el error estándar y el

Aunque el ICCS no definió un nivel específico para describir lo que saben y saben hacer los estudiantes, en este informe se creó una categoría adicional denominada “por debajo del nivel 1”. En esta se ubicaron los alumnos que obtuvieron menos de 396 puntos.

11

En este informe se considera que en los niveles de desempeño un error estándar superior al 5% debe interpretarse con precaución debido a que las estimaciones son poco confiables.

12

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

33

cálculo de la significancia de las diferencias entre los puntajes promedio de los distintos grupos de comparación. Por otra parte, en el país, los resultados en las escalas de conocimiento cívico y los índices de creencias, actitudes, intenciones de comportamiento y comportamientos fueron desagregados por género, tipo de establecimiento13 y nivel socioeconómico. Esta última variable se construyó a partir de la información del cuestionario de estudiantes. Adicionalmente, el porcentaje de respuestas de los estudiantes a las preguntas que componen los índices y su respectivo resultado en la escala de conocimiento cívico, se presentan con el propósito de aproximar la relación que puede existir entre las creencias, las actitudes, las intenciones y los comportamientos con el conocimiento cívico. Finalmente, con el fin de comparar los resultados nacionales en estos índices se eligió un subconjunto de países participantes en el ICCS a partir de una metodología que se describe en el apartado 1.7.5 de este informe.

1.7.4 Cálculo del nivel socioeconómico (NSE) Con la información recolectada en los cuestionarios diligenciados por los estudiantes se construyó una variable que refleja las características del estatus socioeconómico de los hogares de los alumnos. Las variables seleccionadas para elaborar este índice fueron: • Nivel educativo de la madre • Nivel educativo del padre • Estatus ocupacional de la madre • Estatus ocupacional del padre • Cantidad de libros en el hogar El cálculo del índice socioeconómico se efectuó mediante el análisis de correspondencias múltiples (ACM)14. Este método de reducción de información trabaja sobre variables categóricas y, al igual que el análisis en componentes principales, su objetivo es disminuir la dimensión necesaria para representar la información de manera adecuada. Corresponde a la interacción entre el tipo de administración del establecimiento educativo (sector) y la zona en la que está ubicado. Se establecieron tres grupos de comparación: oficial urbano (instituciones oficiales localizadas en áreas urbanas y semiurbanas), oficial rural y no oficial (planteles privados en ambas zonas). Los últimos no fueron desagregados por zona debido a que muy pocos se encuentran en áreas rurales. Además, por lo general, atienden estudiantes de estratos socioeconómicos altos que residen en ciudades. Por ello, no son estrictamente comparables con las instituciones oficiales rurales.

13

Para una revisión más detallada del ACM se puede consultar Lebart, Morineau y Piron (1995).

14

34

INFORMES

La utilidad del ACM en este estudio en particular radica en que permite representar las asociaciones entre las categorías de las distintas variables y estimar el puntaje que cada una debe tener al mostrarla en un espacio de menor dimensión. A continuación se enuncian las categorías consideradas para las variables usadas en la construcción del índice. • Nivel educativo del padre y de la madre En el cuestionario se indagó por el último nivel educativo alcanzado por cada uno de los padres. Las opciones de respuesta fueron: • Posgrado • Universitario • Técnico o tecnológico • Educación media (décimo y undécimo grados) • Educación básica secundaria (sexto a noveno grados) • Educación básica primaria (primero a quinto grados) • No terminó la educación básica primaria (primero a quinto grados)

• Estatus ocupacional del padre y de la madre El estatus ocupacional de los padres se indagó mediante una pregunta abierta en la que se pedía enunciar la actividad principal de cada uno de los progenitores. Las respuestas fueron recodificadas según la escala ISCO (International Standard Classification of Occupations). Así se obtuvieron variables con valores entre 16 y 90, los cuales indican una agrupación particular de actividades que mejoran progresivamente a medida en que el padre o la madre obtienen valores mayores en esta recodificación.

• Cantidad de libros en el hogar En el cuestionario se indagó por el número aproximado de libros que se encuentran en casa. Las opciones de respuesta fueron: • 0–10 libros • 11–25 libros • 26–100 libros • 101–200 libros • 201–500 libros • Más de 500 libros

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

35

Finalmente, con estas variables y con el uso del ACM, se derivó un índice con media 0 (cero) y con valores entre -1,36 y 2,25. Para analizar sintéticamente el nivel socioeconómico se construyó una variable categórica a partir de los percentiles 33% y 66%. De esta manera se generaron tres categorías: • NSE 1: para valores del índice entre -1,36 y -0,35 • NSE 2: valores del índice entre -0,35 y 0,31 • NSE 3: valores del índice entre 0,31 y 2,25 Las distribuciones de los estudiantes por niveles socioeconómicos según las variables consideradas se presentan en el anexo 1, tablas A1.1 a A1.6.

1.7.5 Países seleccionados para la comparación en las escalas de actitudes Para comparar los resultados en los índices de actitudes se definieron grupos de países con características particulares que brindaran diferentes miradas sobre las actitudes de los estudiantes colombianos frente a temas relacionados con la cívica y la ciudadanía. Los grupos de referencia usados para la comparación fueron: • Países latinoamericanos: se consideraron las cinco naciones de la región que, además de Colombia, participaron en el estudio: Chile, Guatemala, México, Paraguay y República Dominicana. • Países con características similares: se eligieron a partir de las estadísticas del Banco Mundial y del Programa de las Naciones Unidas para el Desarrollo (PNUD) sobre los países participantes en el ICCS 2009 (véase anexo 1, tabla A1.7). Las variables consideradas fueron: o

Clasificación según ingreso realizada por el Banco Mundial.

o

Ingreso per cápita (miles de dólares (USD) 2007, PPA).

o

Tasa de crecimiento del PIB (promedio anual para el periodo 1990–2007).

o

Población.

o

Índice de desarrollo humano (IDH).

Para la selección de estos países se usó un método de clasificación jerárquica que considera la distancia euclidiana, la cual se calcula a partir de las diferencias entre las variables estandarizadas. Así, se definen como grupos similares aquellos en que se potencia más la varianza entre ellos. A partir de la información arrojada por este análisis se seleccionaron los países similares a Colombia: Bulgaria, Eslovaquia, Indonesia, Lituania, Polonia, Rusia y Tailandia.

36

INFORMES

• Países con mejores desempeños: aquellos con los puntajes más altos en la escala de conocimientos cívicos (Dinamarca, Finlandia y Corea). • Otros países: en esta categoría se seleccionaron España y Eslovenia. El primero por ser el referente europeo más próximo a Latinoamérica y compartir rasgos culturales e idiomáticos con los países de la región; el segundo, por ser la única nación que presentó un incremento en el desempeño en la escala de conocimientos entre CIVED 1999 e ICCS 2009.

1.7.6 Advertencias sobre las posibilidades y limitaciones de las interpretaciones de los resultados Es importante tener en cuenta algunos aspectos relativos a la lectura e interpretación de los resultados del ICCS 2009, con el fin de no sacar conclusiones imprecisas o erróneas: • Cuando se dice que un país tiene un promedio superior al de otro, la diferencia entre ambos es estadísticamente significativa. Esto quiere decir que se considera un margen de error del 5% y se usan técnicas estadísticas adecuadas que permiten afirmar que es poco probable que las diferencias entre ambos grupos de comparación sean producto del azar. Por consiguiente, se asume que los desempeños identifican poblaciones distintas. • La elaboración de rankings de los países según sus promedios es relativamente común y se utiliza para sustentar conclusiones acerca de sus desempeños en diferentes pruebas de conocimiento. Es necesario tener mucho cuidado con esto, puesto que los ordenamientos de naciones no consideran las distancias entre sus promedios, las cuales pueden ser muy pequeñas o muy grandes. Cuando son inferiores al margen de error o incertidumbre que se maneja en cada estudio, no se puede afirmar que los resultados de un país con un promedio más alto sean mejores que los de otro con uno ligeramente inferior. Asimismo, los resultados están relacionados con factores del entorno familiar y social de los estudiantes, del contexto escolar y de las dinámicas de las aulas de clases.

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

37

2. Resultados de Colombia en ICCS 2009 2.1 Conocimiento cívico 2.1.1 Puntajes promedio La educación cívica y ciudadana es fundamental para cualquier país. El desarrollo de capacidades para conocer y ejercer apropiadamente los derechos y deberes, participar activamente y de manera informada en los diferentes ámbitos e instituciones cívicas, reconocer y respetar las diferencias, superar la exclusión, resolver los conflictos de manera pacífica, entre otros, propicia la consolidación social. En este sentido, y con el fin de dar herramientas concretas para que todos los establecimientos educativos definan y ejecuten estrategias concretas de formación en este campo, el Ministerio de Educación Nacional estableció estándares básicos de competencias ciudadanas. Estos parten de la premisa de que la principal característica de los seres humanos es vivir en sociedad y, por ello, “el desarrollo de las competencias para relacionarse con otras personas y participar activamente en la construcción social como actores políticos es muy importante” (MEN, 2006, p. 149). De acuerdo con estos estándares, las grandes metas de la formación ciudadana en la educación básica y media son: fomentar el desarrollo de conocimientos ciudadanos, de competencias comunicativas, competencias cognitivas, competencias emocionales, competencias integradoras; aportar a la construcción de la convivencia y la paz; y promover el desarrollo moral, la participación y la responsabilidad democrática, la pluralidad, la identidad y la valoración de las diferencias humanas. Como ya se indicó, en ICCS 2009 se evaluaron conocimientos, actitudes, valores y percepciones cívicas y ciudadanas de estudiantes de 14 años. El conocimiento cívico se midió a través de una prueba cognitiva y los resultados se presentan en una única escala de calificación cuyo promedio internacional se fijó en 500 puntos y la desviación estándar en 100 puntos15. En el gráfico 2.1 se presentan los puntajes promedio obtenidos por los países en la escala de conocimiento cívico16; además, se indica si el resultado de cada país fue El cálculo de los puntajes promedio se realizó a partir de un modelo de la Teoría de Respuesta al Ítem (TRI) de dos parámetros y la metodología de valores plausibles (Von Davier, González, & Mislevy, 2009). De esta manera, se realizan estimaciones de la habilidad de cada estudiante evaluado mediante un procedimiento complejo que tiene en cuenta sus respuestas en la prueba, además de la información de contexto.

15

Solo se presentan resultados para 36 países, debido a que Hong Kong y Países Bajos no cumplieron los requisitos mínimos de muestreo establecidos y, por esta razón, sus resultados no son comparables con los obtenidos por los demás.

16

38

INFORMES

equivalente o significativamente diferente del promedio ICCS. Dado que las muestras de cada país son independientes entre sí, se puede afirmar que existen diferencias significativas entre los puntajes de dos países si sus intervalos de confianza, que se representan con la línea continua, no se traslapan. En caso contrario, no se pueden formular conclusiones al respecto17. Colombia obtuvo 462 puntos y una desviación de 80,9, 38 puntos por debajo del promedio ICCS, los cuales son equivalentes a 0,38 desviaciones estándar. Este resultado es similar al obtenido por Bulgaria. El rendimiento de los estudiantes colombianos es superior al de República Dominicana, país con el desempeño más bajo (380 puntos), pero inferior en 1,14 desviaciones respecto al obtenido por los estudiantes de Finlandia y Dinamarca, quienes obtuvieron el desempeño más alto: 576 puntos en ambos casos (véase anexo 2, tabla A2.1). Gráfico 2.1 Puntajes promedio de los países en la escala internacional de conocimiento cívico

Fuente: IEA, Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES.

En este caso, sería necesario calcular una prueba de significancia de la diferencia.

17

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

39

Respecto al desempeño ante el conjunto de países participantes, primero en relación con Latinoamérica, solo los estudiantes de Chile obtuvieron mejor desempeño que el de los colombianos. Comparados con el resto de países de la región -Guatemala, México, Paraguay y República Dominicana- se observan diferencias positivas y significativas a favor de los desempeños de los alumnos de nuestro país. En este sentido, hay una diferencia positiva frente al promedio en conocimientos cívicos de Latinoamérica de 27 puntos en la escala de conocimientos (véase gráfico 2.2). Frente al conjunto de países asiáticos se observa una diferencia respecto al desempeño de los estudiantes colombianos de 0,4 desviaciones estándar a favor de estos países, jalonada principalmente por el desempeño de Taipéi y Corea, quienes obtuvieron desempeños 0,65 y 0,59 desviaciones estándar, respectivamente, por encima del promedio internacional. Con los países europeos, la diferencia es más alta, 0,51 desviaciones estándar, y se destacan especialmente los resultados obtenidos por Finlandia, Dinamarca y Suecia (véase el anexo 2, tabla A2.2). Gráfico 2.2 Puntajes promedio por grupo de países en la escala internacional de conocimiento cívico

Fuente: IEA, Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES.

Llama la atención que el desempeño en conocimiento cívico de los estudiantes colombianos es inferior a su potencial relativo medido tanto a través del producto interno bruto (PIB) per cápita del país y como del Índice de Desarrollo Humano (IDH)18. El primero se seleccionó como indicador El IDH es un indicador estadístico desarrollado por el Programa de Naciones Unidas para el Desarrollo (PNUD) que se basa en tres parámetros: longevidad, medida en función de la esperanza de vida al nacer; nivel educacional, medido a partir de una combinación de la tasa de alfabetización de adultos y la tasa bruta de matrícula combinada de primaria, secundaria y superior y el nivel de vida, medido por el PIB real per cápita (en dólares PPA). El IDH es un índice que toma valores de 0,0 a 1,0. A mayor valor del índice, mejores son las condiciones de desarrollo humano de un país o región.

18

40

INFORMES

aproximado del crecimiento económico en tanto que el segundo para valorar el desarrollo. Este hallazgo es consistente con los obtenidos en TIMSS 2007 (Bentaouet, Porta, & Bend, 2010). El gráfico 2.3 presenta la línea de regresión entre el puntaje en la escala de conocimiento cívico de ICCS 2009 y el PIB per cápita (medido en miles de dólares PPA para 2007)19. Se evidencia que el desempeño en conocimiento cívico se encuentra positivamente relacionado con el PIB per cápita20. Este análisis muestra que los países que están por encima de la línea tienen un desempeño mayor al esperado en función de su PIB per cápita. Colombia, al igual que tres países latinoamericanos (Chile, Paraguay y Guatemala), tiene desempeño relativamente menor al esperado, aunque relativamente cercano a la línea. En contraste, México y República Dominicana tienen promedios muy inferiores a los que potencialmente deberían tener en razón de sus respectivos PIB per cápita. De otra parte, los estudiantes de Taipéi y Corea tienen un desempeño muy superior al esperado según los niveles de ingreso de esos países.

Gráfico 2.3 Puntajes promedio por país en la escala internacional de conocimiento cívico versus PIB per cápita

Fuente: Banco Mundial (para valores del PIB per cápita), IEA Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES. Nota: en este análisis se excluyeron a Liechtenstein y Noruega debido a que presentan comportamientos atípicos frente al PIB per cápita. Las siglas utilizadas para identificar los países se pueden consultar en el anexo 2, tabla A2.1.

La regresión entre las variables se ajustó transformando el PIB per cápita por la función logaritmo natural.

19

Si bien la relación entre las variables es positiva, se presentan rendimientos decrecientes, es decir, ante aumentos en el PIB per cápita para los niveles más bajos se observan mayores incrementos en el puntaje promedio. Por el contrario, incrementos en el PIB per cápita cuando este es alto implican aumentos pequeños en los desempeños.

20

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

41

Por su parte, respecto al desempeño esperado para los países en función de su IDH, que puede considerarse una medida de la calidad de vida de una sociedad y, por tanto, de su capacidad para cubrir las necesidades básicas y complementarias de sus ciudadanos y de la creación de entornos favorables que respeten sus derechos, se observa nuevamente que el desempeño en conocimiento cívico de los estudiantes colombianos es inferior, aunque cercano, al potencial según su IDH. Esto ocurre en los demás países latinoamericanos, excepto Guatemala (véase gráfico 2.4). Nuevamente, llama la atención el comportamiento de Taipéi, quien a pesar de tener un IDH inferior al de la mayoría de países participantes en el estudio, incluido Colombia, presenta desempeños muy superiores al esperado.

Gráfico 2.4 Puntajes promedio por país en la escala internacional de conocimiento cívico versus IDH

Fuente: PNUD (para valores del IDH), IEA Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES. Nota: las siglas utilizadas para identificar los países se pueden consultar en el anexo 2, tabla A2.1.

El conocimiento cívico, que incluye los mecanismos y procedimientos de participación, reclamación, respeto y defensa de los derechos ciudadanos, potencia el ejercicio real y legítimo de la ciudadanía (Ruiz-Silva & Chaux, 2005). Esto significa que si los estudiantes de un país conocen un conjunto de conceptos básicos acerca de sus sistemas cívicos, es más probable que puedan ejercer apropiadamente sus derechos y deberes y que participen activamente en la sociedad. Por tanto, es fundamental que los alumnos conozcan y sepan usar los mecanismos de participación a nivel micro (gobierno escolar, por ejemplo) y macro (distintas alternativas para proponer leyes, entre otras). Esto ayuda a que las personas

42

INFORMES

comprendan las maneras como pueden usar los mecanismos democráticos existentes para generar cambios en su entorno (Chaux, Lleras, & Velásquez, 2004). Por consiguiente, es fundamental que en el país se realicen esfuerzos que permitan incrementar el conocimiento cívico de los jóvenes, pues ello incrementará sus probabilidades de ejercer plenamente su ciudadanía.

2.1.2 Puntajes por género, tipo de establecimiento educativo y nivel socioeconómico (NSE) En la mayoría de los estudios nacionales e internacionales se han encontrado diferencias en los resultados de estudiantes pertenecientes a ciertos grupos de referencia21. El gráfico 2.5 muestra los puntajes promedio de los estudiantes colombianos en ICCS 2009 desagregados por género. Las mujeres tienen un puntaje superior al de los hombres de 2,78 puntos. Esta diferencia no es estadísticamente significativa; por tanto, puede asumirse que el desempeño en conocimiento cívico de ambos grupos es equivalente. En CIVED 1999 se observó un resultado similar en el caso de Colombia.

Gráfico 2.5 Puntajes promedio de Colombia en la escala de conocimiento cívico desagregados por género

Fuente: IEA, Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES.

Para encontrar evidencias sobre la relación de los desempeños de los estudiantes colombianos en diferentes áreas del conocimiento con relación a estas variables se pueden consultar Valdés (2008), Lopera, Ronderos, Cervantes, Uzaheta & Quintero, (2010) y Fernandes, Cervantes, & Lopera (2010).

21

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

43

El resultado de Colombia es bastante particular, puesto que en 32 de los 36 países se presentaron diferencias a favor las mujeres, cuyos desempeños fueron estadísticamente superiores a los de los hombres (véase anexo 2, Tabla A2.3). Además, la diferencia entre el puntaje promedio de los hombres colombianos y el promedio internacional para este mismo grupo es de 48 puntos (equivalente a 0,48 desviaciones estándar), mientras que la que se presenta entre el puntaje de las mujeres colombianas y el promedio internacional de estas es de 29 puntos (0,29 desviaciones estándar). Esto indica que si bien en el país no se encuentran diferencias significativas, las mujeres tienen un mejor desempeño relativo que los hombres con relación al desempeño internacional de estos grupos. También hay diferencias en el rendimiento en la escala de conocimiento cívico según el tipo de establecimiento educativo al que asisten los estudiantes colombianos. Quienes están matriculados en colegios privados obtienen un rendimiento significativamente mayor que el de quienes lo hacen en instituciones oficiales, tanto urbanas como rurales, 49 y 69 puntos, respectivamente. Además, hay una diferencia de 23 puntos (0,23 desviaciones estándar) entre los estudiantes de establecimientos oficiales urbanos y los de las zonas rurales, a favor de los primeros (véase gráfico 2.6).

Gráfico 2.6 Puntajes promedio de Colombia en la escala de conocimiento cívico desagregados por tipo de establecimiento educativo

Fuente: IEA, Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES.

Se observa igualmente una relación positiva entre el conocimiento cívico y el nivel socioeconómico. Varias investigaciones realizadas en Colombia han demostrado que existe una correlación fuerte y significativa entre la situación económica de los estudiantes y su

44

INFORMES

rendimiento en pruebas estandarizadas (Piñeros & Rodríguez, 1999; Caro, 2000; Wößmann & Fuchs, 2005; Iregui, Melo, & Ramos, 2006; Lopera, Ronderos, Cervantes, Uzaheta & Quintero, 2010). Esto también se encontró en ICCS 2009, pues los estudiantes de mayor nivel socioeconómico, NSE3, obtuvieron un puntaje promedio estadísticamente superior al nacional y al de los de niveles socioeconómicos más bajos (véase gráfico 2.7).

Gráfico 2.7 Puntajes promedio de Colombia en la escala de conocimiento cívico desagregados por nivel socioeconómico del estudiante (NSE)

Fuente: IEA, Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES.

2.1.3 Exploración del efecto de las características de la institución educativa y del estudiante sobre el desempeño en la prueba Los resultados anteriores muestran que el desempeño en la escala de conocimiento cívico se relaciona separadamente con el género, el tipo de establecimiento educativo al que asiste el estudiante y su nivel socioeconómico. Sin embargo, en Colombia, estas dos últimas variables están altamente relacionadas; por tanto, es importante analizar el efecto sobre el conocimiento cívico cuando se considera su interacción. Con este propósito, se realizó un análisis jerárquico multinivel22 que permite establecer la relación entre los desempeños en la prueba de conocimiento cívico y las características socioeconómicas de los estudiantes y del establecimiento educativo, vistos conjuntamente.

En el anexo 3 se presenta la especificación del modelo.

22

Estudio Internacional de Educación Cívica y Ciudadana – ICCS 2009 Informe de resultados de Colombia

45

El objetivo fue examinar la distribución social de los resultados en conocimiento cívico en función de las características socioeconómicas del estudiante y de los colegios oficiales y privados del país. En el análisis se utilizó la muestra de Colombia en ICCS 2009 compuesta por 194 instituciones educativas, de las cuales el 22% pertenece al sector privado, y 6.204 estudiantes en ambos sectores. En el cuadro 2.1 se describen las variables utilizadas para el análisis23. Cuadro 2.1 Descripción de las variables utilizadas para el análisis multinivel Variable Descripción Nivel estudiantes ICCS_COL Logro en la prueba de conocimiento cívico. NSE

Variable continua que describe el nivel socioeconómico. El índice toma valores entre -1,36 y 2,25 y tiene media cero.

GENERO

Variable dicotómica (1=mujer, 0=hombre).

Nivel escuelas SECTOR

Sector al que pertenece la institución. Variable dicotómica (1= oficial; 0=no oficial).

MNSE

Promedio del nivel socioeconómico de los estudiantes dentro de la escuela, es decir, el promedio de NSE en la institución.

MGENERO

Indicador de escuelas con mayoría de estudiantes mujeres. Variable dicotómica (1= más del 60% de los estudiantes de la escuela son mujeres; 0=en otro caso).

El análisis se inició con la estimación de un modelo vacío, que no incluye ninguna variable explicativa, y permite establecer la variabilidad del logro en los conocimientos cívicos dentro de las escuelas y entre estas (véase tabla 2.1). Los resultados muestran que el promedio del logro estimado en la escala de conocimientos cívicos es 457,8 puntos. A su vez, la proporción de la varianza total del desempeño, explicada por la variabilidad de las instituciones educativas en el país, es decir, el coeficiente de correlación intraclase (CCI), es del 29%. Esto indica que en gran medida la heterogeneidad de los resultados se explica por las diferencias entre las instituciones educativas. Este hallazgo es consistente con los de otros estudios realizados en el país, que corroboran la importancia de las instituciones educativas en la explicación de las diferencias en el logro entre los estudiantes (Piñeros & Rodríguez, 1999; Lopera, Ronderos, Cervantes, Uzaheta, & Quintero, 2010). El siguiente paso del análisis consistió en la ejecución del modelo de efectos aleatorios que permite establecer la distribución social del conocimiento cívico determinado por las características del primer nivel, es decir, los estudiantes. Con los resultados se comprueba

Es importante tener en cuenta que este no es un estudio de factores asociados, sino un análisis inicial que permite observar qué tanto las variables que discriminan la población por grupos de comparación determinan el comportamiento de los resultados en el conocimiento cívico.

23

46

INFORMES

que la distribución del logro varía tanto entre estudiantes como entre establecimientos (véase tabla 2.2). Como ya se indicó, el puntaje promedio estimado en las escuelas es 457,8, que representa el valor estimado en la escala de conocimiento cívico de un estudiante, si el resto de variables fuera cero o tuviera un efecto constante. En otras palabras, representa el puntaje que tendría un hombre con un nivel socioeconómico cero. La diferencia por género fue 7,5 puntos, lo cual significa que en una escuela promedio las mujeres obtienen 7,5 puntos más en la prueba que los hombres cuyas características socioeconómicas son similares a las de ellas. Tabla 2.1 Modelos de regresión, vacío y de efectos aleatorios, de la distribución del logro en conocimiento cívico Características Efectos fijos

Modelo 1 (vacío)

Modelo 2 (efectos aleatorios)

Estudiantes (nivel 1)







Promedio del conocimiento en la escuela (β00)

457,8 ***

457,8 ***

Género (1=Mujer; 0=Hombre) (β10)





7,5

NSE (índice nivel socioeconómico) (β20)





15,0 ***

Efectos aleatorios (SD)







Estudiantes (rij)

66,6



65,7

Clases (μ0j)

42,5

***

42,6 ***

NSE (μ2j)





7,3

***

Sexo (mujer) (μ1j)





9,8

***

ICC

29%





Varianza nivel 1 explicada







Varianza nivel 2 explicada







**

3%

Fuente: IEA, Bases de datos ICCS 2009. Cálculos y elaboración: Subdirecciones de Estadística y Análisis y Divulgación, Dirección de Evaluación-ICFES. Nota: significancia estadística: * p