Modelo Multi-Agente basado en la Web para Planificación Instruccional y Evaluación Adaptativa en Cursos Virtuales Ing. Francisco J. Arias S.

Ing. Marcela Jiménez S.

PhD. Demetrio A. Ovalle C.

GIDIA: Grupo de Investigación y Desarrollo en Inteligencia Artificial

GIDIA: Grupo de Investigación y Desarrollo en Inteligencia Artificial

GIDIA: Grupo de Investigación y Desarrollo en Inteligencia Artificial

Escuela de Ingeniería de Sistemas

Escuela de Ingeniería de Sistemas

Escuela de Ingeniería de Sistemas

Universidad Nacional de Colombia 425-5360

Universidad Nacional de Colombia 425-5360

Universidad Nacional de Colombia 425-5360

fjarias@ unal.edu.co

mjimene@ unal.edu.co

dovalle@ unal.edu.co

ABSTRACT El término inteligente en los Sistemas Tutoriales Inteligentes (STI) se refiere a la habilidad que posee el sistema sobre qué enseñar, cuándo enseñar y cómo enseñar imitando la actividad de un profesor real. Para lograrlo, un STI debe identificar las fortalezas y debilidades de un estudiante particular a fin de establecer un plan instruccional de aprendizaje que sea consistente con los objetivos del curso y también debe ser capaz de adaptar la evaluación del nivel de conocimientos según el plan instruccional que se programó y según los estilos de aprendizaje que un estudiante posea. Es claro entonces que en los STI es de vital importancia incluir estas dos funcionalidades de forma coordinada, ya que si no contamos con planificación instruccional y su correspondiente evaluación adaptativa en un sistema virtual para la enseñanza/aprendizaje, no será posible emular el comportamiento que posee el profesor al impartir un curso y por ende no se puede definir a dicho sistema con la notación de “Inteligente”. Es por esta razón que se propone en este artículo un modelo de curso virtual de carácter adaptativo, enfocado principalmente en las funciones de planificación instruccional y de evaluación del nivel de conocimientos del estudiante, basado en una arquitectura Multi-Agente en la Web.

Categories and Subject Descriptors D.3.2: [JAVA]: Se utilizaron librerías para construcción de agentes como JADE (Java Agent DEvelopment framework). Servidor web con soporte de servlets y JSPs (Tomcat 6.0). I.2.11: [Distributed Artificial Intelligence]: Coherence and coordination, Intelligent agents, Languages and structures, Multiagent systems.

General Terms Algorithms (Implementación de Mecanismos de Razonamiento para Sistemas Multi-Agente Pedagógicos), Design (Modelamiento del Sistema Tutorial Inteligente, Mecanismos de Razonamiento para la Planificación y Evaluación en Agentes de Software) , Performance (Evaluación del desempeño en Sistemas Tutoriales Inteligentes Adaptativos).

Keywords Cursos Virtuales, Sistemas Multi-Agente Pedagógicos, Sistemas Tutoriales Inteligentes, Planificación Instruccional, Evaluación Adaptativa.

1. INTRODUCCIÓN La compatibilidad de las tecnologías de la información con los procesos de enseñanza/aprendizaje ha propiciado la aparición de las nuevas formas de cursos asistidos por computador y STIs (Sistemas Tutoriales Inteligentes). El objetivo básico de estos sistemas es lograr el aprendizaje de un dominio específico del conocimiento por parte del estudiante mediante la utilización de herramientas propias de la informática y de la IA (Inteligencia Artificial). El principal enfoque que se le ha dado a estos STIs es la capacidad de adaptación. A través de esta habilidad, se pretende que el sistema permita que el proceso de enseñanza/aprendizaje sea planificado y ejecutado de acuerdo a las características de cada estudiante y a su ritmo de estudio de forma individualizada. En la actualidad, se ha venido trabajando en STIs que exhiben capacidades adaptativas en la estructuración y secuenciación del contenido del curso (planificación instruccional) porque analizan las características del estudiante para la realización de estas actividades. Así mismo, existe un real interés de la comunidad científica en la creación de mecanismos de evaluación adaptativa del nivel de conocimientos del estudiante que superen las limitaciones de los sistemas de evaluación tradicionales. En este artículo se presentará por medio de un caso de estudio específico el diseño, desarrollo y validación de un modelo MultiAgente Pedagógico basado en la Web que integra la Planificación Instruccional y la Evaluación Adaptativa. La organización del artículo es la siguiente: en la sección 2 se presentará una breve descripción del marco teórico y del estado del arte de la problemática abordada. Posteriormente, en la sección 3, se describe un sistema que fue implementado para validar el modelo propuesto, en la sección 4 se presentará el análisis de los resultados obtenidos y por último se presentan las conclusiones y el trabajo futuro.

2. ANTECEDENTES En esta sección se realizará una contextualización de los conceptos que intervienen en la problemática de estudio, como son: Sistemas Multi-Agentes, Planificación Instruccional y Evaluación Adaptativa; en el marco de los Sistemas Tutoriales Inteligentes. En primera instancia se presenta el marco teórico y posteriormente una revisión del estado del arte.

2.1 Sistemas Tutoriales Inteligentes Un Sistema Tutorial Inteligente es una herramienta cognitiva computarizada que busca mejorar los procesos de enseñanza / aprendizaje de los aprendices. Según [1] [2], estos sistemas poseen una arquitectura básica compuesta por los siguientes modelos: el modelo del dominio, el cual permite plasmar el conocimiento a enseñar; el modelo pedagógico en el cual se puede estructurar el conocimiento pedagógico que posee un docente y el modelo del estudiante con el cual se puede realizar un seguimiento de las actividades del estudiante. El término inteligente se refiere a la habilidad que posee el sistema sobre qué enseñar, cuándo enseñar y cómo enseñar imitando la actividad de un profesor real. Para lograrlo, un STI debe identificar las fortalezas y debilidades de un estudiante particular a fin de establecer un plan instruccional que sea consistente con los resultados obtenidos y también debe ser capaz de adaptar una evaluación según el plan instruccional que se programo y según los estilos de aprendizaje que el estudiante posea. Para que un STI soporte las funcionalidades de planificación instruccional y evaluación adaptativa, el modelo del dominio debe estar estructurado u organizado de tal manera que el conocimiento se divida por Cursos, los cuales se componen a su vez de Unidades Básicas de Aprendizaje (UBAs) que se encuentran conformadas por temas; y dichos temas tendrán asociados uno o varios Objetivos instruccionales los cuales se podrán alcanzar por medio del desarrollo de una o varias actividades las cuales tienen asociados uno o varios Objetos de Aprendizaje (ver figura 1).

temas estudiados por el alumno (plan instruccional que fue programado), y los resultados de las pruebas iniciales presentadas por el alumno al momento de inscribirse en el curso (pruebas psicológicas y tests para determinar estilos de aprendizaje). Es importante resaltar que la evaluación adaptativa gira entorno a los OIs porque con ella se busca determinar si el estudiante aprueba o no dichos OIs.

2.2 Sistemas Multi-Agente Los Sistemas Multi-Agente provenientes de la Inteligencia Artificial Distribuida (IAD) tratan sobre la coordinación inteligente entre una colección de 'agentes' autónomos o semiautónomos, que existen dentro de cierto contexto o ambiente, se pueden comunicar entre sí y definen cómo pueden coordinar sus conocimientos, metas, propiedades y planes para la toma de decisiones o para resolver problemas complejos [3]. En otras palabras, un Sistema Multi-Agente es un sistema distribuido en el cual los elementos son sistemas de inteligencia artificial llamados agentes, o bien un sistema distribuido donde la conducta combinada de dichos agentes produce un resultado en conjunto inteligente. Algunas de las principales áreas de aplicación de la IAD y de los SMA son las siguientes: Sistemas Tutoriales Inteligentes, Comercio Electrónico basado en Protocolos de Subastas, Simulación de Campos de Batalla, Aplicaciones Móviles Ubicuas, Sistemas de Recuperación y Recomendación de Información en la Web, Construcción de sistemas de software complejos basados en agentes, Planificación de Trayectorias en Robótica Móvil, Interpretación de Imágenes de Resonancia Magnética (Radiológicas) y Citológicos (Microscópicas), entre otras.

2.3 Revisión del Estado del Arte

Figura 1. Estructura del Modelo del Dominio de un STI • Planificación Instruccional: La planificación instruccional es una de las funciones más importantes de los STIs y es la que permite programar un conjunto de actividades de aprendizaje para cada estudiante de un curso. La planificación puede ser llevada a cabo haciendo uso de la información que se tiene respecto al avance de los estudiantes y a los estilos de aprendizaje que poseen. El resultado de la planificación instruccional es un cronograma o un programa de actividades que debe realizar un estudiante para alcanzar un Objetivo Instruccional (OI) asociado a un tema dentro de una Unidad Basica de Aprendizaje (UBA) para un curso dado. • Evaluación Adaptativa: Esta actividad tiene una notable responsabilidad en el proceso de enseñanza/aprendizaje ya que es la forma de validar el nivel de conocimiento del estudiante. Para darle mayor alcance a la evaluación en STIs, se propone hacerla de forma adaptativa. Para ésto, es necesario que al construir los tests (cuestionarios) de evaluación se tenga en cuenta la siguiente información: logros alcanzados en OIs (Objetivos Instruccionales) asociados a los

Peña et al. presentan en [4] un sistema Multi-Agente de tutoría inteligente adaptativo considerando estilos de aprendizaje, llamado MAS-PLANG (MultiAgent System – PLANG) el cual fue desarrollado para transformar el entorno educativo virtual de las USD (“Unitats de Suport a la Docència”) en un sistema hipermedia adaptativo teniendo en cuenta estilos de aprendizaje. Las técnicas de adaptación están dirigidas a la selección personalizada de los materiales didácticos, las herramientas de navegación y las estrategias de navegación del entorno educativo de acuerdo al estilo de aprendizaje del estudiante. Para el modelado del estudiante utilizamos técnicas de Inteligencia Artificial como el Razonamiento Basado en Casos y la Lógica Difusa. Una interesante aplicación que integra los SMAs con los STIs es presentada por Salcedo et al [5], llamada Mistral, la cual es una herramienta que facilita la creación y administración de cursos virtuales a distancia. Un aspecto especial de esta propuesta, que influye en la capacidad de adaptación al usuario, es la posibilidad de diagnosticar el nivel de conocimiento del estudiante, su perfil de usuario y sus estilos de aprendizaje. Esto se hace con el fin de poder elegir la mejor estrategia de enseñanza y el mecanismo de evaluación más adecuado para cada aprendiz. Una limitante de Mistral podría ser su generalidad para abarcar cualquier dominio del conocimiento pues algunas estrategias y actividades de enseñanza/aprendizaje son propias de ciertas áreas del conocimiento.

Por su parte, Cataldi et al. [6] proponen una arquitectura para los STI que integra los aspectos más significativos de la tecnología de agentes. La arquitectura considera la incorporación de agentes en los módulos del tutor y del estudiante a fin de poder integrarlos al modelado considerando la base Teoría Uno de Perkins los estilos de aprendizaje y las inteligencias múltiples de Gardner. Esta propuesta hace especial énfasis en el modelo del estudiante, el cual es muy completo y en la implementación de diferentes agentes tutores (interfaz, analizador de perfil, lenguaje natural, evaluador, etc.) para llevar a cabo el proceso de enseñanza/aprendizaje de forma adaptativa.

3. EL SISTEMA CIA El sistema CIA (Cursos Inteligentes Adaptativos) fue desarrollado mediante el uso del paradigma Multi-Agente el cual posee las funcionalidades de planificación instruccional y evaluación adaptativa para un Sistema Tutorial Inteligente Pedagógico.

La estructura de las preguntas de evaluación (ver figura 2) se establece de forma que, por cada pregunta hay una o más respuestas y cada respuesta tiene una validez de 1 si es correcta o 0 si es incorrecta. Las preguntas además de tener un OI respectivo, tienen un concepto básico asociado que se refiere al concepto o unidad más pequeña de conocimiento que se evalúa en cada actividad. Esto con el fin de que al evaluar se abarque la mayor parte del conocimiento limitado por un OI y no se repitan preguntas sobre un mismo concepto. También se define el tiempo de respuesta como el promedio de tiempo que tarda el estudiante en responder la pregunta, esta medida se relaciona en gran medida con el tipo de pregunta, que puede ser de: Selección Múltiple - Múltiple Respuesta, Selección Múltiple - Única Respuesta, Falso o Verdadero, Correspondencia entre columnas o Actividad - Juego.

3.1 Planificación instrucional. Para llevar a cabo la planificación instruccional es necesario tener en cuenta los siguientes aspectos clave: - Tener una estructura organizacional de cursos: información de Cursos, UBAs, Temas, OIs, Actividades y OAs como se explico en la sección 2.1. - Identificar los prerrequisitos por OI: es necesario tener presentes los OIs que tienen que ser alcanzados para poder ver un tema nuevo del curso. - Capturar los OIs logrados por cada estudiante: cada vez que un estudiante apruebe un OI es necesario “etiquetar” dicho OI como aprobado de tal manera que se puedan habilitar nuevos OIs y que no se repita el OI que fue alcanzado. - Recuperar los estilos de aprendizaje por estudiante: eexisten varias herramientas que permiten caracterizar los estilos de aprendizaje, una de ellas es el test que se originó a partir del modelo desarrollado por Richard Felder y Linda Silverman en 1988 (Test de Felder-Silverman) [7]. Este modelo clasifica a los estudiantes de acuerdo a las preferencias que tienen por cada una de las siguientes categorías: Sensoriales (prácticos), Intuitivos (conceptuales), Visuales (prefieren la información visual), Verbales (prefieren la información escrita o hablada), Activos (práctican, discuten, aplican y explican), Reflexivos (piensan y reflexionan sobre la información), Secuenciales (aprenden por pasos), Globales (aprenden en grandes saltos). De esta manera cuando un estudiante solicite al agente planificador estudiar un tema especifico, dicho agente pueda recuperar toda esta información que ha sido almacenada con anterioridad y por medio de un algoritmo procedural o un sistema experto basado en conocimientos, pueda generar un programa de actividades con las cuales el estudiante logre otros OIs del curso. Cabe resaltar que dicha planificación se realiza a nivel de OI, Actividades y de OAs.

3.2 Evaluación del nivel de conocimientos A continuación se presentará la estructura que se debe seguir para generar un conjunto de preguntas que permitirán evaluar cada una de las actividades que un estudiante ha realizado y posteriormente se presentará una breve descripción de el proceso que se lleva a cabo para seleccionar una pregunta especifica.

Figura 2. Relación pregunta-respuesta En la figura 3, se ilustra la relación del elemento concepto básico con los componentes del modelo de dominio. Las preguntas de evaluación se formulan de acuerdo al concepto básico que evalúan, sin embargo podría darse el caso en el cual la pregunta aborda varios conceptos básicos, en ese caso se asocia la pregunta solo a uno de ellos.

Figura 3. Asociación del Concepto Básico a los elementos del modelo de dominio De esta manera cuando un estudiante termina de revisar todas las actividades que fueron programadas, se genera una evaluación teniendo en cuenta los siguientes pasos: - Se recupera desde la base de datos un conjunto de preguntas que estén relacionadas con las actividades que se encuentran planificadas. - Se realiza un filtro sobre las preguntas, verificando cuales de estas no se le han formulado al estudiante. - Se recupera el estilo de aprendizaje del estudiante, esto con el fin de realizar otro filtro sobre el conjunto de preguntas. - Del conjunto restante de preguntas, se selecciona una pregunta para cada concepto básico que posea una actividad.

- Se genera un formulario de evaluación con las preguntas seleccionadas. - Se presenta la evaluación y se recuperan las respuestas del estudiante. Cuando el estudiante envía las respuestas de la evaluación, el se realiza una petición, solicitando la calificación de la evaluación e inmediatamente se llevan a cabo las siguientes acciones: - Se recupera desde la base de datos las respuestas correctas para cada una de las preguntas de la evaluación. - Se revisa si la respuesta dad por el estudiante concuerda con la respuesta correcta de la pregunta, en caso de que concuerde se almacena la respuesta como correcta, en caso contrario se almacena como incorrecta. - Se realiza una calificación total por tipo de pregunta. - Se realiza una calificación total por OI. - En caso de que un OI no sea aprobado, se realiza una solicitud de replanificación de actividades para el/los OIs que se perdierón. - Se remiten las respuestas de la evaluación al estudiante. Es importante mencionar que las evaluaciones son efectuadas a través de pruebas que son generadas, presentadas al estudiante y calificados por el agente evaluador. Para la construcción del banco de preguntas que conforman dichas pruebas de evaluación, es necesario que todo el contenido del curso esté completamente estructurado y definido, pues de allí se formulan las preguntas.

3.3 Construcción del Sistema El sistema CIA se implementó utilizando la plataforma JADE (Java Agent Develpment Framework), la cual está distribuida en una red LAN (ver figura 4). En uno de los computadores que se encuentran en la red LAN se alojó un servidor Web Tomcat y se instanciaron un contenedor principal, en el cual se ejecutan los agentes provistos por JADE, como son: AMS, DF, y RMA, además de algunos agentes del sistema, como son: Planificador y Evaluador, ya que estos agentes tienen actividad constante. Por otro lado se tienen contenedores adicionales distribuidos en diferentes computadores en la misma red LAN en los que se repartieron los demás agentes, como son: estudiantes y profesores. La forma de enlazar el Sistema Multi-Agente con el servidor Web se realizó a través de un agente “Interfaz” [8], el cual es un agente Wraper de JADE que sirve para comunicar programas externos de JADE con agentes de un sistema desarrollado en esta plataforma. Es importante aclara que cuando comunicamos los servlets con el agente Interfaz la petición del usuario se trasmite a dicho agente, quien comunicará esta información a los demás agentes de un sistema desarrollado en la plataforma JADE.

Figura 4. Diagrama de despliegue del sistema.

4. ANÁLISIS DE RESULTADOS El STI adaptativo está siendo diseñado y construido para el proyecto de investigación “Modelo de sistema Multi-Agente de cursos adaptativos integrados con ambientes colaborativos de aprendizaje” [9]. Este prototipo planifica inicialmente el aprendizaje de un estudiante específico para el curso de CLIPS (C Language Inference Production System) en el área de Inteligencia Artificial, adapta las evaluaciones y replanifica dinámicamente las actividades según los logros alcanzados o perdidos por un estudiante. Las figuras 6 a la 10 muestran interfaces desplegadas por el sistema para un estudiante registrado en el curso de CLIPS. En la figura 5 se presenta por medio de un diagrama de secuencias que es generado por el agente Sniffer de JADE, las peticiones que son realizadas por el agente interfaz (representado como Other), el agente Planificador y el agente Evaluador, en un caso especifico. Las peticiones que se pueden observar en este diagrama de secuencias se da de la siguiente manera: 1.

Un estudiante, por medio del agente interfaz, envía una petición de planificación (REQUEST:63) al seleccionar un tema del curso (ver figura 6).

2.

El agente planificador recibe la petición enviada por el agente interfaz e inmediatamente solicita al agente evaluador la planificación de la evaluación (REQUEST 64) y envía una respuesta al agente interfaz acerca de su solicitud de planificación (CONFIRM 5). En la figura 7 se presenta un ejemplo de la respuesta que se envía a los estudiantes acerca de las actividades que fueron planificadas.

3.

Cuando el estudiante termina de estudiar todas las actividades se le presenta la evaluación que fue elaborada por el agente evaluador para que realice la prueba (ver figura 8), Luego el estudiante, por medio del agente interfaz, envía al agente evaluador una solicitud de calificación (REQUEST 65).

4.

Cuando el agente evaluador califica la prueba verifica si existen OIs no aprobados, de ser así, este agente envía al

Cabe señalar que en la base de datos presentada en esta arquitectura es donde se almacenan los datos que poseen cada uno de los modelos (dominio, pedagógico y estudiante) descritos anteriormente.

agente planificador una petición (REQUEST 66) para que replanifique nuevas actividades y por medio del agente interfaz envía el resultado de la evaluación (CONFIRM 37). En la figura 9 se presenta un ejemplo de los resultados de evaluación que son presentados al estudiante. 5.

Finalmente el planificador solicita al agente evaluador que replanifique la evaluación para las nuevas actividades.

Es importante aclarar, que en el caso de que el estudiante gane todos los OIs que fueron evaluados, no es necesario enviar una solicitud de replanificacion de actividades ni de evaluación, pero sí se debe verificar los nuevos temas que se habilitan para el estudiante teniendo en cuenta los prerrequisitos que poseen los OIs. Finalmente, se debe presentar al estudiante la opción que le permita seleccionar un tema nuevo (ver figura 10).

Figura 5. Diagrama de Secuencias Agente Sniffer de JADE

Figura 8. Evaluación generada por el Agente Evaluador

Figura 6. Planificación inicial de temas para el curso CLIPS

Figura 9. Resultados de evaluación generados por el Agente Evaluador Figura 7. Actividades planificadas para un tema específico seleccionado.

7. REFERENCIAS [1] Ovalle, D et al. (2007) Análisis funcional de la estrategia de aprendizaje individualizado adaptativo. Proyecto de Investigación – DIME – Vicerrectoría de Investigación. Modelo de Sistema Multi-Agente de Cursos Adaptativos Integrados con Ambientes Colaborativos de Aprendizaje. [2] Brusilovsky, P., Maybury, M. (2002), From Adaptive Hypermedia to the Adaptive Web. Communication of the ACM. Vol 45 No. 5. [3] Arias, F; Marulanda, J; Ovalle, D. (2006) Diseño y Desarrollo de Mecanismos de Razonamiento Multi-Agente para la Negociación de Energía Eléctrica Utilizando JESS Y JADE. Revista Avances en Sistemas e Informática, ISSN 1657-7663, Volumen 3, Número 1, pp. 51 - 56. Figura 10. Replanificacion de Temas para el curso CLIPS

5. CONCLUSIONES Y TRABAJO FUTURO Se presentó en este artículo un Modelo Multi-Agente Pedagógico para la Planificación Instruccional y Evaluación Adaptativa basado en la Web el cual busca superar las debilidades identificadas en la revisión del estado del arte para la adaptación del proceso de enseñanza / aprendizaje en Cursos Virtuales. La validación de este modelo se realiza a través de la construcción de un prototipo computacional, llamado CIA. Este prototipo planifica inicialmente el aprendizaje de un estudiante específico para un curso virtual en el área de IA, adapta las evaluaciones y replanifica dinámicamente las actividades según los logros alcanzados o perdidos por un estudiante. Como trabajo futuro se tiene previsto integrar el sistema CIA con Ambientes Colaborativos de Aprendizaje con el fin de fortalecer el proceso de enseñanza / aprendizaje a través de estrategias de trabajo grupal apoyadas por computador.

6. AGRADECIMIENTOS El trabajo presentado en este artículo fue financiado por el proyecto de investigación de la Vicerrectoría de Investigación y DIME titulado: “Modelo de Sistema Multi-Agente de Cursos Adaptativos Integrados con Ambientes Colaborativos de Aprendizaje.”, de la Universidad Nacional de Colombia – Sede Medellín.

[4] Clara Inés Peña, Jose-L Marzo, Josep Lluís de la Rosa, Ramón Fabregat. (2002). Un sistema de tutoría inteligente adaptativo considerando estilos de aprendizaje. Universitat de Girona, España., http:// eia.udg.es/~clarenes/docs/thesis/ribie-ie2002/ie2002.htm [5] Salcedo, P., Labraña, C., Farrán, Y. (2002) Una Plataforma Inteligente de Educación a Distancia que incorpora la Adaptabilidad de Estrategias de Enseñanza al Perfil, Estilos de Aprendizaje y Conocimiento de los Alumnos. infoUYclei, Congreso Uruguayo de Informática y Centro Latinoamericano de Estudios en Informática. [6] Cataldi, Z., Salgueiro, F., Lage, F. (2006) Sistemas tutoriales multiagentes con modelado del estudiante y del autor. Edutec, Revista Electrónica de Tecnología Educativa, Núm. 20, Enero 06. [7] Felder, R., Spurlin, J. (2005) Applications, Reliability and Validity of the Index of Learning Styles, Int. J. Engng Ed. Vol. 21, No. 1, pp. 103-112. [8] Ovalle, D et al. (2007) Informe Etapa de Implementación. Proyecto de investigación de la Vicerrectoría de Investigación y DIME titulado: “Modelo de Sistema MultiAgente de Cursos Adaptativos Integrados con Ambientes Colaborativos de Aprendizaje.”, de la Universidad Nacional de Colombia – Sede Medellín. [9] Duque, N. (2007) Modelo Adaptativo Multi-Agente para la Planificación y Ejecución de Cursos Virtuales Personalizados., Propuesta de tesis doctoral, Universidad Nacional de Colombia-Sede Medellín.